隠れニューラルネットワーク理論を具...

  1. 家
  2. 記事

13
10

隠れニューラルネットワーク理論を具現化したAIチップを世界

人工知能（AI）技術のひとつである深層学習（ディープラーニング）を応用した画像認識技術の実装が広がりを見せており、自動運転車の飛び出し検知機能や、ロボットの作業制御、顔認証等のセキュリティ分野等での活用が期待されている。カメラで捉えた画像・映像を瞬時に処理するために、自動車やロボットといったエッジ機器にコンピュータを搭載し、その場で計算やAIによる推論・判断を行うことが求められるが、計算量の爆発的増化とそれに伴う消費電力の増大が課題となっている。特に自動車やドローンといった移動機器においては常に外部から給電することは難しいため、推論精度を保ちつつ、なるだけ少ない電力でコンピュータが駆動することが必要となる。

隠れニューラルネットワーク理論を具現化したAIチップを世界

ディープラーニングは深層ニューラルネットワーク（DNN）と呼ばれる人間の脳を模した情報処理モデルによって、画像や映像などの情報から状況を判断する。このネットワークの構造が複雑・巨大になることが膨大な計算量の要因であり、特にDNN モデルの「重み」といった計算パラメータを外部メモリから読み込む際に多大な電力を消費する。

軽量なDNNモデルを実現する画期的な技術として、2020年に「DNN全体の一部分だけを用いても推論精度が劣化しない」ような部分ネットワークを発見する「隠れニューラルネットワーク（Hidden Neural Network）」理論が新たに発表された（図1）。従来のディープラーニング手法とは異なり、この理論では重みを学習せずに乱数の初期値のまま固定する。代わりに、ネットワークの各結合の重要度を表す「スコア」を学習し、スコアが上位のk%（kは任意の数）だけの部分ネットワークを用いることで、全体のk%のサイズの軽量DNNモデルを構築する。具体的には、選択対象のスコア上位k%の結合に値1を対応させ、それ以外には値0を対応させた「スーパーマスク」を生成し、乱数初期値の重みとスーパーマスクの論理積をとることで上位k%の部分ネットワークを発掘することができる。

本研究ではこのような最新の隠れニューラルネットワーク理論に着目し、(1)重みを学習しない、(2)スーパーマスクで部分ネットワークを発掘する、という既存のDNNにはなかったその新たな2つの特徴を生かすことができるDNN推論アクセラレータを実現した。

タグ ドローンをゼロから構築する方法

カテゴリー

ホット記事

タグ

Software cyber IT Computing Consulting Business