Neuromorphic Computingに関するデバイスの研究方針
• 現行のCMOSの延長で高性能・低消費電力を目指す
• サーバーセンター用高速GPU CMOSスケーリングの追及で高速･低 消費電力を目指す
• エッジ、モバイルでの応用を目指した、より低消費電力アルゴリズム、デ バイスを用いた比較的小規模なデバイス
• より神経回路にちかい回路構成（in-Memory Computing)で積和演 算を実行
• CMOSでアナログ積和演算器をつくるなど効率の高い回路を目指す。
• 可変抵抗素子をシナプスとして用いる（可変抵抗のバリエーションは 多数：PCRAM、RRAM、イオンスイッチ、MRAM・・・・・・・・・）
•
脳の信号伝達モデルを模倣した積和演算を実行
• spiking neural networks, STDPなど脳のニューロンーシナプス動 作を模倣することで高効率でフレキシブル、場合によっては新しい機能 の出現を期待する。
•
脳の機構解明を目指して、回路規模、消費電力は問題とせず、
より高次の脳機能再現を目指す。
脳に迫る性能を求めるなら
• より大規模な集積度（1010？）
• 簡単な構造のデバイスユニット
が必要
脳神経エミュレーションの立場からはスパイク信号、アナログ回路、確率的過程が必須。
実用的な立場からも将来の極低消費電力を狙うには必要かもしれない。
河野 崇 東京大学生産技術研究所
関和演算アクセラレータ−からより脳に近いシステムへ
より低消費電力で脳に近いアーキテクチャ−を得るためにはシナプ スの結合強度を変えるだけではなくニューロンの信号も再現したい
Hebb's rule
「ニューロンAの発火がニューロンBを 発火させると2つのニューロンの結合
が強まる
STDP
Spike-Timing-Dependent Ｓynaptic Plasticity (スパイクタイミング依存性のシナプス可塑性) ニューロン発火モデル
スパイキングニューロンモデル
ニューロン平均発火率に基づくアナログ的な入出力
⇒スパイクパルスの タイミングを重視したモデル
積分発火型ニューロンモデル （Integrate-and-fire (IF) neuron model）
ス パイクパルス入力があると後シナプス電位（Post-Synaptic Potential）がニュー ロン内に発生し，それらの時空間的な総和としてニューロンの内部電位がし きい値を 越えるとニューロンはスパイクパルスを出力
http://www.brain.kyutech.ac.jp/~morie/topics/spiking.shtml
☆ Hodgkin-Huxley Neuron Model（神経細胞挙動数式モデル）
☆ Izhikevich Neuron Model（神経細胞の活動を表現でする簡易数式モデル）
I:シナプス結合入力、あるいは他神経細胞より受ける伝搬電位
uは回復変数,上式の膜電位を安定化させる方向へ修正を加える微分方程式 aとbは細胞挙動を調整するパラメータ.
神経細胞の発火頻度、入力に対する感度を調節 cは細胞発火後に膜電位をリセットする値
dは細胞が発火した後に発生する膜電位不応期を示すパラメータ
☆ LIF（leaky integrate-and-fire ）Model I(t):τmdv/dt= −v(t) + RI(t)
IBM True Northでは
100 万ニューロン@ 63 mW / 28nm CMOS 非同期デジタル回路+ 1 KHz 同期回路
ニューロンモデル: I&F ベースモデル
LIF モデル使用時に100 万ニューロン/チップ Izikevich モデルのサブセットを使用時50 万 シナプスモデル: 積和演算のみ
256 シナプス/ニューロン
さらにこれを上回り脳並みの集積度／並列度を目指す（？）には シリコンニューロンに代わるナノデバイスが必要となる（？）
目的に応じてモデルを選択する必要がある。
• 脳科学のためのエミュレータ？
• DLを効率的に行うアクセラレータ？ ただしどの程度に効率化するかによって違う！
脳とは？
アナログ超並列
確率的(時間応答確率共鳴、・・・）
低消費電力でフレキシブルな演算・記憶装置
パラメータ変更で一定電流に対する応答が変わる
⇒後段への伝達のバリエーションをどの程度用意するか？
こういうものをナノエレクトロスデバイスでどう再現するか？
Giacomo Indiveri
Institute of Neuroinformatics
University of Zurich and ETH Zurich 2016 IEDM Tutorial
3 December, 2016
Giacomo Indiveri
Institute of Neuroinformatics
University of Zurich and ETH Zurich 2016 IEDM Tutorial
3 December, 2016
Neuromorphic Computingに関するデバイスの研究方針
• 現行のCMOSの延長で高性能・低消費電力を目指す
• サーバーセンター用高速GPU CMOSスケーリングの追及で高速･低 消費電力を目指す
• エッジ、モバイルでの応用を目指した、より低消費電力アルゴリズム、デ バイスを用いた比較的小規模なデバイス
• より神経回路にちかい回路構成（in-Memory Computing)で積和演 算を実行
• CMOSでアナログ積和演算器をつくるなど効率の高い回路を目指す。
• 可変抵抗素子をシナプスとして用いる（可変抵抗のバリエーションは 多数：PCRAM、RRAM、イオンスイッチ、MRAM・・・・・・・・・）
•
脳の信号伝達モデルを模倣した積和演算を実行
•
spiking neural networks, STDPなど脳のニューロンーシナプス動 作を模倣することで高効率でフレキシブル、場合によっては新しい機能 の出現を期待する。
• 脳の機構解明を目指して、回路規模、消費電力は問題とせず、
より高次の脳機能再現を目指す。
人工ニューロン
抵抗変化素子を用いた多くの研究は関和演算の重みを振付ける人工シナプス より脳に近いデバイスのための人工ニューロンをシリコン回路で作成。
より高集積度、低消費電力化のためエキゾティックマテリアルを使う。
Tomas Tuma et al, NATURE NANOTECHNOLOGY,11, 693 (2016)
仏LETIの研究例
ReRAMをシナプスとしたスパイクニューロン回路の特性と認識
60ニューロンx10ニューロンのSNNで 車を認識
インテグレーションレベルの課題 ： Fan-in, Fan-Out
ニューロンレベル、ブロックレベルの膨大な入出力に対応する構造が必要
フレキシブルな配置+コンダクタンスが得られる配線はできるか？
Low-Voltage Artificial Neuron using Feedback Engineered Insulator-to-Metal-Transition Devices、J. Lin et al., IEDM2016
Functional Passive Material VO2 for Analogue Signal Processing with High-Speed, Low Power, and Robust Performance
T. Yajima et al., IEDM2016
VO2の相転移を用いてニューロン信号を再現する試み
磁性体を用いたニューロモーフィックデバイス
Mircea Stan , University of Virginia (2013)
Kaushik Roy, Purdue University (2014) Spin Torque Oscillation : MTJに直流電圧印加でマイクロ波発信
電気的あるいはスピン波による結合によりMTJ間の相互作用が変化する⇒ニューロン／シナプスを形成