ニューロベースダイナミックメモリの構成的研究
著者
中島 康治
ニューロベースダイナミックメモリの構成的研究
(研究課題番号 09450135)
平成9年度∼平成1 1年度科学研究費補助金(基盤研究(ち) (2))
研究成果報告書
平成12年3月
研究代表者 中 島 康 治
(東北大学電気通信研究所教授)
ニューロベースダイナミックメモリの構成的研究
(研究課題番号 09450135)
平成9年度∼平成1 1年度科学研究費補助金(基盤研究(B) (2))
研究成果報告書
平成12年3月
研究代表者 中 島 康 治
(東北大学電気通信研究所教授)
00010140102｣二
平成9年度∼平成1 1年度科学研究費補助金
基盤研究@) (2)研究成果報告書
:課題番号 09450135 iニューロベースダイナミックメモリの構成的研究
研究代表者:中島康治 (東北大学 電気通信研究所 教授)
研究分担者:佐藤茂雄 (東北大学 電気通信研究所 助手)
研究分担者:小野美武 (東北大学 電気通信研究所 助手)
研究経費 研究発表 (1)学会誌等1.1佐藤茂雄,中島康治
"電子回路によるカオス生成とカオスニューラルネットワークの集積回路化"
システム制御情報学会誌, 43, ll, pp. 577･583 (1999)1.2 Y. Mizugaki, K. YanaPsawa, T. Onomi, T. Yamashita, K･ Naknjima, H･ Yamamoriand A･
Shoji
"Magnetic isolation on a superconducting ground plane''
Jpn. a. Appl. Phys., 38, 10, pp･ 586915870 (1999)
1.3 で. Onomi and K. Nakajima
"New fabrication process elements of phase･mode logiC``
IEEETrans. on Applied Superconductivity, 9, 2, pp. 331813321 (1999)
1.4 C. Y. Park and K. Nakajima
"Analog CMOS inplenentation of quantized interconnection neural networks for
memorlZlng limit cycles``
IEICETrans. Fundamentals, E82-A, 6, pp. 952-957 (1999)
1.5 T. Harada, S. Sato, a. Nakajima
"A content-addressable memory uslng `Switched DiffusionAnalog Mmeory with Feedback
Circuit'"
IEICETrans. Fundamentals, E82-A, 2, pp. 370-377 (1999)
度
度
度
年
年
年
9 0 1 1 1 計成
成
成
平
平
平
円 円 円 円千
千
千
千
0 0 0 0 0 0 0 0 6 3 5 4 6 3 3 3 11.6 H. Tanaka, S. Sato, K. Naknjina
"Integrated circuits of map chaos generators''
IEICE Trams. Fundamentals, E82-A, 2, pp. 364-369 (1999)
1.7 T. Onomi, Y. Mizugaki, H. Satoh, T. Yamashita, and K. Nakajima
"Phase-mode circuits for high-performance logic"
IEICE Trams. Electron., E81-C, 10, pp. 1608-1617 (1998)
1.8 Y. Mizugaki and K. Nakajima
"static characteristics of superconducting quantum interference devices utilizing th
equivalent inductance of Josephson J unCtions''
ElectromiCs and Comnumications in Japan (Part 2), 81, 6, pp. 1-7 (1998)
1.9 水柿義直､中島康治
一一ジョセフソン接合の等価インダクタンスを利用した超伝導量子干渉素子の静特性"
電子情報通信学会論文誌C-ⅠⅠ, J81･C-ⅠⅠ, 2, pp. 259-265 (1998)
1.10 T. Onomi and T. Yamashita
"Design and fabrication ofanadder circuit in the extended phase一mode logic"
IEEE Trams. on Applied Superconductivity, 7, 2, pp. 3172-3175 (1997)
(2)国際会議等
2.1 T. Harada, A. Sato, M.Kinjo, Y. Katayana, S. Sato, and K. Nakajina
"New nonvolatile analog memories for building associative memories''
Extended Abstracts of the 1999 Int. Con￡ on Solid State Devices and Materials, pp. 270-271
(1999)
2.2 M.Kinjo, S. Sato, and K. Nakajina
``A study on DBM network with non-monotonic neurons"
Proc. of 1999 tnt. Joint Con上 on Neural Networks, (1999)
2.3 K. Nakajima and S. Sato
〃Hardware integration for neuralnetworks in RIEC Tohoku University"
proc. of 1998 Int. Conf. on Computers, Commumications and Systems (ICCCS'98), pp･ 5-14
(1998)
2.4 T. Harada, S. Sato, and K. Nakajina
HA new noating-gateanalog memory and an analog content-addressable memoryfoI building a newinteuigent system''
proc. of the Workshop on SynthesisAnd System Integration of Mixed Technologies
2.5 Y. Mizugaki and K. Nakajima
"Neuron-based jUD converter integrated withJosephson devices"
Proc. of 1998 1mternational Symposium on No山inear Theory and its Applications (NOLTA
-98), pp. 441-444 (1998)
2.6 M.Kinjo, S. Sato, and K. Nakajina
"DBM learming n non-nonotonic neuralnetworks"
Proc. of 1998 InternationalSymposium on Nonlinear Theory and its Applications (NOLTA
-98), pp. 455-458 (1998)
2.7 K. Nakajina
"Layered neural networks with quantized interconnections"
Proc. of 1998 InternationalSymposium on Nonlinear Theory and its Applications (NOLTA
-98), pp. 459-462 (1998)
2.8 R. Nakajina and T. Ononi
"Digital circuits based on single nu又 quanta"
Extended Abstracts of the 1998 Int. Conf. on Solid State Devices and Materials, pp. 3731373
(1998)
2.9 C. Y. Park, Y. Katayama, and K. Nakajina
"Inplementation of quantized connection neural networks and its application for pattern
classi丘er''
Proc. of 1999 InternationalTeclmicalConference on Circuits/Systems, Computers and
Communications (ITC･CSCC'98), pp. 1077-1080 (1998)
2.10 K. Nakajina
``Dynamic behaviors of an integrated circuit for recurrent neural networks"
Proc. of 1998 Second lnt. Con上 on Knowledge･Based Intelligent Electro血c Systems, γol.3,
pp.260-267 (1998)
2.1l K. Nakajina
"Integrated circuit of quantized interconnection networks"
Proc. of the 2nd A.I.E.C. InternationalSymposiun (DAlPS), pp. 118-123 (1998)
2.12 T. Yamana, K. Nakajima, Y. Hayakawa, and Y. Sawada
"Application of chain neural network witha cyclic connection for taking in external cyclic patternII
Proc. of the 2nd R.Ⅰ.E.C. International Symposium (DAIPS), pp. 201-204 (1998)
2.13 H. Tanaka, S. Sato, K. Nakajima, E. Belhaire, and P. Garda
"Simple integrated circuits for a chaotic noise generator"
2･14 T･ Harada, Y. Mizugaki, and K. Nakajima
"A new analog content addressable memory for building a new intenigent system and VLS】
imp le me ntation''
Proc･ of the 2nd R･Ⅰ.E.C. InternationalSymposium (DAIPS), pp. 2831286 (1998)
2･15 M.Kinjo, S. Sato,and K. Nakajina
"On highlearning ability of DBM with non-monotonic neurons"
Proc･ of the 2nd R･Ⅰ.E.C. InternationalSymposium (DAIPS), pp. 287-290 (1998)
2･16 T. Harada, Y. Mizugaki,and K. Naknjima
``A new analog content addressable memory for building a new inteuigent system and VLS]
imp le me ntation"
Proc･ of 1997 InternationalSymposium on Nonlinear Theory and its Applications (NOLTA
■97), pp. 869-872 (1997)
2･17 H. Tanaka, S. Sato, K. Nakajima, E. Belhaire, add P. Garda
"Designs of integrated circuit to generate map chaos''
Proc･ of 1997 InternationalSymposium on Nonlinear Theory and its Applications (NOLTA
-97), pp. 873-876 (1997)
2･18 S. Sato, S. Shibata, and X. Nakajima
uA study on the learming ability of a DBMwith quantized synapses''
Proc･ of 1997 InternationalSymposium on Nonlinear Theory and its Applications (NOLTA
■97), pp. 877-880 (1997)
2.19 Y. Mizugakiand K. Nakajina
"Numerical simulation for digitalapplications of a coupled-SQUID gate with DC-biasing"
Extended Abstracts of 6th InternationalSuperconductive Electromics Conference (ISEC'97).
2, pp. 272-274 (1997)
2･20 T. Onomi, T. Yamashita, Y. Mizugaki, and K. Naknjima
"Characterization of thefluxoid Josephson transmissionlme and the application to phase･
mode circuits"
Extended Abstracts of 6th lnternationalSuperconductive Electromics Conference (ISEC'97),
2, pp. 296-298 (1997)
2.21 K. Nakajima, Y. Mizugaki, T. Onomi, and T. Yamashita
"Phase node logic and highJc junctions"
Extended Abstracts of the 5thInternational Workshop on High-temperature
(3)口頭発表 3.1片山康弘,鈴木康介,佐藤茂雄,中島康治 "大きなfan-inを実現する高速CMOS多数決集積回路'' 第3回システムLSI琵琶湖ワークショップ講演資料集, pp. 239-241 (1999) 3.2 鈴木康介,片山康弘,佐藤茂雄,中島康治
"高速CMOS多数決回路の構成とその応用"
信学技報, NLP99-114, pp. 25-30 (1999) 3.3 田中英俊,佐藤茂雄,中島康治"時系列信号を発生する神経回路モデルへのカオス系列の印加の影響"
信学技報, NLP99-118, pp. 53-59 (1999) 3.4 小野美武,柳揮潔,中島康治 "広い動作パラメータ領域とバイアスマージンをもつ位相モードINHIBITゲート'' 信学技報, SCE99-29, pp. 51-56 (1999) 3.5 柳揮潔,小野美武,中島康治,東海林彰``単一磁束量子を用いた高速加算･乗算回路の設計"
信学技報, SCE99-30, pp. 57-62 (1999) 3.6 水柿義直,中島康治,東海林彰"磁束量子遷移を利用した結合SQUIDリングオシレ一夕動作周波数の評価"
信学技報, SCE98-30, pp. 31-36 (1998) 3.7 金城光永,佐藤茂雄,中島康治"DBM学習を行う非単調ニューラルネットワークの集積化についで'
信学技報, NLP98-22, pp. 1-6 (1998) 3.8 中島康治"結合強度が量子化された層状構造ニューラルネットワークの構成''
信学技報, NLP98･27, pp. 37-44 (1998) 3.9 原田知親,佐藤茂雄,中島康治"新アナログメモリ線形SDAMとそれを用いたアナログ連想記憶システムの構成''
倍学技報, ICD98-43, pp. 53-60 (1998) 3.10水柿義直,小野美武,中島康治"ジョセフソン結合の等価インダクタンスを利用した論理デバイスの特性''
信学技報, SCE97-28, pp. 13-18 (1997)3.11田中英俊,佐藤茂雄,中島康治 "マップカオスを用いたカオス発生回路の設計'' 信学技報, NLP97-69, pp. 43-48 (1997) 3.12金城光永,佐藤茂雄,中島康治
"非単調ニューロンを用いたDBMの学習に関する考察"
信学技報, M97-70, pp. 49154 (1997) (4)出版物4.1 K. Nakajima, Y. Mizugaki, T. Onomiand T. Yamashita ``Fluxoid type logic circuits"
Physics and Application of Mesoscopic Josephson Junctions, The Physical Society of Japan,
目次
1)まえがき
2)電子回路によるカオス生成とカオスニューラルネットワークの集積回路化
3) Magnetic isolation on a superconducting ground plane
4) New fabrication process elements of phase-mode logic
5)Analog CMOS implementation of quantized interconnection neural networks for
memonZlng limit cycles
6) A content-addressable memory using "Switched DiffusionAnalog Mmeorywith Feedback
Circuit"
7) Integrated circuits of map chaos generators
8) Phase･mode circuits for high-performance logic
9) Static characteristics of superconducting quantum interference devices utilizing the
equivalent inductance of Josephson junctions
10)ジョセフソン接合の等価インダクタンスを利用した超伝導量子干渉素子の静特性
ll)Design and fabricat'ion of an adder circuit in the extended phase-made logic
12) New nonvolatile analog memories for building associative memories
13)A study on DBM networkwith non-monotonic neurons
14)Hardware integration for neural networks in RIEC Tohoku University
15)A new noating一gate analog memory and an analog content-addressable memory for building
a new intemigent system
16) Neuron-based A/D converter integrated with Josephson devices
17)DBM learning in non-monotonic neural networks
18) Layered neural networks with quantized intefconnections
19)Digital circuits based on single flux quanta
20)lmplementation of quantized connection neural networks and its application for pattern
classi丘er21)Dynamic behaviors of an integrated circuit for recurrent neural networks
22) htegrate d circuit of quantized interconnection networks
23)Application of chainneural network with a cyclic connection for taking in external cyclic
pattern
24) Simple integrated circuits for a chaotic noise generator
25)A newanalog content addressable memory for building a new intemgent system and VLSI
imp le me ntation
26) On highlearning ability of DBMwith non-monotonic neurons
27)A new analog content addressable memory for building a new inteuigent system and VLSI
imp leme ntation
28)Designs of integrated circuit to generate map chaos
29)A study on the learning ability of a DBMwith quantized synapses
30) NumeriCalsimulationfor digital applications of a coupled-SQUID gate with DC-biasing 31)Characterization of the nuxoid Josephson transmission line andthe application to
phase-mode circuits
33)大きなfan-inを実現する高速CMOS多数決集積回路
34)高速CMOS多数決回路の構成とその応用35)時系列信号を発生する神経回路モデルへのカオス系列の印加の影響
36)広い動作パラメータ領域とバイアスマージンをもつ位相モードINHIBITゲート37)単一磁束量子を用いた高速加算･乗算回路の設計
38)磁束量子遷移を利用した結合SQUIDリングオシレ一夕動作周波数の評価
39)DBM学習を行う非単調ニューラルネットワークの集積化について
40)結合強度が量子化された層状構造ニューラルネットワークの構成
41)新アナログメモリ線形SDAMとそれを用いたアナログ連想記憶システムの構成
42)ジョセフソン結合の等価インダクタンスを利用した論理デバイスの特性
43)マップカオスを用いたカオス発生回路の設計
44)非単調ニューロンを用いたDBMの学習に関する考察
まえがき
知識情報処理､パターン情報処理､データベース処理など高度化と多様化が強く求め
られている計算機による情報処理において､直列数値演算には優れる現行計算機方式に
よる対応だけでは本質的にシステムの効率､生産性､及び信頼性が低いため､より柔軟
な処理を可能とする方式が模索されている｡その中でこ且-ラルネットワークによる最
適値問題解法や連想記憶､学習による回路構成が有力候補の一つとして研究されており､
主にこれまで静的パターン分類などに代表される回路状態の安定点への収束を対象とし
た研究が行われてきた｡
しかしより柔軟な情報処理という観点から瞬時の判断や認識を伴う制御などの知的な
実時間処理が強く望まれており､動的な時系列情報を超並列で扱うシステムへの対応が
重要である｡また実時間処理という観点からは回路網のハードウェア化が必須条件であ
り､その点を含み我々はダイナミックメモリの構成とその能力の評価･高度化が最重要
であると考え本研究テーマを行った｡
我々はこれまで一貫してハードウェアレベルでの高度で柔軟な情報処理を実現すべく､
大きな可能性を持つと期待される人工神経回路の集積化､しかも超並列動作を達成する
アナログ乗･加算を実現するシステムを追求してきた｡その過程において人工神経回路
集積化の中核的デバイスとなるシナプス荷重値記憶用メモリとしてSwitchedDiffusion AnalogMemory (SDAM)を､また目的とする動作を正確に行う回路網の設計法(CRANN) を開発した｡cRANNによる解析を進めることにより､非対称環状結合回路において非常に多くの
リミットサイクルが1つの回路の中に共存できその数も予測できること､その･リミット
サイクルはアトラクタとしての領域ベイスンを持ちサイクリックパターンを連想する連
想記憶として応用できること､結合状態を遠距離に増加させるにともないリミットサイ
クル中に含まれる状態が安定点に変化していくことなどダイナミックメモリとしての基
本性質が判明し､その結果を国際会議や論文誌上で発表した｡
さらにCRANNに基づいたリミットサイクルの回路内への埋め込み方法を開発し､逆
問題として上記の共存が判明したリミットサイクルを開発した学習方法により埋め込む
と非対称環状結合を再構成できることなどの興味ある結果が得られて､ダイナミックメ
モリ構成の本質的基本要素が加速度的に解明された｡
またsDAMを基本記憶デバイスとして用い､知識情報処理､動的パターン情報処理､
瞬時の判断や認識を伴う制御などの知的な実時間処理､動的な時系列情報を超並列で扱
うシステムなど計算機による情報処理の高度化と多様化のための中心的システムとして
ニューロベースダイナミックメモリ･の解明を構成的に行い､集積回路化したマイクロチッ
プとして東北大学電気通信研究所附属超高密度･高速知能システム実験施設において
試作しその性能を評価･解析した｡
ニューラルネットワークによる研究は主にこれまでカオス的な動的振る舞いを取り入
れるとしても静的パターン分類などに代表される回路状態の安定点への収束を対象とし
た研究が行われてきた｡連続モデル回路網のリミットサイクルや遷移系列の研究は規模
の小さなシステムや少数のリミットサイクルや遷移系列に限られていた｡動的パターン
の記憶･学習に対するニューロン数の大きな､より包括的な研究は並列情報処理原理の
解明という観点からも学術的に大きな意味を持つが､解析手段が確立していないため足
踏み状態にあった｡そこで本研究ではニューロベースダイナミックメモリの完全な動作
解明とその応用方法の確立､構成方法と学習能力の解明､さらに実時間処理を目指した
集積回路化などを目的とした｡
第1に前述のように任意のリミットサイクルの連続モデル-の埋め込みと共存の可能
性を､開発した学習方法により解析し､リミットサイクルに対する回路の記憶容量を解
析した｡それを実現できる集積回路の検討を合わせて行った｡
第2にサイクリックではない時系列遷移パターンの埋め込みと共存の可能性を同様に
開発した学習方法により解析､また非単調ニューロンの使用も検討し､その高機能性を
明らかにした｡
第3に入力ベクトルと埋め込まれたパターンとの相互作用､特に埋め込まれたパター
ン間の遷移に関する入力ベクトルの役割を解明するため､各種神経回路への適用を考慮
し､カオスノイズを発生する集積回路を製作､その特性を測定評価して､ニューロチッ
プとの結合を進めた｡それとともに埋め込まれたリミットサイクルの性質とそれに対す
るカオスの影響についての詳細な解析を進めた｡
第4に製作した時系列パターンを発生できる小規模なニューロチップを試作測定し､
その解析を数億実験と比較して行った｡また合わせて結合荷重が量子化された層状構造
の回路構成法について新しい発見があり､国際会議で発表すると共に回路設計に関する
特許の申請をした｡また結合荷重が量子化された回路の集積化に関して新たな多数決集
積回路の提案を行い､特許申請すると共に試作によりその有効性を実証した｡
これらの結果を基に時系列情報の認識､入力情報に対する瞬時の最適値情報出力､そ
の出力値に対する外部変化の回路-のフィードバックなどを検討し､実時間知的制御等
-対応可能なマイクロチップとしての構成に関する設計･製作を行いそれに基づき集積
回路を製作し評価した｡
本報告書は､これら平成9年度､ 1 0年度､ 1 1年度に行った｢ニューロベースダイナミックメモリの構成的研究｣の成果をまとめたものである｡
TOUR ： Tohoku University Repository コメント・シート 本報告書収録の学術雑誌等発表論文は本ファイルに登録しておりません。なお、このうち東北大学 在籍の研究者の論文で、かつ、出版社等から著作権の許諾が得られた論文は、個別にTOUR に登録 しております。 TOUR http://ir.library.tohoku.ac.jp/
