非線形ニューロダイナミクスとハードウェア実装に 関する研究
著者 米山 輝
雑誌名 静岡大学大学院電子科学研究科研究報告
巻 24
ページ 113‑115
発行年 2003‑03‑28
出版者 静岡大学大学院電子科学研究科
URL http://hdl.handle.net/10297/1437
氏名・
(本籍
)米
山
輝
(静岡県
)学位 の種 類
博
士 (工
学
)学 位 記 番 号
工博甲第
230号 学位授与の日付
平成 14年 3月 23日 学位授与の要件
学位規程第 5条 第 1項 該当 研究科 ・ 専攻の名称
電子科学研究科
電子応用工学
学位論文題目
非線形ニューロダイナミクスとハー ドウェア実装に関する 研究
(委員長)
論 文 審 査 委 員
教 授 渡 邊 健 蔵
教 授 大 坪 順 次
教 授 川 人 祥 二
教 授 浅 井 秀 樹
論 文 内 容 の 要 旨
近年における科学技術の発展はまさに驚異的であ り、産業の各分野において様々な革命的な変化を もたらしてきた。 しか し、現在主流であるプログラム逐次処理方式 コンピュータは、我々が無意識の うちに行 っている、認識、経験に基づ く予測など、直感的情報処理を表現することは極めて不向きで あつた。このような背景から、直感的情報処理や柔軟な学習機能を工学的に実現するニューラルネッ トワーク技術 に関する研究が盛んに行なわれている。これまで、さまざまな種類のニューラルネット ワークが提案 され、新たな原理に基づ く情報処理方式の実用化に期待を高めている。これらニューラ ルネットワークの動作検証を、正確に高速に行 うことは、各種構成のネットワークの評価や、応用技 術の開発 を行 う上で大変重要である。また、ニューラルネットヮークに設計者が望む動作をさせるた めには、ニューロンとシナプスとの結合係数であるシナプス荷重を与える必要がある。このシナプス 荷重 を簡単に求めることができるかどうかということもニューラルネットヮークを設計する上で重要 である。
そこで、本論文では、高速にニューラルネットワークの解析 を行 う解析法、及び効果的にシナプス 荷重 を求める方法について提案する。さらに、ニューラルネットヮークの特徴である、アナログ、非 線形、高並列処理性 といったニューロダイナミクスのメカニズムの解明、及び隆能評価を正確に行 う ために、アナログ回路 によリニューラルネットワークの設計を行 う。これらの研究を通 して、高度な 知識情報処理装置のキーデバイス としてのニューラルネットワークの実用化 を目指す。
一般的にニューラルネットワークの動作解析は、ニューラルネットワークの動作方程式である微分
一H3‑
方程式 を解析することにより行われる。 この解析法は、詳細で高精度な結果 を得 ることがで きるた め、各種構成のネットワークの評価や、応用技術の開発 に広 く用いられている。 しか し実際には、こ れらのニューロンモデルは非対称結合で、制御パラメータの個数が非常に多いため、系が高次元にな る。 このため、非常 に多 くの解析時間が必要 とな り、理論的解析 は困難であった。本研究では、
ニューラルネットワークの動作方程式である微分方程式を解析することなく、連続時間系モデルの解 析 を正確 に行 う手法を提案する。 さらに、多値論理ニユーロンから構成 されるニューラルネットワー
クに拡張することにより汎用性 をもたせ る。
また、本研究では、これまでとは異なった方法により、ニューラルネットワークのシナプス荷重 を 求める°ニューラルネットワークの学習法 として有名なものに、バ ックプロパゲーション法がある。
この学習法は、出力情報 と教師情報 との誤差に基づ きシナプス荷重を変更 し、最終的に教師信号 と出 力 との誤差がな くなるまで荷重の更新 を繰 り返す学習法である。 しか し、この学習法は、シナプス荷 重が求まるまで膨大な反復計算を行 う必要があるため、非常 に多 くの時間を必要 とする。また、初期 値 によつては、総誤差関数が大域的最小値へ収束せずに、局所的最小値に収束 してしまうという場合 もある。そこで本研究では、ニューラルネットワークのダイナミクスから、シナプス荷重の拘束条件 を求め、この拘束条件 を線形計画法 により解 くことにより、シナプス荷重を求める設計法を提案す る。提案設計法は、ニューラルネットワークのダイナミクスからシナプス荷重の拘束条件 を求めてい るため、 より正確にかつ、簡単にニューラルネットワークの設計すを行なうことが可能であると考え られる。また、本設計法を用いて実際にニユーラルネットワークの設計を行い、提案設計法の有効性 について示す。
次 に、アナログ回路によるニューラルネットワークの設計について述べ る。これまで、ニューラル ネットワークを実現する方法 として、その機能モデルを現行のコンピュータを用いて実行する、計算 機 シミュレーション手法がニューラルネットワークモデルの実験、及び研究に多 く用いられている。
しか し、数千二ユーロン、数百万シナプスを超える実用規模のニューラルネットワークを生態脳並み の時間で処理することは、現行のコンピュータでは不可能である。そこで、ニューラルネットワーク を高速 に処理、実行することを目的とした、ニューロハー ドウェアに関する研究が盛んに行なわれる ようになった。集積回路 によリニューラルネットワークを実装する際、一番問題 となるのはシナプス 回路である。一般的にシナプス回路には抵抗および乗算器が用いられる。一般にポリゲー ト抵抗など の抵抗素子は、集積化が困難である。 さらに、これらの抵抗素子は、抵抗値 を変化 させることはで き ないため、シナプス荷重を変更することにより、さまざまなアプリケーシヨンに応用することができ るニューラルネットワークには、このような抵抗素子は適 していない。そこで本研究では、集積化 に 適 したシナプス回路の提案を行 う。この回路は、制御電圧を変更することによリシナプス荷重を変更 することが可能である。 さらに、新 しい乗算器についても提案する。これら提案するシナプス回路 を 用い、アナログニューラルネットワークの設計 を行い、
HSPICEに
より動作 を確認する。以上、本論文ではニューラルネットワークをハー ドウェア化の側面から検証 し、その可能性 と有効 性 について示 した。
一H4‑
論 文 審 査 結 果 の 要 旨
本論文は、ニューラルネットワークのダイナミクスに着 日し、ニューラルネットヮークの設計、及 び動作解析 を効果的に行 う手法、及びアナログ回路 によるニューロハー ドウェア実装に関する研究を 行 った ものである。
本論文は全5章からな り、第 1章 では、序論 として本研究の背景および目的について述べている。
第2章では、連続時間系ニューラルネットワークを高速に解析する手法について検討 している。提 案する解析法は、Kineticベク トルとニューロンの出力 との関係を用いることにより、ニューラルネッ
トワークの動作方程式である微分方程式を陽的に解析することなく、高速に、正確に連続時間系モデ ルの解析を行 うことが可能である。また、提案解析法を、多値論理ニューロンから構成されるニュー ラルネットワークに拡張す ることにより汎用性 をもたせている。
第3章では、連続時間系ニューラルネットヮークの設計法の提案、及び設計例 を示 し提案設計法の 有効性 を示 している。提案設計法は、ニューロンの出カベク トル、及びKinedcベ ク トルを用いるこ とにより、シナプス荷重の拘束条件を求め、シナプス荷重の拘束条件である線形計画問題を解 くこと によリシナプス荷重を求めている。この設計法は、ニューラルネットワークのダイナミクスからシナ プス荷重の拘束条件 を求めているため、従来の設計法 と比べ より正確にニューラルネットヮークの設 計 を行 うことが可能であると考えられる。
第4章では、アナログ回路 によるニューラルネットヮークについて述べている。ここでは、ニュー ラルネットヮークを実装するために必要 となる2つのシナプス回路の提案を行っている。一つ目の回 路 として、正 と負の両方の抵抗値 をもつ新 しいフローティングレジスタの提案を行 っている。提案回 路の等価抵抗値は、
MOSト
ランジスタの しきい値電圧 に依存 していないため、より正確な抵抗値 を 実現することがで きると考 えられる。二つ目の回路 として、MosFETの
線形領域 と飽和領域 とを相 補的に組み合わせた四象限乗算器の提案を行 っている。この乗算器は、入力信号範囲が しきい値電圧 VTから電源電圧VDDま での広い範囲で動作することが可能である。このため、従来の乗算回路 と比較 して電源電圧の低下に対 して、有利であると考えられる。これら二つのシナプス回路を用いて、アナ ログニユーラルネッ トワークを設計 し、3章
で設計 したニューラルネ ッ トヮークの動作検証 をHSPICEに
て行い提案回路の有効性 を示 している。最後 に、第5章において本論文の総括が述べ られてお り、今後の課題 と展望について論 じられてい る。
以上の成果は、ニューラルネットワークの分野を中心 とし、工学的分野において価値 を持ち、博士 (工学)の学位 を与えるに値すると認定する。
―H5‑
