博士（工学）李 移勝 学位論文題名
構造化リカレントニューラルネットワークに関する研究 学位論文内容の要旨
一般にニューラルネットワークは大きく2つに分けられる。即ち、階層型ネットワークとり カレントネットワーク（Recurrent Neural Network）である。情報処理システムとして見た 場合、前者は、入カパターンを出カパターンに変換する汎用的な非線形写像を実現する静的 なシステムと考えることができる。一方後者は、各ユニットの非線形性とフイードバック結 合のために複雑な非線形ダイナミックスを持っており、リミットサイクルやカオス（不規則 な非周期運動）等、様々な時間的な振り舞いを示している。その動作が複雑な非線形力学で あり、時空間的で動的な情報の処理に適すると考えられている。
従来，よく研究されている最も一般的な構造のりカレントニューラルネットワークは、
N個のニューロンに対してN2個の全結合が存在する完全な相互結合型ネットワークである。
実際、工業応用を視野において研究を行なう時、リカレントニューラルネットワークの理 論的な検討と同時に、ネットワークの構造もVLSI化しやすいようなものにしなければなら ない。
本研究は、並列計算及びVLSIストラクチャに適する構造化リカレントニューラルネッ トワーク（SRNNと略す）を新たに提案する。また、ネットワークの構造化ストラクチャの 特徴を利用して、生成学習法を提案する。このネットワークはいくっかの振動モジュールか ら構成され，ダイナミックスの学習と再生を行うのに有効である。振動モジュールは，お互 いに全結合されているニつのニューロンによって構成し、各モジュールはそれぞれに適した 学習係数を学習アルゴリズムによって与えられている。本ネットワークは，学習の収束した 時点でネットワークのサイズが決められるとぃう特徴を持つ。ネットワーク及び学習法の有 効性を検証するため、いくつ非線形記噫・再生実験を行なった。ネットワークをカ学系とし て捉えた場合、周期時系列を学習させる時、系には周期アトラクタを形成することができ、
音声波形を憶えさせる時、系には弱カオスアトラクタを形成したことができるとぃう結果が 観測された。提案するネットワークは音声信号処理（音声合成など）、ロボット制御などの 応用に可能であることを示唆している。
本 論 文 は6章 よ り 構 成 さ れ て い る 。 各 章 を 要 約 す る と 以 下 の よ う に な る 。 第1章は全体の序論である。第2章では、時系列の記憶に有効なモデルを要約した。い くっか階層型の拡張ネットワークモデル、特殊な目的を持たせたりカレントニューラルネッ トワー クモデル などを 説明し、 本研究 で提案す るSRNNを詳 しく解説 した。 最後、SRNN の非線形近似能カを数学の立場で解説した。
第3章では、リカレントニューラルネットワークに関する学習方法を説明した。良く使 われてい る実時 間学習法 、BPTT学習法などを紹介してから、最近開発された実時間BPTT 学習法を解説し、本研究で提案する生成学習法を紹介した。
第4章では、提案するモデルと学習法の有効性を検証するため、いくっかシミュレーショ
‑ 651− ・
ンを行ない、その中から代表的なものを選び、その結果を分析した。周期波形の学習は、十 分な学習を経てから、ネットワーク内には周期アトラクタを形成しており、教師信号を再生 し続けることができた。非周期複雑な非線形ダイナミックスとして音源波形を選び、その 学習の結果を報告した。揺らぎを含まれている音源波形の学習は、十分な学習を経てから、
ネットワークはある非周期な弱カオスアトラクタに収束していくことが分かった。また、再 生した音源波形の音声特性も解析し、SRNNは音声信号処理分野に応用することが可能であ ることを示唆した。これらの実験結果より、提案するモデルと学習法の有効性を検証した。
第5章では 、第四章での音源波形の学習により得た系のカオス状態をより詳しく分析 した。
第6章 は 結 論 と し て 、 本 論 文 で 述 ぺ た 研 究 を 総 括 し 、 今 後 の課 題 を 述べ る 。 本研究の成果は以下のように要約される。複雑な非線形ダイナミックスの学習と再生の 能カを 有する 構造化RNNを提案した。このネットワークはお互いに独立な振動モジュール から構成さ．れ，並列計算及びVLSIシステム化に向く構造を持っている。次に、このネット ワークに適する新しい学習アルゴリズム、いわゆる生成学習法を提案した。この学習法の大 きな特徴としては最適に近いネットワー0のサイズが決まることができることである。ネッ トワークの特徴と合わせて，高速に学習することができる。提案するモデルの有効性を検証 するため、非線形ダイナミックスを近似するシミュレーション実験を行ない、実験の中から ニ つ代 表的 な例を 選び、そ の学習 過程及び 特性を説 明し、 学習結果 などを 解析した 。 以上より本研究によって、提案するSRNNを用いて複雑な非線形ダイナミックスを近似 するができ、また、音源波形を学習させる時ネットワークがカオス的な振舞を示したことを 明らかにした。
‑ 652ー
学 位論文審査の要旨 主査
副査 副査 副査
教授 教授 教授 助教授
栃内 小川 北島 宮永
学 位 論 文 題 名
香次 吉彦 秀夫 喜一
構造 化リカレ ントニュ ーラル ネットワークに関する研究
二 ユ ー ラ ル ネ ッ 卜 ワ ー ク は 、 大 別 し て 階 層 型 ネ ッ 卜 ワ ー ク と り カ レ ン ト ネ ッ 卜 ワ ー ク
（Recurrent Neural Network)に 分 け ら れ る 。 前 者 は 、 入 カ パ タ ー ン を 出 カ パ タ ー ン に 変 換 す る 汎 用 的 な 非 線 形 写 像 を 実 現 す る 静 的 な シ ス テ ム と 考 え る こ と が で き 、 後 者 は 、 各 ユ ニ ッ ト の 非 線 形 性 と フ ィ ー ド バ ッ ク 結 合 の た め に 複 雑 な 非 線 形 ダ イ ナ ミ ッ ク ス を 持 っ て お り 、 リ ミ ッ ト サ イ ク ル や カ オ ス （ 不 規 則 な 非 周 期 運 動 ） 等 を 示 し 、 動 的 な 情 報 の 処 理 に 適 す る と 考 え ら れ る 。 し か し な が ら 、 従 来 か ら 知 ら れ て い る 一 般 的 な 構 造 の り カ レ ン ト ネ ッ ト ワ ー ク は 、N個 の ニ ュ ー ロ ン に 対 し てNの2乗 個 の 結 合 が 存 在 す る 完 全 な 相 互 結 合 型 ネ ッ ト ヮ ー ク で 、VLSI化 が 困 難 で あ る 等 、 応 用 面 で の 問 題 が あ っ た 。
本 論 文 は 、 並 列 処 理 及 びVLSI化 に 適 した 新し いタ イ プの 構造 化リ カレ ント ニュ ーラ ルネ ッ ト ワ ― ー ク と 、 こ の 特 徴 を 利 用 し た 生 成学 習法 を提 案 し、 非線 形記 憶及 び再 生実 験を 行な っ て そ の 有 効 性 を 確 認 し た も の で 、 そ の 主 な 成 果 は 以 下 に 要 約 さ れ る 。 （1） 相 互 に 独 立 し た 、2個 の ニ ュ ー ロ ン か ら な る 振 動 モ ジ ュ ー ル に よ っ て 構 成 さ れ 、 並 列 処 理 及 びVLSI化 に 適 し た 構 造 化 リ カ レ ン 卜 ネ ッ ト ワ ー ク を 提 案 し 、 そ の 非 線 形 近 似 能 カ の 理 論 的 解 析 を 行 っ た 。
(2)次 に 、 こ の ネ ッ ト ワ ー ク に 適 す る 新 し い 学 習 ア ル ゴ リ ズ ム と し て 、 最 適 に 近 い ネ ッ ト ヮ ー ク サ イ ズ を 決 め る こ と が で き 、 ま た 高 速 に 学 習 す る こ と が で き る 生 成 学 習 法 を 提 案 し 、 従 来 か ら 知 ら れ て い る 実 時 間 学 習 法 、BPTT学 習 法 等 と 比 較 し て 優 れ た 学 習 能 カ を 有 す る こ と を 確 認 し た 。
(3)こ の ネ ッ ト ワ ー ク の 有 効 性 を 検 証 す る た め 、 周 期 波 形 の 学 習 実 験 を 行 い 、 十 分 な 学 習 を 経 て か ら 、 ネ ッ 卜 ワ ー ク 内 に は 周 期 ア ト ラ ク タ が 形 成 さ れ 、 教 師 信 号 を 再 生 し 続 け る こ と が で き る こ と を 確 認 し た 。
(4)揺 ら ぎ を 含 む 複 雑 な 非 線 形 ダ イ ナ ミ ッ ク ス を 有 す る 信 号 と し て 音 声 波 形 の 学 習 実 験
を行い、十分な学習を経てから、ネットワークは非周期的な弱カオスアトラクタに収束し ていくという結果を得た。また、再生された音声波形の特性を解析し、本ネットワークの 音声信号処理への応用可能性を確認した。
