第 4 章 時空間神経ダイナミクスに基づく時系列信号分類 49
4.4 ネットワークダイナミクスと音声識別性能の関係
図4.5 入力に対するreservoir層の状態行列．ランダムネットワーク（左），モジュ ラーネットワーク（右）
と求められる．y′ の中で最大値を持つ成分をネットワークの最終的な推定解とし，これ が所望の解と等しければ正解とする．
表4.1 Reservoir層のネットワーク構造が異なる条件下での，モジュール性，複雑性，
オンライン学習及びオフライン学習時の正解率．
ネットワーク構造 Modularity Functional complexity CR(online) CR(offline)
Random (pin = 0.25) 0.20 0.22 87% 81%
Modular (pin = 0.80) 0.50 0.28 86% 81%
Modular (pin = 0.98) 0.71 0.38 87% 80%
じ，部分同期発火に至ったのだと考えられる．この結果から，音声入力に対しランダム ネットワークとモジュラーネットワークで異なるダイナミクスが発現していることが確か められた．
4.4.2 音声識別性能の比較
Reservoir 層のネットワークの構造が異なる 3つの条件下で，音声識別性能の比較を
行った．ネットワークの構造パラメータは，reservoir層のニューロン数N = 200，結合 次数k¯ = 10，モジュール数M = 4，抑制性ニューロンの割合Ir = 0.2とした．結果を 表4.1に示す．これまでの章で示した実験結果と同様に，pin が増加するに従ってネット ワークのモジュール性とダイナミクスの複雑性は増加した．また，オンライン学習時より オフライン学習時のほうが高い性能が得られた．一方で想定とは異なり，ネットワークの モジュール性や複雑性が異なっていても正解率は変わらなかった．次に，それぞれのネッ トワークのオンライン学習時の学習曲線を比較した．結果を4.6に示す．グラフから分か るように，オンライン学習時にはepochごとに正解率が増加していき，およそ5epoch目 で性能が飽和していることが分かる．一方で，ネットワーク構造が異なっていても学習曲 線に大きな差異は見られないことが分かった．これは，荷重値の収束までの傾向も似通っ ていることを示している．
これらの結果が得られた原因をより詳細に調べるため，各ネットワーク構造における ラスタープロット，相関係数のヒストグラム，相関係数行列を比較した．結果を図4.7,
4.8, 4.9にそれぞれ示す．これらの図を比較すると，モジュール性が高くなっていくこと
でランダムネットワークに比べて相関の高いニューロンペアが現れ始め，pin = 0.98 の 場合には部分同期発火が生じている．またラスタープロットに併記したヒストグラムか ら，ランダムネットワークでは異なる入力に対しても各ニューロンの発火レートの変動が 少ないことがわかる．一方で，モジュラーネットワークでは，入力によっては同期的な
図4.6 オンライン学習時の学習曲線．横軸はepoch，縦軸は正解率を示す．
表4.2 Reservoir層のニューロン数N = 400の場合の，モジュール性，複雑性，オン ライン学習及びオフライン学習時の正解率
ネットワーク構造 Modularity Functional complexity CR(online) CR(offline)
Random (pin = 0.25) 0.20 0.21 90% 87%
Modular (pin = 0.80) 0.53 0.25 93% 90%
Modular (pin = 0.98) 0.71 0.21 86% 87%
強い発火が生じていることがわかる．このような発火状態の違いにより，高いfunctional complexityが実現されている．
Reservoir層のニューロン数N を200から400に増やし，その他のパラメータを固定
し，正解率に対するReservoir層のサイズ依存性を調べた．結果を表4.2に示す．pin が 増加するに従ってネットワークのモジュール性は増加したが，ダイナミクスの複雑性は ほとんど変化しなかった．また識別性能に関しては，N = 200の場合と比較して最大で 10%程度の向上が見られた．これは，Reservoirのサイズが増大することで性能が向上す るという先行研究 [41]と整合する．またN = 200の場合と同様に，オンライン学習時よ りオフライン学習時のほうが高い性能が得られた．しかし，この条件下においても，ラン ダムネットワークとモジュラーネットワークの性能の差異は見られなかった．
図4.7 N = 200, k = 10, Ir = 0.2のランダムネットワークをreservoir層として用 いた場合の(a)ラスタープロット，(b)相関係数のヒストグラム，(c)相関係数行列．
ランダムネットワークとモジュラーネットワークでfunctional complexityが大きく変 化しなかった原因を調べるため，各ネットワーク構造におけるラスタープロット，相関係 数のヒストグラム，相関係数行列を比較した結果を図4.10, 4.11にそれぞれ示す．図か ら，モジュラーネットワークにおいても部分同期発火や全体同期発火などのモジュラー ネットワークを特徴づける発火状態が現れていないことが分かる．これはニューロン数の 増加によりネットワーク全体及びモジュール内の結合密度が減少したため，同期発火を誘 起するような細胞集団が現れなかったためである．この為，ランダムネットワークとモ ジュラーネットワークで似通った発火状態となり，結果として複雑性及び識別性能の差異 が現れなかったのだと考えられる．
Reservoir 層の数M を4から10に増やし，その他のパラメータは固定して，正解率
に対するReservoir層のモジュール数依存性を調べた．結果を表4.3に示す．ネットワー
クのモジュール数が4の場合と比べmodularityが高い値となったが，これはモジュール 性がpin−1/M に従うためである．一方でダイナミクスの複雑性は，pin = 0.8で最大と なった．識別性能に関しては，オフライン学習時の場合には差異が見られなかったが，オ
図4.8 N = 200, k = 10, Ir = 0.2, M = 4, pin = 0.8のモジュラーネットワークを reservoir層として用いた場合の(a)ラスタープロット，(b)相関係数のヒストグラム，
(c)相関係数行列．
ンライン学習時にはモジュール性の増加に伴い性能が劣化した．M = 10のモジュラー ネットワークにおけるラスタープロット，相関係数のヒストグラム，相関係数行列を比較 した結果を図4.12, 4.13にそれぞれ示す．pin = 0.8のネットワークにおいて，部分同期 発火や全体同期発火が入り混じった複雑なダイナミクスが発現していることが分かる．こ れは，モジュール数の増加によりモジュール一つ辺りの結合密度が増加したことで部分同 期発火が起こりやすくなったことに起因する．対して，pin = 0.98のネットワークでは，
部分同期発火はするもののモジュール間結合が少なすぎる為に全体同期発火が起こらず，
Functional complexityが減少した．またオンライン学習時に性能が劣化した原因は，一
部のモジュールが過剰に同期発火する状態で学習を行ったため，各細胞毎の発火率に差が 生じ荷重値が最適値へ収束しなかったためだと考えられる．
図4.9 N = 200, k = 10, Ir = 0.2, M = 4, pin = 0.98のモジュラーネットワークを reservoir層として用いた場合の(a)ラスタープロット，(b)相関係数のヒストグラム，
(c)相関係数行列．
表4.3 Reservoir層のモジュール数M = 10の場合の，モジュール性，複雑性，オン
ライン学習及びオフライン学習時の正解率
ネットワーク構造 Modularity Functional complexity CR(online) CR(offline)
Random (pin = 0.25) 0.20 0.22 87% 81%
Modular (pin = 0.80) 0.64 0.55 80% 71%
Modular (pin = 0.98) 0.85 0.36 91% 52%
4.4.3 細胞の集団的発火が学習へ及ぼす影響
これまでに議論してきた通り，モジュラーネットワークは一般にネットワークの障害や 拡張に対してロバスト性を有する．これは，ネットワークの一部が密に結合して高い相関 を持つことにより，その集団単位での活動は維持され活動の変調を受けづらい性質を獲得
図4.10 N = 200, k= 10, Ir= 0.2のランダムネットワークをreservoir層として用 いた場合の(a)ラスタープロット，(b)相関係数のヒストグラム，(c)相関係数行列．
しているのだと考えられる．このような活動が相関している細胞集団が存在することによ る学習への影響を明らかにすることを目的とした実験を行った．
Reservoir 層のネットワークを構成するパラメータは前節と同様に N = 200, k =
10, Ir = 0.2とし，モジュラーネットワークの場合はM = 4, pin = 0.8,0.98とした．次
に，Redge 回帰より荷重値を学習した後，学習済みの荷重値行列の一部の行ベクトルを
零ベクトルで置換した．これは一部のニューロンの活動を用いずに解を推定するような条 件に相当する．零ベクトルに置換した行が多いほど問題は難しくなる．図4.14に，荷重 値行列の行成分の欠損率に対する各ネットワークの正答率を示す．各点はn= 10の平均 を示す．欠損率が50%の場合でも，正解率は80%程度で維持された．これはネットワー クの情報表現に冗長性があることを示している．一方で，ランダムネットワークとモジュ ラーネットワークの間で欠損率の変化に対する性能の劣化の程度に違いは見られなかっ た．このような結果が得られた原因としては，Ridge回帰を用いることで，同期的に発火 している細胞集団の個々の細胞の微小な発火率の違いからでも十分に学習が可能であった ことを示している．
図4.11 N = 200, k= 10, Ir= 0.2, M = 4, pin = 0.98のモジュラーネットワークを reservoir層として用いた場合の(a)ラスタープロット，(b)相関係数のヒストグラム，
(c)相関係数行列．
4.4.4 考察
これまでに得られた結果から，ネットワーク構造と識別性能の関係について考察する．
学習は，reservoirの状態ベクトルxを基底として解ベクトルyを実現する為の係数 W
を求める問題を解くことと等しい．この時，独立な基底が多いほうが学習は上手くいく．
モジュラーネットワークでは，密に結合したモジュール内のニューロンの相関は高くな る．これは，そのまま独立な基底の減少を意味する．外部ノイズが無く，かつそれぞれの ニューロンの応答が同一信号に対して完全に再現するような条件下においては，ランダム ネットワークの方が学習性能が高くなることは容易に想像できる．ただし4.4.3節の結果
から，Ridge回帰を用いた場合には強い相関を持つ細胞の活動の微小な発火率の差異から
も学習が可能であるため，ランダムネットワークとモジュラーネットワークでの学習性能 の差異は見られなかった．