カオスニューラルネットワークリザバーにおける
ダイナミクスとリザバー性能に関する検討
Dynamics of the Chaotic Neural Network Reservoir and its Performance福田 佳祐1 Keisuke Fukuda 井上 理哲人1 Maakito Inoue 堀尾 喜彦1 Yoshihiko Horio 東北大学 電気通信研究所1
Research Institute of Electrical Communication, Tohoku University
1 まえがき 脳の情報処理様式にヒントを得た計算モデルの中で， リザバーコンピューティングは，特に時系列処理に向い ており，また，単純な構造であるためハードウェア実装に も適している．リザバー層のネットワークとしての安定 性を保存しつつ，カオスダイナミクスを導入する手法と して，カオスニューラルネットワークリザバー (CNNR) が提案されている [1, 2]． 本稿では，CNNR のダイナミクスとそのリザバーと しての性能を時系列予測特性を用いて検討する． 2 カオスニューラルネットワークリザバー CNNR のリザバー層は以下のカオスニューロンモデ ルで構成した [1, 2]． xi(t + 1) = kxi(t) + M Σ j=1W in ijuj(t) + N Σ j=1Wijf (xj(t))− αf (xi(t)) + θ (1) yi(t + 1) = f (xi(t + 1)) (2) f (x) = 1 1 + exp(−x/ϵ) (3) ここで，xi(t)，yi(t) は，それぞれ，時刻 t における i 番 目のニューロンの内部状態と出力，Win ij と Wijは，そ れぞれ，j 番目のニューロンから i 番目のニューロンへ の入力結合重みと内部結合重み，uj(t) は j 番目の外部 入力，k と α は不応性のパラメータ，M は外部入力の 総数，N はリザバー内のニューロン数，θ は外部バイア ス，f (·) はニューロンの出力関数である． 3 シミュレーション実験 CNNR のダイナミクスとその特性を調査するために， 周期関数を入力したときの 1 ステップ予測を行った．こ の時のシミュレーション条件を表 1 に示す．ここで，リザ バー内のニューロン j と出力ニューロン i との結合 Wout ij は線形回帰によって学習した．ネットワーク出力と教師 信号の誤差の評価には，平均二乗誤差 (MSE) を用いた． CNNR とカオスダイナミクスを呈さない通常のリザ バーの 2 つに対して，それぞれ初期値を変えて，シミュ レーション実験を 100 回行い，MSE の最小値，平均値， 最大値を求めた結果を表 2 に示す．ここで，リザバー内 のニューロンのパラメータ，k，θ，ϵ は，表 1 で示した 範囲を 0.1 刻みで変化させ，MSE が最小となる値をそれ 表 1 シミュレーション条件 N 100 u(t) 0.9 sin2(2πt ) Teacher signal u(t + 1) x(0) Uniform[-1, 1] Win ij 0 (80 %) or Uniform[-1, 1] (20 %) Wij 0 (80 %) or Uniform[-1, 1] (20 %) Wout ij (initial) 0 (80 %) or Uniform[−0.01, 0.01] (20 %) Spectral radius 0.98 k [0, 1] α {0 , 1} : {Non-chaos , Chaos} θ [−0.5, 0.5] ϵ [0.1, 1] Training length 1000 steps
表 2 カオスリザバーと一般的なリザバーの MSE 比較
MSE
Min. Ave. Max. Non-chaos 1.53× 10−4 3.78× 10−4 1.1× 10−3 Chaos 2.77× 10−4 1.84× 10−3 3.26× 10−2 ぞれ採用した．その結果，各パラメータは，通常のリザ バーでは，k = 0，α = 0，θ =−0.4，ϵ = 0.2，CNNR では，k = 0.1，α = 1，θ = 0.1，ϵ = 0.4 であった．な お，CNNR はカオス状態であることをニューロンの内 部状態により確認している． 表 2 より，CNNR では，内部ダイナミクスがカオス 的に変動しているにも関わらず，リザバーネットワーク として機能しており，MSE の最小値も通常のリザバー と近い値を示すことが分かる． 4 結論 CNNR におけるダイナミクスとそのリザバーとして の性能をシミュレーションにより調査した．高次元カオ スダイナミクスにも関わらず，CNNR はリザバーネット ワークとして機能することが分かった． 今後はカオス時系列の予測や，リアプノフスペクトラ ムによるダイナミクスの評価を行う． 謝辞 本研究は東北大学電気通信研究所における共同プロジェク ト研究(H29/A21)による． 参考文献 [1] T. Tassy, Y. Horio,信学総大, N-1-2, 2018. [2] Y. Horio, in Proc. ICAND, 2019.
Copyright © 2019 IEICE 2019/9/10 〜 13 豊中市
168
