ニュｰラルカオスシステムにおけるノイズ誘起特性に関する研究
91
0
0
全文
(2) 脳神経系はニューロンという「カオスダイナミク. において，ノイズの存在がこれらのシステムの. スを有したカオスデバイス」で構成された大規模. 挙動に及ぼす影響をコンピュータ実験を通して詳. な非線形システムとして捉えられる．. しく検討した．その結果，適度な大きさ（強度）. 2 論文の構成. のノイズ存在下でカオスニューロンおよびその. 本論文は次に示す5つの章で構成されている．. 第1章 序論 第2章ニューラルカオスシステムとノイズ 誘起特性. 第3章カオスニューラルネットワークにおけ るノイズ誘起現象 第4章 ネットワークサイズの拡大およびカ オス性との関連性評価. 第5章 結論と今後の課題. 3 論文の概要 第2章では，本研究で扱うカオスニューロンモ デルとその基本的性質について述べるとともに， カオスニューロンの相互結合システムによる自己 想起型の連想記憶モデルについて説明する．さら に，ノイズの存在によって対象とする非線形シス テムの挙動が安定化するノイズ誘起秩序と呼ばれ. る現象について述べる．第3章では，非線形応答 性を持つ単一のカオスニューロンおよび3個のカ オスニューロンから構成される，自己想起型で最 小サイズのカオスニューラルネットワークの場合 に対して，そのノイズ誘起現象をコンピュータ実. 験により具体的に分析する．第4章では，自己想 起型ネヅトワークのサイズ（ニューロン数）を拡 大した場合のノイズ誘起特性について調べるとと もに，カオス性の評価尺度であるリアプノブ指数 に着目してノイズ誘起秩序とカオスとの関係につ. いて検討する．最後に第5章では，本研究の結論 と今後の課題について述べる．. ネヅトワークの挙動が秩序立つ，ノイズ誘起秩序 （NIO）の生起が確認された．. 具体的には，ノイズを印加された単一ニュー ロン，3ニューロンからなる小規模な自己想起型 ネットワーク，および144ニューロンからなる大 規模な自己想起型ネットワークの経時挙動に対し て時間自己相関と固有相関量を求め，これを尺度 として挙動の秩序性の度合いを評価した．その結. 果，ノイズ強度が高くなると固有相関量らが上 がり，ある一定値を越えると再びらが下がって いく．つまり，適度なノイズの存在によりニュー ロンおよびネットワーク挙動に秩序性が誘起され ることが確認できた．リアプノブ指数の評価結果. を考慮すると，単一ニューロンと3ニューロンの 場合はカオスから非カオスの秩序状態への転移で. あるが，144ニューロンの場合に出現した秩序状 態は一部の次元にカオス性を残したままであると 解釈できる．また以上の結果は，ノイズタイプが ガウス型白色ノイズ，一様乱数ノイズのいずれで あっても傾向に大差はなかった．. 今後の課題としては，まず，上記で述べた小自 由度と大自由度との問でノイズ誘起秩序状態の性 質に差が出てくる，そのメカニズムの解明が挙げ. られる．そのためには中規模（N＝20程度）の ネヅトワークサイズで実験を行ない，その結果を 分析することが考えられる．また，システム挙動 の秩序性評価のための新しい尺度の検討が挙げら れる．本研究では時間自己相関とそれに基づく固 有相関量を用いたが，その他にエントロピーや情 報量，またリアプノブ指数と関係のあるフラクタ. 4 まとめ 本研究では，単一でカオス性を持ち得るカオス ニューロン，およびその相互結合によって構成さ れる自己想起型のカオスニューラルネットワーク. ル次元などの適用が考えられる．. 主任指導教官 西村 治彦 指導教官. 森広浩一郎.
(3) 修士論文. ニューラルカオスシステムにおける ノイズ誘起特性に関する研究. 兵庫教育大学大学院 学校教育研究科 教科・領域教育専攻. 総合学習系コース. MOO246D. 藤澤 弘典.
(4) 目次 3. 第1章 序論. 第2章 2．1. 2．2. 2．3. 第3章 3．1. 3．2. 6. ニューラルカオスシステムとノイズ誘起特性 カオスニューロン＿．，．．．．．．．．．．．．．．．. ．. 6. 2．L1 ニューラルカオスとカオスニューロンモデル．. ．. 6. 2．1．2 カオスニューロンの挙動．．．．．．．．＿．. 11. 自己想起型カオスニューラルネットワーク．．．．。. 16. 2．2．1 カオスニューラルネヅトワーク ．．．．．．．. 16. 2．2．2 ホヅプフィールド記憶の形成 ．．。．。．．．. 17. 非線形システムとノイズ誘起秩序＿．．．．．．．．. 22. カオスニューラルネットワークにおけるノイズ誘起現象. 25. 単一ニューロンの場合．．．．．．．。．。．．．．．．．．．．. 25. 3。1．1 ニューロン状態の時系列変化とそのノイズ依存性．. 25. 3．1．2 固有相関量による評価 ＿．．．．．．．．．．．．．. 35. 3．1．3 ノイズタイプを変化させた場合．。．．．．．．．．. 39. 自己想起型最小サイズ（1＞＝3）ネヅトワークの場合．．. 42. 3．2．1 モデルの構成とパラメータ設定．．．．＿．．．．．. 42. 3．2．2 ネヅトワーク状態の時系列変化とそのノイズ依存性. 45. 3．2．3 ノイズタイプやパラメータを変化させた場合．．．．. 50. 第4章 ネットワークサイズの拡大およびカオス性との関連性評価. 54. 4．1大規模ネットワークサイズ（N＝144）の場合．．。＿．．. ． 54. 4．L1 モデルの構成とパラメータ設定．．．．．．．．．．. 54. 1.
(5) 56. 4．L2 ノイズ誘起特性の評価＿．．．．．．．． ． 4．2 カオス性との関係性評価．．．．．．．．．．．．. 65. 4．2．1 リアプノブ指数の導入．．．．，．．．．. 65. 4．2．2 固有相関量とリアプノブ指数の関係性. ．. ．． 67. 第5章 結論と今後の課題. 76. 謝 辞. 78 79. 付 録. 79. A。. 拡大分岐図（図3．2）対応のリアプノブ指数 ．．．．. B．. α＝0．613の場合の時聞自己相関．．。．．．．．．．．. C．. 一様乱数ノイズ下での実験結果（α＝0．750の場合）. D．. 逐次学習アルゴリズムのフローチャート ．。．。．. 83. E．. 実験に用いた記銘パターン．．．．．．．．．．。．．. 84. F．. リアプノブ指数．．．．．。．．．．．．．．．．．．．. 85. ．. 80. ．．． ．81. 87. 参考文献. 2.
(6) 第1章 序論 人類は，自然や社会のシステムにおける多くの複雑な現象に対して「線形近似」 により理解しようとしてきた．線形システムでは，原因と結果がある意味で比例的 （直線関係）であり，簡単な予測が可能である．また，2つ以上の作用がある場合， システム全体の結果は各々の作用に対して生じた結果を足し合わせたものになる．. 確かにこれにより取り扱いは容易になるが，それでは自然や社会における現象の 複雑多様な挙動や性質は見かけ上消されてしまう．現在では，自然現象のみなら ず社会現象の本質をも理解するのに「非線形」という概念が大きな役割を果たす と期待され，科学技術や社会科学の世界で重要性が増しつつある［1］．ここで，非 線形（nonlinear）とは線形（linear）以外のものを指す広い概念であり，線形での 比例や重ね合わせが成り立たず，簡単な予測が困難な性質を持つ系のことをいう．. 中でも，システム全体の結果として不規則に変動する時系列が生成，保持される. 場合にカオスが出現する．カオスとは，決定論的な非線形システムにおける非周 期で不規則な挙動を指し，その動きは初期条件の微少な差異に敏感に依存するの で，そこでの長期予測は不可能になるというものである．この現象はこれまでに， 脳，生体，気象，生態系などあらゆるところに見い出されている図［3］．. 一方，我々が一般にシステムを対象とするとき，常に配慮を迫られるのがノイズ の存在とその影響である．そして通常，ノイズの存在は対象システムの応答を乱す と考えられ，これまではノイズの発生や影響を抑えることに努力が払われてきた． 確かに線形システムでは，システム全体の結果にノイズはその大きさに応じた量的 変化を及ぼすので，システムの応答性はそれを被った形で乱されることになる．し かし非線形システムでは，ノイズは量的変化ではなく質的変化を全体の結果に引き 起こし得るので，線形システムでは決して見られない現象が生起する可能性がある．. 実際，ノイズの存在による，閾値下の微弱信号の受容（検出），システム同調化現 3.
(7) 象，結合振動子系の安定化等，非線形システムにおいてノイズが積極的な役割を果 たし得ることも判りつつある．特に対象システムがカオス系である場合には，ノイ ズによる周期状態からカオス状態への遷移や，カオスが消えて秩序化するノイズ誘 起秩序（Noise−Induced Order：NIO）と呼ばれる興味深い現象も報告されている．. このノイズ誘起秩序は，ベローソフージャボチンスキー（Belousov−Zhabotinsky （BZ））反応（化学での酸化還元過程）のモデルを用いた研究で最初に発見され，. その後，電気回路やレーザー光による実験，化学反応モデルなどを対象に調べら れてきた．また，神経膜興奮のポジキンーバクスレイ（Hodgkin−Hu）dey）方程式. や神経パルスのフィヅツフーーナグモ（FizHugh−Nagumo）モデルでのノイズの影. 響の検討など，生体現象を指向した研究も始まりつつある囚同． そこで本研究では，神経細胞の数理モデルであるカオスニューロンに基づく， ニューラルカオスシステムに対してノイズを印加し，その応答性の評価を通してノ イズ誘起現象について詳しく検討する．ニューラルシステムは脳を含む生体神経系. のモデルとして現在注目されており，そこでのノイズ誘起特性の解明は生体機能 を理解する上でも重要であると思われる．単一ニューロンレベルでのカオスの存在 は，神経軸索の生理学的知見をもとに構成されたポジキンーバクスレイ（Hodgkin− Hu）dey）方程式の理論的考察［6］からもほぼ定量的に裏づけられている．つまり，. 脳神経系はニューロンという「カオスダイナミクスを有したカオスデバイス」で 構成された大規模な非線形システムとして捉えられる．従来のマカロックーピッ ヅ（McCunoch−Pitts）型の形式ニューロンモデルでは，実際の生物のニューロン. を単純化し過ぎており，そのためにカオスの生成に寄与するファクターが捨て去 られていると考えられる．. ニューラルネヅトワークに関する研究［71［81は，上記の形式ニューロンモデル. がマカロックーピッツ（McCuUoch．Pitts）によって提案された1940年代に始ま る．これは，脳を構成するニューロンを多入力1出力の非線形素子としてモデル化 し，それらを接続してニューラルネヅトワークを構成したものである．以後，ヘブ （Hebb）の学習アルゴリズム，1950年代のローゼンブラット（Rosen．blatt）が提案. した学習認識のできるパーセプトロン，1980年代のホップフィールド（Hop負eld）. 4.
(8) が提案した連想記憶モデル，ヒントン（Hinton）らが提案したボルツマンマシン，. ラメルハート（Rumellla■t）らが提案した誤差逆伝搬法など多くの学習アルゴリ. ズムやモデルの提案が行われ現在に至っている．その中で，記憶機能を最も簡明 な形でモデル化したニューラルネヅトワークとしてホヅプフィールド・ニューラ ルネットワーク［9］が知られている．これは，先の形式ニューロンモデルの回路網 （ニューラルネヅトワーク）にエネルギー関数の概念を導入し，記憶すべき対象を そのエネルギー関数の局所安定状態に対応させるというものである．記憶という機. 能を力学系における極小値安定問題として理論化され得ることを示した点で，こ のモデルは意義深いものである．. 以下，第2章では，本研究で扱うカオスニューロンモデルとその基本的性質に ついて述べるとともに，カオスニューロンの相互結合システムによる自己想起型 の連想記憶モデルについて説明する．さらに，ノイズの存在によって対象とする. 非線形システムの挙動が安定化するノイズ誘起秩序と呼ばれる現象について述べ. る．第3章では，非線形応答性を持つ単一のカオスニューロンおよび3個のカオ スニューロンから構成される，自己想起型で最小サイズのカオスニューラルネッ トワークの場合に対して，そのノイズ誘起現象をコンピュータ実験により具体的. に分析する．第4章では，自己想起型ネヅトワークのサイズ（ニューロン数）を 拡大した場合のノイズ誘起特性について調べるとともに，カオス性の評価尺度で あるリアプノブ指数に着目してノイズ誘起秩序とカオスとの関係について検討す る．最後に第5章では，本研究の結論と今後の課題について述べる．. 5.
(9) 第2章 ニューラルカオスシステムと ノイズ誘起特性. ここでは，本研究で扱うカオスニューロンモデルとその基本的性質について述 べるとともに，カオスニューロンの相互結合システムによる自己想起型の連想記 憶モデルについて説明する．さらに，ノイズの存在によって対象とする非線形シ ステムの挙動が安定化するノイズ誘起秩序と呼ばれる現象について述べる．. 2．1 カオスニューロン 2．1．1 ニューラルカオスとカオスニューロンモデル 現実の脳神経系から得られるデータの時系列解析を通して，カオスの存在が数 多く観測されている［10］．しかも，イオンチャネル，イソアワモチやヤリイカの. 巨大神経，ラットの自己刺激時の海馬錐体細胞の活動，ウサギの嗅球脳波，ヒト. の様々な状態での脳波など，神経系から取り出された神経細胞一本の電気的応答 から神経回路網の集合体である脳全体の活動状態まで，いくつかの階層レベルで 確認されている．これら神経系に現れるカオスは総称してニューラルカオスと呼 ばれている［11］．. 図2．1は実際の神経細胞（ニューロン）の概略を図示したものである．個々の神. 経細胞は，樹状突起を経て多くの神経細胞からの信号を受け取り，その信号に反 応した細胞体から発せられる電気的信号（インパルス）が軸索を経て神経終末か ら他の細胞へ送信される構造となっている［12】．現在，この単一ニューロンレベ. ルでのカオスの存在は，神経軸索の生理学的知見をもとに構成されたポジキンー. 6.
(10) 軸索小丘. 電気的信号. ノし一ノし. ／ シナプス. ＼一. 軸索. 細胞体. 神経終末. 樹状突起. 図2．1神経細胞（ニューロン）の基本構成. バクスレイ（Hodgkin−HU」dey）方程式の理論的考察［6】からもほぼ定量的に裏づけ. られている．つまり，脳神経系はニューロンという「カオスダイナミクスを有し. たカオスデバイス」で構成された大規模・複雑システムとして捉えられる必要が ある．従来のマ適才ヅクーピヅヅ（McCuHoch−Pitts）型の形式ニューロンモデルで. は，実際の生物のニューロンを単純化し過ぎており，そのためにカオスの生成に 寄与するファクターが捨て去られていると考えられるからである． 合原ら［13］［14］［151はこのような状況の中で，カオスを含む実際のニューロン. の応答性を記述できる比較的単純なモデルとしてカオスニューロンモデル（以降，. カオスニューロンと呼ぶ）を提案した．このカオスニューロンの関係式は，実際 のニューロンにみられる不応性効果（ニューロンの発火（興奮）状態が続くと，そ. れに応じてニューロンが発火（興奮）しにくくなる性質）とアナログ的な入出力 特性，および時間に対する履歴性効果を考慮し， オ ω（オ十1）一9（・（オ）一αΣぬ（孟一・）一θ）. T＝0 で与えられる．ただし， コじ（の. 時刻オにおけるニューロンの状態値（0≦餌≦1）. s（の 時刻fにおける入力刺激の大きさ. 7. （2．1）.
(11) α ：不応性項のスケーリングパラメータ（α≧0）. ん ：不応性の時間減衰定数である履歴性パラメータ（0〈んく1） θ ： しきい値. である．また，入出力関数のgは. 1. 9ω「＋e一。／・. （2・2）. で定義される．この関数は図2．2に示すようにS字に近い（sigmoid）形をしてお り，εはその傾きのパラメータである．. 8ω 1. ＼ε→大 0，5. ε→小 y. 0. 図2．2 ニューロンの入出力関数g（〃）. 時間とともに指数関数的に減衰（たのγ乗で）しながらニューロン状態値飢が 重ね合わされる形，Σゑ＝oガ∬（トのでの履歴効果の記述法は，南雲一佐藤の神経 モデルにおいて最初に導入されたものである．そして，この性質と（2。2）式の入出. 力のアナログ性がニューロンの応答特性にカオスの出現を許すことになる． （2．1）式右辺の関数gの括弧内に対して. オ 〃（診十1）＝8（Z）一αΣ肋（オーγ）一θ. （2．3）. 7＝0 とおくと，8（のが一定であるとき，（2．1）式は 〃（孟十1） ＝ 」（オ十1） ニ. た〃（の一αg（〃（オ））十α g（〃（オ十1））. 8. （2．4） （2．5）.
(12) に変形できる．ただし，α＝（8一θ）（1一初である．（2．4）式の〃に対する発展方程 式は，忽￠＋1）の決定にω（0）∼記④までの全情報を要する勿に対する（2。1）式と比. 較して，ッ（オ十1）の決定に1つ前の時刻の〃（オ）のみで済むようになっている．な. お，ニューロンの状態値（出力値）飢に対してこの〃のことを以後，ニューロンの 内部状態と呼ぶことにする．. ニューロン状態ωとしては，発火時には1，非発火時には0の［0，1］が対応して いるが，発火時と非発火時のニューロン状態の数理モデル上の対称性に配慮し，以. 下では発火時には1，非発火時には一1となるように新しいニューロン状態Xを. X＝2ω一1. （2．6）. に変更することを考える．このとき，新しい入出力関数∫は X≡ノ（〃） ；. ＝ ＝. 2∬一1. 29（〃）一1. 孟αηノL（〃／2ε）. （2．7）. で与えられる．この関係を図示すると図2．3のようになる．. 9ω. πyノ. 1. @ 一. @. 0．5. 一. 一. 一. 一. 一. 一. 一. 一. 巨. 一. 一. 一. 一. 一. 1 一. 一. 一. 一. 一. 一. ｝. 一. 一. 一. 一. 0. y. y. 0. 一. ｝. @. 一. 一. 一. 一. 一. 一. 一. 一. 一. ＿. ＿. 一. 一. 一. 一. 一. 一. 噌. ｝. 一. 一. 一. 一. 一. P. 4. 図2．3∬：［0，1］からX：［一1，1］へのニューロン状態値の変更. この変更でカオスニューロンの発展方程式（2．4）がどのようになるかを見ること にする．（2．6）式から. ノω＋1. 9ω一2 9. （2．8）.
(13) であるので，これを（2．4）式に代入すると， 〃（孟十1）一椥（の一α9（〃（診））＋α. ！＠（孟））十1. 一事f）一α 2 十α. 一台（の一号！（ツ（孟））一号＋・ ＝鳳オ）一α’ノ（〃（孟））＋α’. となる．ただし，α’＝α／2，α’＝一α／2＋αである．そこで，新たにα’をα，α’を. αと再定義すると， 禦（診十1）＝ん〃（オ）一コ口（ツ（オ））十α. （2．9）. X（亡十1）＝ノ（野（亡十1））. （2．10）. となる．このとき，ニューロンの状態値Xは［一1，＋11の連続値をとることになる． 本論文におけるシミュレーションでは（2．9）と（2．10）式を用いることにする．. なお，（2．7）式の入出力関数ノは図2，4に示すようにε→0の極限で ノ（ツ） ＝. （2．11）. sgγL（ツ）. となる．ここで，8gηは符号関数 89γL（雪）一 ｛ゴニl l多：；8：：：窪1：； 1. である．このとき，ニューロンの状態値Xは一1，1の離散値をとる． πy） @ 響. 一. 一. 一. 一. 一 一. 一. 』. 皿. 1 一. ｝. ．細. 一. 一. 一. 一. 一. 一. ｝. 一. 一. ＿. ＿. 一. 一. 一. 一. 皿. 一. 一. 一. 一. 一. 一. 一. 一. 10. @ @. 一. ＼ε→大. 0. y. y →レ 限 ε→0の極限 ε→小 一. 皿. 一. 一. 一. 一. 一. 一. ? 一. 一. 一. 一. 一. 一. 一. 一. 一. 一. 一. 一. 一. 一. 薗. ＿. @ ＿1. 一. 」. 図2．4 入出力関数∫（ッ）の傾きパラメータε依存性. 10. 一. 一. 一. 一. 一. 一. 一. 一. 一. 幽. ｝. 一. ρ. 一. 曽. ｝. 一. 一.
(14) 2．1．2 カオスニューロンの挙動 （2．9），（2．10）式に従うカオスニューロンには鳶，α，α，εの4つのパラメータが存. 在する．そこで，これらの値をん＝0．5，α＝1．0，α＝0．4，ε＝0．015と設定し，. オ＝0での初期値〃（0）＝0．4から時間発展させた後のオ＝2000∼2200における内 部状態〃の様子を時系列表示したのが図2．5である．時系列変化の構造としては，. 全体的には類似のパターンが繰り返し現れているものの，そこに周期性は存在せ ず非周期的なゆらぎを保持している．. ん＝α5，α＝1．ααニa4，ε＝α015. 2. 眺0. ＿2. 2000. 2100. 2200. ’. 図2．5 単一カオスニューロンの内部状態値の時系列変化（非周期挙動の例）. また，同様にん＝0．5，α＝1．0，α＝0．2，ε＝0。015の場合の内部状態〃の経時. 変化を表示したものが図2．6である．α値の設定が違うだけで，時系列変化として. は2つの値を振動する完全な周期挙動になっているのがわかる．この他にもカオ スニューロンでは，パラメータ設定を変更することにより，複雑な非周期変化か ら単純な周期変化，および平衡安定収束まで様々な挙動が現れることが確認され ている．そして，複雑な非周期変化の多くがカオス性を有している（カオスかど うかの厳密な確認は通常，第4章で述べるリアプノブ指数を用いて行われる．）． 11.
(15) 2. 丸＝0．5，α＝1．0，α＝α2，εニ0．015. 臥0. ＿2. 2000. 2100. 2200. ’. 図2．6 単一カオスニューロンの内部状態値の時系列変化（2周期挙動の例）. パラメータαの違いがカオスニューロンの挙動に与える影響を図2．5と図2．6の ように一つ一つ直接比較するのではなく，αに対する全体的な様相を把握する方法 として分岐図の作成が有効である．それについて具体的に説明すると，まず図2．7. の上段の経時変化のデータ（図2．5と同じもの）約200点（・印）に対して，中段. を経て下段のように時間軸の幅を圧縮し続けていくと，内部状態〃の200点余り の経時データは一垂直線上の領域に重ね打ちされた状態になる．次に，同様の操 作を，異なる各α値のときの経時データに対して行ない，αの値を横軸にとってそ の結果全体をα依存性として示したのが分岐図となる． 図2．8は，た＝0．5，α＝1．0，ε＝0．015の条件の下でカオスニューロン挙動のα. に対する分岐図を求めたものである．ただし，α値の変更は0．001間隔（刻み幅 ：0．001）とした．経時データとしては各αともに診＝2000∼2200の200データで. ある．非周期（カオス）挙動の場合にはデータ点は互いに同じ値をとらない（す なわち，重ならない）ので垂直線分上を埋める形になり，周期挙動の場合には同 じ値を繰り返す（すなわち，重なる）ので，周期分の数の点だけの出現になる．先 の図2．5の場合のα＝0。4付近では非周期性（カオス性）の領域が，先の図2．6の. 12.
(16) α＝0．2の前後では2周期振動の領域がそれぞれ確認できる．さらに，α＝0．6付 近での3周期振動をはじめ，α値の変化に対してカオスニューロンの挙動は大きく 変化することがわかる．. なお，本研究にかかわるシミュレーションのために必要なコーディングは，全 てC言語を用いて行なっている．. 13.
(17) ん＝a5αニ1．0α＝α4ε＝（λ015. 2. 気0. ㌃ 000. ゆ ／2200. 2100. ，’ρ ノ／. ’. ，ρ’o’. ρρ’oρo ρ，o’”. 2. ρρ. 夙0. 藺塗000. 2100. i. 00. ，．2200. ’ ！／ 9，’ρρ’. i. 2. ρ’. ρ. ’. ’. ’. oρ. ρ. ’. 汽0. −2 ∫. 図2．7 分岐図作成のための時系列データの重ね打ち表示の概念図. 14.
(18) ん＝0．5，α＝1．0，ε＝0．015. 2. 1；. 1 汽0 襲. α値の刻み幅：0．001 一2. ＿1. 0. 1. 図2．8 カオスニューロンのαに対する分岐図（経時データf＝ 2000∼2200に対する）. 15.
(19) 2．2 自己想起型カオスニューラルネットワーク 2．2．1 カオスニューラルネットワーク 前節で説明したカオスニューロンN個の相互結合系としてのネヅトワークを考 えるとき，各ニューロンへの他のニューロンからのフィードバヅク入力に対して も，不応性の場合と同様に指数ベキ減衰の履歴効果を認めると，乞番目のニューロ ンの発展方程式は. 脚）一！. U捻卿一の一α論聯＋り（2・2）. で与えられることになる．これがカオスニューラルネットワーク（Chaotic Neural Network：CNN）［131［14］［15］である．ただし，. ω‘ゴ：ブ番目のニューロンから￠番目のニューロンへの結合荷重. κ∫：他のニューロンからのフィードバック入力の時間減衰定数（0≦梅く1） κ。：乞番目のニューロン自身の不応性の時間減衰定数（0≦旧く1）. α：不応二項のスケーリング・パラメータ（α≧0） θ琶：乞番目のニューロンのしきい値 である．. （2．12）式の内部状態のフィードバヅク入力に関する項と不応性に関する項をそれ ぞれ エ. オ. η・（孟十1）一Σ賜Σゆら（トの ゴ＝1 d』0 ホ ら（孟十1）＝一αΣ南級（オーの一θ‘. （2．13）. （2．14）. d窯0 と置き，履歴効果の指数ベキ（納性に着目してその変形を行なうと ガ. η・（オ十1）口吻・（舌）＋Σω、ゴ属・（孟）. （2．15）. ゴニユ ζ、（孟十1）一己（孟）一αx￠（オ）＋α. （2．16）. が得られ（ここで簡単のために一θ唇（1一海。）≡αと表した．）， 結局，（2．12）式は 瓦（オ十1）一∫（η・（孟＋・）＋虚（孟＋1））. 16. （2．17）.
(20) に帰着される．つまり，ニューロンの（外部）状態値瓦だけでなく内部状態にも着 目すれば，時刻孟＋1における状態値は前の時刻オの内部状態η誰），G（のと（外部）. 状態値蕩（ののみを用いて決定される． （2．15），（2。16）式において梅＝ん．＝α＝0と設定すると（2．17）式は，. レ. 蕩（孟十1）＝！（Σω琶ゴX｝（オ）一θ‘）. （2．18）. ゴ＝1 となる．この発展方程式は従来のホップフィールド・ニューラルネヅトワークに一 致している．ニューロン葛とニューロンブの間には結合荷重ω毎とωゴ‘が双方向に 存在する．この両者の結合は一般には互いに違った値を持つ（ω恋」≠ωゴ∂が，ホッ プフィールド（Hop且eld）は両者が互いに等しい対称結合（ω乞ゴ＝ωゴ∂の場合に着. 目し，図2．9に示すようなネットワーク状態の収束性とその静的連想記憶モデルへ の適用について示した［9］．. 2．2．2 ホップフィールド記憶の形成 自己想起型の連想記憶モデルは学習（記憶）と想起という2つの過程からなる．. その想起過程にはホップフィールド・ニューラルネットワークの性質が，また学 習過程には結合荷重の決定法が，それぞれ重要な役割を果たす．これについて以 下で簡単に述べる．ここでは対象を離散値ネヅトワーク（ε→0）の場合に限るが， 同様の性質は連続値（ε≠0）の場合にも示すことができる． 今，結合が対称（ω￠ゴ＝ωゴ∂でかつ自己結合が正またはゼロ（砺≧0）という条. 件の下で，各ニューロン値を逐次的に（全ニューロンが一斉にではなく，1時刻 に1つのニューロンだけ），. ガ. 瓦（古前1）一・9η（Σω・・ろ（オ）一θ・）. （2・・9）. ゴ＝1 に従って状態を更新するものとする．このとき，ネヅトワークの状態｛X盛｝：X≡ （X1，X2，…，XN）の関数として. E（x）一一1導ω縄一シ蕩 17. （22・）.
(21) w1N w13：. W21V. w23：. W12. W1》2. W31. 2. 1. ｛Xl（0刀. W1》3. W32 W21. 初期状態. W31V. Wハr1. 3. ・・… N. ∫ ∫. ノ. ∫. 図2．9 ホップフィールド・ニューラルネットワーク（自己結合なし（砺＝0）の 場合）. を導入すると，この関数の値はニューロンの状態遷移とともに時々刻々単調減少 し，最終的には極小値に収束することがわかる．すなわち，常に E（X￠＋1））≦E（X（孟））， （等号成立はX（孟＋1）＝X①のとき）. の関係が成立することが証明できる．このような性質を持つ関数Eはネットワー クのエネルギー関数と呼ばれている．極小値に落ちついたときネットワークの状 態Xはもう変化せず（X（オ＋1）＝X（の），平衡安定状態となるが，この状態を脳 における記憶状態と対応させようというのがホヅプフィールドの考えである． また，各ニューロン値を（2．19）式に従って同期的に（全ニューロンを1時刻に. 一斉に）更新する場合も，逐次の場合と同様にエネルギー関数を導入でき，その 極小値への収束を示すことができる．ただ，この場合のネヅトワークの定常解は X（孟十1）＝Xα一1）で与えられ，逐次更新の場合のホップフィールド解（Xα＋ 1）＝X（オ））に加えて，2つの異なるネットワーク状態間の周期2の周期（振動）解 （X（f＋1））＝一（Xω）も存在し得る．. 連想記憶における学習過程は，ネヅトワークに記憶させたいパターン情報｛ξ丹：. 18.
(22) ξμ≡（ξf，ξ穿，…，ξ紛（以下，記銘パターンと呼ぶ）に対応するネットワーク状態が. ちょうど（2．20）式のエネルギー関数の谷（すなわちネヅトワークの局所安定状態）. に一致するように，結合荷重のセヅト｛ω扮の値を調節し，エネルギー関数の形を 決定することに相当する．ここで言うパターン情報とは，図2．9のネヅトワークを. 構成する各ニューロンの状態が＋1のときは黒，一1のときは白と解釈した際の配 列状態をさすが，図2．10のN＝42の場合の具体例のようにネットワーク状態を2 次元の配列パターンに対応させることでパターン表現等が可能となる． 学習過程を図（図2．11（a））を用いて説明すると，はじめ無結合（｛ω6ゴ｝＝0）状態. のネットワーク（E（X）＝0）が与えられた記銘パターン情報（図中での例としては 縦縞，横縞パターンの｛ξγ｝と｛ξ野｝）に基づいて｛ω融の値を変更し，最終的に記. 銘パターンに対応するネヅトワーク状態がエネルギー関数Eの谷にくるように調 整するというものである．一方，想起過程は，学習過程によって形成されたエネ ルギー関数Eの曲面に沿って極小値である谷へ山下りするプロセスとして捉えら れる．つまり，想起過程においては｛ω嚇の値は固定されており，ネヅトワーク が記銘パターンに対応するエネルギー関数の極小状態（谷）へと変化する．図（図 2．11（b））で示すと，ネットワークはある1つの状態（例としてパターン｛ξy｝に対し. てノイズを持った状態）から出発して最寄りの谷の丁丁パターン対応状態（パター ン｛ξγ｝）に至るというものである．. 19.
(23) ｛Xlω｝： Xω＝‘一1，＋1，一1，＋1，・・…. ，一1，＋1，一1，＋1♪. ①⑳③鯵・一・・㊥爾④⑳ （鯵＝＋10＝一1）. ｛ξγ｝. 図2．10 ネットワーク状態とパターン情報の対応（N＝42の場合）. 20.
(24) 0 ↓. ↓. 1 ↓. ミ. ↓、. H. ガ. 巨 1 呂 1 日 1 ［］. ■. 1. 1 冒. N. ｛ξy｝. 巳 冒 日 冒 目. 口. 臥i. ｛ξ孕｝. ネットワーク状態｛乙｝ （a）学習過程（｛甑｝：可変・調整）. り. 初期状態 1. 1 ＝. l l l l □. 1. N. ■. ＼. ・ミ. H. 1. ガ. l l l l l l □. ■. ｛X〆。刀一｛ξy｝. N ｛ξワ｝. ネットワーク状態Dら｝ （b）想起過程（｛悔｝：固定）. 図2．11 学習と想起の両過程の概念図. 21.
(25) 2．3 非線形システムとノイズ誘起秩序 非線形（nonlinear）とは文字通り線形（linear）以外のものを指す広い概念である． そこで線形とは何かというとその性質として，比例関係が成り立つ（∫（cの＝げ（④， C：定数），重ね合わせの原理が成り立つ（ノ（￠1＋偲2）＝ノ＠1）＋ノ（餌2））が挙げられ. る．つまり，線形では原因と結果がある意味で比例的（直線関係）であり，簡単. な予測が可能である．また，2つ以上の作用がある場合，システム全体の結果は 各々の作用に対して生じた結果を足し合わせたものになる．非線形システムとは，. このような比例や重ね合わせが成り立たず，簡単な予測が困難な性質を持つ系の ことをいう．中でも，システムが不規則に変動する時系列（結果）を生成，保持す る場合がカオスである．2．1および2．2節で説明したカオスニューロンとそのネッ トワークモデルはこのような非線形システムの典型例である．. ところで，システムを考えるとき常に配慮を迫られるのがノイズの存在とその 影響である．そして通常，ノイズの存在は対象システムの応答を乱すと考えられ，. これまではノイズの発生や影響を抑えることに努力が払われてきた．確かに線形 システムでは，ノイズはシステム全体の結果にそのノイズの強さに応じた量的変 化を与えるので，システムの応答がその分，乱されることになる．しかし，非線 形システムではノイズの影響は量的ではなく，むしろ質的変化を全体の結果に引 き起こし得る．実際，ノイズの存在による，閾値下の微弱信号の受容（検出），シ. ステム同調化現象，結合振動子系の安定化等，非線形システムにおいてノイズが 積極的な役割を果たし得ることもわかりつつある．特に対象システムがカオス系 である場合には，ノイズによる周期状態からカオス状態への遷移や，カオスが消 えて秩序化するノイズ誘起秩序（Noise−Induced Order：NIO）と呼ばれる興味深 い現象も報告されている［4］．NIOは， Belousov・Zhabotinsky（BZ）反応（化学で. の酸化還元過程）のモデルを用いた研究で最初に発見され，その後，電気回路や レーザー光による実験，化学反応モデルなどを対象に広く調べられてきた．また，. 神経膜興奮のHodgkin−Huxley方程式や神経パルスのFizHugh．Nagumoモデルで のノイズの影響の検討など，生体現象への適用研究も始まりつつある團．. 22.
(26) そこで第3章以降では，カオスを持ち得る非線形システムであるカオスニュー ロン，およびその自己想起型ネヅトワークに対してノイズを印加し，その応答性 を詳細に調べ，ノイズ誘起秩序（NIO）の存否とその性質について検討する．第3 章（（3．2），（3．8）式）で登場するノイズ項瓦に対する具体形としては，ガウス型白. 色ノイズおよび一様乱数ノイズの2つを採用する．ガウス型白色ノイズは 〈瓦（オ）〉＝0，. 〈瓦（脇（孟’）〉一D2δザ喝. （2．21）. を満たす．ただし，〈 〉は時間平均を，δ。ゆはクロネッカーのデルタ記号を表し ており，α＝δのときδα，わ＝1，α≠わのときδαゆ＝0となる．Dはノイズ強度のパ. ラメータで，ノイズ発生確率の正規分布. P（瓦）一論即（一券） （222） における標準偏差と一致する．各ノイズタイプの確率分布図を図2．12に示しておく．. 23.
(27) 一D. O D. F. ガウス型白色ノイズの場合. −D. O. D. 」F. 一様乱数ノイズの場合 図2．12各ノイズタイプにおけるノイズ発生の確率分布. 24.
(28) 第3章. カオスニューラルネットワー クにおけるノイズ誘起現象. ここでは，非線形応答性を持つ単一のカオスニューロンおよび3個のカオスニュー ロンから構成される，自己想起型で最小サイズのカオスニューラルネットワークの 場合に対して，そのノイズ誘起現象をコンピュータ実験により具体的に分析する．. 3．1 単一ニューロンの場合 3．1．1 ニューロン状態の時系列変化とそのノイズ依存性 単一ニューロンの場合においてコンピュータ実験を具体的に進めるために，（2．9）. 式の各パラメータを次にように設定する．すなわち履歴性パラメータ鳶＝0．7， 不応性項のスケーリングパラメータα＝1．0，シグモイド関数の傾きパラメータ ε＝0．001とする．2，1節で述べたようにα値に対してカオスニューロンの挙動は 大きく変化することから，まず図2．8に相当する今の場合の分岐図を作成し，その 挙動が非周期であると思われる領域を明らかにする必要がある．図3．1がその分岐. 図であるが，多数の点が垂直線上を埋めている非周期領域がバンド的に多数存在 している．ここでは，この中からα＝0．6とα＝0．75付近のバンド（南中の矢印 箇所）に着目し，以降での実験対象とする．そこで，α＝0．6とα＝0．75付近をさ らに詳しく見るためにα値の刻み幅を0．001から0．00002へと変更し，図3．1のそ. れぞれの該当部分を50倍の精度で拡大し，検討を進めることにする．. 25.
(29) ん＝（λZα＝1．αε＝α001. 2. ．171. i…liiiii ．勇. 董 li：iil. li，。. li. ii毒. 聾lii：1. 雪3. i；. ｝il. 難‘. ぎ. 熟0. …鱈. 獺ii. i. 罫19. ‘. il⊆ま. 1妻 垂. ．iI. ；1. 1；. i・ 愚. 敦い. 。’. 蜂l l；. ↑↑. こi…. i ．， ・1，≡i塾 1：l. 奄撃戟v. 1…iil…. ．・ 1. α値の刻み幅＝0．001. 。．．i・. 一2. 0. −1. 1. α. 図3．1カオスニューロンのαに対する分岐図e＝2000∼2200に対する， ん；0．7，α＝1。0，ε＝0．001の場合）. （1）. α＝0．6付近の場合. 図3．2がそのようにして得られたα＝0．6付近の拡大分岐図である．α＝0．61の. 近傍にカオスを有する非周期の領域が存在する．厳密なカオス性の確認はリアプ. ノブ指数の評価によってなされるが，これについては第4章で説明する（付録A に図3．2に対するリアプノブ指数λのグラフを示しておく．カオス挙動のところで λ＞0となっている．）．代表点としてα＝0。611，0．612，0．613の3点（図中の矢. 印箇所）を選び，ノイズに対する特性の具体的評価に入ることにする．. それぞれの場合のニューロン内部状態値〃の時系列データに対するリアプノブ 26.
(30) んニ（λZαニ1．0，ε＝0．001. 2. ●. 。’. @・. 臥0. 弓艦. 巌 藁’ 謡 重. 1回忌. ・. ↑曾. ｿ値の刻み幅：0．00002 一8．6. 0．61. 0．62. 0 図3．2α＝0．6付近の拡大分岐図（50倍精度）. 指数λは0。26，0．26，0．13であり，λ値が小さいα＝0．613の場合はカオス性が弱. まっていることがわかる．そこで，αニ0．612と0．613を詳しく取り上げて説明す る．図3．3がα＝0．612のときのニューロン状態の時系列変化であり，非周期な変. 化を示している．この挙動がノイズの存在によってどのような影響を受けるかを 見るために，ニューロン発展の方程式（2．9）および（2．10）に対してノイズ項Fを次 のように導入する．. 〃（孟十1）一十ω一αx（孟）＋α. （3。1）. X（孟十1）＝ノ（〃（オート1）＋F（オ＋1））. （3．2）. 27.
(31) んニaZα＝1．αα＝（λ612，ε＝（λ001. 2. 夙0. ＿2. 2000. 2100. 2200. ∫ 図3．3. α＝0．612のときのニューロン状態の時系列変化. ノイズ項Fのタイプとしてまず，ガウス型白色ノイズの場合を考えることにする． その場合，（2．21）式同様Fは（3．3）式の関係を満たす．. 〈F（舌）〉＝0， 〈F（オ）1ア（オ’）〉＝1）2δちが. （3．3）. 図3．4はD＝0．0001，0．001，0．01，0．1，1．0の場合のニューロン挙動を示した. ものである．D＝0．0001の場合のニューロンはノイズを受けない場合（D＝0） と同様に，様々な時刻で不規則に低いピークがでるという非周期な変化である．. D＝0．001を経てD＝0．01とノイズ強度が大きくなるにつれ，低いピークの出現 が減って上下それぞれのピークが揃った挙動に近づいている．さらにノイズ強度 を大きくしたD＝0．1の場合の挙動には全体にうねりがでてきており，それが長 周期での不揃いを引き起こしている．D＝1．0の場合の挙動に至っては乱雑さが増. して様々な値が出現しており，ノイズ項Fに挙動が支配されてしまっていること が示唆される．これらのことからニューロン挙動はノイズの大きさ（ノイズ強度 D）に応じてかなり変化することがわかる．. 以上のような時系列挙動パターンの違いを定量的に捉えるために，ニューロン. 28.
(32) 状態Xに対する時間自己相関 〈X（孟）X（孟十丁）＞. 0（T）一. （3．4）. 〈愛2＞. を導入する．ただし，Xの＝X（の一くx（孟）〉であり，〈〉は時間平均を示している． 一般に時間差丁を持つX（τ）とX（孟＋γ）の間で正の相関が高いほど0（丁）は1に近づ. き，逆に負の相関が高いと一1に近い値をとる．例えば，時系列挙動パターンが8伽 関数のような完全に周期アの周期運動の場合にはX（の＝x（オ十π丁）＠＝0，1，2，＿） であるので0（γL7）＝1となる．また，X（オ）＝一X（オ＋翫）であるので0（号丁）＝一1. となる．このような周期性を基準にして対象の秩序性の度合いを測ろうというの である．. 図3．5は図3．4の時系列データに対応する時間自己相関のグラフである．0値の. 大きさと時間差丁に対するその持続性を見るとD＝0．0001から0．01へとノイズ 強度が大きくなるにつれ，相関が高くなっている．つまり，ニューロン挙動の秩 序性が増している．そして，D＝0，1からD＝1．0へと相関が失われていく．この ことは，適度なノイズが存在することによってニューロン挙動が秩序立つことを 示している．. α＝0．611の場合についてもα＝0，612と同様の結果が確認された．しかし， α＝0．613の場合については，ノイズを受けない（D＝0での）元々のニューロン 挙動がカオス性が弱く周期性に近いことから，ノイズの影響としては元の秩序性 を乱す方向での作用が大きく目立つ結果となっている（付録B参照）．. （2）． α＝0．75付近の場合. 図3．6は図3．1のα＝0．74∼0．76の部分を50倍の精度で拡大した分岐図であ り，αが0．75付近でカオス性の領域が存在している．α＝0．6付近の場合と同様に α＝0．750，0．751，0．752の3点を代表点として選び評価の対象とする．それぞれ の場合のニューロン挙動のリアプノブ指数λは0．26，0．26，0．25であり，ともに同. 程度のカオス性を有していることがわかる．図3．7はα＝0．750の場合の時系列変. 29.
(33) 化であるが，実際に非周期な変化を示していることがわかる． 図3．8はガウス型白色ノイズの強度変化に対するニューロン挙動および時間自己 相関の変容をまとめて示したものである．α＝0．612の場合の図3．4，図3．5とほぼ 同様の傾向を示している．. 30.
(34) D＝0．0001. 2 1. 雪 一昨000. 2100. 2200. ∫. D＝0．001. 2 1. 夙一1. 一鴛000. 2100. 2200. ’. D＝0．01. 2 1. 雪 一結000. 2100. 2200. ’ D＝0．1. 2 1. 臥一1. 日鴛000. 2100. 2200. ’ 1）＝1．0. 4 2. 汽一2. 一窒000. 2100. 2200. ’. 図3．4 各ノイズ強度に対するニューロン挙動の違い（α＝0．612の場合）. 31.
(35) D＝0．0001. 1. QO −1 0. 50. 100. 150. τ. D＝α001. 1. QO −1 0. 50. 100. 150. τ. D＝0．01. 1. QO −1 0. 50. 100. 150. τ D＝0．1. 1. 90 −1 0. 50. 100. 150. τ D＝1．0. 1. り0 −1 0. 50. 100. 150. τ. 図3。5 各ニューロン挙動（図3．4）に対する時間自己相関（α＝0．612の場合）. 32.
(36) ん＝aZα＝1．0，ε＝aOO1. 2. 9. ● ．. 1．灘．藷 1．・. 夙0. 誓. ↑↑↑. ｿ値の刻み幅：0．00002. ま74. 図3．6. 2. 0．75. 0．76. α＝0．75付近の拡大分岐図（50倍精度）. ん＝αZα＝1．0μ＝（λ75αε＝aOO1. 臥0. −2. 2000. 2100. 2200. ’. 図3。7. α＝0．750の場合のニューロンの時系列変化. 33.
(37) D＝0．0001. 2. 1. 1 Q O. ＞・0 −1. −2. 2000. 一1. 2100. 0. ∫. 100. τ. D＝0．001. 2. 50. 1. 1. 汽0. L）0. −1. −2. 一1. 2100. 2000. 0. ’. 100. τ. D＝aO1. 2. 50. 1. 1 9 0. 》・0 −1. −2. 一1. 2100. 2000. 0. ’. 100. τ. D＝（λ1. 2. 50. 1. 1 9 0. 眺0 −1. −2. 2000. 一1. 2100. 0. ’. 100. τ. D＝1．0. 4 2 臥0. 50. 1. L）0. −2 −4. 2000. 一1. 2100 ’. 0. 50 τ. 図3．8 各ノイズ強度に対するニューロン挙動とその時間自己相関（α＝0。750の 場合）. 34. 100.
(38) 3．1．2 固有相関量による評価 図3．5の時間自己相関に関するグラフをさらに定量的に評価するために，丁毎の 時間自己相関0（T）の自乗を足し上げた固有相関量. ゲ. ら一Σ02（丁）. （3．5）. τ＝0. を定義する．これは大きい0値がTに対して持続するほど大きくなることが期待 される．実際M＝299とし，先の図3．5のD＝0．0001，0．001，0．01，0．1，1．0の 5つの場合に適用すると，らはそれぞれ3．2，3．2，4．4，3．5，2．1となり，相関が. 高い（秩序性が大）とされた3つ目のD＝0．01において一番大きい値となってい. る．そこで，ノイズ強度Dの値に対してさらに細かくら値を求め，その結果を グラフにしたのが図3．9である．ノイズ強度Dが高くなると固有相関量らが上が り，Dがある一定値を越えると再び（㌃が下がっていく．すなわち，適度なノイズ （今の場合，D＝0．03程度の白色ノイズ）の存在によりニューロン挙動に秩序性が 大きく誘起されることが確認できる． 次に，α＝0．611，0．613のときのニューロン挙動の時系列データに対して同様に 固有相関量を求め，そのノイズ強度依存性を図示したのが図3．10である．α＝0．611. のときはα＝0．612とほぼ同様の結果になっているが，α＝0．613のときはD値の. 小さい側でqpが急激に増大している．これは前節でも触れたようにノイズの無い. D＝0のときのニューロン挙動自体が周期に近いからである．図からは，それに より秩序性が一度失われた後にα＝0．611，0．612の場合同様にD＝0．03付近で秩 序誘起が生じていることがわかる． α＝0．750，0．751，0．752のそれぞれの場合の時間自己相関データに対しても同. 様の処理を行ない，ノイズ強度依存性を求めたのが図3．11である．このα；0．75. 付近の場合には元のニューロン挙動のカオス性が同程度であるため，固有相関量 に対しても類似した結果となっている．. 35.
(39) 1 10. 0 10 10 一4. たニazα＝1．0，ε＝α001. 0 10. 一2 10. D. 図3．9 ニューロン挙動における固有相関量のノイズ強度依存性 （α＝0．612の場合）. 36.
(40) α＝（λ611. 1 10. 1喘・. 0 10. ＿2 10. D. 101. 0 10 ＿4 10. α＝α612. 0 10. 一2 10. D. α＝0．613. 1 10. 0 10 ＿4 10. ＿2 10. 0 10. D. 図3．10. 固有相関量のノイズ強度依存性（α＝0．6付近の場合）. 37.
(41) o＝α750. 1 10. 0 10 104. 0 10. 一2 10. D. α＝0．751. 1 10. 10 0 一4 10 10. 0 10. 一2 10. D. α＝α752. 1. 0 10 −4 10. 一2 10. 0 10. D. 図3．11. 固有相関量のノイズ強度依存性（α＝0．75付近の場合）. 38.
(42) 3．1．3 ノイズタイプを変化させた場合 これまでは印加するノイズタイプをガウス型白色ノイズとしてきたが，ここで は一様乱数ノイズに変更した場合について述べる．図3．12にα＝0．612のとき のニューロン挙動およびその時間自己相関の結果を示したが，ガウス型白色ノイ ズの場合の図3．4，図3．5と全体的に同様の傾向が見られる．さらに，図3．13は α＝0。611，0．612，0．613のときの固有相関量のノイズ強度依存性の結果であるが，. これも図3．10の白色ノイズの場合と同様の傾向が見られる．しかし，ノイズによ. る秩序誘起のピーク（らの極大点）の位置は白色ノイズの場合のD＝0．03から. D；0。05へと移動し，グラフ全体がD値の大きい側へ少しシフトしていること がわかる．これはノイズ強度をDとしたとき，白色ノイズでは一D∼Dまでのノ イズが68％でその範囲外の大きな値（絶対値で）のノイズが32％発生するのに対. して，一様乱数ノイズでは一D∼Dのノイズに限られているからであると考えら れる．. なお，α＝0．75付近の場合の結果についても同様のことが確認されている．詳 しくは付録Cを参照のこと．. 39.
(43) D＝α0001. 2. 1. 1 Q O. 臥0 −1. −2. 一1. 2100. 2000. 0. ∫. 100. τ. D＝aOO1. 2. 50. 1. 1. AO. り 0. −1. −2. 2000. 一1. 2100. 0. ∫. 100. τ. D＝0．01. 2. 50. 1. 1. 熟0. 曳）0. −1. −2. 2000. 一1. 2100. 0. ’. 100. τ. D＝α1. 2. 50. 1. 1. AO. L）0. −1. −2. 2000. 一1. 2100. 0. ’. 100. τ. D＝1．0. 4 2 眺0. 50. 1. ㌦）0. −2 −4. 2000. 一1. 2100 ’. 図3．12. 0. 50. 100. τ. 各ノイズ強度に対するニューロン挙動とその時間自己相関（α＝0．612， 一様乱数ノイズの場合）. 40.
(44) α＝α611. 1 10. 0 10 ＿4 10. 100. ＿2 10. D. α＝α612. 1 10. 0 10 ＿4 10. 0 10. 一2 10. D. 0＝0．613. 1 10. 1呼σ4. 0 10. ＿2 10. D. 図3．13 固有相関量のノイズ強度依存性（α＝0．6付近，一様乱数ノイズの場合）. 41.
(45) 3．2 自己想起型最小サイズ（N＝3）ネットワークの 場合. 3．2．1 モデルの構成とパラメータ設定 3ニューロン（N＝3）の場合，パターン状態（23＝8状態）空間は図3．14の ようになる．記銘パターンとしての局所安定状態に｛ξ」｝＝（一1，1，一1），｛ξ2｝；. （1，一1，1）の2つのパターン（互いに反転関係）を埋め込むことにする．. （1，1，1）. （一1，1，1）. （1，10）. バ. アスパターン｛σi｝. 局所安定状態｛ξi喚｝ （一1，1，一1）. i. （1，1，. 1）. … 局所安定状態｛ξi2｝ （一1，デt1）. （一1，一1，一1）. （t−1，1）. （1，一1，一1）. 図3．14 パターン状態空間（N＝3）. 結合荷重｛ω2ゴ｝は，2つの記銘パターン状態｛ξ∼｝＝（一1，1，一1），｛ξ多｝＝（1，一1，1）. がホヅプフィールド記憶の局所安定状態に一致するよう，逐次的学習則［7】［16］を. 用いて決定した．3ニューロンの場合，結合荷重の関係は図3．15のようになる．逐. 次的学習則のアルゴリズムの具体的フローについては付録Dを参照のこと．その 結果，結合荷重は. 偶｝一州二鋤. となった．. ニューロンがしきい値を持たない（θ琶＝0）場合における記銘パターン状態｛ξ身. 42.
(46) 1. W13. W21 鵬1. W12. 2. 脚ろ3. 3 協2. 図3．15 ニューロン問の結合荷重（N＝3）. のエネルギー値は，（2．20）式より. E（ξμ）一一1シ・鰐. （36）. となり，｛ξ」｝，｛ξ多｝のエネルギー値はともに一2である．また，その他の6パター. ン状態のエネルギー値は全て2／3である．なお，2ニューロンの場合には自由度 が低すぎて複数の局所安定状態を構成できないので，3ニューロンの場合が本研 究で提案する2．2節のモデルスキームにおける最小サイズモデルとなっている．. 以上のようにモデル化したネットワークにバイアス入力項とノイズ項を考慮す る．バイアス入力項としては，2つの記銘パターンの中間状態の1つである｛σ￠｝＝ （1，1，0）をバイアスパターンとし， 86＝8｛σ葛｝＝8（1，1，0）. （3．7）. と設定する．ただし，8はバイアス強度である．また，バイアスパターン｛σ￠｝の エネルギー値は2／3である．ネットワークの発展方程式（2．17）は 瓦（オ十1）一！（窺（オ＋1）＋窃（孟＋1）＋島＋卿＋1））. （3・8）. に拡張される［171．瓦はノイズ項であり，（2．21）式を満たす．ノイズ存在下での. 今の場合の自己想起型ニューラルネットワークを図示すると図3．16のように表さ れる．. ネヅトワークの状態を評価するための尺度量として，重なり度，時間自己相関お. よび固有相関量の3つを用いることにする．時間自己相関，固有相関量については. 43.
(47) W13. W23. W32. レレ12. W31. W21. 2. 1 ／. F1. 3 F. F3. ∫ ！. 図3．16 ノイズ存在下での自己想起型ニューラルネットモデル（N＝3）. 3．1節での単一ニューロンのところで導入したものと同様であるが，それらを求める ためのネットワーク状態の時系列データについては外部状態ベクトル（X1，X2，X3）. 自体ではなく，重なり度と呼ばれるスカラー量を用いることにする．重なり度と は，一般に，時刻オにおけるネットワーク状態｛X誰）｝と記銘パターン｛ξ狩との 内積量. m・（の一癖＆（孟）翻. （39）. 琶＝1 で与えられる．ネットワーク状態｛蕩｝が記銘パターン｛ξf｝と一致（｛瓦｝＝｛ξ狩）. しているときにはmμ＝1，反転の関係（｛X￠｝＝一｛鍔｝）にあるときにはmμ＝一1と. なる．ここでの3ニューロンの場合には｛ξ丹との重なり度m1（のを用いることと し，以降その添字1を省略してm（Z）と記す．. そこで，時間自己相関については重なり度に対して 〈挽（孟）挽（舌十丁）＞. o（丁）一 〈而2＞. （3．10）. で与えられる．ただし，齢（孟） ＝m（オ） 一 くm（孟）〉であり，〈 〉は時間平均を意味す. る．固有相関量は単一ニューロンの場合と同様に，この0（γ）に対して. レ. ら一Σ02（γ） T＝0. 44. （3．11）.
(48) である．. 3．2．2 ネットワーク状態の時系列変化とそのノイズ依存性 コンピュータ実験を具体的に進めるうえでのネットワークに対する基本的なパ ラメータを次のように設定する．履歴性パラメータ梅＝0．5，ん．＝0．8，不応性. 項のスケーリングパラメータα＝0．46，全ニューロンのしきい値θ6＝0（すなわ ち，α＝0），シグモイド関数の傾きパラメータε＝0．015，バイアス強度パラメー タ8＝0．59である［18｝．. 図3．17の上図はノイズを印加する前（すなわち，D＝0）のネットワーク状態 の時系列変化である．ネヅトワークの挙動は，一方の二二パターン状態にしばら く停留した後に他方の記銘パターン状態に（m蟹1の｛ξ’｝状態とm望一1の｛ξ舞. 状態の間を）切り替わり，そしてまたそこにしばらく停留した後に切り替わると いうことを繰り返している．一方の記銘パターン状態から他方の記銘パターン状 態への切り替わりの時間間隔は一定せず非周期である．また，複数回の切り替わ りに渡る長い時間間隔で見ても周期的な繰り返しは見られず，記銘パターン状態 に停留中の小さな（△m蟹0．1程度の）非周期的ゆらぎの存在も考慮すると，かな り秩序性の低いものになっている．図3．17の下図は，このネットワーク挙動に対 する（3．10）式による時間自己相関のグラフであるが，時間差丁の増加にともなっ て速やかに相関が失われていくのがわかる． 次に，ネットワークにノイズを印加し，その影響を見たのが図3．18である．上か ら順にノイズ強度Dが0．001，0．01，0．1，1．0のときのネヅトワーク挙動とそれぞ. れに対する時間自己相関のグラフを示している．D＝0．001のときはネットワーク. の状態はノイズ無し（D＝0）のときとほとんど変らない．D＝0．01のときは，記 銘パターン状態間の切り替わりの頻度が増えており，一方の記銘パターン状態での 停留時間が短くなっている．時間自己相関はそれを反映し，時間差丁に対してやや 短い間隔（△7一：Σ50）でピークを形成し，その値もやや高くなっている．D＝0．1. においては，時間自己相関のピークはさらに高くなり，それが丁の大きい側でかな. 45.
(49) り繰り返し持続している．ネットワークの時系列挙動を見ても，かなり整った切 り替わりであることがわかる．切り替わりの周期としては約338加p時間と見受け られ，時間自己相関グラフでのピーク聞隔（△τ鐸33）に対応している．ただし，. ネットワーク挙動が完全な周期性を持つというわけではないので，時間差τが大 きくなれば相関は減衰していく．D＝LOになるとノイズが強すぎて，ネヅトワー ク挙動はノイズに支配されてしまっており，時間自己相関が時間差丁に対して急 激に失われている．. さらに時間自己相関0（T）を用いて（3．11）式から固有相関量らを求めることに する・先の図3．18のD＝0．001，0．01，0．1，1．0の4つの場合には，ら値はそれ ぞれ13．5，18．1，40．1，4．1となり，時間自己相関の関する図3．18の結果が反映さ. れている．ノイズ強度Dの値に対してさらに細かくら値を求め，その結果をグラ フにしたのが図3．19である．ノイズ強度Dが大きくなるにつれて固有相関量（㌃ が上昇し，Dがある一定値を越えると再びらが下がっていく．すなわち，3．1節 での単一ニューロンの場合と同様，適度なノイズ（今の場合，D＝0．1程度の白色. ノイズ）の存在によりネットワーク挙動に秩序性が大きく誘起されることが確認 できた．. 46.
(50) ん一〇．5，んr＝0．8，α＝0．46，ε＝0．015，5＝・059. 1. ミ0. 一1. 2500. 3500. 3000 ’. 1. 9 0. 一1. 0. 200. 100. 300. τ. 図3．17. ノイズ無し（D＝0）の場合のネットワーク挙動とその時間自己相関 （！V＝3の場合）. 47.
(51) D＝α001. 1. ミ 0. 1. L）0. −1. 2500. 3000. −1. 3500. 0. 100. ’. 1）＝（λ01. 1. 300. 200. 300. 200. 300. 200. 300. 1. iミ 0. り 0. −1. 3500. 3000. 2500. ∫. −1. 0. 100 τ. D＝（λ1. 1. ミ 0. 1. り 0. −1. 3500. 3000. 2500. −1. 0. 100. ∫. τ. D＝1．0. 1. 1. Q O. §iO. −1. 3500. 3000. 2500. ’. 図3．18. 200 τ. −1. 0. 100 τ. 各ノイズ強度に対するネヅトワーク挙動とその時間自己相関（N＝3の 場合）. 48.
(52) 炉α5・ん。＝α＆αニα46ε＝α015・∫＝0・59. 2 10. ♂101. 19。一3 1。一・ 10−1. 1。・. D. 図3．19 ネットワーク挙動における固有相関量のノイズ強度依存性（1＞＝3 場合）. 49.
(53) 3．2．3 ノイズタイプやパラメータを変化させた場合 ここではまず，ノイズタイプを一様乱数ノイズに変更した場合について述べる． 図3．20にそのときのネヅトワーク挙動およびその時間自己相関の結果を示したが， 白色ノイズの場合の図3．18と全体的に同様の傾向が見られる．図3．21は固有相関 量のノイズ強度依存性であるが，3．1節での単一ニューロンの場合と同様，ノイズ. による秩序誘起のピーク（らの極大点）の位置が白色ノイズの場合のD＝0．1か. らD＝0．2へと移動し，グラフ全体がD値の大きい側へ少しシフトしていること がわかる．これはノイズ強度をDとしたとき，白色ノイズでは一D∼Dまでのノ イズが68％でその範囲外の大きな値のノイズが32％発生するのに対して，一様乱 数ノイズでは一D∼Dに限定されているからであると考えられる． 次に不応性項のスケーリングパラメータαを0．46から0．5に，バイアス強度パ ラメータ8を0．59から0．25に変更した場合について述べる．ただし，ノイズタイ プとしてはガウス型白色ノイズを用いている．図3．22はそのときの固有相関量（ち. のノイズ強度D依存性のグラフである．図3．19のα＝0．46，8＝0．59の場合と 比べると傷のピーク付近の様子はほぼ同じであるが，D値の低い側で（ちが高く. なっていることがわかる．これは，ノイズ無し（D＝0）のときのネットワーク 挙動において周期的傾向が少々高いために生じたことであると考えられる．しか し，全体としては図3．19と同様に，ノイズ強度Dが大きくなるにつれて固有相関. 量らが上昇し，Dがある一定値を越えると再びらが下がっていくという傾向を 保持している．. 50.
(54) D＝0．001. 1. 1. ミ 0. −1. 2500. L）0. 3000. −1. 3500. 0. 100. ’. D＝（λ01. 1. 2500. 3000. −1. 3500. 3000. −1. 3500. 0. 100. 200. 300. 200. 300. τ. Dニ1．0. 1. 1. Q O. ミ 0. 3000. −1. 3500. ’. 図3．20. 300. L）0. ’. 2500. 100. 1. ミ 0. 司. 0. τ. D＝（λ1. 1. 2500. 200. L）0. ’. −1. 300. 1. ミ 0. −1. 200 τ. 0. 100 τ. 各ノイズ強度に対するネットワーク挙動とその時間自己相関（N＝3， 一様乱数ノイズの場合）. 51.
(55) 2 10. 勺＝αユたr＝α8α＝a46ε＝α0155＝α59. ♂101. 1Ro一・. 一2 10. 一1 10. D. 0 10. 図3．21 ネヅトワーク挙動における固有相関量のノイズ強度依存性（！V＝3， 一様乱数ノイズの場合）. 52.
(56) 102. 勺＝α5，たrニα8，α＝α5αε＝α0155＝α25. ♂101. 10. −3 10. 1『2. 10−1. 100. D. 図3．22 ネットワーク挙動における固有相関量のノイズ強度依存性（N＝3， α＝0．50，8＝0．25，ガウス型白色ノイズの場合）. 53.
(57) 第4章. ネットワークサイズの拡大お よびカオス性との関連性評価. ここでは，自己想起型ネットワークのサイズ（ニューロン数）を拡大した場合 のノイズ誘起特性について調べるとともに，カオス性の評価尺度であるリアプノ ブ指数に着目してノイズ誘起秩序とカオスとの関係について検討する．. 4・1 大規模ネットワークサイズ（1V＝144）の場合 4．1．1 モデルの構成とパラメータ設定 3．2節の3ニューロンによる自己想起型ネットワークの場合と同様の検討をもっ. と大規模なネヅトワークサイズで行なうために，全ニューロン数を1V＝144（＝ 12×12）とする．これに応じて，記銘パターンとしては図4．1に示すようなパター. ンR1∼R20（いずれも12×12）を用意し，これらがネヅトワークの局所安定状態 （ホヅプフィールド記憶）に一致するよう，逐次的学習則［7］［16］を用いて結合荷. 重｛ω毎｝を決定した．学習則のアルゴリズムのフローについては付録Dを，全20. の記銘パターンについては付録Eを参照のこと．なお，各記銘パターンの安定度 パラメータ耀の設定については，全パターン（μ＝1∼20）に対して7’＞1（すな. わち，κ＝1）とした．また，R1とR2にR3∼R20のランダムパターンとは違う縦 縞と横縞を採用しているのは，実験の際にシミュレーション画面上で実験者がパ ターン同定しやすくためのものである．従って，R3以降と同様のランダムパター ンに設定したとしても結果の大勢に影響は及ぼさない． 上記で決定された結合荷重｛ω勿｝から各記銘パターン状態のエネルギーを（3．6）式 より求めると，E（ξR1）からE（ξR20）までの値はそれぞれ一110．2，一112．5，一107．4， 一109．9， 一107．8， 一114．4， 一111．0， 一110．9， 一112．5， 一110．4， 一111，0， 一113．5，. 54.
関連したドキュメント
関係委員会のお力で次第に盛り上がりを見せ ているが，その時だけのお祭りで終わらせて
氏は,まずこの研究をするに至った動機を｢綴
回転に対応したアプリを表示中に本機の向きを変えると、 が表 示されます。 をタップすると、縦画面／横画面に切り替わりま
このような情念の側面を取り扱わないことには それなりの理由がある。しかし、リードもまた
えて リア 会を設 したのです そして、 リア で 会を開 して、そこに 者を 込 ような仕 けをしました そして 会を必 開 して、オブザーバーにも必 の けをし ます
張力を適正にする アライメントを再調整する 正規のプーリに取り替える 正規のプーリに取り替える
ㅡ故障の内容によりまして、弊社の都合により「一部代替部品を使わ
【こだわり】 ある わからない ない 留意点 道順にこだわる.
