0.3
D=α3
0.3
含0.2
ま
)
ミ0。1
0
0 0.1 0.2 配(の
0.3
図4.6 ネットワーク挙動のリターンマップ(孟=2844〜3098に対する
2 10
♂101
10
炉α5・たr=a&α=(λ40・ε=α015・∫=α70
一2
10 0 10
D
図4。7 ネヅトワーク挙動における固有相関量のノイズ強度依存性 (N=144,一様乱数ノイズの場合)
4.2 カオス性との関係性評価
4.2.1 リアプノブ指数の導入
ニューロンの状態がカオス性を有するかどうかを定量的に評価するためにはり アプノブ指数[19][20]の導入が必要になる.この指標は,カオスの特徴である初 期値敏感性(決定論的に発展する系に対する初期条件の微少な差異が,時間とと
もに指数関数的に拡大される性質)を検出できる.図4。8は微少な差異の存在が,
基準とする軌道のその後にどのような変化を及ぼす可能性があるかを図示したも のである.時刻foにおいて,対象とする系の発展方程式の基準軌道〃(のに微少な 差異吻[τo]を加える.時間発展にともなって,差異が減少し基準軌道に戻る場合に は雪(のは平衡安定であり,差異が増加し基準軌道から大きく離れていく場合には 差異敏感なカオス性を持つ.そして,差異の増減がない場合には周期性を持つ.
y(to)+dy【to】
\……一/ \基準軌道、y(t)
y(to)
to t
図4.8 微少差異によるその後の軌道変化の概念図
この性質を定式化するために,微少差異吻[剣の時刻tでの発展形をパラメータλ を用いて
4〃[孟]=dl!ノ[オ0]eλ(孟一孟。) (4.2)
の形に表現すると,時間発展¢→大)とともに,λ<0のとき吻→0(平衡安定
)となり,λの正負によって系の挙動の特性が評価できる.このパラメータλがり アプノブ指数と呼ばれる評価尺度であり,(4.2)式をλに対して解くと
λ「≡孟。1・磯] (43)
が得られる.系が離散時間系の場合は舌=オ。+ηと記述できるので
λ一二1・鵜 (4.4)
となる.
単一のカオスニューロンモデルでの実際の計算手順としては,ニューロンの内
部状態〃(オ)に対して雪(の+吻[0]を考え,それを(2.9)式に代入すると
〃 ¢十1)=1磯〃@)十d〃[OD一αノ(〃(の十d〃[OD十α (4.5)
!(〃十吻)=孟αγしん((〃十d紗)/2ε) (4.6)
となり,18卿時間後(η;1)の吻[1]=i〃 ¢+1)一ッ(オ+1)1が得られる.コン
ピュータ実験では,この18卸ごとの評価を経時的に繰り返し丁回行ない,その 平均から(4.4)式に相当するリアプノブ指数
λ一券書b欄 (47)
を求める.
また,複数のニューロンからなるニューラルネヅトワークモデルにおけるリア プノブ指数は,対象とする系の自由度数だけ存在する.その中で最も大きい値を 与えるリアプノブ指数を最大リアプノブ指数といい,その最大リアプノブ指数は
為一無爵1・g臨1ト (48)
ただし
1砺(o)l dz(0)=dz_1(丁)・
1φ_1(T)i
で定義される.ここで,7は時間間隔,φは基準軌道からのズレのベクトル,l l
の聞に娠7)に発展したとするとき,その離れ方を両者の比の対数の時間平均で評 価するものである.リアプノブ指数の詳細については付録Fを参照のこと.そし て,対象とする系が正の最大リアプノブ指数を有する場合には,基準軌道からの ズレが時間とともに指数関数的に増大することとなり,カオスの特徴である初期 値敏感性が存在することになる.
ニューラルネットワークモデルでの実際の計算手順としては,ネットワークを構 成するN個のニューロンの内部状態η乞,らを成分とするN次元ベクトル基準軌道
(η(オ),ζ(オ))≡(η1(孟),… ,ηN(の,ζ1(オ),… ,ζN(オ))
に対して(4.8)式を適用する.そのとき,1ステップ時間ごとにズレを評価する
(丁=1,Z=のことにすると,基準軌道からのズレのベクトルの逐次変化は
(η(0),ζ(0))+do(0)→(η(1),ζ(1))+do(1),
(η(オ),ζ(の)十{ち(0) → (η(孟十1),ζ(オ十1))十{ち(1),
(η(オ十1),ζ(孟十1))十d古+1(0)→(η(か十2),ζ(孟十2))一十φ+1(1),
を(2.15),(2.16)式を通して具体的に計算することにより与えられる.計算では,
基準軌道に与える初期のズレベクトル砺(0)=(δη1,.。.,δηN,δζ1,...,δζN)の成分 は全ニューロンとも同じδη乞=δら=10−8とした.
4.2.2 固有相関量とリアプノブ指数の関係性
3.1節の単一ニューロン(α=0.612)の場合における固有相関量のノイズ強度依 存性のグラフ(図3.9)に対応させて,各ノイズ強度ごとにそれぞれのニューロン 挙動のリアプノブ指数を求め,一緒に図示したものが図4.9である.両者を比較す
れと呼応するように固有相関量らが上昇し始める.そして,らのピークのとこ ろではλは負となっている.このことは,ノイズの印加による誘起秩序はカオス 状態から秩序状態への転移の出現であることを示唆している.図4.10の上図は図 4.9のらとλを共通のDによって結び付け,その相関図を構成したものである.
この図からもらの高い領域がλ<0において存在するのが確認できる.下図はノ イズタイプが一様乱数ノイズの場合のものであるが,上図のガウス型白色ノイズ の場合とほぼ同じ結果を示している.また図3。11のα=0.750の場合についても 同様の結果を得ている.
ところで,ここで一つ注意しておかねばならないことがある.それは,ノイズ存 在下でのりアプノブ指数の計算結果を元々決定論的系に対して定義された指数と 同じものとして受け取ることはできないということである[211.というのは,4.2.1 節でも述べたようにリアプノブ指数は基準軌道に対する安定性の指標であるので,
軌道の概念がノイズの存在によって失われると意味を持たなくなるからである.つ まり,ノイズの印加が元の決定論的方程式に従う軌道をたとえその程度は小さく ても,切れ切れに壊す役割を果たすことになるからである.とは言うものの,コ ンピュータ実験の下では使用する乱数系列の管理によって,本来再現不可能なノ イズ時系列のパターンを再構成することができるので,ノイズを含めた形で基準 軌道を設定し,形式的に(4.7)式のλを計算することができるわけである.
次に,3.2節の3ニューロンからなる自己想起型ネヅトワークの場合(図3.19)
に対する結果が図4.11である.この場合にも単一ニューロンの場合と同様,最大 リアプノブ指数λ1が正から負に転ずるD=2×10−2付近からqρが立ち上がって いくのがわかる.図4.12にはλrqp相関図を示したが,λ1〈0においてらの高 い領域が得られている様子は単一ニューロンの場合と同様である.
さらに,4.1節の144ニューロンからなる自己想起型ネットワーク場合(図4.4)
について最大リアプノブ指数λ1を求めたのが図4.13である.この場合は単一ニュー ロン,3ニューロンの場合の上記の結果と異なり,ら値の高いノイズ強度Dの値 域においてもλ1は正から負に転ずることもなく正値を保持している.この場合の λ一(㌃相関図の図4.14からも傷の高い領域がλ1>0において成立しているの
がわかる.このようにニューロン数(すなわち,系の自由度)の大小によって傾 向が大きく異なる理由としては以下のことが考えられる.一般にリアプノブ指数 は対象とする系の自由度数分(自由度がηのとき,λ1>λ2>…〉λπ)あるが,
実験:では最大リアプノブ指数λ1(全部の中で最大のもの)1個だけを評価尺度と して採用している.したがって,ノイズの存在によって大部分のリアプノブ指数
(λπ,λπ_1,…)が正から負へ転じても幾つかのもの(λ1,λ2,…)はなお正を保持し
ている可能性がある.つまり,ノイズの印加によりネヅトワーク全体としてはカ オス性が弱まっているが,それがλ1からだけでは見えてこないという可能性があ
る.これらの点については,ノイズの入った系でのりアプノブ指数概念の不明確 さに関する先の議論も踏まえて,さらなる検討が必要である.
1
10
10
−410
た=αZα=1.αε=α001,α=α612
一2
10
D
0
唾00.5
ぺ 0
一〇.5
一4
10
一2壌OD
0 10
図4.9 ニューロン挙動における固有相関量およびリアプノブ指数のノイズ強度 依存性(単一ニューロン,α=0.612,ガウス型白色ノイズの場合)
110 ん=αZα=α4◎α=α612,ε=(λ001