複合ネットワーク形成処理

複合ネットワーク形成処理においては、ある時間幅のあいだに発火したH1層のニュー ロンの集合から、出力層ニューロンへと繋がるようにH2層のニューロンを追加する。

これにより、次にこれらのH1層ニューロン群が同じような時間幅で発火した場合、そ れに応じてH2層のニューロンが発火し、この時の入力列に対応した出力が発生する。

単純ネットワーク形成処理で作成されたH1層のニューロンは、ある瞬間の入力集 合を一つの状態として認識し、出力を与えるものである。これに対し複合ネットワー ク形成処理で生成されるH2層ニューロンは、時系列的な入力集合を一つの状態とし て認識し、出力を与えるものとなる。

この処理ではまず、正の強化信号に対する寄与がもっとも少ないH2層ニューロン n^H2_k を一定時間ごとに選び出す。そして、図3.5に示すように、ニューロンn^H_k²が発火

1234567890123 1234567890123 1234567890123 1234567890123 1234567890123 1234567890123 1234567890123 1234567890123 1234567890123 1234567890123 1234567890123 1234567890123 1234567890123

Input (pulse sequence)

Input Layer

Output Layer

1234567890123 1234567890123 1234567890123 1234567890123 1234567890123 1234567890123 1234567890123 1234567890123 1234567890123 1234567890123 1234567890123 1234567890123 1234567890123 1234567890123

Second Hidden Layer (H2)

Output (pulse sequence)

1234567890123 1234567890123 1234567890123 1234567890123 1234567890123 1234567890123 1234567890123 1234567890123 1234567890123 1234567890123 1234567890123 1234567890123 1234567890123 1234567890123

First Hidden Layer (H1)

12345678901234 12345678901234 12345678901234 12345678901234 12345678901234 12345678901234 12345678901234 12345678901234 12345678901234 12345678901234 12345678901234 12345678901234 12345678901234

X n

1234567890123 1234567890123 1234567890123 1234567890123 1234567890123 1234567890123 1234567890123 1234567890123 1234567890123 1234567890123 1234567890123 1234567890123 1234567890123

1234567890123 1234567890123 1234567890123 1234567890123 1234567890123 1234567890123 1234567890123 1234567890123 1234567890123 1234567890123 1234567890123 1234567890123 1234567890123

recently fired neuron the neuron

to be created other neuron H1

j

n

図 3.4 単純ネットワーク形成処理

Fig. 3.4 Simple network generation process.

するのに必要なそれよりもわずかに多いH1層ニューロンからのパルスを受けて発火 するような、新しいH2層ニューロンn^H_n²を作成する。正の強化信号に対する寄与が 最も少ない、すなわち学習がうまくいっていないニューロンは、部分観測問題におけ

る曖昧な(不完全知覚)状態を表現している可能性が高い。そこで、より過去の入力情

報を加味して出力を伝搬するような新しい素子を作る。

具体的には、全てのH2層ニューロンについて予め定めた時間間隔ρ毎に、任意の評 価式、たとえば

Ak(t) = Pk(t) (3.11)

を適用する。ここで、Pk(t)は3.3.6にて述べる内部強化信号生成量である。そして、

n^H2k = min

n^H2_m ∈N^H2Am(t) (3.12) なるようなニューロンn^H_k²にマーキングを行う。

マーキングされたニューロンn^H_k²が発火した際には、n^H_k²に対して結合を持たない H1層ニューロンの中で最も遅く発火したニューロン、すなわち

n^H_j ¹ = max

n^H1_m ∈N^H1−U(n^H2_k )Rm(t) (3.13) なるニューロンn^H_j ¹を求める。ここで、

Rj(t)≥θ_j^B (3.14)

でない場合には以下の処理は無視し、次のn^H_k²の発火を待つ。

次に、

U(n^H2_n ) =U(n^H2_k ) +n^H_j ¹ (3.15) を満たすようなH2層ニューロンn^H_n²が存在するかどうかを調べる。このようなニュー ロンが存在しなかった場合に限り、以下の処理を実行し、n^H_k²のマーキングを消去する。

式(3.15)を満たすn^H_n²が存在しなかった場合、これを満たすようなH2層ニューロン n^H2_n を作成する。n^H_n²は、U(n^H_k²) +n^H_j ¹の全要素から結合を受け、N^Oの全要素に対 して結合を与える。ここで、H1層ニューロン集合{U(n^H_k²) +n^Hj ¹}に対するインデッ クスmが、Rm(t)が昇順に並ぶようにソートされているものとすると、

wmn =w0·m/S(U(n^H2_k ) +n^H_j ¹)

−

p<m

p=1

wpn·(1−dn)^{(log1−dp(Rp(t))−log1−dp(Rm(t)))} (3.16)

として初期結合荷重を設定する。

これにより、次に同じタイミングで入力層ニューロン群が発火した場合、あるいは 類似したタイミングで発火した場合に、それに応じてn^H2_n が発火し、出力が与えられ ることとなる。

例として、この学習処理の後で全く同じタイミングでニューロン群{U(n^H2_k ) +n^H1j } が発火した場合を考える。m番目のニューロンからの出力パルスがn^H2_n に届く時刻を tmとすると、tmにおけるn^Hn²の内部状態In(tm)は、m−1番目のニューロンからの 出力の到達時刻tm−1を用いて、

In(tm) =In(tm−1)·(1−dn)^tm−tm−1 +wmn (3.17) と表せる。ここで、m > 1の範囲において、

tm−tm−1 = log_1−dm−1(Rm−1(t))−log_1−dm(Rm(t)) (3.18) であるので、式(3.16)を用いると、

In(tm) =w0·m/S(U(n^H_k²) +n^H_j ¹) (3.19) となる。t1の直前におけるn^H2_n の内部状態を0と仮定すると、式(3.19)はm = 1につ いても成り立つ。式(3.19)より、時刻tS(U(n^H2_k )+n^H1_j )より前の時刻においてn^Hn²が発火 することはなく、逆に、時刻tS(U(n^H2_k )+n^H1_j )においては必ず発火する。つまり、n^H2_n は 学習時と同じ入力列が完結した時に限って発火することとなる。

12345678901234 12345678901234 12345678901234 12345678901234 12345678901234 12345678901234 12345678901234 12345678901234 12345678901234 12345678901234 12345678901234 12345678901234 12345678901234 12345678901234

1234567890123 1234567890123 1234567890123 1234567890123 1234567890123 1234567890123 1234567890123 1234567890123 1234567890123 1234567890123 1234567890123 1234567890123 1234567890123 1234567890123

Input (pulse sequence)

Input Layer

Output Layer

1234567890123 1234567890123 1234567890123 1234567890123 1234567890123 1234567890123 1234567890123 1234567890123 1234567890123 1234567890123 1234567890123 1234567890123 1234567890123 1234567890123

1234567890123 1234567890123 1234567890123 1234567890123 1234567890123 1234567890123 1234567890123 1234567890123 1234567890123 1234567890123 1234567890123 1234567890123 1234567890123 1234567890123

Second Hidden Layer (H2)

Output (pulse sequence)

12345678901234 12345678901234 12345678901234 12345678901234 12345678901234 12345678901234 12345678901234 12345678901234 12345678901234 12345678901234 12345678901234 12345678901234 12345678901234

12345678901234 12345678901234 12345678901234 12345678901234 12345678901234 12345678901234 12345678901234 12345678901234 12345678901234 12345678901234 12345678901234 12345678901234 12345678901234

First Hidden Layer (H1)

12345678901234 12345678901234 12345678901234 12345678901234 12345678901234 12345678901234 12345678901234 12345678901234 12345678901234 12345678901234 12345678901234 12345678901234 12345678901234 12345678901234

12345678901234 12345678901234 12345678901234 12345678901234 12345678901234 12345678901234 12345678901234 12345678901234 12345678901234 12345678901234 12345678901234 12345678901234 12345678901234

12345678901234 12345678901234 12345678901234 12345678901234 12345678901234 12345678901234 12345678901234 12345678901234 12345678901234 12345678901234 12345678901234 12345678901234 12345678901234 12345678901234

recently fired neuron the neuron to be created other neuron

n

U( ) n

n

n

図 3.5 複合ネットワーク形成処理

Fig. 3.5 Complex network generation process.