連想記憶モデル

連想記憶とは，記憶パターンを分散的に貯蔵し，部分的な記憶情報を基に必要な記憶 を読み出すことを言う．連想記憶手法を始めに提案した中野 [34]は連想記憶のイメー ジを図4-1のように一枚の絵で表現している．一般に記憶の過程には3つの段階がある とされ，それぞれ記銘，保持，想起の3段階がある．記銘とは，私たち人が外部から受 けた何かしらの情報を記憶に取り入れることを指す．そして，保持とは記銘した内容を そのまま保存しておくことを指す．そして，想起とは保持により記憶として貯め込まれ ている情報を思い出すことを指す．ここでは，記銘するべき絵が記憶装置に提示される ことで記憶装置に分散的に記憶(記銘)される．その後，この記憶装置にまた別の絵を提 示すると，前の絵の情報を保持しながら新規の絵の情報を記銘する．

図 4-1 連想記憶のイメージ

出典：中野馨，アソシアトロン－連想記憶のモデルと知的情報処理－(1979) , 昭晃堂, p.14

このようにして記銘された絵を思い出す(想起)する場合には，想起したい内容の一部 (図4-1で言えば山)を記憶装置に入力すると，その他に映っているもの(ここでは太陽と 木)が想起される．

それでは，どのようにして連想記憶の機能を実現するか．連想記憶では，記憶内容は

40

一つの神経細胞の発火状態を一つのベクトルで表す．これを多数の神経細胞の組み合わ せにより記憶内容を表現する．定式化する上では，以下のようにベクトル𝑥^𝑝を用いて表 現される(式(4.1)，ここで N は神経細胞数とし，一般には𝒙^𝑝 = {𝑥_𝑖^𝑝 ∈ {1, −1}: 𝑖 = 1 … 𝑁, 𝑝 = 1 … 𝑄}^{となる)．}

𝑥^𝑝 = ( 𝑥₁ 𝑥₂

⋮ 𝑥_𝑁

) (4.1)

そして記憶を保持しておく記憶ネットワーク𝑊は，以下の式(4.2)により表現され る．なお，記憶パターンの番号はpとした．

𝑊 = ∑ 𝑥^{𝑝 1}

𝑁𝑥^𝑝T

𝑝 (4.2)

本記憶ネットワークは，出力ベクトル𝑥^𝑝 (N×1)と入力ベクトルの転置𝑥^𝑝𝑇 (1×N)と を掛け合わせ，これを記憶パターンの総数分足し合わせるため，そのサイズはN×N となる．

さらにこの記憶ネットワークに埋め込む記憶パターンを作成する際，各記憶パター ン間の情報の直交性が重要である．例えば，ここに2つの記憶パターンに対応するベ クトル𝑥^𝑝と𝑥^{𝑞があったとする．この}2つのベクトルの要素が共に完全に同一である場 合，これら2つのベクトルの間の内積を取り，そのベクトル長であるNで割ることで その結果は1となる．それに対して2つのベクトルが𝒙^𝑝 = {𝑥_𝑖^𝑝 ∈ {1, −1}: 𝑖 =

1 … 𝑁, 𝑝 = 1 … 𝑄}より構成されており，これらが異なっている場合，これら2つのベ クトルの内積を取り，その結果をベクトルの次元Nで割ると結果はほぼ0になる(式 (4.3))．

1

𝑁𝑥^𝑞T𝑥^𝑝 {= 1 ∶ 𝑝 = 𝑞

≒ 0 ∶ 𝑝 ≠ 𝑞 (4.3)

そして，想起されたベクトル𝑥^𝑟はこの記憶ネットワークに入力ベクトルを右からか けることで表現することができる(式(4.4))．この式の結果，式(4.4)の右辺のはじめの𝑥^𝑝 より後は0または1となる．そのため，想起されたベクトル𝑥^𝑟では記銘時に入力元ベ

41

クトル𝑥^𝑝共に記銘された想起ベクトル𝑥^𝑞の記憶パターンが結果として得られることに なる．

𝑥^𝑟 = 𝑊𝑥^𝑝 = ∑ 𝑥^{𝑞 1}

𝑁𝑥^𝑝T𝑥^𝑝

𝑞 (4.4)

そして，想起された状態ベクトル𝑥^𝑟の想起の強度は記憶ベクトル𝑥^𝑝のすべてとの間 で相関をとることで確認することができる(式(4.5))．

𝑐𝑜𝑟𝑟𝑒𝑙𝑎𝑡𝑖𝑜𝑛 = 𝑥^𝑝T𝑥^𝑟 (4.5)

なお，連想記憶モデルには二種類あり，それぞれ相互想起型と自己想起型と呼ばれ る．相互想起型は入力情報に対して別の記憶情報を想起する手法である．それに対し て，自己想起型は入力情報の一部を入力すると入力情報の全体を想起するための手法 である．この先ではこの二種類の連想記憶のモデルについて詳細を説明する．

42

4.1.1 相互想起

相互想起型の連想記憶は入力ベクトルから入力ベクトルとは別のパターンのベクト ルを想起する際に用いる手法である．あらかじめ保持されている記憶ネットワークに入 力ベクトルを与えて想起ベクトルを得るという意味で，機械学習のパターン認識と同様 のものとして考えることができる．

その処理は以下の通りである．時刻tにおける状態ベクトルは時刻t+1の状態ベクト ルに対して相互にすべての要素間で全結合している(図4-2)．そのため，時刻t+1の状態 ベクトルが複数種類あった際，それぞれの結合強度により影響され想起された際の想起 ベクトル中に含まれる要素が変化することになる．

図 4-2 相互想起モデルの処理イメージ

その実現は，記憶事項はベクトル𝑥^𝑝(p は記憶パターン番号，式(4.1))で表現すること ができる．その実現には，想起するためのトリガーとなる入力ベクトル𝑥^𝑝と，想起する 対象となる出力ベクトル𝑥^𝑞を用意する．この際，ベクトルの次元は記憶する事象の数の みに依存する．相互想起ネットワーク𝑊^𝑚は式(4.2)を出力ベクトル𝑥^𝑞と入力ベクトル𝑥^𝑝 にそれぞれ対応させ，式(4.6)より実現することができる．

𝑊^𝑚= ∑ ∑ 𝑥^{𝑞 1}

𝑁𝑥^𝑝T

𝑝

𝑞 (4.6)

さらにこの記憶ネットワークを作成する際には，式(4.3)に示したような各記憶パタ ーン間の情報の直交性を持たせる必要がある．この直交性を持たせることで，式(4.6) により作成された記憶ネットワークに対して右側から現在状態ベクトル𝑥^𝑝を掛けるこ

43

とで想起されるベクトル𝑥^𝑟は記銘時に𝑥^𝑞共に記銘されてベクトル𝑥^𝑞の種類，および強 度の結果が合成された時刻t+1の情報を取得できることになる(式(4.7))．

𝑥^𝑟 = 𝑊𝑥^𝑝 = ∑ 𝑥^{𝑞 1}

𝑁𝑥^𝑝T𝑥^𝑝

𝑝 (4.7)

44

4.1.2 自己想起

自己想起型の連想記憶は，記憶行列内にある記憶パターンの内，入力ベクトルの一部 を与えるとそのベクトルの全体を想起させるものである．その例は，ある人を見た際，

その人と過去にあった出来事を思い出すことが当たるだろう．

その処理は，入力ベクトル(時刻 t)と出力ベクトル(時刻t+1)とを一致させ，出力ベク トル(時刻 t+1)を次の時刻の入力ベクトルとすることで徐々にその記憶ベクトルとの差 をなくし収束する方向に想起強度が強くなる(図4-3)．ここでは，時刻tでの入力ベクト

ルを𝑥_𝑖= {𝑖 = 1 … 𝑁}

とし，自己想起ネットワークにより，自身の全体のベクトル

情報を想起する．そして結果の状態ベクトル

_𝑦𝑖 = {𝑖 = 1 … 𝑁}

が想起された内容と して出力される．

図 4-3 自己想起モデルの処理イメージ

その実現は，記憶事項はベクトル𝑥^𝑝(p は記憶パターン数，式(4.1))で表現され，入力 ベクトル，出力ベクトルの両方にベクトル𝑥^𝑝

を

適応することで表現することができる．

この際，ベクトルの次元は相互想起モデル同様に記憶する事象の数に依存する．自己想 起ネットワーク𝑊^𝑠は式(4.2)とすることでそのまま実現できる．

そして，式(4.4)の記憶ネットワーク𝑊を相互想起ネットワーク𝑊^𝑠に変更し，ベクト ル𝑥^𝑝

をかける

ことで想起できる．この計算を1度しただけでは完全な情報を想起する ことはできないが，式(4.4)の出力結果として再度入力ベクトルとして計算することを 繰り返すことで徐々に記憶ベクトルの情報と同一のものに収束していく．

45

ドキュメント内 価値に駆動された人の推論システムに関する研究 (ページ 40-46)