連想記憶モデルに基づく人のシンボル的推論のモデル化

(1)

連想記憶モデルに基づく人のシンボル的推論のモデル化

Human symbolic inference model based on an associative memory model

宮田真宏

1

_{大森隆司}

2

Masahiro Miyata

1

_{, Takashi Omori}

2 1

_{玉川大学大学院工学研究科}

1

_{Graduate School of Engineering, Tamagawa University}

2

_{玉川大学工学部}

2

_{College of Engineering, Tamagawa University}

Abstract: Intuitive inference and logical inference are two types of inference for human, and many models have been proposed. However, most of them supposed the intuitive inference and the logical inference are realized by different processes. However, no brain area is known yet for the logical inference and few neural model are proposed that can clearly explain its macroscopic process. So, in this study, we propose an integrated model in which the intuitive inference is represented as a search process of in a continuous and distributed associative memory, and is switched to a symbolic inference mode that biases an associative gain when it find values during the intuitive inference search. In this study, we discuss its computational model by an associative memory and show its simulation results.

１．はじめに

近年の人工知能(AI)ブームにより，今後生み出される商品の多くはAI 技術を用いるだろう．その生み出される製品には，より人間的な機能が求められることが予想できる．その典型例が対人インタラクションである．対人インタラクションとは，人を対象とした広義のコミュニケーションであり，その実現にはコミュニケーションする相手の意図や要望，ニーズを理解し，それに呼応した自身の意思決定が必要であると考えられる．そのため，対人インタラクションの向上には，人の意図や目的（意思決定）の背後にある人の価値観，AI 的表現では価値計算システムの理解は欠かせないと考える．本研究ではこの対人インタラクションを理解するための鍵となる要素として『情動』に注目した．情動に関しては心理学や生理学の分野でこれまで多くのモデルがあり[1][2][3]，コミュニケーション場面における情動の役割についても従来から多くの研究がなされてきた[4][5]．さらに，人は価値と同様に情動によっても意思決定を行うとされている[6]．情動は時として不合理なこともあるが，日常生活の多くの場面では合理的な価値計算と同等の意思決定を導いている．それでは意思決定はどのような処理システムで実現されていたか．これまでに作られた多くの人工知能を搭載したロボットなどの意思決定には報酬に導かれる強化学習が用いられている．しかし強化学習による行動学習には多くの試行錯誤が必要であり，学習が終わるまでに長い時間がかかる問題がある．それに対して本研究では，その場の状況に対してすぐに対応するだけでなく，その場の状況を受け，次に起こる状況を予測する推論を考える．従来のAI 研究では推論の過程をTree 探索を代表とする論理的な手法によりモデル化してきた．しかし一方で，我々の推論には「頭で考える前に体が動いた」などの表現があるように，意識的で論理的な推論とは異なる素早い直観的な推論もある．これら二つの推論に共通することは，推論の後に意思決定が行われている点である．では，推論と意思決定にはどのような関係があるのだろうか．我々が意思決定をする際，その状況すべてが既知とは限らない．未知の情報があっても我々は推論をすることができ，意思決定することができる[7]．これは，推論時には過去に例のない新奇の場面においても，その先に起こる事象を複数かつ並列的に予測し，過去の経験に完全に合致せずともその情報を想起でき，さらにその経験に基づいて見出された情報に価値を割り振り，その価値が最大となる行動を選択する，という一連の内部過程があるからであろうと考えられる[8](図１)．これらより，推論とは広い意味での価値探索であり，我々はその結

(2)

果を受けて行動決定している，と考えることができる．価値の探索という考え方をすると，推論と強化学習，反射という複数の意思決定過程を接続して考えることができる．そこで本稿では，価値評価に駆動された2 つの推論過程を，連想記憶を用いた確率的な推論，および論理的な推論として実現できることを示し，簡単なモデルによる迷路探索問題を解くことで，その検証を試みる．

２．人の推論

認知科学の世界では人の推論には直観的推論（タイプ１）と論理的推論（タイプ２）の二種類がある [9]とされ，二重過程と二重システム仮説についても議論がされてきた．さらに，これらはそれぞれを別のシステムとしてモデル化してきた(表１)．推論とは，現在状態から価値が最大となる場面へ向かうために状態空間中でなされる経路探索である．従来の推論の基本モデルはTree 探索であり，人では個々の離散状態に対する予測とその評価を順次行う意識的かつシンボル的な方式である[10]．シンボルの創発に関しては，意識化することが思考を一つに絞ると考えるGlobal Workspace Theory とも関係があろうが，本稿では深く議論しない[11]．しかし論理的推論とは別に，我々は何かの認識時にその影響の予測，および評価を素早く行う直観的な推論過程も持っている．それは，感覚刺激からの自動的な連想による無意識的な予測と評価によると考えられる．ここで，予測は局所的でかつ多方向に並列的に進み，それを価値計算システムが部分的に評価したものの全体が，「直観」と言われているように思える[12]．

２.１．直観的推論

直観的推論の特徴は，表１で述べたように無意識的に行われる，論理的推論に比べて推論にかかる時間が短い，外部からのバイアスにより結果が影響されやすい，分散的である，推論される探索範囲が浅いことなどが知られている．それでは，この直観的推論はどのような計算過程としてモデル化が可能となるだろうか．本稿で考える脳の直観的推論は，以下の四種類の機能要素からなるとする．なお，以下でいう特徴には，価値評価系が短いサイクルで局所的な特徴に対しても価値を与えること，および情報循環を積極的に制御する系が含まれる． (1) 現在状態：感覚入力や現在状態から予測される状態認識を表現する．モダリティごとの局所的特徴の集合を指す． (2) 連想ネットワーク：世界についての知識を表現し，状態St＋行為At→状態St+1 の遷移予測の機能を実現する． (3) 価値評価系：現在状態より予測された部分状態に対し，何らかの価値を与える[13]．経験の蓄積と一般化により，局所的な特徴にも価値付与ができると考える． (4) 脳内情報循環系：感覚入力－連想ネットワーク－価値評価系の間の情報循環をトップダウン的に制御するシステム．循環のゲインを制御することで価値探索の機能を実現する．直感的推論は無意識であるため，局所特徴群の統合は起こらず，特徴の連想による予測と価値評価のサイクルも局所的で意識の有無に関わらず何らかの価値が計算されるという現象が生まれる．さらに，連想は多方向への分岐が起こり，神経興奮が同時並列的に多方向へ分散して確率的な予測を実現すると考える．ここで，世界についての知識は階層的認識の途中過程の時系列の「局所特徴t＋行為 t→局所特徴t+1」という連想を想定し，連想ネットワーク内に経験的に蓄積された確率モデルであるとする．例えば，物理法則・モノの操作・自己移動などによる知覚の時間変化を蓄積した predictive coding の一種と考える[14]．これらの機能部品の組み合わせと情報 直観的推論 論理的推論 作業記憶は不要作業記憶が必要無意識的，自律的意識的，メンタルシミュレーション推論が速い推論が遅いバイアスに影響されやすい規範的，公平文脈依存抽象的確率的，分散的論理的，シンボル的暗黙知（経験的確率）を利用明示的な知識を利用推論が浅い深い推論が可能進化的に古い進化的に新しい表１推論の二重過程と二重システム仮説図１推論による価値探索の位置づけ

(3)

循環の動的制御により，確率的な事象の予測と価値評価が神経興奮の伝搬として実現できよう(図２)．

２ .２．論理的推論

論理的推論の特徴は，表１で述べたように意識的に行われる，直観的推論に比べて推論にかかる時間が長い，外部からのバイアスにより結果が影響されにくい，離散的である，推論される探索範囲が深い，といったことが知られている．それではこの論理的推論はどのようなモデル化が可能となるのか．本稿で考える論理的推論の処理過程は以下の三種類の機能要素からなるとする． (1) 価値の焦点化：直観的推論にて見出された，認識状態の価値に焦点を当てる． (2) 価値の長期予測：認識状態がこのまま続いた際に，その価値がどのように変化するかを予測する． (3) 価値調節系：見出されている価値を状態に反映し，認識状態を更新する．これらの機能要素の処理を繰り返すことで，認識状態に関連した価値に対して将来的な価値の変化を予測することができると考える．さらにこれを反復することで，単一の価値が支配的になった際には，意思決定に用いることもできよう(図３)．

３．連想記憶モデル

３ .１．連想記憶とは

連想記憶とは，記憶パターンを分散的に貯蔵し，部分的な記憶情報を基に必要な記憶を読み出すことを言う．我々の体験する例として，紙に点が2 つ横並びに書かれており，その下に直線が横に引かれているとする．その紙を見た他人はそこに書かれているのが人の顔のように認識するなどが挙げられる．このように一部の情報を提示するだけでその全体を予測できる事に対応している．連想記憶モデルの例として，記憶事項を一つのベクトルで表したアソシアトロン[15]や時間的な連想を考慮したモデルがある[16]．これらのモデルでは，複数個の記憶事項の記銘はそれらの相関行列の和 (記憶行列)で表し，想起用の入力ベクトルと記憶行列の積を計算することで想起を再現できる．さらに，連想記憶モデルには相互想起型と自己想起型の2 種類が存在する．相互想起型は機械学習のパターン認識に近く，記憶行列内の記憶パターンに入力ベクトルを与え，対応するパターンを想起させることで連想を行う．また自己想起型は，記憶行列内にある記憶パターンの内，入力ベクトルの一部を与えるとそのベクトルの全体を想起させる(図４)．なお，連想記憶モデルは全結合型の相互結合ネットワークであるため，全てのベクトル要素の間での結合の強さ（コネクション）が重要になる．この結合強度のなかに，あるベクトルから次のベクトルへのベイズ確率的な伝わりやすさが表される．

３ .２．本研究手法

前述のように推論は2 種類あるとされ，従来両者は別の処理システムとしてモデル化されてきた．しかし，実際に人の推論システムが二種類あると仮定図４相互想起・自己想起モデルイメージ図３論理的推論処理イメージ図２直観的推論の処理過程のイメージ

(4)

すると，その場の状況に応じて推論システムを選択する必要がある．つまり，その2 種類の推論システムを制御する上位システムが必要となる．しかし，そのような上位システムに関する知見はない．それ以上に，脳科学や認知科学においても，論理的推論に対応する脳部位や回路は前頭葉という以上のことは知られていない．そこで本研究では，これら2 つの推論は1 つの処理システムの動作モードの切り替えによって実現されると考えた．その過程を前述の連想記憶モデルの連想過程に埋め込むと，その計算式は以下になる．パラメータαがモードを表す． 𝑦𝑡+1_{= 𝛼 (∑ 𝑃𝑟(𝑦} 𝑗𝑡+1|𝑦𝑖𝑡)𝑊𝑖𝑗𝑒 𝑗 ) 𝑦𝑡_{+ (1 − 𝛼) ∑ 𝑊} 𝑖𝑗𝑆𝑦𝑡 𝑗 (1)式右辺の第一項は，直観的推論を実現する連想項である．ここでは過去のエピソードを表す記憶ベクトルからイベントごとの連想行列(We ij)を作成し，入力ベクトル(yt_{)から想起されるエピソードを連想} 的に探索する．なお，記憶ベクトル群は直交していると想定する．これより想起されるベクトルは，入力ベクトルとの順次生起の確率が高いほど強い強度として想起される．すなわち想起されたベクトルは過去の経験に基づきその強さが決まる．この連想を反復することで，短時間で広い範囲に対する確率的な探索が可能となる．そして探索中に価値のある部分を発見したときは，その価値に従い意思決定する． (1)式右辺の第二項では，第一項で見出された価値に焦点を当て，その価値を最大化させる記憶想起の反復計算（後述）を行う．すなわち，入力ベクトルの価値のある成分を強化して，想起によって特定の価値が支配的になるまで自己想起型の連想計算を反復し，次いでそれに対応する行動を選択する．

３ .３．直観的推論（相互想起）の実装

直観的推論は，相互想起型モデルで実装可能と考えた．現在状態から次に起こりうるエビソードの予測を連想的に行うことで，次の時刻で起こりうる状態のみを評価することができるためである．本研究で実装した直観的推論には，以下の条件を設けた．ここで，i，j は記憶ベクトルの番号である． (1) 記憶ベクトルの表現：記憶をさせる状態ベクトルの要素は±1(興奮性/抑制性)からなるランダムベクトルとし，ベクトルの長さは直交性を確保するために十分に長くした（例：3000 など）． (2) 直交条件：計算上の制約条件として，記憶ベクトル群は直交するとした（(2)式,N はベクトル長）． 1 𝑁𝑥 j𝑇_𝑥𝑖 _{= {}1 : 𝑖 = 𝑗 0 : 𝑖 ≠ 𝑗 直観的推論の計算にはまず，観察されたエピソード群の遷移から連想行列(W)を(3)式により求める． W = ∑ ∑ 𝑃𝑟(𝑗|𝑖)1 𝑁𝑥 𝑗_𝑥𝑖 T 𝑖 𝑗 これにより，記憶パターンすべてを用いた正方行列が出来る．現在の状態xi_{から次の状態}_{x に対する} 想起の計算は (4)式となる． 𝑥 = 𝑊𝑥𝑖_{= ∑ 𝑃𝑟(𝑗|𝑖)}1 𝑁𝑥 𝑗_𝑥𝑖𝑇_𝑥𝑖 𝑗

=

∑

𝑗𝑃𝑟

(

𝑗|𝑖

)

𝑥𝑗

さらに，更に深い範囲への探索を行なうには𝑊𝑥𝑖 の部分を𝑊(𝑊𝑥𝑖_{)として計算することで，連想を反} 復することができ，きわめて短時間で深い探索も可能となる．以上の計算は，式(1)のパラメータα=1 の計算過程となる．

３ .４．論理的推論（自己想起）の実装

論理的推論は，直観的推論の実装にて見出された価値に着目した際に，価値によるバイアスのかかった自己想起をさせることで実現できると考えた．そのため，直観的推論にて見出された価値に紐づけられた状態空間に対し， (1) 価値の予測・焦点化：直観的推論にて見出された状態ベクトルに価値があった際に，式(3)の i， j を i=j として，自己相関行列 Ws_{を算出し，式(1)} のパラメータをα=0 とする． (2) 状態ベクトルの変調：想起された状態ベクトル内の価値のあるベクトル成分を価値に比例して強化する．価値の競合がある場合は，必要に応じて価値の間での相互抑制の機能を働かせる． (3) 更新状態ベクトルの正規化：更新された状態ベクトルは価値の付与，および，複数の状態ベクトルの和となっているため，長さが入力ベクトルと異なってくる．そのため，状態ベクトルの長さの正規化を(5)式により行う．ここで，k は関連する状態ベクトルの数である． norm = √𝑁 ‖∑ 𝑥𝑘 𝑘 ‖ (4) 連想計算：(1)にて計算した自己相関行列 Ws_と (3)で計算した正規化済み更新状態ベクトルで(4) 式を計算し，価値に結び付くベクトル成分を強化していく．以上 (2)～(4)の処理を状態ベクトル内の記憶ベクトル成分に結び付いた価値のいずれかが優位になり，安定するまで繰り返す．その収束状態が意識化されたシンボル状態とする． …(1) …(2) …(3) …(4) …(5)

(5)

４．計算機シミュレーション

４ .１．直観的推論（相互想起）

シミュレーションは，まず，図２のツリーのノードのエピソードを表現する状態ベクトルとして N=5000 の±1(興奮性/抑制性)からなるランダムベクトル群（Si：i=0…14）を事前に用意し，それに基づいて相互想起行列および自己想起行列を作った．ここで，エピソード間の遷移の条件付き確率は適当に決めた．その上で，現在状態(S0)から過去の経験に基づいた状態ベクトル毎の状態遷移の強度を計算した．図５は横軸に推論の反復回数をとり，縦軸に見出された状態ベクトルに対する行動選択確率を取ったものである．この本シミュレーションでは状態ベクトルに価値は割り振っていないが，各状態に価値を割り振ることで，意思決定可能となることが示唆された．

４ .２．論理的推論（自己想起）

本シミュレーションは，直観的推論の1 層目の推論をした際に，二つの価値が見出されたことを想定した．想定では，直観的推論のみ，すなわち日常的な発生確率では価値２の方が強い想起強度となるが，実際には価値１の方がその瞬間の状況では大きい価値を持ち，時間を経るごとに価値１に対応する状態ベクトルの強度が強くなっていく．そしてシミュレーションの結果，図６のように直観的推論で計算する最初のステップから2 ステップ目の確率の正規化までは価値２の方が強い相関強度となっていたが，３ステップ目からはその相関強度が逆転しており，最終的には価値１の相関強度が１付近に収束したのに対し，価値２の相関強度は0.2 以下と弱くなった．この相関強度が１に近づいた方の記憶ベクトルを意思決定に，または次の推論の初期ベクトルとすることで，論理的推論と同等の時間はかかるが価値に駆動された推論が実現可能なことが示された．

４.３．迷路課題のシミュレーション

本シミュレーションは，状態の空間の中に複数の価値を置き，直観的推論と論理的推論とを組み合わせによる迷路探索課題の解決のシミュレーションを行った(図７)．状態ベクトルは長さ 5000 の±1(興奮性/抑制性)からなるランダムベクトルとして，地図上の各位置に対応させた．迷路中の水色の領域は正の価値，濃い紫の領域は負の価値に結び付き，黄緑色の領域は正と負の価値が競合する個所を示している．エージェントのタスクは，地図上の現在位置から行動を開始し青のキューブ(報酬)を取ることである．シミュレーションはゲームエンジン Unity にて仮想環境を築き，その中にエージェントを置いて，行動探索を行なった[17]．エージェントの連続的な行動による結果を図８に示す．図８は横軸に時刻，縦軸に相関強度を示し，図中の枠線の区間は直観的推論，それ以外の区間は正規化と論理的推論の結果である．このグラフより，自己想起の反復回数に依存せず，相関強度が安定した際に次の推論に進んでいることがわかる．さらに，直観的推論と比較すると論理的推論のほうが計算回数が明らかに多くなっている．図７迷路探索用の地図，および価値配置図５直観的推論結果図６論理的推論結果

(6)

５．まとめ

本稿では，連想記憶モデルを用いた直観的推論と論理的推論のアーキテクチャを提案し，簡単な迷路探索課題を解くことができた．しかし，連想的な推論の結果として得られる場所を示すベクトルには経路に関する情報が含まれていないことは課題である．ランダムベクトルに途中の経路や行動の情報を付加する方法の検討が必要である．連想記憶のこの問題の一つの解決法が粒子モデルであろう．粒子モデルは個々の粒子に経路情報などを付加することが実装上容易である．粒子モデルを用いてもベイズ的な挙動を示す直観的推論が実現できることは既に確認されている[8]．粒子モデルを用いた論理的推論の手法について検討することが今後の課題である．本研究は文部科学省科研費15H01622 の助成を受けた．支援に感謝する．

参考文献

[１] Olga C.: An architecture of the cognitive system with account for emotional component. Biologically Inspired Cognitive Architectures., Vol. 12, pp. 144-154, (2015) [２] Alexei S.: Emotional biologically inspired cognitive

architecture, Biologically Inspired Cognitive Architectures, Vol. 6, pp. 109-125, (2013)

[３] Jordi V. et al.: A cognitive architecture for the implementation of emotions in computing systems, Biologically Inspired Cognitive Architectures, Vol. 15, pp. 34-40, (2016)

[４] 戸田正直.: 感情,東京大学出版会, (1992)

[５] A Ilyasova.: Emotional competencies: Connecting to the emotive side of engineering and communication，IPCC, pp. 1-5，(2015)

[６] 信原幸弘: 情動の哲学入門価値・道徳・生きる意味，勁草書房，(2017)

[７] 服部雅史: 思考と推論: 理性・判断・意思決定の心理

学，北大路書房，(2015)

[８] Masahiro Miyata, Takashi Omori : Modeling emotion and inference as a value calculation system, BICA2017，(2017) [９] Jonathan St. B. T. Evans et al.: How many dual-process theories do we need? One, two, or many? , Oxford Scholarship Online，(2009)

[１０] Russel, Norvig 他:エージェントアプローチ人工知能

第2 版，共立出版, (2008)

[１１] Sid K.: Levels of processing during non-conscious perception: a critical review of visual masking, Vol. 362, pp. 857-875, (2007) [１２] 大森隆司，宮田真宏：粒子モデルと価値評価系による直観的推論の計算アーキテクチャ, 日本神経回路学会全国大会, p.55-56, (2017) [１３] 宮田真宏，大森隆司: 感情の価値計算システム仮説にもとづく前頭葉推論モデルの検証，人工知能学会大会, 3K1, (2017)

[１４] W.Lotter etal.: Deep Predictive Coding Networks for

Video Prediction and Unsupervised Learning,

arXiv:1605.08104, (2016)

[１５] Kaoru Nakano: Associatron-A Model of Associative Memory, IEEE, (1972)

[１６] Haim Sompolinsky: Temporal Association in

Asymmetric Neural Networks, Physical review letters, The American Physical Society, (1986)

[１７] LIS (Life In Silico) ，http://wba-initiative.org/1036/．

連想記憶モデルに基づく人のシンボル的推論のモデル化