認知モデルを用いたバーチャル世界のエージェント開発手法

(1)

認知モデルを用いたバーチャル世界のエージェント開発手法

Method of Developing Agent in Virtual World Using Cognitive Models

長島一真

1

_森田純哉

1

_竹内勇剛

1

Kazuma Nagashima

1

_{, Junya Morita}

1

_{, and Yugo Takeuchi}

1 1

_{静岡大学情報学部}

1

_{Fuculty of Informatics, Shizuoka University}

[email protected]

Abstract: This study aims to design a virtual world agent's behavior based on the cognitive architecture ACT-R that aims to simulates the human mind. At this time, the hierarchical architecture is implemented to combine modules of decision making and body movement by using ACT-R and a three-dimensional game engine respectively. Each module collaborates to work via the communication server, realizing independency between two modules. The goal of this study is to develop a method of designing various behaviors of agent based on the hot swapping the ACT-R model or the modulation of parameters of the model.

1．はじめに

認知科学では，認知モデリングの手法によって人工知能研究と心理学の融合が進められてきた．ここで言う認知モデルとはコンピュータ上に実装された人間の内部処理に関わる仮説である．通常の人工知能研究に対して，認知モデルの研究は，人間のエラーやバイアスを再現することに重点が置かれ，心理実験の結果に対するシミュレーションによって評価される．上記とは独立し，バーチャル世界におけるエージェントとして，ゲームエージェントの開発が進められてきた．ゲームエージェントの開発においては，スクリプトなどを利用することで，エージェントの振る舞いに関わる記述が，ゲーム本体のプログラムと分離される．この手法のメリットはプログラムの再コンパイルなし，またはプログラム動作中にスクリプトの記述を変更することでエージェントの振る舞いを変更できることにある．ただし，何をどこまでスクリプトに任せるかを定める一般的な設計論は存在せず，その利用は設計者に委ねられている[１]．本研究では，上記の2 つの背景を統合することで，認知モデリングの手法を流用し，スクリプト手法のメリットを踏襲したエージェントの開発手法を提案する．プログラム動作中に認知モデルを変更，またはパラメータを変更することでエージェントの振る舞いが多様に変化するエージェント開発を目標にする．ゲームエージェントにおけるスクリプト手法を認知モデルに置き換えることで，認知科学の一般的な知見に従ったエージェント設計論を提案できると考える．本稿の構成は以下である．まず，関連研究として認知アーキテクチャを用いた認知モデリングのアプローチ，およびその応用に関する研究を示す．その後，本研究において提案するバーチャルエージェントと認知アーキテクチャを統合するアプローチ，および実装したシステムの詳細を記述する．最後にまとめとして，今後の展望を述べる．

2．関連研究

2.1 認知アーキテクチャの利用

近年の認知モデリングでは認知アーキテクチャの利用が重要視される．認知アーキテクチャとは，個別の課題において，認知モデルを実装するフレームワークのことである．認知アーキテクチャを利用したモデルの実装により，人間の認知に近い認知モデルが作られるものと考えられている．これまでに複数の認知アーキテクチャが開発されてきた．本研究ではその中でもACT-R (Adaptive Control of Thought-Rational [２]) に着目する．ACT-R は大きなコミュニティを持ち，そのモジュールとパラメータを人間の脳の構造と生理機能に対応付ける研究が蓄積されている．加えてACT-R はインタプリタ言語である LISP で書かれており，外部環境とのインターフェースを

(2)

追加実装することで，環境に応じた柔軟な開発が可能になる．これらの理由から，本研究において目指すバーチャルエージェントとの統合に ACT-R が適していると考えた．

2.2 認知モデルを応用したエージェント

開発

近年，認知モデルを応用することで外部環境とインタラクションするエージェントを開発する研究が進められている．認知アーキテクチャを用いた認知モデルを利用することで，人間的なエラー，バイアスを持たせたエージェントを開発することが可能になる．高橋らは，認知モデルを組み入れたエージェントを開発するために，認知アーキテクチャとロボットOS，あるいはゲームエンジンを統合するプラットフォームを提案している[３]．このプラットフォームにおいて，エージェントは，ロボット OS と接続されたセンサ，あるいはゲームエンジンによって構築されたバーチャルな身体を介して外部環境とインタラクションする．しかし，高橋らによる知能のモデル化は，機械学習器による脳器官の対応づけによるもので，ボトムアップ的である．そのため，高橋らのアプローチによるエージェントを実現するためには，脳器官と対応する機械学習のアルゴリズムを明確にしなければならず，さらにそれらの演算と情報統合のためのハードウェアとネットワークの性能向上が必要になる．これらの課題を回避するために，本研究では，認知アーキテクチャとしてACT-R を利用することで，トップダウン的にエージェントを構築する．ACT-R は，認知科学の知見をトップダウン的に組み入れたアーキテクチャであり，人間にとって明示的なシンボルによって記述される．この特徴を活かし，本研究では，エージェントの身体が取得する情報をシンボリックなアフォーダンス[４] として環境に配置する．そのシンボルに基づき ACT-R が意思決定を行う．将来的には，このシンボル化の際に機械学習アルゴリズムなどを用いることで，トップダウン手法をベースにしながら，ボトムアップ手法を組み合わせることも可能になると考えている．

3．

仮想エージェントと認知モデリング

の統合アプローチ

3.1 バーチャル世界との接続

ACT-R は内部処理に関わるモジュールだけでなく，知覚や運動など，環境との相互作用を受け持つモジュールを有している．しかし，それらのモジュールは物理的な信号を取得する機能を含まない．そのため，ACT-R と接続し，外部環境の情報を取得する身体とその環境を用意する必要がある．本研究では，ロボットなどの物理的身体を用意するのではなく，より簡便に，3 次元空間として構築されたバーチャル世界とACT-R を接続する．3 次元空間の構築には，ゲームエンジンを利用する．近年のゲームエンジンには精巧な物理エンジンが含まれ，現実感のある環境を構築することが容易である．また，それと相互作用する身体モデルも用意されており，ゲームエンジン内で，状況に応じたエージェントの振る舞いを実装可能となっている．ACT-R とゲームエンジンとの統合についても，先行研究があり，バーチャル世界におけるロボットの環境探索[５]などが課題として取り扱われている．本研究ではそれらの知見を援用しつつ，ゲームエンジンとACT-R の統合を拡張させる．図 1：脳と身体の階層構造

3.2 認知アーキテクチャとバーチャル身

体の統合

ACT-R が接続するバーチャル世界では，複数の独立したイベントがリアルタイムに進行する．それに対して，ACT-R の内部に生じるプロセスは基本的に系列的である．それに加え，全ての環境情報を ACT-R で処理するのは難しいため，環境情報を記号化して送る必要がある．したがってACT-R とバーチャル世界の統合には，異なるシステムを並列に動作させる仕組みと記号化された環境情報を通信する仕組みが必要である．本研究のシステムでは，図1 の通り環境情報の抽象化の仕組みとして，異なる階層のプロセスを並行して動作させるサブサンプションアーキテクチャを参考した階層構造を用いる[１][７]．ここで，エージェントの上位層の意思決定はACT-R が担当し，下位層の身体的な行動及び環境情報の取得はゲームエンジン側で行う．上位層は，下位層で取得した環境データを記号として受け取り，知識ベースの意思決定を行う．下位層は，基本的にゲームエンジン内で定義した動作にしたがい動作するが，上

(3)

位層からの意思決定の結果次第では，現在の身体の動作がプリエンプションまたはオーバライドされる．また下位層は，環境からのデータを取得し，それを記号化して上位層に送る働きをする．

4．プロトタイプシステム

4.1 アーキテクチャ

これまで，図1 の階層構造を具体化するシステムを図 2 のように実装した．図 2 に含まれるサーバ（C++で実装）は，ACT-R とゲームエンジン間でのデータの受け渡しを担う．2 つのシステムがサーバを介して結合されることで，1 節で述べたスクリプト手法のパラダイムと同様，ACT-R とゲームエンジンの独立性を確保される．つまり，コンパイル済みのゲームエンジン内のエージェントに対し，ACT-R のモデルを柔軟に変更・介入できる設計となっている．各システムは独立して動作するため，どちらか一方のシステムが停止，または変更されたとしても，もう一方のシステムに影響を与えない．図 2：システムの概要サーバ上のスロットに対する読み込みと書き込みは，ACT-R とゲームエンジンで対称的に行われる．バーチャル世界におけるエージェントのイベントに応じて，ゲームエンジンがサーバの環境スロットを更新し，その値をACT-R が定期的に読みこむ．また， ACT-R の実行結果によって，サーバ上の意思決定スロットを更新し，ゲームエンジンがその情報を読みこむことによってバーチャル世界のエージェントの動作状態が更新される．ACT-R とゲームエンジンのサーバへのアクセスは非同期である．つまり，サーバを介在して，ACT-R による認知プロセスの実行とバーチャル世界における身体動作が，並列的に遂行される．このような高次の意思決定機構（脳）と低次の身体運動の関係は，階層的なサブサンプションアーキテクチャの枠組みと整合的である．

4.2 通信仕様

本システムのネットワーク通信には TCP/IP のソケット通信を用いている．認知アーキテクチャ，ゲームエンジンのそれぞれのプロセスにクライアントソケットを付与し，共通のソケットサーバと接続する．データの形式に関しては，過去の研究[５]を参考にJSON (JavaScript Object Notation) に統一している．サーバに備わるスロットは，256Kbyte までの JSON データを保存できる．サーバは機能を2 つ有しており，1 つ目はクライアントにスロットの内容を送信する読み出し機能，2 つ目はスロットの内容を更新する書き込み機能である．これらの機能は，クライアントからサーバに送信するリクエストによって利用できる．図3 はそのパケットの仕様であり，1 つ目のパケットは読み出しリクエスト，2 つ目のパケットは書き込みリクエストを示している．なお，サーバのスロットの数は，マルチエージェント化や外部デバイスなどの用途にも利用でき，最大65,536 個まで増やすことができる．図 3：サーバ受信パケットサーバへ読み出し要求後，サーバから該当クライアントにパケットが送信される．図4 はサーバから送信されるパケットの仕様である．可変長データに，そのサイズを加えてパケット化することで，クライアントはパケット単位でスロットのコンテンツを受信する．図 4：サーバ送信パケット

(4)

4.3 ゲームエンジン側の実装

本本研究で使用するゲームエンジンは UE4 （Unleal Engine 4）である．UE4 を用いる理由の一端は，基本機能にBehavior Tree が存在することにある． Behavior Tree とは，エージェントの振る舞いをツリー構造状に定義し，それを逐次，またはif-then のルールに基づいて実行する手法である．柔軟なエージェントを設計するために広く利用されている．図 5 は本課題のエージェントのBehavior Tree を示している．赤枠で囲まれた木の葉の部分がタスクと呼ばれるエージェントの一つの動作の単位になっている．このタスクは，UE4 の BP (Blueprint) と呼ばれるビジュアルスクリプトを用いて実装している（図5 の下段）．図 5：UE4 を用いたエージェント実装例図 6：UE4 を用いた実装例本研究において，UE4 を利用する別の利点は，エージェントのタスク間のデータの受け渡しに Blackboard アーキテクチャ[８]を模したデータをストアする機能が存在するこである．UE4 の Blackboard は，データのストア先をキーと呼ばれる名前で定義し，データ型（文字列型や整数型など）を指定することによりキーに対して，それに適したデータをストアする事ができる．UE4 の Blackboard にあらかじめ2 つのバッファを用意し，バックグランド上でネットワーク上のサーバの2 つのスロットと同期をとることで，身体側のエージェントはUE4 が持つ基本機能で実装ができる．図6 は UE4 を用いた実装例の概要である．

4.3 迷路探索課題

4.3.1 課題構築されたアーキテクチャを用い，単純な迷路探索を行うエージェントを実装した．図 7 は課題の環境を俯瞰的に示している．この環境におけるエージェントの課題は右下を出発点とし，左上の行き止まりを目指すというものである．また曲がり角に配置された白い物体は，曲がり角の情報を記載した視覚的手がかりを示している．本研究のモデルでは，各曲がり角にエージェントが知覚しうる環境情報をアフォーダンス [４]として配置している．エージェントは曲がり角に到着する度に，その情報に基づき，次に目指す曲がり角を決定する．ただし，今回のエージェントにおいては，黄色の矢印が示しているゴールまでのパスをあらかじめ記憶として与えている．したがって，スタート地点から曲がり角に行く度に記憶から次の曲がり角を思い出し，ゴールまで向かう処理を行う．図 7：迷路探索課題の環境 4.3.2 エージェントの動作図8 はエージェントの動作をフローチャートで示している．エージェントの移動に先立ち，あらかじめ記憶しているゴールまでのパスの次の曲がり角を検索する．ACT-R の記憶は，活性値の不足などにより失敗する．記憶の検索に失敗した場合は，その場に待機し，再び記憶の検索を試行し，成功するまで

(5)

続ける．検索が成功した後に，エージェントは身体の向きを変え，視線から最も近い曲がり角に向かう．図 8：エージェントの動作 4.3.3 予備的結果図8 は図 9 で示したエージェントの振る舞いから得られたシミュレーション結果を示している．活性値に付与するノイズパラメータの異なるエージェントを用意し (0.1, 05, 1.0)，各 10 回迷路課題を実施し，実行に要する時間を比較した．その結果，設定された環境において，ノイズの少ないエージェントは実行時間の分散が小さく，ノイズが多いエージェントは分散が大きいという結果になった．この結果は， ACT-R のパラメータを操作することによって，バーチャル世界におけるエージェントの振る舞いに多様性を持たせることができることを示している．図 9：シミュレーション結果

5．まとめと展望

本研究では，認知モデリングの手法を流用し，スクリプト手法のメリットを踏襲したエージェントの開発手法を提案した．認知モデルの構築に，トップダウン的な認知アーキテクチャである ACT-R を利用することで，ボトムアップ的な機械学習アプローチの課題を回避した．ACT-R とゲームエンジンがサーバで結合される環境を構築し，ACT-R のパラメータを操作することで，振る舞いの多様さを生成する可能性を示した．この予備的結果から本研究において構築したアーキテクチャは，脳のパラメータを調整することで，環境からの同一の情報でもエージェントの動作に違いが生じることが示された．このことはバーチャルエージェントの開発に認知モデリングの研究において蓄積された研究知見を体系的に流用することが有効であることを示唆している．従来の認知モデルの多くは身体を持たず，基本的には脳内に閉じた記号系の問題を扱ってきた．認知モデルに対して，バーチャル空間の身体を付与することで，身体と脳のインタラクションに関する重要な現象をシミュレーションできる可能性がある．もちろん，ゲームエンジンとACT-R を接続する試みは本研究において初めて行われたわけではない．ただし，従来の研究[５]は，ACT-R とゲームエンジンを Pear to Pear で結合し，図 2 の通りサーバを介して結合するものではなかった．先行研究の方式に対し，サーバを介した本研究のアーキテクチャは，エージェント開発の柔軟さという点で利点がある．さらに，設計したサーバは複数の ACT-R モデルの接続を許すものであり，マルチエージェント環境への拡張という点でも利点を有している．この利点を活かし，今後，バーチャル世界に複数のエージェントを配置した，身体化された集団のインタラクションのモデル化を行う予定である．さらに，ゲームエンジンによるバーチャル世界の可視化は，ACT-R によって稼働するエージェントと人間との相互作用を行えるようにするという利点も有している．このことから本研究のアプローチは，新たな認知モデリング手法の可能性と，エージェントに体系的な背景を持たせるという利点を有していると主張することができる．この利点を活かすことで，様々な環境における多様な動作の生起が可能になり，汎用的なエージェントの開発に寄与できると考える．

文献

[１] Bourg D., Seemann G.: AI for Game Developers, O'Reilly Media, (2004)

(6)

[２] Anderson J. R.: How Can the Human Mind Occur in the Physical Universe, Oxford University Press, (2007) [３] 高橋恒一，坂谷琴音，中村政義，小泉守義，荒川直哉，

富田勝，山川宏：認知コンピューティングのための汎

用ソフトウェアプラットフォームの設計と開発,

2015 年度人工知能学会全国大会，(2015)

[４] Gibson J. J.: The Ecological Approach to Visual Perception, Houghton Mifflin, (1979)

[５] Smart P. R., Scutt T., Sycara K., and Shadbolt N. R.: Integrating Cognitive Architectures into Virtual Character Design, Engineering Science Reference, (2016)

[６] Brooks R. A.: Planning is just a way of avoiding figuring out what to do next. Technical report, MIT Artificial Intelligence Laboratory, (1987)

[７] 三宅陽一郎：人工知能の作り方：「おもしろい」ゲー

ムAI はいかにして動くのか，技術評論社，(2016)

[８] Buschmann F., Meunier R., Rohnert H., Sommerlad P., and Stal M.: Pattern-Oriented Software Architecture: A System of Patterns, Wiley, (1996)