実験 AI プレイヤ等のパラメータ設定

本研究が実験で使用したプレイヤ，Base探索，I-Map，I-Map+複数F のパラメータに ついて述べる．まず，各人工プレイヤが共通して備える「反射神経を模した障害物制御」

だが，どの人工プレイヤでも0.4秒以内に生成された弾や敵を各人工プレイヤは探索時に 考慮しない．

Base探索は深さ5までの経路探索を行う．ただし，被弾するノード以外はノード評価 値が常に0である．よって被弾の危険が全くない場合にとる移動行動は実装に左右される が，今回の実装ではその場合「無移動」を出力する．

I-Mapは深さに関して同様の数値設定であるが，6.6.2節から6.6.4節に述べたような方

法でノード評価にInfluence Mapを用いる．I-Map+複数Fは5フレームにまたがる移動 を深さ1つ分として，深さ5まで探索を行う．ノード評価にInfluence Mapを用いる．

第 7 ^{章 まとめ}

本研究では未だ達成されていない対象ゲームと人工プレイヤの目的の組み合わせについ て，いくつかの問題クラスが含む課題に対処するための拡張手法を提案し，性能を実験で 評価した．ターン制ストラテジーでは強さを目的とし，既存のモンテカルロ型のアプロー チに対し前向き枝刈りつきのαβ型の木探索を提案し，大会優勝プログラムに有意に勝ち 越すプレイヤの開発に成功した．RPGでは人間の好みの読み取りと迎合を狙う手法を新 規に提案し，アンケートで不満の減少を確かめた．格闘ゲームでは強いプレイヤ作成を目 指して既存の人工プレイヤ手法の長所と短所に注目し，複数の人工プレイヤを組み合わせ るシステムの提案を行った．元となる人工プレイヤと比べての強さの向上が確かめられ，

また「行動パターンの読み取られにくさ」が本手法によって人工プレイヤに付与されると 予想される．シューティングでは人間らしいプレイヤ作成のため，アクションやFPSの 既存手法の流用でなく，シューティングの既存プレイヤの挙動観察から手法の設計を図っ た．アンケートにより提案手法がシューティングにおいて人間らしさに寄与することを確 かめた．

本研究のリサーチクエスチョンを以下に改めて示す．

1. 組合せによる合法手数が爆発的に増えるゲームで強い木探索プレイヤをどのように 開発するのか

2. 人間プレイヤの個人ごとに異なるゲームスタイルの嗜好をどう読み取って迎合すれ ば良いか

3. 最善戦略が相手の行動によって変わり続けるリアルタイムゲームで人工プレイヤの 強さを向上させるにはどうすれば良いのか

4. 人工プレイヤがシューティングゲームの障害物を回避する動きを人間らしくするに はどうすれば良いか

この最初の問いに関しては，本研究では一部のターン制ストラテジーゲームにおける諸 性質に着目することで枝刈りを行い，TUBSTAPプラットフォーム上で既存のものより強 い人工プレイヤの開発に成功した．その結果として以下の答えをこの問いに対し立てる．

ターン制ストラテジーまたは手番ごとの複数の駒操作による組合せで合法手数が増える ターン制ゲームにおいて，「駒操作の順序に対する前後可能性」，「似た効果が期待される 行動群の存在」，「少ない駒による複数回の木探索に探索を分割できそうな局面の多さ」の

うち複数個の性質を持ち合わせているゲームについては，本研究の枝刈り手法によって木 探索型人工プレイヤの強さ向上を達成できる見込みがあると本研究では考える．

次の問に関しては，効用関数による人間嗜好のモデル化とシミュレーションによって，

RPGゲームで仲間の意図に沿った行動をとる人工プレイヤの開発を行った．その性能を 自作のRPGプラットフォームの被験者実験により確かめた．そのため，この問いについ ては以下の答えを立てる．ゲームの状況と行動に関する人間の嗜好が関数でモデル化でき て，人間の行動選択とその結果のシミュレーションがその嗜好の内容を特定するほどの情 報量を含む場合ならば，本研究の提案手法によって個人の嗜好に迎合する仲間プレイヤの 作成が可能であると考えられる．

３つ目の問いに対し，本研究では格闘ゲームを対象として既存のルールベースド型プレ イヤを切り替えて使用するシステムの提案を行った．このシステムは，時刻ごとのキャラ クタ体力の増減量に着目し，現在の敵に対して有望そうなプレイヤをSW-UCBアルゴリ ズムによって見出し，キャラクタの操作を任せる．FightingICEプラットフォームを用い た実験で提案手法が人工プレイヤの強さ向上に貢献することを確かめた．よって以下の答 えをこの問いに対して立てる．格闘ゲームなど，最善戦略が相手の行動により変わり，な おかつある程度の複雑な連続的な行動系列が高い効果を持ち，さらに利用可能な計算時間 に制約が強いようなリアルタイム制ゲームにおいて，「もしも既存の強いルールベース型 人工プレイヤが複数用意できるのならば」，それらを切り替えることで元より強い人工プ レイヤが作成できる見込みがある．

最後の問いに関してはシューティンゲームの自作環境でinfluence mapとキー切り替え 頻度の制限を用いた木探索によるプレイヤ作成を行い，その性能を被験者実験で評価し た．そのため，この問いに対して本研究では以下の答えを立てる．沢山の障害物の回避の 動きに細かさと高い自由度があるリアルタイム制のアクション型ゲームにおいて，その回 避にのみ目的を絞った状況ならば，提案手法による経路探索によってある程度の人間らし さを備えた移動動作を人工プレイヤが行える見込みがある．

各領域での提案手法を比較したとき，他の領域にまで横断して応用できそうな知見は得 られなかった．しかし各手法はその領域の中では他のゲームジャンルにも応用できる可能 性がある．そのため本研究では４つの領域に属するこれらの問いが，後々にそれぞれの領 域内に含まれるほぼ全ての課題の解決へと貢献していくことを期待する．本研究が現在取 り扱ってきた課題は未解決なもののうちのほんの一部であるが，現存するゲームはだいた い大まかなジャンルで整理されており，各ゲームの性質もジャンル内である程度共通する ため，そのような課題にはある程度の限りがあると本研究では考えている．今後そうした 課題のうち目立つものから何かしらの対処を試みていくことが本研究のFuture Workで あると考えている．

関連図書

[1] Campbell Murray A. Joseph Hoane Jr, and Feng-hsiung Hsu. Deep blue. Artificial intelligence, 134.1 pp.57-83, 2002.

[2] 保木邦仁.局面評価の学習を目指した探索結果の最適制御.第 11 回ゲームプログラ ミングワークショップ, pp.78-83, 2006.

[3] David Silver, et al. Mastering the game of Go with deep neural networks and tree search. Nature, 529.7587 pp.484-489, 2016.

[4] Hai Nan, et al. Turn-Based War Chess Model and Its Search Algorithm per Turn.

International Journal of Computer Games Technology, 2016.5216861, 2016.

[5] Feiyu Lu, et al. Fighting Game Artificial Intelligence Competition Platform, IEEE 2nd Global Conference on Consumer Electronics, pp. 320-323, 2013.

[6] StarCraft II Official Game Site, https://starcraft2.com/ (2018/01/04).

[7] Claude E Shannon. Programming a Computer for Playing Chess, Philosophical Magazine Ser.7 41-314, 1950

[8] Arthur L Samuel. Some studies in machine learning using the game of checkers, IBM Journal of research and development44.1.2 (2000): 206-226.

[9] Jonathan Schaeffer, et al. Checkers is solved, science 317(5844), pp.1518-1522, 2007.

[10] R.U. Gasser. Solving Nine Men’s Morris, Games of No Chance, pp.101-113, 1996.

[11] L.V. Ailis, et al. Go-Moku Solved by New Search Techniques. Computational Intel-ligence 12(1), pp.7-23, 1996.

[12] Michael Buro. Logistello: A strong learning othello program. Annual Conference Gesellschaft fur Klassifikation eV. pp.1-3, 1995.

[13] コンピュータ将棋プロジェクトの終了宣言, http://www.ipsj.or.jp/50anv/shogi/20151011.html/

(2018/02/03).

[14] Michael Genesereth, et al. General game playing: Overview of the AAAI competi-tion.” AI magazine 26(2), pp.62-72, 2005.

[15] Gerald Tesauro. Td-gammon: A self-teaching backgammon program. Applications of Neural Networks, pp.267-285, 1995.

[16] 水上直紀,他.期待最終順位に基づくコンピュータ麻雀プレイヤの構築.第 20回ゲー ムプログラミングワークショップ pp.179-186, 2015.

[17] 池田心,橋本隼一, and 土井佑紀. モンテカルロ + UCT における探索木のだまし構 造. 第 24回ゲーム情報学研究会, pp.1-4, 2010.

[18] IEEE CIG StarCraft AI Competition, https://cilab.sejong.ac.kr/sc competition/

(2018/01/04).

[19] The GVG-AI Competition, http://gvgai.net/ (2018/01/04).

[20] 松原仁,他.ロボカップ ロボカップの歴史と 2002 年への展望.日本ロボット学会誌 20(1), pp.2-6, 2002.

[21] ai4wdcar, https://sites.google.com/site/ai4wdcar/home/ (2018/02/03).

[22] 鳥海不二夫, et al. 人狼知能サーバの構築. 第 19 回ゲームプログラミングワーク ショップ pp. 127-132, 2014.

[23] Kokolo Ikeda, et al. Production of various strategies and position control for Monte-Carlo Go Entertaining human players. Computational Intelligence in Games, pp.1-8, 2013.

[24] Julian Togelius, et al. Assessing believability. Believable bots, pp.215-230, 2013.

[25] Kokolo Ikeda, et al. Detection and labeling of bad moves for coaching go. Compu-tational Intelligence and Games, pp.1-8, 2016.

[26] Miwa, Kazuhisa, et al. Tradeoff between problem-solving and learning goals: Two experiments for demonstrating assistance dilemma. Proceedings of the Cognitive Science Society 34(34), pp.2008-2013, 2012.

[27] Manuel Kerssemakers, et al. A procedural procedural level generator generator.

Computational Intelligence and Games, pp. 335-341, 2012.

[28] Christopher Chang, et al. A Difficulty Metric and Puzzle Generator for Sudoku, UMAPJournal, pp.305-326, 2007.

[29] Sutiono, Arie Pratama, Ayu Purwarianti, and Hiroyuki Iida. A mathematical model of game refinement, International Conference on Intelligent Technologies for Inter-active Entertainment, pp.148-151, 2014.

[30] Martin Zinkevich, et al. Regret minimization in games with incomplete information.

Advances in neural information processing systems, pp.1729-1736, 2008.

[31] 五十嵐治一, 他. 方策勾配法による静的局面評価関数の強化学習についての一考察. 第 17回ゲームプログラミングワークショップ, pp.118-121, 2012.

[32] Gerald Tesauro. Neurogammon wins computer olympiad, Neural Computation 1(3), pp.321-323, 1989.

[33] Guillaume Chaslot, et al. Monte-Carlo Tree Search: A New Framework for Game AI, Artificial Intelligence an Interactive Digital Entertainment Conference. pp.216-217, 2008.

[34] Volodymyr Mnih, et al. Playing Atari with Deep Reinforcement Learning, NIPS Deep Learning Workshop, 2013.

[35] Naoyuki Sato and Kokolo Ikeda. Three Types of Forward Pruning Techniques to Apply Alpha Beta Algorithm to Turn-Based Strategy Game, IEEE Conference on Computational Intelligence and Games, pp.294-301, 2016.

[36] Naoyuki Sato, et al. Estimation of Player s Preference for Cooperative RPGs Using Multi-Strategy Monte-Carlo Method, IEEE Conference on Computational Intelli-gence and Games, pp.51-59, 2015.

[37] 和田 堯之，他. 少数の記録からプレイヤの価値観を機械学習するチームプレイAI の構成,第33回ゲーム情報学 (GI)研究報告 pp.1-8, 2015.

[38] 和田 堯之.少数の記録からプレイヤの価値観を機械学習するチームプレイAIの構 成, 北陸先端科学技術大学院大学修士論文, 2015.

[39] Naoyuki Sato, et al. Adaptive Fighting Game Computer Player by Switching Mul-tiple Rule-based Controllers, 3rd International Conference on Applied Computing and Information Technology, 2015.

[40] 佐藤 直之,他．Influence Mapを用いた経路探索による人間らしい弾避けのシュー ティングゲームAIプレイヤ,第21回ゲームプログラミングワークショップ, pp.57-64, 2016-09.

[41] Kunihito Hoki and Kaneko Tomoyuki. Large-Scale Optiization for Evaluation Func-tions with Minimax Search, Artificial Intelligence Research, 49, pp.527-568, 2014.