サッカーシミュレーション 3D を用いた中高生向けデモンスト
レーションの設計と実装
Implementation of the soccer simulation 3D demonstration for
beginners
田中 徹治
1∗藤岡 浩司
1幸塚 義之
1伊藤 暢浩
1Tetsuharu Tanaka
1Koji Fujioka
1Yoshiyuki Koduka
1Nobuhiro Ito
11
愛知工業大学大学院 経営情報科学研究科
1
AICHI INSTITUTE OF TECHNOLOGY Graduate School of Business Administration and
Computer Science
Abstract: RoboCup project has two aspects : (1) international and competitive research issue, (2) the event that the novel technique are exhibition. This paper focus on the latter aspects. We hold the demonstration of RoboCup Soccer Simulation 3D that audience can participate in as a player. But, this demonstration has two problems. The first problem is difficulty of identifying each soccer player. The second problems is difficulty of cooperating with teammate (teamwork). In this paper, we propose a new system to solve these problems to the demonstration of the RoboCup Soccer Simulation 3D. We implemented controller that showed controllable agent on the screen, to solve the above identification problem. We implemented message functions on the controller, to solve the above teamwork problem. The identification problem was solved by this system. But, teamwork could not be solved.
1 はじめに
RoboCupはサッカーを題材として人工知能やロボッ トなど各分野における研究を促進しているプロジェク トである．毎年国内大会，国際大会が開催されており， シミュレーションリーグ，小型ロボットリーグ，中型ロ ボットリーグ，ヒューマノイドリーグなどのいくつか のリーグで構成されている．シミュレーションリーグ は，自律型ロボットの選手（以下エージェント）がコン ピュータ内の仮想フィールド上でサッカーをおこなう リーグである．その中でも 2D リーグ，3D リーグ，マ イクロロボットサブリーグがあり，我々はその中の 3D リーグ（Soccer Simulation 3D，以下 3DSS）での研究， 開発をおこなっている．このシミュレーションでは 3 次元空間上でマルチエージェントによるサッカーをお こなうものである．
RoboCupでは研究成果を示す競技会を開発者以外に も公開しており，人工知能やロボット技術に一般の人々 に興味を持ってもらい，競技人口を増やすだけでなく， ロボット技術に対する関心を向上させることもその目
∗連絡先： 愛知工業大学
愛知県豊田市八草町八千草 1247
TEL:(0565)48-8121 FAX:(0565)48-0277 E-mail: [email protected]
的の 1 つである．公開には，エージェント同士の試合を 観戦してもらう観戦型と，エージェントを操作するこ とでエージェントによるサッカーを体感してもらう体 験型の 2 つの方法が存在する [1]．体験型では個々の参 加者向けに家庭用のゲームコントローラを用意し，競 技フィールド全体を見渡すことができる 1 つの大きな スクリーンを共用して試合をおこなう．このため，自 分の操作するエージェントの位置がわかりにくく，ま た，SS3D の競技において重要なチームワークを体験 できていないという 2 つの問題がある．本研究ではタ ブレット端末を用いて上記の 2 つの問題を改善するデ モンストレーションのシステムを設計し，アンケート 調査によって検証した．
2 RoboCup Soccer Simulation 3D
のデモンストレーション
2.1 RoboCup Soccer Simulation 3D
RoboCupとは，ロボット工学と人工知能の融合，発 展を目的とした自律型ロボットによるサッカーを題材 としたロボット競技会であり，西暦 2050 年までに「自
律型ヒューマノイドロボットで人間のサッカー世界チャ ンピオンチームに勝利する」ことを目標に，人工知能 やロボットなど各分野において研究が行われている [2]． RoboCupの競技のひとつである SS3D では，高さや重 力などの概念がある環境で，ロボットによるサッカー のシミュレーションをする競技である [3]．シミュレー ションで用いられるロボットは標準プラットフォーム リーグで使用されているロボットである NAO がモデ ルとなっている．
サッカーは複数の選手で試合をするスポーツである ため，コミュニケーション能力が重要なスポーツだと 考えられる [4]．SS3D でも，チームワークをどのよう に実現させるかが重要なテーマの 1 つとなっている．
2.2 Soccer Simulation 3D の公開
RoboCupへの興味を持ってもらう方法のひとつとし て，学生などを対象に SS3D を公開し，デモンストレー ションが実施されている．実施されているのは次の 2 つである．
• 観戦型：世界大会などでの人工知能同士の試合の 様子を公開する
• 体験型：SS3D を観戦している人にエージェント を操作してもらい，人工知能との試合を体感して もらう
SS3Dリーグ開始時の公開方法は，観戦型しかなくプロ ジェクター等を用いて表示していた．観戦型では，SS3D におけるエージェントの動きは人間に比べると重鈍な ものであり，見る事だけでは学生達の興味を引くこと は困難であった．そこで， エージェントを操作して触 れてもらう体験型が用意された．観戦型では観ること しかできなかったが，観戦者が選手として参加可能と なったため，エージェントとの試合を通して SS3D の 競技を体験できる機会を与えることに成功した．
2.3 体験型デモンストレーションの問題点
現在のデモンストレーション方法には大きく 2 つの 問題点がある．1 つ目は自分が操作するエージェントが どれなのかを識別することが難しいことである．エー ジェントには背中に番号が表示されているが，エージェ ント自体は同じ形状，同じ色であるため識別すること は難しい．
2つ目は，参加者同士でのチームワークを実現する仕 組みがないことである．デモンストレーションでは参 加者は直接声を掛け合って連携することになる．しか し，初対面の人同士がチームを組む場合，参加者同士
でうまく声を掛け合うことができないことが多い．ま た，声を掛けられたとしても，相手がどのエージェン トを操作しているのかわからなければチームワークを 実現することは難しい．
3 新システムの提案
3.1 表示方法の提案
操作するエージェントの識別が難しい問題を解決す るために，本研究ではタブレット端末をコントローラ として用いて個別に試合の状況を表示することを提案 する．それぞれの参加者に対して操作するエージェン トを区別して表示できるため，容易に識別できるよう になると考えられる．
3.2 コミュニケーション方法の提案
2つ目に挙げた参加者同士でのチームワークを実現 する仕組みがない問題を解決するために，他の参加者 にメッセージを送信する操作を提案する．これにより メッセージ機能によるコミュニケーションがゲームの 一部として認識され，より活発にチームワークに基づ く行動が行われると考えられる．
4 新システムの実装
4.1 情報交換の仕組み
通常の SS3D の試合は図 1 のようなクライアントサー バシステムを用いたサーバとエージェントとの通信に よって進められる．試合の状況はモニタを用いて見る ことができる．サーバは接続されているエージェント に備えられているセンサ情報をそれぞれのエージェン トに送信する．エージェントは受信した情報をもとに 次のステップの行動を決定し，それを実現するための 各関節の角速度をサーバに送信する．サーバは受信し た情報をもとに環境内のすべてのオブジェクトの状態 を更新する．
図 1: SS3D の通信の流れ
本研究で提案するシステムでは SS3D の競技におい ておこなわれる通信に加えて，図 2 のようにエージェ ントはそれぞれタブレット端末のコントローラ（以下 コントローラ）と TCP/IP を用いて通信する．
コントローラで試合の状況を確認するためにはボー ルやエージェントの位置，試合の時間を表示する必要 があり，自分が操作するエージェントは他のエージェ ントと区別できなければならない．また，後述の同じ チームの参加者から伝えられたメッセージを表示する ためには誰から何時どのメッセージを受け取ったのか の情報が必要になる．よって，エージェントからコン トローラには次の情報を送信する．
• 試合の時間
• 各チームの得点
• 自分のエージェント ID
• ボールの絶対座標
• 各エージェントの絶対座標
• メッセージを送信したエージェントの ID
• メッセージを受信した時間
• メッセージの種類
ただし，視界の中にいない等の理由で現在の座標が得 られなかったエージェントについては，不明な座標と してコントローラに送信する．これによって古い座標 がコントローラに表示され続けることを防ぐ．
デモンストレーションの参加者はコントローラに表示 された情報を用いてエージェントの行動を判断し，タッ チ操作によって入力する．エージェントを操作するた めにどこに向かって何をするのかをエージェントに伝 えなければならない．また，同じチームの参加者への メッセージはエージェント間での通信を用いて他のエー ジェントに伝えるため，どのメッセージを入力したの かをエージェントに送信する必要がある．よって，コ ントローラからエージェントには次の情報を送信する．
• 行動の種類
• 目標とする位置
• 同じチームの参加者へのメッセージ
4.2 デモンストレーション用のエージェント
エージェントとコントローラとの通信では，エージェ ントが TCP サーバとしての役割をもつ．本研究で実装 したエージェントはコントローラと接続するまでは一
図 2: コントローラを含んだ情報の流れ
切行動しないが，必要であれば接続するまで通常の自 律したエージェントとして行動するように実装するこ とも可能である．コントローラが接続されると，エー ジェントはコントローラでの表示に必要な前項で述べ た情報を送信する．
エージェントはコントローラから受信した行動の種 類と目標位置の情報を用いて行動を決定する．行動の 種類は待機，移動，キック，ドリブルの 4 つを用いる． 待機を指定した場合，エージェントはその場に立ち止 まる．移動を指定した場合は目標位置に向かって歩き， 目標位置と自分との距離が一定以下になったときに待 機と同様に立ち止まる．キックまたはドリブルを指定 した場合，まずボールを目標位置の方向に蹴られる位 置に移動し，目標位置に向かってキックまたはドリブ ルをする．
4.3 タブレット型端末を用いたコントローラ
提案するデモンストレーションシステムのコントロー ラには次の 3 つの機能を実装した．
エージェントとの通信
コントローラは TCP クライアントとしてエージェ ントに実装した TCP サーバに接続する．エージェ ントと 4.1 節で述べた情報を送受信する． 試合の状況の表示
エージェントから受信した情報をもとにボールや エージェントの位置などを図 3 のように表示する． また，本研究では操作するエージェントの識別が 難しい問題を解決することを目的としている．そ のため，操作をしないエージェントを 4 のように 表示し，操作をするエージェントは 5 のように下 にチームの色の円を表示することで強調する． エージェントの行動とメッセージの入力
タッチ操作によってエージェントの行動の種類と 目標位置を入力する．実装したコントローラで は画面に配置したボタンをタッチすることで行動
の種類を入力し，サッカーのフィールドをタッチ することで目標位置を入力する．また，参加者間 でのメッセージを使用する場合はメッセージボタ ンをタッチする．行動の種類を入力するボタンが 消え，メッセージの一覧が表示されるので，メッ セージの一覧から同じチームの参加者に対して伝 えたいメッセージをタッチすることで入力する． メッセージには攻撃や守備の呼びかけ，パスなど の行動の要求，そして味方に対する返答が必要だ と考え表 1 の 7 つを実装した．
図 3: 実装したコントローラの画面
図 4: 操作しないエージェント
図 5: 操作するエージェント
表 1: 連携用のメッセージの一覧 あがれ 前進して相手を攻めてほしい さがれ 後退してゴールを守ってほしい パスしたい ボールを味方に渡したい
パスくれ 自分の近くにボールを飛ばしてほしい マークつけ 相手のロボットの妨害をしてほしい クリアしろ ボールを味方ゴールから遠ざけてほしい OK! 味方のメッセージに対する返事
5 実験と考察
5.1 実験方法
本研究で提案したデモンストレーションのシステム による位置情報のわかりやすさ，コミュニケーション 及びチームワークのしやすさについての評価をおこな う．イベント参加者を対象に，作成したコントローラ を使って試合をしてもらい，試合後にアンケート調査 をおこなった．アンケートでは自分が操作するエージェ ントの見やすさ，チームワークを体験できたかなどを 中心に評価を集計する．
デモンストレーションは以下のようにおこなう． 1. RoboCup及び SS3D についての説明をする 2. コントローラで試合画面に移動してもらい，操作
の説明と練習をする 3. 試合をする
(1)で SS3D の説明をおこない，エージェント制御の難 しさや基本動作の問題点について説明する．(2) でコン トローラを持ってもらい，操作説明をして実際に動か す．(3) で自律した通常のエージェントのチームと，も しくは人が操作するチーム同士での試合をおこなう．
実際のイベントの場ではデモンストレーションの時 間を多くとることはできないため，(1) を省いておこな う事も想定される．
5.2 実験結果
アンケートには次の項目を用意し，良い評価には◎ と○，良くない評価には△と×記入させた．また，そ れぞれの項目には自由回答欄を設けて意見を求めた．
• 自分が操作するロボットはわかりましたか？
• 行きたい所へロボットを行かせられましたか？
• 味方との連係プレイを実感できましたか？
• メッセージは使いましたか？
それぞれの項目では次の図 6，図 7，図 8，図 9 のよう な回答が得られた．
また，自由回答欄で多く得られた意見を次に挙げる． 自分が操作するロボットはわかりましたか？
• 背番号が表示されていてよかった
• 重なっていると見にくい
図 6: アンケートの集計結果 1：自分が操作するロボッ トはわかりましたか？
図 7: アンケートの集計結果 2：行きたい所へロボット を行かせられましたか？
図 8: アンケートの集計結果 3：味方との連係プレイを 実感できましたか？
図 9: アンケートの集計結果 4：メッセージは使いまし たか？
行きたい所へロボットを行かせられましたか？
• タッチ操作で移動が簡単だった
• 操作に慣れるまで時間がかかった 味方との連係プレイを実感できましたか？
• 味方がゴールを守ってくれた
• プレイ時間が少ない メッセージは使いましたか？
• パスを送る時に使った
• 使うタイミングがわからない
5.3 考察
今回のアンケート調査により，操作するロボットが 識別しやすくなったことがわかった．一方で，チーム ワークは少数の参加者しか実感することができなかっ た．また，用意したメッセージも多くの人には使用し てもらえなかった．
良い評価をもらえなかった人達の意見を見ると，デ モンストレーションでの操作時間が短く，操作に慣れ ることができない人が多かったと考えられる．操作に 慣れることでチームワークが実現されることも期待で きるので，十分な練習時間を用意するなど，デモンス トレーションの実施方法の改善も必要だと考えられる．
6 おわりに
本研究では SS3D における体験型デモンストレーショ ンの改善を図るため，タブレット端末を用いた操作す るエージェントを識別できる表示と，チームワークを 実現するためのメッセージ機能をそれぞれ実装し，評 価をアンケートによって調査した．アンケートの集計 結果から，操作するエージェントの識別が難しい問題 は解決できていることを確認した．個別の画面を用意 するためにゲームコントローラからタブレット端末へ と変更した結果，タッチによる移動操作がおこなえる ようになり，こちらも良い評価を得る事ができていた． もう一方のチームワークが実現できない問題は，提案 した手法では良い評価を得ることはできなかった．し かし，用意したメッセージ機能は使えていた人もいた ことから，この手法を改善することでチームワークを 実現できると考えられる．
このシステムでは選手を操作するというよりも，自 律して行動するエージェントにコントローラを使って 指示を出すような仕組みになっている．操作はエージェ ントの歩行などの基本的な動作の能力の影響を受ける
ため，思い通りにエージェントを動かすためには，ど のように操作すれば転倒せずに歩けるかといったこと への理解が必要になる．練習時間を長くすることで操 作に慣れることはできるかもしれないが，より簡単に 操作に慣れられるようにするには安定した歩行動作を 実現することが重要になる．しかし，歩行動作の改善 は容易ではない．そこで，模倣学習による歩行動作の 習得を検討している．模倣学習については付録 A とし て記載する．
A 模倣学習
A.1 模倣学習の概要
模倣学習は教師などが模範となる動作を示し，学習 者がそれを模倣することで効率的に適切な動作を習得 する機械学習の手法である [5]．野田によると模倣学習 のプロセスには次の 3 つの段階があり，各段階では動 作をどういう単位でどのように表現するかを決める基 本動作モデルが重要な要素となる [6]．
動作認識
模範の動作を観察しその動作を表す内部表現に変 換する．
汎化認識した動作を出来るだけ広範囲の状況に適用で きる行動規則にまとめる．
動作の再生
獲得した行動規則を実際に直面している状況に対 して適用する．
模倣学習を用いて Abbeel らは自律ヘリコプターの飛 行を，人のパイロットの操縦を模倣させることで実現 している [7]．
模倣学習は強化学習と比べて高速に学習することが 可能だが，学習の結果は模倣する対象に依存するため 学習者が常に理想的な動作をおこなえるようになると は限らない．田渕らは模倣学習によって習得した動作 を副報酬を伴った強化学習によって洗練することで，模 倣学習の欠点を補う手法を提案している [8]．
模倣学習を用いることで，模範となる動作に近い動 作を習得できる．また，強化学習による動作の習得の 効率をよくするために模倣学習を役立てることも可能 である．
A.2 RoboCup Soccer Simulation 3D で
の模倣学習の検討
SS3Dでは世界大会などのログファイルが公開され ており，このログファイルを模倣学習に利用できれば
優秀な歩行などの動作を容易に習得することができる． ログファイルにはステップ毎にエージェントの腕や脚 などの各部位の位置と向きが回転行列の形式で記述さ れている．この回転行列によってステップ毎のエージェ ントの関節の角度が計算でき，次のステップまでの差 分から関節の角速度も得ることができる．どのような 姿勢の時にどのように動いたのかがわかるため，ログ ファイルから動作を模倣することはできるのではない かと考えられる．しかし，模倣学習をするためにはログ の中から学習したい動作をしている箇所のみを取り出 さなければならないなどの問題があり，このような問 題をどのようにして解決するのかが課題となっている．
参考文献
[1] 秋田純一, 西野順二, 久保長徳, 下羅弘樹, 藤墳到: RoboCupシミュレーションリーグ人間参戦シス テム OZ-RP の提案, 人工知能学会第 12 回 Sig- Challenge研究会資料 pp. 23–28 (2001)
[2] ロボカップ日本委員会, http://www.robocup.or. jp/
[3] 中島智晴, 中邨陽介: ロボカップサッカーシミュレー ション 3D サブリーグの仕組みとエージェント開 発, 人工知能学会誌, Vol. 25, No. 2, pp. 197–206 (2010)
[4] 吉田真士, 白井治彦, 高橋勇, 黒岩丈介, 小高知宏, 小倉久和: サッカーシミュレーションにおける声 を使った協調行動 (2007)
[5] Schaal, S.: Is imitation learning the route to hu- manoid robots?, Trends in Cognitive Sciences, Vol. 3, No. 6, pp. 233–242 (1999)
[6] 野田五十樹: ロボットにおける機械学習の課題と 動向, 情報処理, Vol. 44, No. 11, pp. 1145–1151 (2003)
[7] Abbeel, P., Coates, A., Ng, A. Y.: Autonomous Helicopter Aerobatics through Apprenticeship Learning, The International Journal of Robotics Research, Vol.29, No.13, pp.1608–1639 (2010) [8] 田渕 一真, 谷口 忠大, 椹木 哲夫: 模倣学習と強化学
習の調和による効率的行動獲得, The 20th Annual Conference of the Japanese Society for Articial Intelligence, pp. 212–215 (2006)
