平成 29 年度 公立はこだて未来大学卒業論文
視覚情報の俯瞰的視点変換トレーニングシステムの研究
奥山 凌
システム情報科学部複雑系知能学科 1013231 指導教員 角 薫 教授 提出日 平成 30 年 1 月 29 日Study of a Training System for Converting from Present
Visual Information to Bird’s-Eye View
by
Ryo Okuyama
BA Thesis at Future University Hakodate, 2018
Advisor: Prof. Kaoru Sumi
School of Systems Information Science Department of Complex Media Architecture Future University Hakodate
s view information. It is very important to grasp the situation around you when we play the ball game sports. At this moment, you can make a right judgment by using the bird ’s view information that was converted from information of first-person point of view. In the training system, users chase many objects on the first-person point of view, after that, users reproduce the situation that was observed from first-person point of view in the virtual space by Oculus Rift. We evaluate the system by comparing pre and post test scores.
Keywords: Bird’s view, Ball game, Oculus Rift, Virtual space
概 要: 本研究では一人称視点で得られた選手の位置情報を俯瞰的視点の情報へ変換する能力を 向上させるトレーニングシステムを開発した．サッカーやバスケットボール，ハンドボールが例に 挙げられるボールゲームにおいて，周囲の状況を正確に把握することは非常に重要であると言わ れている．この時に一人称視点で得られた視覚情報を俯瞰的視点からの情報へ置き換えて考える ことで，正確に周囲の状況を把握することが可能となる．本システムでは Oculus Rift を用いて， ユーザーに仮想空間上の複数の選手に見立てたオブジェクトの追跡を一人称視点から行ってもら う．その後，一人称視点で最後に観測されたコートの状況を俯瞰的視点から再現してもらう．シス テムの有用性を確かめるために男子学生 22 名を対象に比較実験を行った．被験者は本システムを 用いたトレーニングを実施する実験群と，特に何も実施しない対照群の 2 グループに分けて検証を 行った．その結果，俯瞰的視点からの認知力を評価する課題の得点が，トレーニングを行った実験 群において有意に上昇した．このことから本研究で開発したシステムが俯瞰的認知力向上のための トレーニングに有用であると推測されるが，スポーツトレーニングへの応用やより効果的なものと するためには改善の余地が見られた． キーワード: 俯瞰的視点，ボールゲーム，視覚情報，Oculus Rift，仮想空間
Study of a Training System for Converting from Present Visual Information to Bird’s-Eye View
目 次
第1章 序論 1 1.1 背景 . . . . 1 1.2 問題点 . . . . 1 1.3 本研究の目的 . . . . 2 第2章 関連研究 3 2.1 俯瞰的視点 . . . . 3 2.2 3D-MOT . . . . 4 2.3 HMDを用いたトレーニングシステム . . . . 5 第3章 俯瞰的視点変換トレーニングシステム 6 3.1 使用機材と開発環境 . . . . 6 3.1.1 Oculus Rift . . . . 6 3.1.2 Oculus Touch . . . . 8 3.2 システムの概要 . . . . 9 3.2.1 追跡フェーズ . . . 10 3.2.2 再現フェーズ . . . 16 3.2.3 復習フェーズ . . . 20 第4章 実験と評価 22 4.1 実験工程 . . . 24 4.2 事前・事後課題 . . . 24 4.3 トレーニング課題 . . . 26 第5章 結果 27 第6章 考察 31 第7章 まとめ 33 付 録A 付録：事前・事後課題問題 37 A.1 置かれている物体が6体の場合 . . . 37 A.1.1 課題例1 . . . 37 A.1.2 課題例2 . . . 38Study of a Training System for Converting from Present Visual Information to Bird’s-Eye View
第
1
章
序論
1.1
背景
現代においてスポーツは非常に多様化しており，全世界でのその数は200以上とも言わ れている[1]．2020年のオリンピックは東京での開催となり盛り上がりを見せているが， この東京オリンピックでは33競技339種目が実施され，参加するアスリートの数も1万 1000人と膨大な数になる予定である1． 本研究では数多いスポーツの中でもパスを用いることでゴールへボールを運び入れる 得点形式のボールゲームに焦点を当てる．このボールゲームの例としてはサッカーやハン ドボール，アメリカンフットボールなどが挙げられる．一般的にこれら得点形式のボール ゲームは多人数でのチーム戦であり，必然的にプレーヤーは他の選手の位置の把握をする ことが重要であるとされている[2]．また，ボールゲームのプレーヤーのパスやドリブルな どのスキルには状況判断能力が関係している．ゲーム中においてプレーヤーは常に状況判 断をしなくてはならないため，状況判断能力は重要視されており，パスなどのスキルとと もにボールゲームを構築する2大要素として考えるべきであるも言われている[3]． しかし，コート上にいるプレーヤーが状況判断を試みる時，視点が他の選手と重なって 見えるため，選手間の距離の把握や空いたスペースの判断が難しくなる．このときに正し い判断を下すことができなければ優秀な選手にはなれないと言われている[2]．そこで用い られるのが鳥瞰図的な考え方，つまり俯瞰的視点での情報整理である．一人称視点で得ら れた情報を俯瞰的視点から観測した情報へと変換して考えることで，的確な判断を下すこ とが可能となる．これは熟練者ほどよく行っており，俯瞰的視点を用いることで局所でな く大局の情報から全体を把握し，優れた状況判断を行っていると推測されている[4]．サッ カースペイン代表，FC バルセロナなどで活躍したシャビ・エルナンデスも，NHK スペ シャルミラクルボディーでの検証の結果，俯瞰的認知力を用いた戦況判断が優れていると 推測されている．また彼の一つの特徴として，試合中に状況把握をするために首を非常に 多く振っていることが分かった．2013 年に行われた第9回FIFA コンフェデレーション ズカップでは首振りが1試合平均850回以上も計測されていた．このことから首を振る動 作も周囲の状況を把握する上で重要であると考えられる2．1.2
問題点
一人称視点で得られた情報を俯瞰的視点からの情報への変換を会得するには多く試合の 中での経験が必要となる．シュートの練習などの個人のスキルの練習とは異なり，必要人数も多く練習へ取り組む際へのハードルも高い．人数のみならず広い空間も必要であるた め，個人での能力習得は非常に難しい．また，現実世界では一人称視点から観測されてい る状態を同時に俯瞰的視点から確認することはできないため，確立されたトレーニング方 法もない．
1.3
本研究の目的
本研究では，この一人称視点の情報を俯瞰的視点からの情報へ変換する力に着目し，俯 瞰的視点を用いての認知力向上が可能なスポーツトレーニングシステムの開発について 取り組む．対象はボールゲームのプレーヤーとし，彼らの俯瞰的視点での認知力の獲得と 向上を目標とする．個人での訓練にあたり，多くの人数と広いスペースの用意が問題とな るのは前述の通りである．本研究で開発するシステムのもう一つの目標として，個人で の俯瞰的視点での認知力獲得のためのトレーニングを行うことができることを掲げ，これ をHMD（Head Mounted Display）を用いて仮想空間上に現実での試合と同様の状態を再 現することで解決する．この仮想空間上でThree-Dimensional-Multiple-Object-Tracking （以下3D-MOTとし，詳細は後述する）を用いたトレーニングシステムを開発し，一人称 視点の情報を俯瞰的視点からの情報への変換のトレーニングに有用であるか検証する． 第2章では本研究に関連する研究の紹介，第3章では開発したトレーニングシステムの 紹介，第4章で評価実験方法の紹介，第5章で評価実験の結果の分析，第6章で考察を行 い，第6章でまとめを述べる．Study of a Training System for Converting from Present Visual Information to Bird’s-Eye View
第
2
章
関連研究
第2章では本研究で扱った分野と関連研究について説明する．2.1節では俯瞰的視点を 認知科学の視点で説明を行う．2.2節では 3D-MOT(Three-Dimensional-Multiple-Object-Tracking)について，2.3節ではHMD（Head Mounted Display）を利用したトレーニン
グシステムの説明を行う．
2.1
俯瞰的視点
認知科学の分野において，空間を把握する際の視点はルート的視点とサーベイ的視点の 2つに分けられている[5][6]．ルート的視点とは，対象となる空間内において一人称視点で 情報が取り扱われ，方向を支持する際には自己中心的参照枠の言葉（歩くや見えるなど） が用いられる．対してサーベイ的視点とは，対象空間を把握する際には鳥瞰的に上から見 下ろしたものが用いられ，方向を支持するために環境参照型の言葉（東西南北など）が用 いられる．以上のことより，今回本研究で着目している俯瞰的視点はサーベイ的視点が当 てはまると考えられる．この空間を認識する力は空間認識力，空間認知能力などと呼ばれ 様々な事柄に関係しており，これについて多くの研究がなされている． 比護（2012）は数学の教材の面で空間認識にアプローチしている[7]．中学校数学科指 導の中の空間図形の問題へ着目し，生徒が空間認識力を育み，かつ生徒の思考力等を育む 事ができる教材の作成に取り組んでいる．この教材制作の一環で折り紙を用いた建築等を 行っている．生徒に対象の物体の観察をさせた後，その物体の再現をするために設計図を 考えさせ，それに基づき折り紙で物体を作成させるものである．これは，空間認識力を高 めるためには頭のなかでのイメージと，それに基づいた作業をすることが大切であるとい う考えを元に行われており，本研究で開発するシステムの操作方法や学習方法の参考にな ると考えた． また秦野ら（2012）はARを用いての空間認識能力改善を行っている[8]．ARとは Aug-mented Realityの略で,，拡張現実と呼ばれる技術で現実世界に仮想のオブジェクトを配 置することで情報を表示できるものである．秦野らも比護と同じく空間図形に着目してい る．紙面の立方体等の空間図形を見た時に，それらを頭の中で組み立てて回転させること で多方面からの観測することは，空間認識能力が低い生徒は不得意とする．これを，AR を用いて現実世界に立方体を表示させ，これを生徒自身の手で操作することによって多方 面からの観測を可能としている．これによって頭のなかでの図形の回転を容易にし，実際 に空間認識能力の改善があったことも示されている． もちろんスポーツにもこの空間認識力は関係している．特に本研究で対象にしている，ビーは複雑な戦術を用いるため，十分に理解してプレーするにはこの空間認識が必要とさ れるスポーツとされている．このラグビー選手の空間認識力を検証するため脳科学的にア プローチをしている研究もある[9]．この研究ではWAIS-3テストと呼ばれる，課題の遂行 に空間認識力が要求される成人知能検査が用いられている．この課題を使用し，課題を実 施中のラグビー選手の脳の動きを計測している．その結果，ラグビー初心者群よりもトッ プ選手群の方が，より上部上頭頂葉および側頭後頭皮質が活発に活動していることが計測 されている．このことより，ラグビー初心者よりもトップ選手の方が優れた空間認識力を 持っていることが示されている．つまり，俯瞰認知を用いての空間認知はトップ選手に優 れていることから，やはり練習を積み重ねることで俯瞰的視点での認知を獲得できるもの だと考えられる．また，本研究ではこのような認知力について空間認識能力と呼ぶことに する．
2.2
3D-MOT
3D-MOT(3D-Multiple Object Tracking)とは，ディスプレイ上に3次元で表示されて いる物体を追跡する課題である．ニューロイノベーション株式会社が販売しているNeuro Trackerというトレーニングシステムがあり，これに3D-MOTが使用されている[10]．こ れは画面上に3Dで表示される，左右前後に移動する複数の球体を目で数秒間追跡したの ち，指定された球体の位置を解答するというものである．サッカー選手23人を対象に， ニューロトラッカー使用する前後でのパスやドリブルの精度を確かめる実験が行われ，ス ポーツ選手への応用と実際にフィールド上での状況判断の精度の向上が確かめられている． これはつまり正確に周囲の状況を把握する力が向上していると推測される[11]．3D-MOT 上の重なり合う物体の追跡，またその前後左右奥行きの判断をする点では本研究と近しい が，俯瞰的視点からのアプローチは特になされていない．
Study of a Training System for Converting from Present Visual Information to Bird’s-Eye View
図2.1: ニューロトラッカー概要3
2.3
HMD
を用いたトレーニングシステム
HMDとはHead Mounted Displayの略で，頭部に装着するウェアラブルコンピュータ
である．このHMDを用いたトレーニングシステムの開発も行われている．下森ら（2016） は俯瞰的視点での認知能力の獲得を目的としてトレーニングシステムを研究，開発して実 験を行った[12]．俯瞰的視点の認知能力を評価するために事前事後課題として，3択問題 を10題出題している．HMDを装着後，仮想空間上のコートを10秒間見渡し10体の選手 オブジェクトの配置を記憶してもらう．その後俯瞰的視点での3パターンのオブジェクト の配置図から，一人称視点で観測したときのものに最も近いものを選択してもらうという ものである．トレーニング課題としては，マッピング課題と称して，一人称視点を俯瞰的 視点へ変換する過程を反復，復習させている．HMDを装着し，仮想空間上でオブジェク トの位置を10秒間見渡して記憶する．その後俯瞰的視点から見たコート上に，一人称視 点から観測したコートの状況を再現するものである．これらにおいて，選手のオブジェク トの配置による奥行きの再現は行われており，選手間の距離の判断をトレーニングするこ とはできるが，選手のオブジェクトは移動をしないため，現実の観測とは状況が異なると いう問題点が挙げられる．
第
3
章
俯瞰的視点変換トレーニングシステム
本章では開発したシステムについての説明を行う．3.1節では使用機材と開発環境につ いて，3.2節ではシステムの概要について説明する．3.2.1で追跡フェーズについて，3.2.2
で再現フェーズ，そして3.2.3で復習フェーズを図を交えて説明する．
3.1
使用機材と開発環境
本システムは仮想空間上(Virtual Reality)で実施するため，Oculus社のOculus Rift(CV1)
とOculus Touchを用いる．
3.1.1
Oculus Rift
Oculus RiftとはVRに特化したHead Mounted Displayであり，ユーザーは図3.1の
ようにこれを頭に装着することで仮想空間上において360度の観測が可能となる．卓上に は図3.2のようにトラッキングセンサを使用するPCを挟むように設置し，このセンサに よってユーザーの視線や向いている方向を検知する[13]． 前述の通り，ユーザーは仮想空間上にて360度観測が可能となるため，画面を見るので はなく画面の中へ入り込んだような高い没入感が得られるため，今では多くのVRゲーム のタイトルが発表されている．しかしゲームのみならず，現在ではトンネルでの火災発生 時の避難シミュレーションや医療現場での検査への活用など，低コストでより現実的な再 現を行えるためその用途は多岐にわたっている[14][15] 本システムにおいてもOculus Riftを用いて仮想空間を構築することで，より現実に近 い環境でのトレーニングが可能になると考えた．またOculus Rift装着時には360度の観 測が可能なため，前述の通り周囲の状況を把握する上で重要となると考えられる首振りの 動作もユーザーが容易に行うことができると考えた．また本システムではユーザーには選 手のオブジェクトを追跡してもらうが，このオブジェクトの位置や数の増減も仮想空間上 では容易に変更が可能となるため，より効率的なトレーニングが行うことができると考え Oculus Riftを採用した[16][17]．
Study of a Training System for Converting from Present Visual Information to Bird’s-Eye View
図 3.1: Oculus Rift
3.1.2
Oculus Touch
Oculus Touchとは，Oculus Riftと組み合わせて使用するコントローラーである．卓上 に置かれたセンサでコントローラーの動きを認識し，このコントローラーを持つことで仮 想空間上にはバーチャルハンド表示される（図3.4）．このコントローラーは図3.3のよう に大きく分けてボタン・アナログスティック・トリガーの部分に別れている．ボタンはA， B，Y，Xの左右合わせて4つあり，スクリプトからそれぞれのボタンへ様々な機能を設 定することができる．アナログスティックは左右のコントローラーに各1つずつあり，回 すだけでなく押し込み等も表現でき，ボタンと同様にスクリプトから機能を設定すること ができる．トリガーはユーザーがコントローラーを持った時に人差し指と中指の位置の２ つあり，これが左右それぞれにあるので計4箇所に存在する．トリガーは主に押し込むこ とで認識をするが，人差し指のトリガーと中指のトリガーにそれぞれ別の役割をスクリプ トから持たせることも可能である．本システムでは主にトリガーの部分のみを使用した． Oculus Riftをつけている状態では，ユーザーの視界はほぼ完全に塞がれ，現実世界の観 測は行うことができない．そのためキーボードやマウスの操作が非常に難しくなるのは自 明である．その状況を解決するために，直感的にシンプルな操作が可能なOculus Touch を本システムでは用いることとした．
なお本システムの開発はUnity Technologies社が提供するUnity5を用いた[18]
Study of a Training System for Converting from Present Visual Information to Bird’s-Eye View 図3.4: バーチャルハンド
3.2
システムの概要
本システムは以下の3 つのフェーズに分かれている（図3.5）．1つ目は仮想空間上の Aコートに表示されていて，ユーザーの周囲を走り回る選手オブジェクトを追跡する「追 跡フェーズ」．2つ目は追跡終了後のAコートの状況を記憶し，その記憶したコートをB コートにOculus Touchを用いて再現する「再現フェーズ」．3つ目は先程のAコートの 状況と，ユーザー自身が再現したBコートの状況を比べて，どこの配置が間違っているか 両コートを見比べながら復習する「復習フェーズ」である．図3.5: システム説明 • 追跡フェーズ（図3.6） • 再現フェーズ（図3.11, 3.12, 3.13, 3.14, 3.15） • 復習フェーズ（図3.16）
3.2.1
追跡フェーズ
追跡フェーズでは，ユーザーは仮想空間上のコート（以下Aコートとする）を動き回る オブジェクトを数秒間追跡してもらう．追跡を図3.6のような一人称視点で行い，オブジェ クトはユーザーの正面だけではなく横や後ろへも移動するので，首を振って周囲を確認す ることが求められる．前述の通り首を振る動作も周囲の状況を把握するために重要である と考えたので，オブジェクトのルート設定の際も首振り動作が求められるようなルートと なるよう考慮して行った．移動を続けていたオブジェクトは数秒後に停止し，ユーザーに はこの時のAコートの（オブジェクトはどこにいるか，オブジェクト間の距離はどの程度 かなどの）状況を記憶させる．Study of a Training System for Converting from Present Visual Information to Bird’s-Eye View 図3.6: 追跡フェーズのユーザー画面 Aコート概要 Aコートは図3.7のように作成した．ユーザーが仮想空間上で観測される視点から見え る前方三方を赤い壁で囲み，大きさは実際のハンドボールコート大きさ（長さ40m×幅 20m）と同じ比率の物を作成した．床は4分割されており，右上と左下を灰色，左上と右 下を白に設定した．本来のコート上では大体の奥行きや横幅感覚をコートに引かれたライ ンより体感することができるが，今回はシステムの対象者のスポーツを絞っていないため ある特定のスポーツのルールに沿ったラインを引くことができず，また緻密なラインの作 成が困難であったため，できるだけユーザーが奥行きや幅を体感できるようこのように色 分けをすることで解決を図った． 復習フェーズではこのAコートをユーザーが俯瞰的視点から見下ろして復習を行う．こ の時，追跡フェーズではユーザーがどこに立っていたかを明確にするために，追跡フェー ズでユーザーが立っていた位置には緑のカプセル型のオブジェクトを配置した．一人称視 点でのカメラはこの中に配置しているが，この内部カメラから観測する際には緑のオブ ジェクトが干渉することはないため，このような形を取った．
図 3.7: Aコート 選手オブジェクトの概要 今回選手に見立てたオブジェクトを作成するにあたり，Unityのサンプルとして用意さ れている人形のオブジェクトを使用し，チームごとの判別をつけるために赤・青の2色の 選手オブジェクトを作成した．チームスポーツにおいて，チーム内での個人の識別にはユ ニフォームの色や形状だけでなく背番号が用いられるため本システムでも再現を試みたが， 仮想空間上において遠くの選手オブジェクトの背番号の数字を読み取ることが視認性の悪 さゆえ困難であったため，各オブジェクトに背番号は振っておらず，ユーザーにはどちら のチームであるかの判別のみをしてもらった． 各オブジェクトの走るルートの設定にはUnityの標準機能であるAnimationを用いて 行った．この機能では各オブジェクトのX・Y・Z軸（今回はオブジェクトは上下への移 動はしないためY軸の変更は行っていない）の移動成分をそれぞれ指定できたため，細か なルート設定が可能であった．Animationは，図3.8のオレンジの円で囲っているルート 設定のみを行う球体オブジェクトに付与し，選手オブジェクトにはこの球体オブジェクト
Study of a Training System for Converting from Present Visual Information to Bird’s-Eye View を追跡するスクリプトを付与している．これを行うことで，選手オブジェクトにサンプル の状態で設定されている細かなAnimationを変更することなく動かすことができ，また 後述する採点用オブジェクト群の作成も容易になっている． また，走るルートはある特定のスポーツの動きなどを参考にしておらず，できるだけ ユーザーが首を振って周囲を確認することが必要となるようなルート（ユーザーが真正面 を見て確認できる視野の範囲だけでなく，死角となるユーザーのやや後ろから真後ろでの 移動を頻繁に行うルート）を設定した．
Study of a Training System for Converting from Present Visual Information to Bird’s-Eye View
図3.10: 図3.9 の赤実線のAnimation
3.2.2
再現フェーズ
追跡フェーズが終了すると仮想空間中でユーザーは再現専用のコート（以下Bコートと する）へ移動し，視点も俯瞰的視点へと変換される（図3.11）．ここから再現フェーズと し，ユーザーは追跡フェーズで記憶したAコートの状況を，俯瞰的視点から見て再現する ことが求められる．仮想空間上には図3.12のように手が存在し，これはユーザーが握って いるOculus Touchと連動している．この手を使用して整列しているオブジェクトを適当 な位置へ移動させ再現を行う．再現が終了したら採点を行う（図3.13）．採点が行われる 際には，ユーザーからは観測することができないがAコートのオブジェクトと同じ位置に 球体が設置された採点用オブジェクト群が図3.14のようにBコートに重なる．この球体 にはColliderが付与されていて，このColliderの範囲にユーザーが設置したオブジェクト が侵入することで正解とした（図3.15）．Colliderの範囲は選手オブジェクトの２体分の 幅を持たせた．点数は表1の通りに設定した．採点後，点数はユーザー正面に表示される （図3.13）．Study of a Training System for Converting from Present Visual Information to Bird’s-Eye View
図3.11: 俯瞰的視点の画面（再現フェーズ）
図3.13: 採点後の画面（再現フェーズ）
Study of a Training System for Converting from Present Visual Information to Bird’s-Eye View 図3.15: Colliderによる判定図式 Bコート概要 Bコートの作りや尺度はAコートと同じである．しかし大きさはAコートの約1/１０ のサイズとした．本コートではAコートとは異なりユーザーが手を使って選手オブジェク トを掴み，配置することが求められる．Aコートと同じ大きさでは奥行きがありすぎるた めに，バーチャルハンドが奥まで届くことが困難となってしまったためこのようなサイズ 設定を行った．また壁の色は赤系の色とし，Aコートと区別をつけやすいようにした． 採点用オブジェクト群の概要と採点方法 採点用オブジェクト群の大きさはBコートと同じであるが，初期位置はBコートの真 下に設置した．ユーザーの再現が終了した後，コントローラーボタン（今回は実験の都合 上，実験実施者のみが押せるよう，採点する時に押すボタンはキーボードのスペースキー に設定）を押すことでBコートと重なり，採点を行うことを採点用オブジェクト群設置の 目的とした． 採点用オブジェクト群の球体オブジェクトは前述の通り透明でありユーザーからは見る ことができない．このオブジェクトはAコートに設置したルート設定用の球体オブジェク トをコピーして作成してあるため，追跡フェーズ中にAコートで選手オブジェクトが移動 している間，採点用オブジェクト群の透明オブジェクトも同じ動きをしている．つまり停 止位置もどちらも同じのため，採点用オブジェクト群をユーザーが再現後のBコートに重 ねるだけで採点が可能となる仕組みになっている． 実際の採点方法であるが，透明オブジェクトには以下の条件を付与してある． 1. 透明オブジェクトの持つColliderの範囲にユーザーが置いたオブジェクトが侵入し ている 2. １の透明オブジェクトの持つColliderの範囲に２つ以上ユーザーが置いたオブジェ
4. １でユーザーが設置したオブジェクトが，透明オブジェクトが持つColliderの範囲 から出た時には減点する これらの条件をすべてクリアした時に点数は変動する．このため，この後に詳しく記述す るが，復習フェーズの際にユーザーが配置したオブジェクトを実際に動かしながら100点 になるまで復習をすることを可能としている．また，ここで加算された（もしくは減点さ れた）点数はユーザーの視点正面の点数表示のTextへ表示させている．
3.2.3
復習フェーズ
点数確認後100点以外の場合は復習フェーズへ遷移する．復習フェーズの流れは以下の 流れで行われる． 1. 右手に持っているOculus Touchの中指の部分に当たるトリガーを引く 2. 1を認識すると，Aコートの緑のカプセル型のオブジェクト内部のカメラが上方へ 移動 3. ユーザーの視点が２の移動したカメラへと移動 4. ユーザーがAコート（正しい位置に選手オブジェクトが配置されているコート）を 観測 5. ４で観測した情報を元にBコートの選手オブジェクトを再配置 6. 100点の場合は終了／100点でない場合は中指トリガーを引いて３の工程へ戻る 上記の説明である通り，この復習フェーズではユーザーの再現したBコートとAコー トを俯瞰的視点から見下ろすことができる（図3.16）．ユーザーはどこが間違っていたか 一つずつ確認しながら，点数が100点になるまで復習を行うことが求められる．前述の通 りBコートには先程の採点用オブジェクト群が重なったままであるため，リアルタイムで 点数が増減する仕組みとなっており，ユーザーがどの選手オブジェクトが誤った位置にあ るのか理解しやすいようにした．Study of a Training System for Converting from Present Visual Information to Bird’s-Eye View 図3.16: 復習画面（復習フェーズ） 表3.1: 点数配分 オブジェクト数（体） オブジェクト1体当たりの点数（点） 2 50 4 25 5 20 6 16（※96点の時100点取表示する）
第
4
章
実験と評価
第4章では本研究で開発したトレーニングシステムの評価のために行った実験と評価方 法について説明する． 本実験は，作成したトレーニングシステムの評価を目的に行った．本実験には公立はこ だて未来大学の男子学生22名が参加した．被験者は11名ずつの2グループ，実験群と対 照群に分けて実験を行った．事前アンケートでこれまでのスポーツ経験を調査し，できる だけ俯瞰的視点での認知力に差が出ることがないようした．俯瞰的視点での認知が必要と されるボールゲームの経験が3年以上の被験者（表中で★印で示している）の人数の偏り が無いように，被験者番号1∼11を対照群，12∼22を実験群とした（表2）．4.1節で実 験工程について説明し，4.2では事前・事後課題について，4.3節ではトレーニング課題に ついて説明する． 図4.1: 実験手順Study of a Training System for Converting from Present Visual Information to Bird’s-Eye View 表4.1: 俯瞰的視点での認知が必要なスポーツとそれ以外 俯瞰的認知が必要（★） 必要でない ハンドボール 水泳 サッカー 柔道 グランドホッケー 軟式テニス バスケットボール 硬式テニス 陸上 バドミントン 弓道 野球 卓球
表4.2: 被験者のスポーツ経験 被験者 スポーツ経験（小学校，中学校，高校） 被験者1 水泳6年，卓球3年，ハンドボール3年 ★ 被験者2 柔道4年，軟式テニス3年，なし 被験者3 バドミントン3ヶ月，陸上（長距離）3年，なし 被験者4 サッカー4年，サッカー3年，サッカー3年 ★ 被験者5 なし，バスケットボール3年，ハンドボール3年 ★ 被験者6 野球5年・水泳1年，野球3年，グランドホッケー3年 ★ 被験者7 野球4年，野球3年，野球3年 被験者8 なし，なし，弓道3年 被験者9 野球3年，野球3年，ハンドボール3年 ★ 被験者10 野球2年，野球3年，野球3年 被験者11 野球3年・柔道2年，野球3年，ハンドボール3年 ★ 被験者12 野球4年，バスケットボール3年，バスケットボール3年 ★ 被験者13 野球3年，野球3年，野球3年 被験者14 野球3年，バスケットボール3年，バスケットボール3年 ★ 被験者15 なし，なし，なし 被験者16 卓球2年，卓球2年，なし 被験者17 野球2年，硬式テニス3年，なし 被験者18 バスケットボール2年，バスケットボール3年，バスケットボール3年 ★ 被験者19 水泳6年・サッカー3年，バスケットボール3年，バスケットボール3年 ★ 被験者20 バスケットボール3年，バスケットボール3年，バスケットボール3年 ★ 被験者21 なし，なし，なし 被験者22 なし，バスケットボール3年，なし ★
4.1
実験工程
本実験は図4.1の手順で全工程を4 日で行った．実験群は1日目に事前課題を行い，終 了後にトレーニング課題に取り組んでもらった．2 日目・3 日目はトレーニング課題のみ を行い，4日目はトレーニング課題を終了後に事後課題に取り組んでもらった．対照群は システムを用いてのトレーニングは行わず，実験群と同じ日に事前・事後課題にのみ取り 組んでもらった．4.2
事前・事後課題
事前・事後課題は被験者の俯瞰的視点での認知力を評価するために作成した．刺激提示方 法はShelton and Gabrieli（2002），出題課題は藤井ら（2014）を参考に作成した[4][19]．Study of a Training System for Converting from Present Visual Information to Bird’s-Eye View 今回の被験者のスポーツ経験は人によってバラバラであり，この課題にある特定のス ポーツ固有の情報を含ませてしまうと，意図しない点数のばらつきが生まれてしまう可能 性があった．そのため，スポーツごとの細かなルール等を含まない視点変換課題を作成す るために，今回のような課題を作成した． この課題では第1刺激として，一人称視点から観測したマグカップなどが置かれた画像 がディスプレイに表示される．このディスプレイにはLenovo ideapad310 15.6型ノート PCを使用し，フルスクリーン最高輝度で表示した．第2刺激は第1刺激で提示した物を 俯瞰的視点から撮影したものか，配置を変更して俯瞰的視点から撮影したものを提示した． 第1刺激では6 ，7 個の物がランダムに配置されたものを一人称視点から撮影したものが 1 秒間提示され，インターバル1秒を挟んだ後，第2 刺激を提示した（4.2）．被験者には 第2 刺激の画像が第1刺激を俯瞰的視点から見た時の画像として正しいかどうか判断して もらい，正しい配置の場合は口頭で「まる」，異なる場合は「ばつ」と答えるよう教示し た．これらを連続で10問行い，6個の物を使用した画像を5題，7個の物を使用したもの を5題出題した（順番は事前・事後課題ともにランダム）．問題は1問正解につきを1点 としてスコアを集計した． また，課題に取り組む前に練習問題として4個の物を使用した画像を第1刺激として作 成したものを提示し，課題の説明を行った． 図4.2: 事前・事後課題
表4.3: 事前・事後課題に使用した物体 物体数 使用した物体 シャンプーボトル マグカップ 6個 トランプ（ケースごと） お菓子の缶 モアイのフィギュア ホチキス シャンプーボトル マグカップ トランプ（ケースごと） 7個 お菓子の缶 モアイのフィギュア ホチキス 灰皿
4.3
トレーニング課題
トレーニング課題は開発したトレーニングシステムを用いて行った．まず被験者には Oculus Riftを被ってもらいピントが合うよう調整してもらった．毎回にトレーニングのは じめには，VR 環境に慣れることとトレーニング課題の流れを説明するためにオブジェク ト2 体の練習問題に取り組んでもらった．この練習問題終了後に，被験者にVR 酔い等の 問題が生じていないことを確認し，本問題へと取り組んでもらった．本問題は追跡フェー ズ・再現フェーズ・反省フェーズの順で行った．本問題はオブジェクトが4 体の問題を2 回，5 体の問題を2 回，6 体の問題へ取り組んでもらった．1 日目のみ被験者全員がVR 未体験であったことを考慮して，各問題を1 度だけ実施した．Study of a Training System for Converting from Present Visual Information to Bird’s-Eye View
第
5
章
結果
第5章では実験の結果とその分析結果を記述する． 本実験における事前・事後問題の各群の点数は表5.1，5.2の通りである．対照群と実験 群の事前・事後問題の平均値を比較するために，（グループ）×（システム使用前後）の 2 要因混合計画の分散分析を行った．各グループ（対照群と実験群）の平均値は図5.1 に示 す．主効果の検定はBonferroni 法を用いて行い，交互作用が有意であった場合は単純主 効果検定を行った．統計解析には統計解析ソフトIBM 社のSPSS を用いて，有意水準は 5％未満とした．分散分析の結果は，交互作用が有意((F(1, 20) = 5.11,p<0.05)であった． このことから単純主効果検定を行ったところ，実験群における前後の単純主効果が有意で あった(F(1, 20)＝8.56, p<0.01)． 表5.1: 対照群スコア 被験者番号 事前課題 事後課題 被験者1★ 6 6 被験者2 6 5 被験者3 4 6 被験者4★ 6 6 被験者5★ 6 4 被験者6★ 7 7 被験者7 4 6 被験者8 7 5 被験者9★ 6 6 被験者10 4 5 被験者11★ 4 6 平均 5.45 5.64 S.D 1.21 0.81表5.2: 実験群スコア 被験者番号 事前課題 事後課題 被験者12★ 5 7 被験者13 5 8 被験者14★ 5 7 被験者15 6 8 被験者16 6 5 被験者17 4 6 被験者18★ 7 7 被験者19★ 5 7 被験者20★ 5 8 被験者21 8 8 被験者22★ 5 7 平均 5.55 7.09 S.D 1.13 0.94 図5.1: 事前・事後課題平均値 今回被験者を俯瞰的視点での認知が必要とされるスポーツの経験年数が3年以上であ るかどうかを基準として被験者を振り分けたが，このスポーツ経験から各郡での点数は表 5.3，5.4に示した通りである．点数の上昇が見られた実験群においてt検定を行った結果 スポーツ経験有（★）グループはt(5) = 4.57, 0.05 < p < 0.10 となり有意傾向が見られ
Study of a Training System for Converting from Present Visual Information to Bird’s-Eye View た．スポーツ経験無しグループは t(4) = 1.63, p > 0.1 となり，事前課題と事後課題の 点数に有意差が見られなかった．. また実験群に関しては，スポーツ未経験者の方が事前課題の点数が高いという結果と なった． 表5.3: スポーツ経験の有無からみた対照群スコア 被験者番号 事前課題 事後課題 被験者1★ 6 6 被験者4★ 6 6 被験者5★ 6 4 被験者6★ 7 7 被験者9★ 6 6 被験者11★ 4 6 平均 5.83 5.83 被験者2 6 5 被験者3 4 6 被験者7 4 6 被験者8 7 5 被験者10 4 5 平均 5.00 5.40
表5.4: スポーツ経験の有無からみた実験群スコア 被験者番号 事前課題 事後課題 被験者12★ 5 7 被験者14★ 5 7 被験者18★ 7 7 被験者19★ 5 7 被験者20★ 5 8 被験者22★ 5 7 平均 5.33 7.17 S.D 0.82 0.40 被験者13 5 8 被験者15 6 8 被験者16 6 5 被験者17 4 6 被験者21 8 8 平均 5.80 7.00 S.D 1.48 1.41
Study of a Training System for Converting from Present Visual Information to Bird’s-Eye View
第
6
章
考察
第６章では実験の分析結果の考察を行う．本実験では事前・事後問題を用いて俯瞰的視 点での認知力の評価を行い，システムを使用することで俯瞰的視点での認知力の向上を目 指した．両群の事前課題の点数の平均を見てみると，対照群は5.45点で実験群は5.55点で あった．点数の差は0.1点であった．スポーツ経験の有無から点数を見てみると，対照群 は経験あり（表5.4）のグループは5.83点，なしのグループは5.00点であり，対照群に関 してはスポーツ経験有のグループが高くなっていることがわかる．しかし実験群に関して 見てみると，経験ありのグループは5.33点でなしのグループが5.80点と，スポーツ経験 なしのグループの点数が高くなっていることがわかる．このことから，両群の点数を比較 したときには適当な被験者分けがなされているように見えるが，各郡の詳しい点数を見る とそうとは言い切れないことがわかった．原因としては，今回は年数を基準として分ける こととしたが，関連研究でも述べた通りスポーツ以外の分野でも着目している俯瞰的認知 （サーベイ的視点）は使用されているので，そのような部分でスポーツ経験以上の差が実 験群の被験者間で現れたと考えられる．今後より正確に被験者を分けるのであれば，実際 の俯瞰的認知力を具体的な数値として表現し，それを参考にする必要性があると思われる． 次に事後課題の点数を見てみると，対照群の点数の伸びは＋0.19点であり実験群は＋ 1.54点であった．有意水準5％の分散分析の結果交互作用が有意であったため，単純主効 果検定を行ったところ実験群において有意であった．これらを踏まえると，本システムを 使用したトレーニングに取り組んだ実験群の俯瞰的視点での認知が有意に向上したと考え られる．実験群に関して，本システムを用いたトレーニングで繰り返し100点になるまで の復習を行った結果，被験者自身の一人称視点での情報と俯瞰的視点での情報のズレを修 正することができ，事後課題における物体の些細なズレにも敏感に反応できるようになり このような結果が出たと考えられる．また，多くの俯瞰的視点への変換を行ったため，被 験者が情報を変換する時のコツのようなものを掴むことができ，スムーズに事後課題に取 り組めたのではないかと考えられる． また，実験群内のスポーツ経験ありのグループの事後課題の点数は，事前課題に比べ て＋1.84点で，なしのグループは＋1.20点であった．結果に記述した通り，スポーツ経験 ありのグループについては，事後課題の点数に有意傾向が見られたが，スポーツ経験なし のグループについては有意差が見られなかった．このような結果は，今回のトレーニング システムがスポーツに着目していたことから，スポーツ経験のある被験者の学習がしやす かったため現れているのではないかと考えられる．しかし，将来的にこのシステムを使用 するユーザーの中には，3年以上のスポーツ経験がないユーザーも居ると考えられる．そ ういったユーザーが学習をし易いようなシステムへと改善，またはこのトレーニングシスしかし，前述した通りスポーツ経験ありのグループの事前課題の点数が，そもそもス ポーツ経験なしのグループより低かったこともあり，この説が完全に正しいかどうかは述 べることができない．加えて，実験群の人数も11人だけであり十分な人数と言えないた め，今後人数を増やして，より多くのデータを収集して検証を行う必要がある． 実験群内のスポーツ経験者の事前課題の点数が，スポーツ経験無しのグループの点数よ り低かったことは，実験の検証方法にも問題があったのではないかと考えられる．今回の 事前・事後課題はディスプレイへ表示される形式であり，実際に体を動かすことは行って いない．また，スポーツ独自の情報や経験を打ち消すために今回のような課題を作成した ことが逆に裏目に出てしまったと考えた．つまり，被験者が培ってきた俯瞰的視点での認 知力を十二分に発揮することができなかったことが考えられる．被験者を集める段階で， ある特定のスポーツに絞る必要性も考えられる． 以上のことより，今回のトレーニングシステムを使用したことで，単純な俯瞰的視点か らの認知力の向上は確かめられた．しかし被験者の経験スポーツの統一や検証方法の変更 でまた違った結果が得られる可能性も十分にあるため，スポーツにおいての俯瞰的視点で の認知力が向上したとははっきりと断言することはできない．また，トレーニング期間も 今回は4日間と短く限られていたため，今後長期にわたるトレーニングによって図10 に 示されている実験群の点数がどこまで上昇するのか，またはどこで点数の伸びが頭打ちと なるか期間を考慮した実験も必要であると考える． 検証方法の考察において，特定のスポーツに絞る必要性があると述べたが，これはシス テム面での考察においても同じことが言える．本システムの追跡フェーズでは，選手オブ ジェクトの動きを設定する際には被験者ができるだけ首を振るようなルート設定を心がけ た．よって特にあるスポーツの動き等を参考にはしていなかった．しかし，スポーツには そのスポーツ独自の動きというものがある．加えてそのスポーツごとにコートの広さも違 い，認知する必要のある空間の広さにも差が出てくることは自明である．これらのことを 考慮すると，より効率的なトレーニングシステムとするためには，まずは対象スポーツを 絞り，そのスポーツ固有の動きを表現することも重要となってくる．また，本システムの 追跡を行う際のユーザはその場から動かず，追跡すること以外には何も行わない静的なも のであった．しかし現実のスポーツでは追跡のみを行うことは少ないため，より現実的な 環境を仮想空間上に表現するためには，動的な部分の表現（パスを受ける・相手をかわす など）も改善する必要があると考えられる．
Study of a Training System for Converting from Present Visual Information to Bird’s-Eye View
第
7
章
まとめ
本研究で開発した視覚情報の俯瞰的視点変換トレーニングシステムが，俯瞰的視点から の認知力向上へ有用であるか実験を行った．被験者を利用した検証の結果，本システムを 用いた実験群の俯瞰的視点での認知力の向上が見られた． 今回，本実験では事前・事後課題の点数で俯瞰的視点での認知力を確かめた．これらは 座った状態でスクリーンに映し出された問題について回答するものであり，体を動かした 状態での検証ではなかった．そのため本実験で見られた認知力の向上が，果たしてスポー ツを実際に実施している際にも同じように見られるのかはわからないため，今後検証方法 に実際に体を動かしながら，よりスポーツを実施している状態に近づけて行う必要性があ ると考えられる．またその際には，被験者のスポーツ経験の統一をすることでより正確な 結果が得られると考えられる． 検証方法で被験者の経験スポーツの統一の必要性が考えられたが，これはシステム面で も同じことが言える．今回のトレーニングシステムは，コートや追跡するオブジェクトの ルート作成の際に特定のスポーツを対象にはしていない．しかし，スポーツにはそのス ポーツ独自の動き等があり，それらによって観察方法や考え方が変わる．より効果的なシ ステムとするためも対象スポーツを絞り，独自の動きを動的に再現していく必要があると 考える．謝辞
本論文を制作するにあたり指導教官である角薫教授にご指導を賜りました．ここに感謝 の意を表します.また実験に快く協力していただいた皆様にもこの場お借りしてお礼申し 上げます．
Study of a Training System for Converting from Present Visual Information to Bird’s-Eye View
参考文献
[1] 阿部生雄，寺島善一，森川貞夫(2012）スポーツの世界地図，東京都: 丸善出版株式 会社． [2] 真下一策(1997）スポーツビジョンースポーツのための視覚学，東京都: スポーツビ ジョン研究会． [3] 中川昭（1958），“ ボールゲームにおける状況判断研究のための基本概念の検討 ”日 本体育学会，第28巻，第4号 288‐ 297． [4] 藤井紀之，中本浩揮，幾留沙智，畝中智志，森 司朗（2014），“ サッカー選手のサー ヴェイ的視点と心的回転能力との関係 ”スポーツ心理学研究，第41巻，第2号93‐ 103．[5] Taylor H. A.，Tversky, B. (1996).”Perspective in spatial descriptions”Journalof Memory and Language 35: 371-391.
[6] Taylor HA, Tversky B. (1992).”Spatial mental models derved from survey and route descriptions”J Meg Lang 31: 261-292.
[7] 比護智洋 (2012)，”空間認識力を育む教材に関する研究 ” 数学教育研究，第47巻， 第1号146-165．
[8] 秦野真衣，米澤棚子，吉井直子，高田雅美，城和貴(2012)，”ARを用いた空間認識
能力向上のための学習方法 ” 情報処理学会研究報告，第87巻，第33号1-6．
[9] Sekiguchi, A., Yokoyama, S., Kasahara, S., Yomogida, Y., Takeuchi, H., Ogawa, T., Taki, Y., Niwa, S., Kawashima, R. (2011).”Neural Bases of a Specific Strategy for Visuospatial Processing in Rugby Players”Medicine ＆ Science in Sports ＆ Exercise 43: 1857-1862.
[10] NeuroTrakcer: http://neurotracker.jp/
[11] Legault, I.， Faubert, J.(2012）“Perceptual-cognitive training improves biological motion perception: evidence for transferability of training in healthy aging” Cog-nitive neuroscience and neuropsychology Neuro Report 23:469-473.
[13] Parth, R.，Pooja, N.，Komal, D.，Khushbu, M. (2014）“A Review Paper on Oculus Rift-A Virtual Reality Headset”International Journal of Engineering Trends and Technology (IJETT) 13:175-179.
[14] Cosma, G., Ronchi, E.,＆Nilsson, D.(2016）“Way-finding lighting systems for rail tunnel evacuation: A virtual reality experiment with Oculus Rift”Transportation Safety ＆Security.
[15] Randall, D., Metherall, P., Bardhan, K., Spencer, P., Gillott, R., Noronha, R., Fen-ner, J.(2015）“The Oculus Rift virtual colonoscopy: introducing a new technology and initial impressions”Biomedical Graphics and Computing 6:34-42.
[16] 本荘直樹，伊坂忠夫，満田隆，川村貞夫（2005），“HMDを用いたスポーツスキルの 学習方法の提案 ” 日本バーチャルリアリティ学会論文誌，第10巻，第1号 63‐ 69頁． [17] 川村貞夫（2002）“ スポーツ技術向上のためのVR” 日本バーチャルリアリティ学 会，第7巻，第2号，104． [18] 荒川巧也，浅野祐一(2015) Unity5入門，東京都: ソフトバンク クリエイティブ株式 会社.
[19] Shelton AL, Gabrieli JD. (2002)“Neural correlates of encoding space from route and survey perspectives.”The Journal of Neuroscience 22(7):2711-2717.
Study of a Training System for Converting from Present Visual Information to Bird’s-Eye View
付 録
A
付録：事前・事後課題問題
A.1
置かれている物体が
6
体の場合
A.1.1
課題例 1
図 A.1: 第1刺激 図A.2: 第2刺激（第1刺激と同じ並び）図A.3: 第2刺激（第1刺激と異なる並び）
A.1.2
課題例 2
図 A.4: 第1刺激
Study of a Training System for Converting from Present Visual Information to Bird’s-Eye View
図A.6: 第2刺激（第1刺激と異なる並び）
A.2
置かれている物体が
7
体の場合
A.2.1
課題例 1
図A.8: 第2刺激（第1刺激と同じ並び）
図A.9: 第2刺激（第1刺激と異なる並び）
A.2.2
課題例 1
Study of a Training System for Converting from Present Visual Information to Bird’s-Eye View
図A.11: 第2刺激（第1刺激と同じ並び）
図 目 次
2.1 ニューロトラッカー概要1 . . . . 5
3.1 Oculus Rift . . . . 7
3.2 Oculus Traking Sensor . . . . 7
3.3 Oculus Touch . . . . 8 3.4 バーチャルハンド . . . . 9 3.5 システム説明 . . . 10 3.6 追跡フェーズのユーザー画面 . . . 11 3.7 Aコート . . . 12 3.8 ルート設定用球体オブジェクト . . . 14 3.9 ルートの一例 . . . 15 3.10 図?? の赤実線のAnimation . . . 16 3.11 俯瞰的視点の画面（再現フェーズ） . . . 17 3.12 Oculus Touchを利用したオブジェクトの配置（再現フェーズ） . . . 17 3.13 採点後の画面（再現フェーズ） . . . 18 3.14 採点時のBコート・採点用オブジェクト群の状態 . . . 18 3.15 Colliderによる判定図式 . . . 19 3.16 復習画面（復習フェーズ） . . . 21 4.1 実験手順 . . . 22 4.2 事前・事後課題 . . . 25 5.1 事前・事後課題平均値 . . . 28 A.1 第1刺激 . . . 37 A.2 第2刺激（第1刺激と同じ並び） . . . 37 A.3 第2刺激（第1刺激と異なる並び） . . . 38 A.4 第1刺激 . . . 38 A.5 第2刺激（第1刺激と同じ並び） . . . 38 A.6 第2刺激（第1刺激と異なる並び） . . . 39 A.7 第1刺激 . . . 39 A.8 第2刺激（第1刺激と同じ並び） . . . 40 A.9 第2刺激（第1刺激と異なる並び） . . . 40 A.10第1刺激 . . . 40 A.11第2刺激（第1刺激と同じ並び） . . . 41 A.12第2刺激（第1刺激と異なる並び） . . . 41
Study of a Training System for Converting from Present Visual Information to Bird’s-Eye View
