28 Information selectivity in mixed reality environment

平成

28

年度

学士学位論文

複合現実環境における情報選択性の検討

Information selectivity in mixed reality environment

1170317

坂本 慎昂

指導教員

繁桝 博昭

2017

年

3

月

7

日

要 旨

複合現実環境における情報選択性の検討

坂本 慎昂

私たちが外界から情報を得る手段の中では視覚がその情報取得の多くを占めているが，目 に入る全ての情報を処理しているわけではない．視覚系の並列処理には限界があるため，そ の範囲内で有用な情報を選択することが必要である．この情報取得の取捨選択に重要な役割 を担っているのが視覚的注意である．近年スマートフォンの利用の増加に伴い，AR技術を 用いたアプリケーションも多く登場し，ARがより身近なものとなった．今後AR技術が発 展すると，現実世界に多くのARによる情報が呈示されることが考えられる．その際に私た ちは実物体とAR物体が呈示される複合現実環境の中から有用な情報を選択する必要が生じ てくる． 本研究ではHMDを使用して複合現実環境を構築し，情報選択の注意特性を検討した．課 題には周辺刺激を無視しながら目標刺激を同定することが求められるフランカー課題を用い た．この課題において目標刺激と周辺刺激が異なる条件の反応時間とそれらが等しい条件の 反応時間が周辺刺激の効果（フランカー効果）であり，この値が小さい場合は目標刺激が周 辺刺激の影響を強く受けずに目標刺激を同定できていることになる． 実験の結果，フランカー課題を実物体とAR物体が混在する複合現実で行う条件において 一日目と二日目の日にちの違いによる効果がみられた．一日目には目標刺激がAR物体とな る条件の方がフランカー効果が小さくなるが，二日目には目標刺激が実物体となる条件の方 がフランカー効果が小さくなる結果となった．実物体とAR物体には，照明光による反射特 性や陰影に違いがある．一日目は実物体が目標刺激の場合，周辺刺激のAR物体に注意が向 いてしまうことで反応時間が遅くなるが，二日目にはその妨害が減少することで一日目と比 べて反応時間が速くなると考えられる．また有彩色の目標刺激と周辺刺激が共にARの条件

においても日にちの効果がみられた．複合現実の条件とは異なり，目標刺激と周辺刺激が一 致している条件の反応時間にも日にちによる反応時間の効果がみられたため，一日目は有彩 色の顕著性が高いオブジェクト自体に注意が向き，オブジェクト内部の記号の情報にアクセ スしにくかったと考えられる．

Abstract

Information selectivity in mixed reality environment

Yoshitaka Sakamoto

In the means of obtaining information of the outside world, the visual information

occupies much. However, it is impossible to process all of the information projecting to

the eyes. Since parallel processing of the visual system has limitations, it is necessary to

select useful information within the limit. In the information selection, visual attention

plays an important role. With the recent increase in the use of smart-phones, many

applications using augmented reality (AR) technology appeared and AR has become

more familiar. As AR technology develops, it is conceivable that more information

by the AR will be additionally presented in the real world. At that time, we need to

select useful information from the mixed reality environment where real objects and AR

objects are presented.

In this study, we constructed a mixed reality environment using head mounted

display and examined the property of attention in information selection. A flanker task

paradigm was used in this study. The task requires the observers to identify the target

stimulus while ignoring the peripheral stimulus. In this paradigm, the difference of

reaction time between the condition in which the target and peripheral stimulus was

different and the conditions in which these stimuli were same, are considered to be the

effect of the peripheral stimulus (flanker effect). When this value is small, the target

stimulus is considered to be not influenced much by the peripheral stimulus and the

target stimulus can be identified efficiently.

mixed reality condition in which real objects and AR objects are combined. On the first

day, the condition that the target stimulus was a AR object and the flankers were real

objects showed smaller flanker effect while on the second day, the condition that the

target stimulus was a real object and flankers were AR objects showed smaller flanker

effect. The real objects and the AR objects have different characteristics of reflection

and shadows due to different illumination light. On the first day, when the real object

was the target stimulus, the reaction time might be delayed as attention was captured

to AR objects in peripheral, but on the second day the obstruction effect by the flankers

decreased. Compared with the first day, the reaction time became faster. In addition,

the effect of the day was also found in the condition that both the target and the flanker

were both AR objects which had chromatic color. Unlike the condition of mixed reality,

the effect of reaction time due to the day was also observed in the reaction time of the

condition under which the target stimulus and the peripheral stimuli were same. On

the first day, the object with high chromatic color saliency captured attention to the

object itself and it might be hard to access the information of the symbol inside the

object.

key words Visual Attention，AR，Mixed Reality，Information Selecivity，Flanker Task

目次

第1章 はじめに 1 1.1 背景. . . 1 1.2 目的. . . 2 1.3 AR(Augmented Reality) . . . 2 1.4 VR(Virtual Reality) . . . 4 1.5 MR(Mixed Reality) . . . 5 1.6 視覚的注意 . . . 6 1.7 フランカー課題 . . . 6 1.8 Ovrvision Pro . . . 9 第2章 実験装置 10 2.1 実験環境 . . . 10 2.1.1 使用したソフトウェア . . . 10 2.1.2 刺激呈示用装置 . . . 11 2.1.3 入力装置 . . . 13 第3章 実験 14 3.1 実験概要 . . . 14 3.1.1 被験者 . . . 14 3.1.2 刺激および条件の設定 . . . 14 3.1.3 手続き . . . 19 3.2 実験結果 . . . 21 3.2.1 全条件の結果 . . . 21 3.2.2 複合現実の条件の結果 . . . 23

目次 3.2.3 AR物体のみ（有彩色）条件の結果 . . . 28 第4章 考察 29 4.1 複合現実の条件 . . . 29 4.2 AR物体のみ(有彩色)条件 . . . 29 第5章 まとめ 31 謝辞 32 参考文献 33

図目次

1.1 ARのオブジェクト呈示例 . . . 3 1.2 実際のVRの例 . . . 4 1.3 Microsoft HoloLens([5]) . . . 5 1.4 現実世界及びAR，AV，VR，MRの位置づけ(Milgrame et al. (1994) [6] を改変) . . . 5 1.5 フランカー課題 . . . 8

1.6 Ovrvision Caliblation Tool . . . 9

2.1 ARUcoマーカー . . . 11 2.2 実物体用ブロック . . . 11 2.3 実物体を固定するために使用した板 . . . 11 2.4 HMD（Oculus Rift DK2）. . . 11 2.5 Ovrvision Pro . . . 12 2.6 OvrvisionProhuzo付属済みHMD . . . 12 2.7 使用したテンキーボード . . . 13 3.1 中心AR - 周辺R 一致条件 _⃝1 . . . 15 3.2 中心AR - 周辺R 一致条件 ⃝2 . . . 15 3.3 中心AR - 周辺R 不一致条件 ⃝1 . . . 15 3.4 中心AR - 周辺R 不一致条件 _⃝2 . . . 15 3.5 中心R - 周辺AR 一致条件 _⃝1 . . . 16 3.6 中心R - 周辺AR 一致条件 ⃝2 . . . 16 3.7 中心R - 周辺AR 不一致条件 ⃝1 . . . 16 3.8 中心R - 周辺AR 不一致条件 ⃝2 . . . 16

図目次 3.9 中心R - 周辺R 一致条件⃝1 . . . 16 3.10 中心R - 周辺R 一致条件⃝2 . . . 16 3.11 中心R - 周辺R 不一致条件 ⃝1 . . . 17 3.12 中心R - 周辺R 不一致条件 _⃝2 . . . 17 3.13 中心AR - 周辺AR 一致条件 ⃝1 . . . 17 3.14 中心AR - 周辺AR 一致条件 ⃝2 . . . 17 3.15 中心AR - 周辺AR 不一致条件 ⃝1 . . . 17 3.16 中心AR - 周辺AR 不一致条件 _⃝2 . . . 17 3.17 中心AR’ - 周辺AR’ 一致条件 ⃝1 . . . 18 3.18 中心AR’ - 周辺AR’ 一致条件 ⃝2 . . . 18 3.19 中心AR’ - 周辺AR’ 不一致条件 ⃝1 . . . 18 3.20 中心AR’ - 周辺AR’ 不一致条件 _⃝2 . . . 18 3.21 使用したあご台 . . . 19 3.22 実験の様子 . . . 19 3.23 HMD内の映像および注視点 . . . 20 3.24 全条件のフランカー効果 . . . 21 3.25 全条件を一日目と二日目で分けた場合でのフランカー効果 . . . 22 3.26 複合現実の条件のフランカー効果 . . . 24 3.27 複合現実の条件の反応時間 . . . 24 3.28 被験者Aのデータ及び回帰直線. . . 25 3.29 被験者Bのデータ及び回帰直線 . . . 25 3.30 被験者Cのデータ及び回帰直線 . . . 26 3.31 被験者Dのデータ及び回帰直線. . . 26 3.32 被験者Eのデータ及び回帰直線 . . . 26 3.33 被験者Fのデータ及び回帰直線 . . . 26 3.34 被験者Gのデータ及び回帰直線. . . 27

図目次

3.35 被験者Hのデータ及び回帰直線. . . 27

3.36 被験者Iのデータ及び回帰直線 . . . 27

3.37 被験者Jのデータ及び回帰直線 . . . 27

第

₁

章

はじめに

1.1

背景

情報通信技術の発展に伴い，スマートフォンやタブレットの普及率は年々上昇している． アプリと呼ばれる端末上で動作するアプリケーション市場の成長も大きく，世界のモバイ ルアプリダウンロード総数は 2012年の約500億から年々上昇し，2018年には約2700億 になると予想されている [1]．近年AR(Augmented Reality)を用いたアプリケーションも 多く登場し，AR技術はより身近なものとなった．ARの詳細については第1.2節で述べる が簡潔に述べると，ARとはCGなどを用いて現実世界の情報にさらに情報を加える技術 である．2016年AR機能を備えたアプリケーションにおいて話題となったものに，ナイア ンティックと株式会社ポケモンによって開発されたPokemon GOが挙げられる．Pokemon GOは位置情報とAR機能を用いたゲームアプリケーションであり，アプリケ−ションに関 する市場データと分析ツールを提供しているアップアニー社の調べによるとPokemon GO の売上はアプリ史上最速で6億ドルに到達した[2]．またAR技術はゲームアプリケーショ ン以外にもスマートフォンのカメラを用いてナビゲーションを行う道順案内アプリなどでも 使用され，アプリケーション以外でも医療分野における手術支援システムの「ダヴィンチ」 で用いられるなど幅広い分野で期待されている． このように近年AR技術は注目されており，今後もAR技術を用いたコンテンツが多く開 発されることが考えられる．AR技術が発展すると，私たちが今まで生活してきた実環境か らAR物体が含まれた複合現実（MR : Mixed Reality)環境となることが予想される．MR の詳細は第1.4節で述べるが簡潔に述べると，MRとはCGなどの技術によって作られた仮

1.2 目的 想現実世界と現実世界を融合させた技術である．複合現実環境では実物体とAR物体という 情報が混在した中から自分にとって有用な情報を取り入れることが求められる．そのため本 研究では複合現実環境における情報選択性について検討した．

1.2

目的

私たちが外界から情報を得る手段の中では視覚がその情報取得の多くを占めているが，私 たちは目に入る全ての情報を処理しているわけではない．視覚系には並列処理に限界があ り，その限界範囲内で有用な情報を選択することが必要であり，取捨選択の重要な役割を 担っているのが視覚的注意(第1.5節)の機能である．私たちは日常生活で視覚的注意とい う機能を用いることで自分にとって必要な情報を取り入れ，不必要な情報を排除して生活し ている．実環境では実物体のみに対して注意の機能が働いているが，複合現実環境では実物 体に加え，AR物体に対しても注意の機能が働くことになる．本研究では複合現実環境での 情報選択の注意特性について検討するためフランカー課題を用いた．フランカー課題につい ては第1.6節で述べるが簡潔に述べると，周辺刺激を無視しながら目標刺激を同定すること を求められる課題であり，一般に目標刺激と周辺刺激が同じ文字で構成された一致条件よ り，それらが異なる文字で構成された不一致条件の方が反応時間が遅くなるとされている [9]．本研究ではこの課題が複合現実ではどのような特性を示すかについて検討した．

1.3

AR(Augmented Reality)

AR(Augmented Reality)とは拡張現実と言われ，人が知覚し実際にある現実世界をコン ピュータで拡張する技術である．ARにおいて現実世界の位置情報を取得することは重要で あり，その際に現実世界の物体との相互作用，照明や影，隠ぺいによる画像変化への対応な どが大きな課題となる．現実世界の位置情報を取得する方式は主に位置情報型，マーカー型， マーカーレス型の三つに分けられる．位置情報型とはGPSなどの位置情報を元にARを実 現する方式である．GPSだけではなく磁気センサーや加速度センサーを用いることで方向

1.3 AR(Augmented Reality) などの情報を取得し，付加情報を合成する座標が決定する．GPS や各センサーはスマート フォンやタブレットに標準で搭載されているので比較的簡単に実現できるが，GPS精度の 限界から表示のズレが起こるデメリットがある．マーカー型はARマーカーという画像解析 を容易にするマーカーを用いて現実世界と表示させるAR物体の座標をリンクさせる方式 である．付加情報の表示位置を正確に指示できるのが最大のメリットである．しかし状況に 応じて必要な数だけマーカーを準備しなくてはいけないなどのデメリットもある．マーカー レス型は ARマーカーを使わずに現実世界の物体や空間全体を把握することで付加情報の 表示位置を決定する方式である．大きな対象に対してもピンポイントで付加情報を合成でき るが，高度な画像処理が必要で技術的なハードルは高い [3]．本実験ではマーカー型 ARを 使用した．使用したマーカーはARUcoというBSDライセンスで提供されているOpenCV をベースにしたARライブラリである．ARUcoを用いて実際にオブジェクトを呈示した例 を図1.1に示す．AR技術は昨年ヒットを起こしたPokmon GOやスマートフォンのカメラ を用いてナビゲーションを行う道順案内アプリ [4]，医療分野における手術支援システムで ある「ダヴィンチ」で使われるなど幅広い分野で使用されている．   図1.1 ARのオブジェクト呈示例

1.4 VR(Virtual Reality)

1.4

VR(Virtual Reality)

VR(Virtual Reality)とは仮想現実世界と言われ，実際に現実として目の前にあるわけで はないが，本質は現実と同じである環境をコンピュータなどを用いて作り出す技術及び作り 出された世界のことである．VRを構築する要素として3次元空間性，リアルタイム性，自 己投射性の三つが挙げられる．3次元空間性とはコンピュータによって生成した環境が視覚 的，聴覚的にユーザーにとって自然に構成されていることである．リアルタイム性とはVR 内で物体を持ち上げたりなど環境に対して干渉できることである．自己投射性とはVR環境 内でも普段の感覚で行動できることである．普段の感覚とは例えば人間は目を瞑っていても 自分の身体の状態が分かる．これは自己感覚によるもので，現実世界では視覚や聴覚から得 られる情報と自己感覚が一致して人間は行動をしている．このような感覚と矛盾のない状態 をVR環境でも実現するのが自己投射性である[3]．昨年はHTC とValve Corporationに より共同開発されたHTC VIVEのようにコントローラーを用いてオブジェクトを操作した りすることで，より没入感を高めたVR向けのHMDが注目されている．実際のVRの例 としてHTC VIVEを用いている例を図1.2に示す．   図1.2 実際のVRの例

1.5 MR(Mixed Reality)

1.5

MR(Mixed Reality)

MR（MixedReality)とは複合現実と言われ，CGなどの技術によって作られた仮想現実 世界（VR）と現実世界（Reality）を融合させた複合現実世界及びその映像技術のことであ る．昨年はMicrosoftが開発したMRデバイスの「HoloLens（ホロレンズ）図1.3」が北米 やヨーロッパでは先行予約が始まり，日本も近々予約が開始される予定であるなど複合現実 環境がこれから更に期待されることが推測される．本実験ではAR技術を用いて現実世界に 仮想物体を呈示することで複合現実世界を構築した．仮想現実世界に現実世界の情報を付加 する技術を拡張仮想(AV : Augmented Virtual)と言い，この技術も複合現実に含まれる． 図1.4に現実世界及びAR，AV，VR，MRの位置づけを示す．図1.4からARもAVも共 にMRの一部であることが言える．その違いは現実世界と仮想現実世界のいずれをべース とするかである[7]．   図1.3 Microsoft HoloLens([5])   図1.4 現実世界及びAR，AV，VR，MRの位置づけ(Milgrame et al. (1994) [6]を改変)

1.6 視覚的注意

1.6

視覚的注意

人間の感覚器官には常に膨大な情報が入力されている．しかし人間の脳はそれら全てを処 理し，意識化しているわけではない．知覚や記憶には一度に処理できる容量に限界があるた め，必要な情報の選択を行うか，情報のある特性の側面に集中することが必要となる．この とき必要に応じて情報を取捨選択する役割を担っているのが注意の機能である．視覚的注意 は注意研究の中でも精力的に行われてきた分野である．注意の広がりは刺激や意識の向け方 によって変わってくる．視覚探索や注意の補足，復帰抑制，変化の見落としなどさまざまな 課題を用いることで今まで注意の機能は検証されてきた．本研究で用いたフランカー課題も その一つである．ポズナーら(Posner & Cohen, 1984)は視覚的注意を明示的定位システム と潜在的定位システムに区別している．明示的定位システムとは外的刺激によって駆動され る受動的な注意であり，予期していない刺激の突然の出現や変化に対して明示的注意を喚起 する．このとき視覚的注意においては注意対象と注視対象とが一致する．潜在的定位システ ムは意図的にある位置にスポットライトを向けるときに働く能動的な注意であり，潜在的注 意と言われる．視覚的注意では注意対象と注視対象が一致せず，姿勢や視線方向だけから注 意対称を特定することはできず，この二つのシステムが相互に作用することによって重要な 刺激の処理が行われている[8]．

1.7

フランカー課題

本研究で用いたフランカー課題は1974年にBarbara A. EriksenとCharles W. Eriksen によって行われた実験である．目標刺激と周辺刺激から構成された刺激が呈示され，周辺刺 激を無視しながら指定された目標刺激の同定をすることが求められる課題である．もしも目 標刺激のみに注意を向けることができれば，周辺にどのような刺激が呈示されても反応時間 に変化はないはずである．しかし一般的に目標刺激と周辺刺激が同じ文字で構成された一 致条件（例えば，HHHHH）より，それらが異なる文字で構成された不一致条件（例えば， SSHSS）の方が反応時間が遅くなるとされている[9]．これは課題と関係のない周辺刺激に

1.7 フランカー課題

も注意が向けられたことを意味し，それを抑制するため反応時間が遅くなるとされている． 不一致条件の反応時間から一致条件の反応時間を引いて算出した値をフランカー効果という (図1.5)．この値が小さくなるほど目標刺激を同定できていることになり，周辺刺激による 妨害を排除できていることになる．また本実験では使用していないが，フランカー課題に は一致条件と不一致条件以外にニュートラルな条件も存在する．Eriksen & Eriksen（1974） は，フランカー課題において二つの反応キーのどちらにも割り当てられていない文字刺激を 周辺に呈示し，それらの文字の形態的特徴が反応に影響を与えることを明らかにした．フラ ンカー課題の反応時間は，反応刺激（例えば，H）と異なる形態的特徴をもつ刺激が周辺に 呈示されたとき（例えば，GJQHGJQ）よりも，類似した特徴をもつ文字が呈示されたと き（例えば，NWZHNWZ）に短くなる傾向がある[10]．またフランカー課題は文字だけで なく数字やカラーパッチなど多くの刺激を用いることで過去に行われている．本研究で用い た不等号記号の方向を判断する課題も過去に行われている[11]．以上のことを踏まえて本研 究でフランカー課題を用いた理由を説明する．本研究では実物体を注視する際にAR物体が どう影響を及ぼすのか．またAR物体を注視する際にAR物体がどう影響を及ぼすのかを 検討するために片方の刺激を注視する際にもう片方の刺激の影響を受ける状態を設定するた めにフランカー課題を用いた．

1.7 フランカー課題

 

1.8 Ovrvision Pro

1.8

Ovrvision Pro

Ovrvision ProはOculus社が開発したOculus RiftやHTC VIVEに装着する事で没入 型ARやハンドトラッキングが行える株式会社しのびや.comのWizapply事業部が開発し た高性能ステレオカメラである．EEPROMやGPIOを搭載し組み込み系の拡張スロット を備えているため，ロボセンサーなどにも活用可能である.Unity などのゲームエンジンで も使用することが可能で，無償提供されているOvrvision Pro SDKと合わせて汎用性の高 い開発環境が整っている．またOvrvision Pro SDKはオープンソースソフトウェアのライ センスであるMITライセンスで提供されているため，商用利用問わず利用できる[12]．本 研究では物体の見え方が特に重要になり，Ovrvision SDKには両眼視差を調整するツール として Ovrvision Cliblation Toolが備わっている(図1.6)．本研究でもこのツールを使用 し，両眼視差の調整を行ってから実験を開始した．実際に実験で使用したOvrvision Proは 第2.1.2節で示す．

 

第

₂

章

実験装置

2.1

実験環境

本実験の環境に関して説明を行う．実験は充分なスペースを用意した環境で行った．本来 であれば暗室などを用いて不必要な視覚情報をできるだけなくした状態で実験を行うのが最 適であるが，今回の実験ではARマーカーを用いるためカメラがマーカーを認識できるよう にする必要があるので暗室では実験を行えなかった．しかし実験で用いる刺激以外にはでき るだけ注意が向かないようにした環境下で実験を行った．また実験を行う時間帯により，見 え方に違いが出ないように実験は陽が沈んだ後に行うことでできるだけ統制を行った環境を 設定した． 実験に使用したPCのスペックは以下となる． • OS : Windows8.1

• CPU : Intel Core i5 - 4460 3.2GHz • メモリ : 8GB

2.1.1

使用したソフトウェア

刺激の作成にはWindows Visual Studio 2015 とUnity5.3.6p2(64bit) を使用した．実 験結果として得られたデータは Microsoft Excel 2013 を用いて解析し，検定にはR 言語 (3.3.2)を使用した．

2.1 実験環境

2.1.2

刺激呈示用装置

AR物体及び，注視点の呈示にはAR マーカーのARUcoを使用した(図2.1)．実物体 には厚み，幅，高さが 4.5cmでできた木材のブロックに不等号記号を印刷した用紙を張り 付けたものを使用した(図2.2)．またその実物体を固定するために厚み8cm，幅60cm，高 さ 3cm でできた木材を使用した (図2.3)．実験では複合現実環境の構築のためヘッドマ ウントディスプレイ (HMD)のOculusRift DK2(図2.4)とAR 提示用ステレオカメラの Ovrvision Proを使用した(図2.5)．実際に被験者が装着したOvrvision Proを付属させた HMDを図2.6に示す．   図2.1 ARUcoマーカー   図2.2 実物体用ブロック   図2.3 実物体を固定するために使用した板   図2.4 HMD（Oculus Rift DK2）

2.1 実験環境

 

図2.5 Ovrvision Pro

 

2.1 実験環境

2.1.3

入力装置

被験者には目標刺激の不等号記号の方向を判断してもらうためにテンキーボード (ERE-COM 製 TK-TCM011BK)を使用した(図2.7)．今回の実験で使用するキー以外は押せな いようにしたものを用意した．   図2.7 使用したテンキーボード

第

₃

章

実験

3.1

実験概要

本実験では5つの物体を横一列に並べて，中央の物体に描かれた不等号記号の閉じている 方向を判断するフランカー課題を行った．実験には実物体とAR物体を用いることで複合現 実環境を構築し，情報選択の注意特性を検討した．

3.1.1

被験者

被験者は大学生10名が参加した．実験を行うにあたって課題の説明を行い，実験内容を 理解していただいた上で実験を開始した．実験時の視力については物体及び不等号記号の方 向を判断できる視力を有していれば特段に視力の統制は行わなかった．

3.1.2

刺激および条件の設定

今回の実験で使用した刺激に関して説明を行う．本実験では不等号記号を用いたフラン カー課題を行うため，目標刺激と周辺刺激が同じである一致条件では「<<<<<」，「>>>>>」， 目標刺激と周辺刺激が異なる不一致条件では「<<><<」，「>><>>」のような刺激布置とした． 今回の実験で用意した条件に関して説明を行う．今回は複合現実環境に関する情報選択性の 検討を行うために複合現実となる条件として目標刺激がAR物体，周辺刺激が実物体（中心 AR-周辺R）の条件(図3.1から図3.4)，目標刺激が実物体，周辺刺激がAR物体（中心 R-周辺AR）の条件(図3.5から図3.8)を設定した．また複合現実の条件と比較を行うために

3.1 実験概要

統制条件として，すべて実物体（中心R-周辺 R）の条件(図3.9から図3.12)．すべてAR 物体（中心AR-周辺AR）の条件 (図3.13から図3.16)を設定した．以上の4条件はすべ て無彩色であり，色が異なるという点に関しても検討するべく，本実験ではすべてAR物 体(中心AR -周辺AR)で有彩色の条件（中心AR’-周辺AR’）も設定した(図3.17から図 3.20)．AR物体のサイズは実物体と同じ大きさに見えるようにx,y,z = 0.1とした．また光 源の位置は目標刺激の座標をx,y,z = 0 としてx,y,z = 0,0.1,-0.1 に設定した．中心AR’ -周辺AR’条件の色の指定方式はRGB値で行い44.224.230であった．   図3.1 中心AR -周辺R 一致条件_⃝1   図3.2 中心AR -周辺R 一致条件⃝2   図3.3 中心AR -周辺R 不一致条件_⃝1   図3.4 中心AR -周辺R 不一致条件_⃝2

3.1 実験概要   図3.5 中心R -周辺AR 一致条件_⃝1   図3.6 中心R -周辺AR 一致条件_⃝2   図3.7 中心R - 周辺AR 不一致条件_⃝1   図3.8 中心R - 周辺AR 不一致条件_⃝2   図3.9 中心R - 周辺R 一致条件⃝1   図3.10 中心R - 周辺R 一致条件_⃝2

3.1 実験概要   図3.11 中心R - 周辺R 不一致条件_⃝1   図3.12 中心R -周辺R 不一致条件_⃝2   図3.13 中心AR - 周辺AR 一致条件_⃝1   図3.14 中心AR -周辺AR 一致条件_⃝2   図3.15 中心AR -周辺AR 不一致条件_⃝1   図3.16 中心AR -周辺AR 不一致条件_⃝2

3.1 実験概要   図3.17 中心AR’ - 周辺AR’ 一致条件_⃝1   図3.18 中心AR’ - 周辺AR’ 一致条件_⃝2   図3.19 中心AR’ - 周辺AR’ 不一致条件_⃝1   図3.20 中心AR’ -周辺AR’ 不一致条件_⃝2

3.1 実験概要

3.1.3

手続き

本実験の手続きを説明する．被験者はARマーカーから約50cm離れた位置に着席し，実 験中に姿勢などが変わることで物体の見え方に違いが出ないようにあご台で頭部を固定した (図3.21)．その状態でOvrvision Proを付属させた HMDを装着し，机の上に設置したテ ンキーボードを右手で添え，ARマーカーを常に視覚に入れた状態で実験を行った．実験中 に次の試行に影響が出ないようにHMDの上部に遮蔽物を取り付けることで試行間に被験 者の視界を遮り，その間に実験者は次の試行の準備を行った．実際に被験者が実験に参加し ている様子は図3.22のようになる．   図3.21 使用したあご台   図3.22 実験の様子 一試行の流れを説明する．被験者は実験者の合図と共にHMDに取り付けた遮蔽物をテン キーボードを添えている手と逆の手で上げた．その後，装着した頭部のカメラから約30cm 離れた先に呈示されるAR物体による遮蔽物に描かれた注視点（図3.23）を約300ms注視 し，注視点が消失後に呈示されている刺激をできるだけ速く，できるだけ正確に判断し，テ ンキーボードのカーソルキーを押して回答した．このときの反応時間及び判断した記号の方 向を測定した．被験者はキー押しをした後に遮蔽物を下げて視界を遮った．それを確認した 実験者は次の試行の準備を行った．実験は図3.1から図3.20までの20刺激を各2回ずつ呈 示した40試行を1セットとして，二日間で10セットを行った．実験を行うにあたって一日 目と二日目の実験開始前に図3.1から図3.20までの20刺激を1回ずつ呈示した20試行を 練習試行として行った後，実験を開始した．刺激の呈示順には偏りが出ないようにセットご

3.1 実験概要 とにランダムにした． 今回の実験ではHMDの上部に取り付けた物理的な遮蔽物と図3.23のようにARによる 遮蔽物の二つを用いた．物理的な遮蔽物を用意した理由として，ARによる遮蔽物だけでは 実験者が試行間の準備を行う際などにマーカーに手がかかるなどすると遮蔽物が消え，次の 試行に影響を及ぼすことが考えられたためである．またARによる遮蔽物を用意した理由は 注視点の呈示を行うためと遮蔽物が消えたタイミングから反応時間の測定をするためにプロ グラムにより遮蔽物の呈示および消失をさせたかったことが挙げられる．   図3.23 HMD内の映像および注視点

3.2 実験結果

3.2

実験結果

3.2.1

全条件の結果

被験者から得られた実験データより誤答であった試行と標準偏差(SD)を求め，反応時間 がSDの2倍以上長いもしくは短い試行を外れ値として除外した値を用いて，不一致条件と 一致条件の反応時間の差をフランカー効果として算出した．グラフの誤差線は全て標準誤差 である．この章では始めに実験全体での結果と一日目，二日目に分けた場合での結果を示す． その後，有意差が認められた複合現実の条件内および中心AR’ - 周辺AR’条件について第 3.21節，3.22節で説明を行う．図3.24に全条件のフランカー効果の結果を示す．条件間の 違いを要因として1要因の分析を行ったところ有意差はみられなかった(F (1,9) = 1.88，p = 0.14）．しかし複合現実の条件は統制条件と比較してフランカー効果が小さい傾向がある． そこで複合現実の条件でセッション内に学習効果がみられたか確認を行うために，実験を一 日目と二日目で分けた場合での結果を図3.25に示す．一日目と二日目のセッションの違い を日にちの要因とし，2要因の分散分析を行ったところ，交互作用が認められた（F (1,9) = 2.86, p < 0.05）．また中心R - 周辺AR条件と中心AR’ - 周辺AR’条件に日にちの単純主 効果がみられた（p < 0.01，p < 0.05）．   図3.24 全条件のフランカー効果

3.2 実験結果

 

3.2 実験結果

3.2.2

複合現実の条件の結果

複合現実の条件内で一日目と二日目のセッションの違いを日にちの要因とし，複合現実 の要因と 2要因の分散分析を行ったところ交互作用が認められた（F (1,9) = 10.586, p < 0.01）（図3.26）．一日目は中心R - 周辺AR条件より中心AR -周辺R条件の方がフラン カー効果が小さいが，二日目にはそれらの値は逆転して中心R -周辺AR条件の方がフラン カー効果が小さくなる結果となった．また図3.25より中心AR - 周辺R条件に関して，他 の条件は一日目より二日目の方がフランカー効果が小さいが，この条件のみ二日目の方がフ ランカー効果が大きくなった．複合現実の条件内で交互作用が認められたため，詳細なデー タとして複合現実の条件に関して一致条件と不一致条件の反応時間を図3.27に示す．一致 条件と不一致条件の違いを要因として複合現実の要因と 2要因の分散分析を行ったところ， 中心 R - 周辺AR条件において周辺刺激による妨害が生じる不一致条件で日にちの単純主 効果が認められた（p < 0.01）．また中心AR - 周辺R条件および中心R -周辺AR条件の一 致条件では日にちの単純主効果はみられなかった．これにより中心R-周辺AR条件におい て,一日目では目標刺激を同定する際にAR物体による妨害を受けるが，二日目にはAR物 体による妨害が減少したため，フランカー効果が小さくなったことが示唆された．AR物体 による妨害に関しては第4.1節で考察を行う．

3.2 実験結果

 

図3.26 複合現実の条件のフランカー効果

 

3.2 実験結果 複合現実の条件において各被験者のデータを1セットごとに散布図および回帰直線として 表したグラフを図3.28から図3.37に示す．図3.30，図3.31，図3.35の3名は実験開始時 には中心AR - 周辺R条件の方がフランカー効果が小さいが，終了時には中心R -周辺AR 条件の方が値が小さくなった．また図3.33，図3.36，図3.37の3名は終了時でも中心AR - 周辺R条件の方がフランカー効果が小さいが,実験開始時と比較すると終了時にはAR物 体による妨害を排除している傾向をみせた．また図3.32のように実験開始時から中心AR -周辺R条件の方が値が小さく，実験が進むにつれて，その差が大きくなる被験者もいた．図 3.29と図3.34の二名は条件間の変化がなかった．しかし図3.28の被験者は他の被験者と異 なる傾向として実験開始時において中心R - 周辺AR条件の方がフランカー効果が小さく， 終了時には中心AR -周辺R条件の方が値が小さくなった．   図3.28 被験者Aのデータ及び回帰直線   図3.29 被験者Bのデータ及び回帰直線

3.2 実験結果   図3.30 被験者Cのデータ及び回帰直線   図3.31 被験者Dのデータ及び回帰直線   図3.32 被験者Eのデータ及び回帰直線   図3.33 被験者Fのデータ及び回帰直線

3.2 実験結果   図3.34 被験者Gのデータ及び回帰直線   図3.35 被験者Hのデータ及び回帰直線   図3.36 被験者Iのデータ及び回帰直線   図3.37 被験者Jのデータ及び回帰直線

3.2 実験結果

3.2.3

AR

物体のみ（有彩色）条件の結果

中心AR’ - 周辺AR’条件で日にちの単純主効果がみられたため，統制条件と中心AR’ -周辺AR’条件の反応時間を比較したグラフを図3.38に示す．統制条件と比較した場合，中 心AR’ - 周辺AR’条件は一致条件と不一致条件共に一日目の反応時間が最も長くなってい る．しかし，二日目になると反応時間が最も短くなった．中心AR’ - 周辺AR’条件に関し て一日目と二日目のセッションの違いを日にちの要因とし，一致条件と不一致条件の違いを 要因とした2要因で分散分析を行ったところ，交互作用が認められた（F (1,9) = 7.48，p < 0.05）．また一致条件と不一致条件共に日にちの単純主効果が認められた（p < 0.05，p < 0.01）．   図3.38 統制条件および中心AR’ -周辺AR’条件の反応時間

第

₄

章

考察

4.1

複合現実の条件

複合現実の条件において日にちの違いによる交互作用が認められたことを考察する．実物 体とAR物体の違いとして照明光による反射特性や陰影の違いが挙げられる．実物体に対す る反射特性や陰影は現実世界の照明などにより決まる．しかしAR物体に対する反射特性や 陰影は刺激を作成するときにあらかじめ設定した照明などで決まるため，その違いだと考え られる．実験の結果から，一日目は中心R - 周辺AR条件より中心 AR - 周辺R条件の方 がフランカー効果が小さいが，これは照明光による反射特性や陰影が実物体と異なるAR物 体の影響を受けやすく，AR物体が周辺刺激のときのフランカー効果が大きくなったからだ と考えられる．そのため二日目にはAR物体に対する学習が進んでおり，AR物体からの妨 害が減少したため，フランカー効果が小さくなった．また全条件の中で中心AR - 周辺R条 件のみ二日目にフランカー効果が大きくなったことも，日にちの効果によりAR物体からの 妨害が減少したため，相対的に一日目より実物体に対して注意が向くようになったためと考 えられる．

4.2

AR

物体のみ

(

有彩色

)

条件

中心AR’ - 周辺AR’条件で日にちの単純主効果があったことに関して考察を行う．中心 R - 周辺AR条件では不一致条件においてのみ日にちの単純主効果があったため，実物体と AR物体の違いとして反射特性や陰影の影響と考えられる．しかし中心 AR’ -周辺AR’条

4.2 AR物体のみ(有彩色)条件 件は周辺刺激の妨害を受ける不一致条件だけでなく一致条件でも日にちの単純主効果が認め られたことから，複合現実の条件で考察を行った理由だけでなく違う理由も考えられる．本 実験では注意の特性に影響を与える要素として，一致条件と不一致条件の違いであるフラン カー課題によるものと実物体とAR物体というオブジェクトの違いによる2点が挙げられ る．しかし中心AR’ - 周辺AR’条件は有彩色であり，他の条件とは色が異なるという点も 注意の特性に影響を与えたと考えられる．そのため一日目は有彩色の顕著性が高いオブジェ クト自体に注意が向き，オブジェクト内部の不等号記号の情報にアクセスしにくかったため， 一致条件と不一致条件共に日にちの効果が出たと考えられる．しかし本研究では色の違いを 検討するために用意した条件はこの条件のみのため，AR物体の色相を操作することで色の 違いが複合現実環境での注意特性に与える影響を検討することは今後の課題である．

第

₅

章

まとめ

本研究ではHMDを使用して複合現実環境を構築し，実物体とAR物体に対する情報選 択の注意特性を検討した．実験方法として周辺刺激を無視しながら目標刺激を同定すること が求められるフランカー課題を用いて実験を行った． 実験結果から条件間に有意差はみられなかった．しかし複合現実の条件内で一日目と二日 目のセッションの違いによる効果がみられた．一日目には実物体に注意を向ける際に周辺刺 激であるAR物体からの妨害を受けるため反応時間は遅くなるが，二日目にはその妨害が減 少することで一日目と比べて反応時間が速くなることが示唆された．この理由として実物体 とAR物体には照明光による反射特性や陰影が異なることが考えられる．またAR物体の み（有彩色）の条件においても日にちの違いによる効果がみられた．複合現実の条件内での 日にちの効果とは異なり，一致条件の反応時間にも日にちの効果がみられたため，有彩色の 顕著性が高いオブジェクト自体に注意が向き，オブジェクト内部の不等号記号の情報にアク セスしにくかったと考えられる． 今回の研究結果から複合現実環境での注意特性を用いた適切な物体呈示手法としてユー ザーの複合現実での経験に応じた呈示手法を行う必要があると言える．例えば初めて複合現 実を体験する場合には実物体に注目させたくても，AR物体による妨害を受けやすいため， AR物体の視認性を低くしたデザインにする必要などが挙げられる．

謝辞

本研究, 論文を作成するにあたり, 多くのご支援と熱心なご指導を賜りました繁桝 博昭先 生と客員研究員の蔵冨恵さんに深謝いたします. また, 本論文の副査を務めていただいた篠 森 敬三先生, 中原 潔先生及びアドバイスをいただいた門田 宏先生に感謝いたします. また, 実験を行うにあたって快く被験者を引き受けて頂いた研究室のメンバー及び先輩，同輩，後 輩に感謝いたします. ありがとうございました.

参考文献

[1] 総務省，“ グローバル市場の動向”，平成27年度情報通信白書， http://www.soumu.go.jp/johotsusintokei/whitepaper/ja/h27/html， 2017年1月6日閲覧． [2] App Annie，“2016年第3四半期アプリ市場動向レポート”， https://www.appannie.com/jp，2017年2月8日閲覧． [3] 勝田有一朗，“「VR」「AR」技術最前線”，工学社，pp20-32，2015． [4] 舘すすむ，佐藤誠, 廣瀬通孝，“ バーチャルリアリティ学”，日本バーチャルリアリティ 学会，2010． [5] Microsoft HoloLens — オフィシャルサイト， https://www.microsoft.com/microsoft-hololens/ja-jp， 2017年2月10日閲覧

[6] Paul Milgram，Haruo Takemura，Akira Utsumi，Fumio Kishimo，“Augmented Reality: A class of displays on the reality-virtuality continuum”，Telemanipulator and Telepresence Technorogies（1994）- SPIE Vol. 2351，282-292,1994．

[7] 田村秀行，大田友一 ，“ 複合現実感”，映像情報メディア学会誌，1998

[8] 箱田裕司，“ 認知心理学 Cognitive Psychology : Brain, Modeling and Evidence”，有 斐閣，pp66-93，2010．

[9] Eriksen,B.A.& Eriksen,C.W.“Effect of noise letters upon the identification of a target letter in a nonsearch task”,P ercept．& P sychophysics,143-149，1974

[10] 金子利佳，熊田孝恒，福永克己，“ フランカー課題における特徴類似性と弁別カテゴ リーの影響”，心理学研究Vol. 82，141-149，2011

[11] Ridderinkhof,K.R. & Band,G.P.& Logan,D.“A study of adaptive behavior: effects of age and irrelevant information on the ability to inhibit one’s actions”. Acta

参考文献

psychologica. 101: 315337，1999

[12] Ovrvision Pro — USB3.0 Open-Source Stereo Camera，http://ovrvision.com/， 2017年2月7日閲覧．