DOI: http://dx.doi.org/10.14947/psychono.33.29
バーチャルリアリティ研究の技術的側面 14
北 崎 充 晃
豊橋技術科学大学大学院工学研究科情報・知能工学系
Technical topics in virtual reality research as of 2014
Michiteru Kitazaki
Department of Computer Science and Engineering, Graduate School of Engineering, Toyohashi University of Technology
Virtual-reality research aims to create substantially identical percepts and experiences of the real world for human users by presenting artificial sensory inputs. I describe technical topics in recent virtual reality studies as of 2014, and especially focused on physically and psychologically critical components of reality, various modality-specific displays and apparatus, position and action sensors, and development software. While these technologies are progressing on going, relatively standard and general technology and products are selected in the paper. Perceptual psychology and psychonomic sciences give an evolution to the virtual-reality research, and virtual reality studies promote investigation of reality in perceptual psychology and psychonomic sciences.
Keywords: virtual reality, psychology, display, sensor
は じ め に バーチャルリアリティとは バーチャルリアリティ（Virtual Reality）の定義として は，舘による「表層的には異なるが，本質的には現実と 同じ感じ」という定義が一般的である（舘，1992; 舘・ 佐藤・廣瀬，2011）。つまり，感覚器官に与えられる刺 激は人工的でもよく，それによってヒトが知覚する表象 が現実世界と同じであることを目指すのがバーチャルリ アリティである。前者の刺激を心理学では近刺激と言 い，後者の知覚される（べき）ものを遠刺激と言う。し たがって，バーチャルリアリティの本質は，ヒトの知覚 処理・心理処理そのものであると言える。そういうわけ で，バーチャルリアリティと心理学，特に知覚心理学は 親和性が高い。実際，比較的早い段階で知覚心理学者に よる理論論文が刊行されており（Held & Durlach, 1992）， 国内でもバーチャルリアリティの総説が公表されている （櫻井，1995）。こうして，バーチャルリアリティのため に開発されたさまざまな刺激装置や頭部・四肢の運動を 計測し刺激に反映される装置が知覚心理学の研究に用い られることも一般的になってきた。本稿の主要な目的の 1つは，2014年におけるバーチャルリアリティで用いら れ，心理学研究にも用いることのできる装置や技術を概 観することである。 また，近年は逆に錯覚・錯視を活用したバーチャルリ アリティ技術の開発が盛んである。たとえば，味覚が食 物の見た目と匂いに影響される複合感覚現象を用いた味 覚ディスプレイ（鳴海・谷川・梶波・廣瀬，2010）や， 食感が音に影響される複合感覚現象を利用した食感ディ スプレイ（小泉・田中・上間・稲見，2013）が開発され
ている。後者の研究は，Zampini & Spence （2004）によ るポテトチップスを食べるときに同時提示する音を変え ることで，食感のパリッとしたクリスプ感が変わる知覚 心理学的知見を元にしており，直接的に基礎心理学から バーチャルリアリティ技術への変換に成功している。本 稿のもう1つの目的は，基礎心理学とバーチャルリアリ ティが融合し相互作用することで，新しい研究領域や研 究対象を創出したり，これまで制御できなかった情報を 制御できる実験方法や従来よりも精度の高い制御が可能 な実験方法を見いだしたりすることに貢献する情報を提 供することである。
Copyright 2015. The Japanese Psychonomic Society. All rights reserved. Corresponding address: Department of Computer Science
and Engineering, Graduate School of Engineering, Toyo-hashi University of Technology, 1–1 Hibarigaoka, Tempaku-cho, Toyohashi 441–8580, Japan. E-mail: mich@cs.tut.ac.jp
185 北崎： バーチャルリアリティ研究の技術的側面 14 2つのリアリティ要因 リアリティは知覚的に現実世界と変わらないものを感 じることと定義されるが，その要因としては大きく2つ ある（Figure 1）。1つは物理的リアリティ規定要因であ り，ヒトの感覚器官へ与える近刺激がどれだけ現実世界 と物理的に類似しているかということである。もう1つ は心理的リアリティ規定要因であり，脳がどのように感 覚刺激を処理し，どのような知覚表象を創るかに関係し ている。 物理的リアリティ要因としては，網膜やディスプレイ に提示する視覚刺激の空間解像度や時間解像度が一例と して挙げられる。現実世界に解像度というものはないの で，基本的には高い（精細な）程良い。しかし，網膜や 内耳など感覚器官には生理的構造による解像度や感度の 限界があるのでそれらが上限となりうる。ただし，網膜 細胞を例にとれば，神経細胞のサイズよりも精細な情報 も複数の神経細胞の相互作用によって処理可能であり （例として vernier acuity），知覚感度もそれに従うので， 物理的な神経細胞のサイズは解像度の限界にならないこ とに気をつけるべきである。近年は，4Kディスプレイ （3,840×2,160 pixel）やスーパーハイビジョン（8K, 7,680× 4,320 pixel）などのモニタを用いることで，網膜の解像 度に近いあるいはそれを超える解像度が日常的に利用可 能になってきた。そして，主観的には解像度が上がるこ とによるリアリティの向上や立体感の増強が指摘されて いる。また時間解像度もヒトの臨界融合周波数（CFF） に比べれば，現在は60 Hzが標準であり，120 Hz, 240 Hz の提示も可能となってきたことからオーバースペックと 捉える向きもある。しかし，知覚される映像の静止感の 質は60 Hzと120 Hzでは異なる。このような空間解像度 や時間解像度の問題は，単純なようで実はヒトの知覚す る質感や奥行き感，空間のリアリティに非常に強く影響 している。したがって，装置の評価のためにも，基礎心 理学的なヒトの知覚機能の解明についても，物理的リア リティ要因の探求は無視できない。 物理的リアリティ要因のもう1つに，モデリング・レ ンダリングの精度がある。特に実映像ではなくコン ピュータグラフィックスで事物や風景を表示する場合に は，実物体・実風景にどれだけ近い映像を作製するかが 問題となる。最近の家庭用コンピュータゲームで実物と 見紛うようなコンピュータグラフィックスが使われてい るが，そこにはヒトや動物の動きの計測（モーション キャプチャ）やそのコンピュータグラフィックスへの適 用の精度向上，あるいは表面の光反射のレンダリングの 精度・方法の改良が寄与している。例えば，後者につい ては光のレイトレーシング手法の発展が重要である。最 近では，表面の光錯乱反射をモデル化するBRDF （Bidi-rectional Reflectance Distribution Function； 双方向反射率 分布関数）や，表面下の錯乱をモデル化する BSSRDF （Bidirectional Scattering Surface Reflectance Distribution Function； 双方向散乱面反射率分布関数）が実装されて いる。前者では光沢感など表面の質感・材質感の緻密な 表現が可能となり，後者は光が物体内部で錯乱し外に出 る過程をシミュレートしており，半透明物体の表現が可 能となった。 一方の心理的リアリティ要因は，まさに知覚心理学が 扱う知覚過程そのものであり，感覚器官が受け取った情 報あるいは物理的リアリティ要因の影響を受けた感覚情 Figure 1. Two components of reality.
報や近刺激（刺激）を脳が解釈する際の規定要因である。 例として，物理的リアリティ要因でも挙げた光沢感に関 しては，網膜像における輝度ヒストグラムの歪度が知覚 される光沢感の規定要因の 1 つとして示されている （Moto yoshi, Nishida, Sharan & Adelson, 2007）。物理的リア リティ要因では，実世界における情報をいかに正確に網 膜像など感覚器官での一次情報に投影・変換するかが問 題となり，心理的リアリティ要因では，感覚器官に与え られた情報から脳が知覚表象を創り出す過程（逆問題と も呼ばれる）が対象となる。 視覚提示システム 環境投影型ディスプレイ バーチャルリアリティ研究で最も使われているのは視 覚ディスプレイだろう。コンピュータモニタやテレビ， そしてスクリーン・壁に投影するプロジェクタを環境投 影型ディスプレイと呼ぶ。リアリティの向上のためには 視野の多くを占める大型のディスプレイが望ましいが， 装置素子の解像度が同一で観察距離が同一であれば，投 影された映像が大きくなるに従いヒトにとっての解像度 は低くなる。したがって，ハイビジョンや4K等の高解 像度ディスプレイ，プロジェクタが有用である。一方， それほど大きくないディスプレイも観察距離を短くすれ ば視野角は大きくなる。ただし，視野角が大きくなるに 従い，平面ディスプレイ・スクリーンでは中心と周辺で は視点からの距離が異なり，網膜像が歪むことになる。 したがって，物理的リアリティ要因を考慮して，周辺の 刺激が網膜像で歪まないように映像に幾何学的補正をか けることもある。ただし，ここにも心理的リアリティ要 因が関与してくる。実験は暗室で行うが，刺激がある程 度の明るさを持っているためにスクリーンの枠が全く見 えないことはまれであり，スクリーン自体の表面テクス チャが見えることも少なくない。このような場合，スク リーンが平面であることが知覚され，脳はその情報に基 づき視覚に補正をかけるため，平面のスクリーンに幾何 学的補正をかけた映像は，（網膜像では正しい幾何学的 情報を有しているにもかかわらず）そのまま歪んだ映像 として知覚されてしまう。装置としては，スクリーンの 枠が見えない程大きく，視野すべてを覆うものが望まし く，その表面も知覚されないことが望ましい。これらを 満たすものとして，半球状の全視野曲面ディスプレイが 開発されている。 一方で，複数の平面スクリーンを組み合わせて視野全 体を占める没入型ディスプレイ（Immersive Projection Technology: IPT）もある（Figure 2）。Figure 2は立方体状
に5つのスクリーンを配置し，5つのプロジェクタから 映像を投影するシステムである。このシステムは，確か に観察者の周囲に映像が提示されるが，四角い箱の内側 に映像が見えるだけでリアリティは全くないように思え る。しかし，実際には両眼視差と運動視差を用いて映像 を提示することで，スクリーンの手前に物体が知覚さ れ，スクリーンを超えた空間に風景が広がって知覚され る。スクリーンそのものの知覚が完全に消滅するまでは 行かないが，知覚される表象は観察者の周りに広がりス Figure 2. Display apparatus of Immersive Projection Technology. CABIN of the University of Tokyo was built at 1997 and
187 北崎： バーチャルリアリティ研究の技術的側面 14 クリーンを超越した外在化が成立する点が重要である。 このように視覚ディスプレイでは，視野角や解像度に 加えて，両眼立体視および運動視差の奥行き情報の提示 が重要となる。基礎心理学の知覚実験では実体鏡・ハプ ロスコープを用いた両眼分離提示を行うことが多いが， バーチャルリアリティ研究において環境投影型ディスプ レイで両眼立体視・両眼分離提示を行うには3つの方法 がある。1つは，時分割方式であり，液晶シャッター眼 鏡の左右眼の開閉と同期してディスプレイに左右眼用の 刺激を交互に提示するものである（フレームシーケン シャル提示）。厳密には左右の眼に視差映像が同時には 提示されていないが（一方の眼に刺激が提示されている とき，他方はブランクとなっている），これを120 Hzで 更新することで知覚的には自然な両眼立体視が成立す る。 装 置 と し て は，StereoGraphics 社 の CrystalEYES シ リーズが老舗であるが，NVIDIA社の3D Visionシリーズ など安価な商品もあり，家庭用TVやプロジェクタにも 同様のシステムが実装されている。この方法の利点は， ディスプレイ側にあまり特殊なものは必要なくリフレッ シュレートがある程度高ければよいことであり，一方観 察者が装着する眼鏡はやや高価である。ただし実験装置 としてはすでにかなり安価になっている。もう1つは， 左右眼用の2つのプロジェクタのレンズ前に相反する偏 光特性のフィルタを装着して 1つのスクリーンに提示 し，それぞれに対応した偏光フィルタからなる眼鏡を通 して刺激を観察する方法である。この方法の利点は，両 眼に同時に視差映像を提示することが可能であり眼鏡も 非常に安価であることである。ただし，左右眼映像用の 2つのプロジェクタを用意し，それらの投影位置および 時間同期を完全に合わせるのはコストが高い。最後の方 法は特殊なディスプレイを用いるもので，ディスプレイ の前に設置したパララックスバリアあるいはレンチキュ ラーレンズを用いるものである。眼鏡なし両眼立体視方 式のテレビや任天堂の携帯ゲーム機3DSが使用している 方法である。利点は眼鏡が必要ないことであるが，ディ スプレイが高価であり，視線の方向によって提示される 映像を分けているために観察位置が厳しく限定される。 また，1つのディスプレイを左右眼用に分けているので 横の解像度が半分になる。多視点視差と呼ばれるディス プレイもあり，1つの観察位置からの左右眼映像のみな らず，複数の視点からの左右眼映像を分離提示可能なも のであり，運動視差も表現できる。これら3つの方法の うち，バーチャルリアリティ研究において最も普及して いるのは比較的安価で導入もしやすい時分割方式であろ う。ただし，この方法はあくまで時分割であり左右眼に 各時点では異なる映像が提示されていることに留意すべ きである。特に運動刺激を提示する際には左右眼の時間 ズレから，想定しない奥行きが知覚されることがある （cf., Shimojo, Silverman, & Nakayama, 1988）。
頭部搭載型ディスプレイ バーチャルリアリティのモチーフの1つとも言えるの が頭 部 搭 載 型 デ ィ ス プ レ イ（Head-mounted Display: HMD）である。両眼の非常に近い位置にディスプレイ を配置するためにサイズは小さくても良いが，そのため 高解像度を実現するのが難しく，歪みなく視野角を広く するためには高価なレンズが必要であった。視野角が狭 く解像度の低い物は10万円以下と安価だが，視野角が 広く解像度の高いものは 1千万円を超え非常に高価で あった。ソニー社のHMZ-Tシリーズが比較的高い解像 度（1280×720 pixel）を備え，価格も10万円以下と安価 であり，有機ELディスプレイを用いていることから非 常に輝度コントラストが高い点が基礎心理学の実験にも 向いている。ただし，視野角は45度程度であり決して 広くはない。このようなHMDは左右眼の前にそれぞれ ディスプレイを備えているために両眼分離提示・両眼視 差提示が容易である。環境投影型ディスプレイで両眼立 体視を行う場合は，実体鏡を使う伝統的な基礎心理学的 方法以外では，左右の映像が完全に分離できずクロス トークが発生し，眼鏡やレンズを用いるために輝度を犠 牲にせざるを得ない。HMDではこのような問題点はな い。また，知覚実験において両眼分離提示を行う際に， ソニー社のHMD等は画面の左右あるいは上下にそれぞ れの眼用の刺激を描画し，HMDの設定でそれらを左右 2つのディスプレイに分離して拡大提示するモードがあ り，プログラム開発の敷居が低い。 最近のもう1つの流行は，1つのやや大きなディスプ レイを眼前に備えたHMDである。Oculus VR社のHMD は未だ開発者向けのものであり市販されていないが本体 価格$350, 日本への送料$75, 税金を含めても5万円で入 手 可 能 で あ る（2015 年 1 月 時 点）。Oculus Rift DK2 は， 1920×1080 pixel の有機 EL ディスプレイ 1 つを使用し， その左右の一部領域をレンズを通して両眼に分離提示す る（Figure 3）。高価な特殊レンズを設計するのではな く，画像の方に幾何学変換を施すことで観察者に適切な 映像を提示する手法をとる。これはコンピュータの計算 速度が上がったために可能となったと言える。解像度も 各眼900×500 pixel程度を確保しており，決して高解像 度ではないが安価な HMDとしては標準的な水準にあ る。一方で，視野角は100度近くあり，非常に広く，1
千万円超水準のものを備え，没入感は非常に高い。刺激 の空間的解像度や正確さよりも，没入感や視野の広さを 重視するなら，このタイプが有用である。実際，多くの バーチャルリアリティ研究では，急速にこのシステムの 利用が広がっている。 複合現実感・拡張現実 もう1つの視覚ディスプレイは実環境の情報と人工的 な情報を重畳して提示するものであり，複合現実感シス テムあるいは拡張現実システムと呼ばれる。カメラから 取り込んだ映像にコンピュータグラフィックスなどで人 工的な情報を追加して提示するものがビデオシースルー 方式である。HMDの外側に視線と同じ方向に取り付け たカメラを用いることが一般的であるが，ディスプレイ の反対側にカメラを備えた携帯電話やタブレットコン ピュータを用いることも多い。ここで重要な技術はレジ ストレーションである（加藤，2011）。カメラで取り込 んだ実環境の二次元情報の適切な位置に適切な形状で人 工的情報を追加し，観察者が知覚する三次元光景におい て両者（実環境情報と人工情報）を適合させることであ る。カメラで取り込んだ映像にただ人工情報を載せると 浮いたような感じになりそれが三次元光景のどこにどの ように存在するのか知覚できなくなる。そこで面の傾き や奥行きを想定し，人工物体の画像を適切な傾きに変形 し，適切なサイズにすること，さらに光源に合わせて陰 影やキャストシャドーを追加することで光景内の想定し た三次原位置に知覚させること（外在化，遠隔帰属）が 可能となる（Figure 4）。 透明なレンズのHMD・眼鏡に人工情報を提示するも のが光学シースルー方式である。ビデオを介さないため に実環境映像の物理的リアリティ要因が阻害されない点 が利点であるが，レジストレーションは難しくなり，実 環境情報と正確に空間的融合しなくてもよいコンテンツ の提示に向いている。Google社のGoogle Glassも広義で は光学シースルー方式と言える（2015年1月開発中止）。 眼前にハーフミラーを配置して人工情報を重畳するシス テムの他に，レーザー光で直接網膜に情報を投影する レーザー網膜走査光学系システムも開発されている。知 覚心理学的には，エンメルトの法則のデモで行う網膜残 像が手のひらを見ると手のひらに外在化し，遠くの壁を 見ると壁に外在化する例が類推され，技術的な将来性を 感じると同時に，知覚的外在化・遠隔帰属の基礎心理学 的解明の実験にも使える装置と思える。 聴覚提示システム スピーカーによる提示 三次元空間における音源定位を実現する 1つの方法 は，多数のスピーカーを用いて，多数のマイクで録音し た音やコンピュータで生成した音を提示する方法であ る。その最小セットはステレオ（2ch）であり，聴取者 の全周囲に小さなスピーカーを配置するスピーカーアレ イ方式が最も大規模なものである。視覚ディスプレイに おける環境投影型に対応する。視野すべてを覆う高解像 度の曲面スクリーンのように全周囲を大多数のスピー カーで埋め尽くすことが望ましいが，聴覚刺激のみでは なく視覚刺激を同時に提示したい場合にはスクリーンと スピーカーが干渉することになる。そこで音響透過型の スクリーンが開発されている。スピーカーアレイはスク Figure 3. An example image of Oculus Rift DK2.
189 北崎： バーチャルリアリティ研究の技術的側面 14 リーンの背面に設置され，スクリーンの背面から音が透 過して観察者に達する。正確な定位を実現するために， 広い音響周波数範囲にわたってフラットな透過特性が求 められる。 ヘッドフォンによる提示 頭部搭載型ディスプレイに相当するのがヘッドフォン による音響提示である。ヘッドフォン自体は古くからあ る装置であり，HMDと同じく2つの感覚器官（左右耳） に音刺激を分離提示する。両耳時間差と両耳強度差が基 本的な音源定位の手がかりであるが，バーチャルリアリ ティ研究では残響パタンおよび頭部伝達関数（Head- Related Transfer Function: HRTF）が用いられる。頭部伝 達関数は，実環境で発生した音が聴覚器官に届く際に耳 朶や頭部の形状によって生じる音の変化を伝達関数とし て表現したものであり，非常にリアリティの高い聴覚体 験を可能とする。特に頭部の後ろの音源定位が正確であ り，両耳時間差と両耳強度差では区別のつかない前方後 方の区別が明確になる。これによってヘッドフォンを用 いても音が頭内定位せず，外在化する。これらのことか ら知覚心理学的に興味深いことに，私たちの聴覚処理は 頭部や耳朶などの身体の形状情報そして材質情報を利用 して音源定位を行っていると言える。これは暗黙的な身 体情報の利用であり，身体的知覚の一例と言える。 その他の感覚提示システム 触覚・力覚ディスプレイ 視覚・聴覚以外の感覚提示装置は市販の装置も少な く，あっても高額で用途が限定されるなどまだ開発段階 のものが多い。ただし，Sensable社のPHANTOMシリー ズは触覚・力覚ディスプレイとして最も普及している。 ロボットアームから指先あるいはペン先に反力を返すこ とで様々な形状の物体やその表面を触っている感覚を提 示することができる。また，国内では指先に複数のワイ ヤーをつけ，周囲の枠から引っ張ることで反力を与え， 触覚を提示する SPIDARという装置も開発されている （佐藤・平田・河原，1991）。出力する反力の強さ，空間 解像度，そして時間解像度が提示可能な触覚の特徴を決 める。特に，硬さを表現するには力の強さだけでなく， 高い時間解像度が求められる。これは装置使用者の手の 動きに対して，非常に速く反力を返す必要があるからで ある。他にも，触覚提示のために針型ディスプレイや皮 膚への電気刺激が用いられる。 嗅覚ディスプレイ 匂い・香りを提示する装置は，研究者自らが開発した ものがほとんどであり，複数の香料を用意し，使用者の 鼻付近に提示する装置が開発されている。頭部搭載型 ディスプレイのように鼻先に管を配置し，ポンプから香 料を排出するシステム（Yamada, Yokoyama, Tanikawa, Hiro-ta, & Hirose, 2006）や，環境投影型ディスプレイのよう Figure 4. Examples of augmented-reality registration. A right girl is perceived as standing on a table, but the other girl is
に香料を含む空気の塊を大砲のような匂いプロジェクタ で人 の 頭 部 に 射 出 す る も の（Yanagida, Noma, Yshida, Kawato, Utsumi, & Hosaka, 2005）がある。使用者の呼吸 タイミングを検出し提示する方法や使用者の移動や鼻部 位置を検出して適切なタイミングで提示する方法が検 討，開発されている。知覚心理学的には，匂いの定位の 空間解像度と時間解像度がどれくらいであり，どのよう な要因に規定されるのかが興味深い。一般的にはそれほ ど高くないことが想像されるが，匂いの種類に依存し， またバーチャルリアリティにおけるコンテンツや状況に 依存する可能性もある。 また，「はじめに」でも言及したように，この領域は 味覚ディスプレイと共に視覚や聴覚も含めた複合感覚相 互作用が重要であり，心理学的にも急速に研究が進んで おり，バーチャルリアリティ研究，バーチャルリアリ ティシステムやアプリケーションの開発でも複合感覚相 互作用の利用が注目されている。 自己運動ディスプレイ バーチャルリアリティにおいて自己運動感覚を提示す ることは，静止した観察者の周囲だけでなく，無限に広 いバーチャル世界を体験することができるという利点に 加え，そのバーチャルな世界に居るという感覚（プレゼ ンス： Presence）を高める本質的効果もある。しかし， 自己運動については専門の感覚器官がなく，視覚，前庭 感覚，固有受容感覚などの複合感覚によって知覚されて いると考えられる。そこで，最初に注目されたのは，視 覚誘導性自己運動知覚（vection）の応用であり，広い視 野や3Dディスプレイが必須とされ，また注意の誘導な どコンテンツの重要性も指摘されている（北崎・佐藤， 2008）。ただし，技術的には視覚ディスプレイで述べた ことと同様である。 自己運動ディスプレイの1つとして，歩行運動の感覚 を筋運動感覚，運動指令，固有受容感覚を利用して提示 するシステムが開発されている。古典的にはトレッドミ ルがある，位置は変わらずに実際に足を動かして歩くこ とができる。しかし，方向を変えることができず，常に 一方向に歩くことしかできない。そこで，複数のトレッ ドミルを組合せ，全体を移動させることであらゆる方向 への歩行を実現したシステムが開発されている（Iwata, 1999）。また，足裏から身体を支えるロボットアームが 昇降する歩行感覚提示装置では，上下方向の歩行（昇降 感覚）が提示可能となっている（Iwata, Yano, & Naka-izumi, 2001）。これらと視覚映像を組み合わせることで リアリティの高い歩行感覚を体験させようとしている。 また，姿勢や身体の移動を感知する感覚器官である前 庭感覚を刺激する装置として，可動式椅子や振動床によ る前庭感覚シミュレータがある。ただし，前庭感覚器官 は基本的に加速度検出器であるので，定速移動状態と静 止状態の区別がつかない。そこで，動き始めや停止など の速度変化，進行方向変化，落下・上昇しはじめる瞬間 などには，椅子や床を動かして前庭感覚を刺激し，等速 運動中には視覚情報を与えることで持続的な自己運動感 覚が提示可能となる。ただし，椅子や床をある方向に動 かすと，次に動かすときには元の位置と傾きに戻してお く必要があり，定速運動中に閾下の速度で椅子や床を元 の位置に戻す。これらの装置は大がかりであり，重く， 制御装置も大きいために高価で設置が難しい。そこで， 耳裏の乳様突起から弱電流（0.1–1.0 mA程度）を流す電 気前庭刺激（Galvanic Vestibular Stimulation: GVS）も注目 されている（Day, 1999; Kitazaki & Kimura, 2010）。ヒトの 左右の乳様突起から電流を流すと，静止したヒトは陽極 の方に傾き，歩行している場合には陽極の方に進路が曲 がる。この装置は比較的安価でありサイズも小さく，導 入もそれほど難しくない。ただし，身体，特に頭部に電 流を流すために安全性について疑義が生じることもあ り，医学的見地からの明確な基準の遵守が必要である。 知覚・運動協応システム ここまで，各感覚に提示するディスプレイと自己運動 感覚をもたらす方法について述べた。ここでは，そのよ うな知覚と身体運動が連動するシステム，「知覚・運動 協応システム」に触れる。 我々は常に目や頭部や身体を動かしながら世界を知覚 している。そして，これらが運動するとそれに連動して 感覚入力も変化する。それが自然な状況・環境であり， それに基づいて世界を知覚している。運動視差からの奥 行き知覚はまさにこの運動と知覚の連関に基づいてい る。頭部搭載型の視覚ディスプレイを例に取れば，頭部 を動かしてもそれとは関係なく映像が流れた場合，映像 は目の前のテレビを見ているだけのように知覚され， HMDの向こう側には定位しない。つまり，知覚世界は 広がらず，外在化・遠隔帰属しない。頭部の方向，運 動，そして位置を検出し，それに合わせて適切な映像を 提示・更新することで初めて観察者の周りに広がる世界 を知覚させることが可能となる。環境投影型の視覚ディ スプレイにおいても，頭部位置・方向に合わせた両眼視 差情報の更新が必要である。また，バーチャルな世界で 自分の手で何かを掴み，操作する触覚・力覚を提示する 場合には手の位置や操作の検出と，それに合わせたバー
191 北崎： バーチャルリアリティ研究の技術的側面 14 チャルな情報の生成・更新が必要となる。 これらを実現するためには，ヒトの頭部位置や方位， 身体の運動を計測する装置が必要である。最も普及して いるのが磁気式の三次元位置・方位計測装置であり， Polhemus社のFastrakシステムやLibertyシステムが市販 されている。130万円程度のシステムで，60 Hz以上の サンプリングレートで1 mm以下，0.2度以下の空間精度 で計測可能である。ただし，空間精度は，トランスミッ タ（磁界発生装置）とレシーバ（受信装置）の間の距離 に依存し，遠くなると精度は低下する。また磁気である ために近くに金属があると計測データにノイズが生じ る。トランスミッタやレシーバを取り付ける装置は木材 やプラスティックで作製し，それらの間にディスプレイ などの金属製品が入らないようする必要がある。これら に気をつければ非常に使いやすい装置と言える。ただ し，HMDはどうしても金属部品を含むのでノイズは避 けられず，ソフトウェア的にノイズを処理する必要もあ る。また，これらの製品のサンプリング周波数はせいぜ い240 Hzまでであり，決して十分とは言えない。先に 挙げたOculus Rift DK2は1000 Hzのジャイロセンサを備 え，非常に高いサンプリングレートで頭部運動を検出 し，遅延なく映像を更新することが没入感を高めてい る。 光学式の位置計測装置やモーションキャプチャもあ る。しかし，光学式であるためヒトの身体自体が計測装 置と計測部位の間を遮蔽することでデータが取れない瞬 間が生じることが問題である。一方，磁気式の装置より も時間解像度を上げることが可能であり，磁気に由来す るノイズの問題が生じない利点がある。そして，磁気式 の多くが有線であるのに対して，身体につけるのはマー カーだけでよいことから，身体運動の自由度は圧倒的に こちらに優位性がある。また，モーションキャプチャと して標準的なVicon社のシステムは数千万円するなど高 価だが，近年は100万円程度の安価なシステムも多く， なによりMicrosoft社のKinectシリーズは2万円で比較的 高精度の計測が可能であり，バーチャルリアリティ研究 においてもよく使われ始めている。 開発環境 バーチャルリアリティの技術的側面について，最後に 開発環境，開発ソフトウェアについて言及したい。これ まで様々な装置を紹介し，時には製品名も挙げたが， バーチャルリアリティの装置・技術はいまだに発展途上 であり，これらの情報（2015年1月時点）はすぐに古く なるだろう。それでもなるべく一般的な情報を選び，現 在標準的であり息の長い製品を選択した。そして，ソフ トウェアは装置以上に発展が速い点に気をつけなければ ならない。 いまだにほとんどのバーチャルリアリティ装置は，C 言語あるいはC＋＋言語で使用できるライブラリを提供 している。したがって，精緻な制御が必要な場合には C/C＋＋言語でのプログラム開発がなされる。しかし， 三次元空間をモデリングする際には，OpenGLに代表さ れる三次元空間モデリング・レンダリング用のライブラ リを合わせて用いるのが一般的となってきた。これらで は，三次元空間（三次元座標）で物体を空間に配置し， 視点を設定すれば，その視点からの二次元画像を画面に 提示することができる。つまり，三次元から二次元への 幾何学変換を自ら計算する必要がない。また，光源や表 面の反射特性を設定すれば，ある程度の表面反射のレン ダリングが可能である。計算機が速くなっているのでこ れらの計算をリアルタイムで行い，運動する物体や光 景，頭部移動に連動した光景をリアルタイムにレンダリ ングすることも可能である。ただし，非常に複雑なレン ダリング（BSSRDFなど）を行う場合には，生じうる画 像をすべて事前に生成し，提示のみを行うこともある。 また，その際には，RadianceやNewTek社のLightwaveな ど専用の3DCGソフトを用いることも一般的である。こ れらのソフトは非常に高度な最新のレンダリングアルゴ リムを備えている。 両眼立体視を実現する際には，OpenGL等を用いる場 合は左右それぞれの視点（標準的には水平に 6 cm離れ た位置）を設定し，視線の先を適切な注視物体に設定す る。HMDやディスプレイが左右分割や上下分割による 両眼立体視に対応しているなら，viewportを左右あるい は上下に分割し，それぞれに左右視点を設定した状態で 描画を行う。これで左右あるいは上下に左右眼用の画像 が表示されるので，HMD等の設定をすれば立体視提示 となる。また，時分割方式では，フレームバッファを切 り替える時に左右眼用の視点画像を交互に切り替えるよ うに描画する。Quadbuffer stereoに対応したビデオカー ドと表示装置の場合には，左右それぞれの視点画像につ いて表裏2枚のバッファを指定できるので，プログラミ ングと表示はさらに容易である。いずれの方法も，視点 を設定して自動的に計算される視点画像を用いずに自ら 幾何学変換を行い左右眼用の画像を作製することもでき るし，左右で全く関係ない刺激を提示することも可能で ある。そうすることで，両眼視野闘争や両眼分離提示， 両眼間転移の実験にも利用できる。 Fastrak等の位置方位計測装置を視覚・聴覚刺激提示
に組み合わせる場合には，一般的には別スレッドで計測 装置からの位置・方位の情報を高いサンプリングレート （60–1000 Hz）で外部機器と通信を行ってデータを連続 的に取得し，描画スレッド（多くの場合は垂直同期に合 わせて60–120 Hzで更新）から適切なタイミングでその 時点の位置・方位データを受け取り描画更新する。位 置・方位の計測データに含まれるノイズをメディアン フィルタなどで処理する場合にも計測データ取得スレッ ドの方で行うことで，描画スレッドから最新の安定した データを利用可能とする。 聴覚刺激の提示は2ch （左右ステレオ）までであれば OSが提供する関数が使えるが，多チャンネルを処理す る際には多くの装置に対応しているASIOやPortaudioと いった音響ライブラリをプログラムに組み込んで利用す る。 た だ し， 近 年 で は，Pure Data や Cycling 74 社 の MAX のようなビジュアルプログラミング環境がバー チャルリアリティ研究ではよく用いられている。 これまで述べたもの以外でバーチャルリアリティ研究 においてよく用いられるライブラリとして，ARToolkit とOpenCVがある。前者は，マーカーを用いて複合現実 感ディスプレイのレジストレーションを行う際に便利で あり，拡張現実技術では標準的なツールである。後者 は，コンピュータビジョンのライブラリであり，カメラ からの画像・映像取得や，その処理（顔認識など）が容 易である。 また，バーチャルリアリティに特化した総合開発環境 がいくつかある。ここでは2つ紹介する。1つはソリッ ドレイ社のオメガスペースであり，国内で開発されてお り，高価だが新しい装置への対応も早く，難しいプログ ラミングを行うことなく様々なバーチャルリアリティ装 置が利用可能である。もう1つは，ゲーム開発用の開発 環境である Unity である。ゲーム開発用ではあるが， バーチャルリアリティ研究全般に使用可能であり，非常 に簡単に視点画像や頭部運動との連動，身体運動とのイ ンタラクションの生成が可能である。Unity は Oculus Riftを用いた開発ではほぼ標準となっており，画像の幾 何学変換を気にすることなく開発できる。これらを用い ることで，複数の装置のためのマルチスレッドプログラ ミングや，外部の計測装置からの信号取得の通信プログ ラミングなどを自ら行う必要がなくなり，研究開始への 敷居が低くなる。ただし，精緻な処理や緻密な制御を行 いたいときには融通が利かない点もあるので注意が必要 である。 お わ り に バーチャルリアリティの技術的側面は進歩が速く，こ の原稿の価値もすぐに色あせてしまうだろう。この数年 は，高コントラストで高解像度なHMDとしてソニーの HMZ-Tが発売され，安価ですばらしく広い視野角を持 ち頭部運動に対してほぼ時間遅れのない HMDとして Oculus Riftが登場し，やはり安価で身体運動情報が計測 利用できるKinectが身近に入手可能となったこと，急遽 中止とはなったが Google glassの開発など，バーチャル リアリティが再度注目を浴びている。バーチャルリアリ ティ研究は，リアリティの高いサイバースペースを実現 する，実環境とそっくりなインタフェースを開発すると いう当初の目的を超えて，従来体験できなかった新しい 体験や新しいインタフェースの創出が大きな目的の1つ となり，新しい方向にも進んでいる。これが，今のバー チャルリアリティと言えるだろう。知覚心理学を含めた 基礎心理学は，これらにとって欠かせないものであり， むしろ強力な推進力となっている。もちろん，基礎心理 学もまたバーチャルリアリティから多くのものを得て， リアリティの本質，心の本質の解明へ向かっている。 引用文献
Day, B. L. (1999). Galvanic vestibular stimulation: New uses for an old tool. Journal of Physiology, 517, 631.
Held, R. M., & Durlach, N. I. (1992). Telepresence. Presence:
Teleoperators and Virtual Environments, 1, 109–112.
Iwata, H. (1999). Walking about virtual environments on an Infinite Floor. Proceedings of IEEE Virtual Reality
Confer-ence 1999, 286–293.
Iwata, H., Yano, H., & Nakaizumi, F. (2001). Gait Master: A versatile locomotion interface for uneven virtual terrain.
Proceedings of IEEE Virtual Reality Conference 2001, 131–
137. 加藤博一（2011）．第5章1.2節レジストレーション技術 舘 暲・佐藤 誠・廣瀬通孝（監修） 日本バーチャ ルリアリティ学会（編） バーチャルリアリティ学 コロナ社 pp. 139–145. （Kato, H.）
Kitazaki, M., & Kimura, T. (2010). Effects of long-term adap-tation to sway-yoked visual motion and galvanic vestibular stimulation on visual and vestibular control of posture.
Presence: Teleoperators and Virtual Environments, 19, 544–
556.
北崎充晃・佐藤隆夫（2008）．視覚からの自己運動知覚 と姿勢制御 心理学評論，51, 287–300.
（Kitazaki, M., & Sato, T.）
Koizumi, N., Tanaka, H., Uema, Y., & Inami, M. (2011). Chewing jockey: Augmented food texture by using sound based on the cross-modal effect. Proceedings of ACM 8th
193 北崎： バーチャルリアリティ研究の技術的側面 14
International Conference on Advanced on Entertainment Technology, 21, 1–4.
小 泉 直 也・ 田 中 秀 和・ 上 間 裕 二・ 稲 見 昌 彦（2013）. Chewing JOCKEY―咀嚼音提示を利用した食感拡張装 置の検討― 日本バーチャルリアリティ学会論文誌， 18, 141–150.
（Koizumi, N., Tanaka, H., Uema, Y., & Inami, M.） Motoyoshi, I., Nishida, S., Sharan, L., & Adelson, E. H. (2007).
Image statistics and the perception of surface qualities.
Nature, 447, 206–209.
鳴海拓志・谷川智洋・梶波 崇・廣瀬通孝（2010）．メ タクッキー： 感覚間相互作用を用いた味覚ディスプ レイの検討 日本バーチャルリアリティ学会論文誌， 15, 579–588.
（Narumi, T., Tanikawa, T., Kajinami, T., & Hirose, M.） 佐藤 誠・平田幸広・河原田弘（1991）．空間インタ
フェース装置SPIDARの提案 電子情報通信学会論文 誌，J74-D, 7, 887–894.
（Sato, M., Hirata, Y., & Kawarada, H.）
櫻井研三（1995）．仮想現実感研究の概観 心理学研究， 66, 296–309.
（Sakurai, K.）
Shimojo, S., Silverman, G. H., & Nakayama, K. (1988). An oc-clusion-related mechanism of depth perception based on motion and interocular sequence. Nature, 333, 265–268. 舘 暲（1992）．人工現実感 日刊工業新聞社．
（Tachi, S.）
舘 暲・佐藤 誠・廣瀬通孝（監修）（2011）．バーチャ ルリアリティ学 日本バーチャルリアリティ学会 コ ロナ社．
（Tachi, S., Sato, M., & Hirose, M.）
Yamada, T., Yokoyama, S., Tanikawa, T., Hirota, K., & Hirose, M. (2006). Wearable olfactory display: Using odor in out-door environment. Proceeding of IEEE Virtual Reality
Con-ference 2006, 199–206.
Yanagida, Y., Noma, H., Yoshida, S., Kawato, S., Utsumi, A., & Hosaka, K. (2005). SpotScents. Proceedings of ACM
SIG-GRAPH 2005 Emerging Technologies, 19.
Zampini, M., & Spence, C. (2004). The role of auditory cues in modulating the perceived crispness and staleness of potato chips. Journal of Sensory Science, 19, 347–363.
