• 検索結果がありません。

MR Coral Sea フィジカルMRディスプレイによる複合現実型アクアリウム

N/A
N/A
Protected

Academic year: 2021

シェア "MR Coral Sea フィジカルMRディスプレイによる複合現実型アクアリウム"

Copied!
4
0
0

読み込み中.... (全文を見る)

全文

(1)「エンタテインメントコンピューティングシンポジウム(EC2014)」2014 年 9 月. MR Coral Sea フィジカル MR ディスプレイによる複合現実型アクアリウム †1. 田中友麻. 田中千遥. †2. 大島登志一. †1. MR Coral Sea は,複合現実感(MR)を用いたインタラクティブ水族館システムであり,MR の映像体験と「サンゴデ ィスプレイ」を介して,バーチャルな魚と遊ぶことができる。ユーザの手の位置を検出し,魚はこれに反応して泳ぐ。 サンゴディスプレイは,現実のフィールドにも物理的なフィードバックを提示することで MR 体験を多感覚的に増強 し,HMD を装着しなくてもバーチャル空間での事象を直接的に体感できる「フィジカル MR ディスプレイ」である. これにより,HMD による主観視点体験を主軸にしながら,プレイヤと共に周囲の観客も一緒に楽しめる.. MR Coral Sea - Mixed Reality Aquarium with Physical MR Display Yuma TANAKA†1 Chiharu TANAKA†2 Toshikazu OHSHIMA†1 MR Coral Sea is a mixed-reality (MR) aquarium using which a user can play with virtual fish via Coral Display, which is a physical MR display device. In response hand movements, the virtual fish comes and the device provides illumination and tactile and auditory feedback to the user.. 本システムでは,HMD ベース,モニタ(スクリーン). 1. はじめに. ベース,プロジェクションベースの 3 種類の MR 体験を選. 著者らは,HMD(Head-Mounted Display)による主観視. 択することが可能である.HMD ユーザ以外の観衆でも,. 点体験を主軸にしながら,プレイヤと共に周囲の観客も一. スクリーンやサンゴディスプレイを含む現実空間を直視す. 緒に楽しめる MR(Mixed Reality:複合現実感)エンタテ. ることによって MR 空間を共有し複数人での体験を増強で. インメントの創出を目指している.その一環として,現実. きると期待される.図 2 に現実空間の様子を示し,図 3 に. のフィールドに物理的なフィードバックを提示することで. HMD ユーザの主観視点映像を示す.. MR 体験を多感覚的に増強し,HMD を装着しなくてもバー チャル空間での事象を直接的に体感できる「フィジカル MR ディスプレイ」に取り組んでいる. MR Coral Sea は,MR によるインタラクティブな水族館 体験システムである.ユーザは MR 映像体験とフィジカル MR ディスプレイの「サンゴディスプレイ」を介して,バ ーチャルな魚と遊ぶことができる。ユーザの手の位置を検 出し,魚はこれに反応して泳いでくる。魚の位置によって サンゴディスプレイが反応し,光および振動と音を提示す る.図1に MR Coral Sea のコンセプトイメージを示す.. 図2 Figure 2. 図1 Figure 1. 現実空間の様子. Experience in the real space. コンセプトイメージ. Concept image of MR Coral Sea. †1 立命館大学 映像学部 College of Image Arts and Sciences, Ritsumeikan University †2 キヤノンソフトウェア株式会社 Canon Software Inc.. ⓒ2014 Information Processing Society of Japan. 図3. HMD での主観視点 MR 体験. Figure 3. Experience in MR space. 22 1.

(2) 2. フィジカル MR ディスプレイ 2.1 MR エンタテインメント・プロジェクト MR Coral Sea は,幅広いユーザ層を対象として,MR 技 術を応用した新しい体験型エンタテインメントを創出する ことを目的とする「MR エンタテインメント・プロジェク ト」の一環である.本プロジェクトでは,HMD を装着し て能動的に MR 体験を行うユーザである「プレイヤ」だけ でなく,プレイヤの同伴者や場を共有する周囲の観客であ る「オーディエンス」も楽しめることを重視している. 典型的な MR 体験は,ビデオシースルーHMD による MR 空間への没入的な主観視点体験として特徴づけられる.す なわち,HMD を装着しないオーディエンスは,HMD を装 着するプレイヤが体験している MR 空間を同様の形式では 共有できないという制約も意味する.この制約は,家族連 れや友人グループを含む多人数の観客を対象とするエンタ テインメント応用領域において大きな課題である. 2.2 フィジカル MR ディスプレイ 本プロジェクトでは,このような課題に対していくつか のアプローチを試みている.その一環として, 「フィジカル MR ディスプレイ」の開発に取り組んでいる.フィジカル MR ディスプレイは,MR の基本的な視覚体験と併せて, バーチャル空間での事象に連動した物理的なフィードバッ クを現実空間に対して提示することによって,オーディエ ンスの MR 体験を増強しようとするものである. 物理的なフィードバックには,視覚効果,照明効果,音 響効果,力学的作用,香りなどの化学的効果が考えられる. 映画の特殊映像技術に例えれば,通常の MR 視覚体験は CG 合成による VFX(Visual Effects)にあたり,フィジカル MR ディスプレイでの効果は現場の仕掛けによる SFX (Special Effects)に相当する.MR Coral Sea でのサンゴデ ィスプレイは,このようなフィジカル MR ディスプレイの 事例研究として開発した.. バーチャル空間で何が起こっているかを物理的に伝え るフィジカル MR ディスプレイを体験フィールドに据えて, プレイヤとオーディエンスに提示する MR 体験のフレーム ワークを図 4 に示す. 2.3 3 形式の MR 視覚体験 図 4 のフレームワークではまた,以下の 3 形式の MR 視 覚体験を包含し,同時もしくは選択的に運用する. 1) HMD ベース方式:HMD を装着するプレイヤに対して, 主観視点映像体験を提供する. 2) モニタ(スクリーン)ベース方式:HMD を装着しない で体験する場合のプレイヤおよびオーディエンスに対して, 固定視点の映像体験を提供する.主観視点に近い視覚体験 とするか,俯瞰する客観的な視覚体験とするかなど,用途 に応じてカメラの設置場所を適宜調整することにより, 様々な視覚体験を実現しうる. 3) プロジェクションベース方式:現実のフィールドにバー チャル空間の情報をプロジェクタで直接的に投影提示する 投影型 MR である. 上記 3 形式のうち,MR Coral Sea では投影型 MR の機能 はまだ実現されておらず実装途中である.. 3. 関連研究 Poupyrev らは,ユーザの操作に応じて発光し上下するロ ッドの配列からなるインタフェースデバイスを開発した [1].串山らは,アクチュエータの動きによって触感を得ら れるプロジェクション型の多感覚ディスプレイによるイン タラクティブ作品を発表している [2][3].これらの事例で は,機能的にフィジカル MR ディスプレイ単体によるもの と同様の効果が得られるものであるが,本研究では特に,3 次元の MR 空間での映像体験との併用を前提として,マル チモーダルな感覚体験の相乗効果に着目している. また,複数のプレイヤが同時体験できる MR エンタテイ ンメントの事例としては,AR2 Hockey [4],RV-Border Guards [5]などがある.これらにおいても,オーディエンスの体験 を重視しており,複数視点の MR 映像をオーディエンスに 提示した.フィジカル MR ディスプレイと同様の試みは他 にもいくつか報告されている.MR-Space Odyssey [6]では, MR の VFX 映画制作への応用を想定した撮影リハーサルの アトラクション型デモ展示で,複数のカメラ視点の切り替 えと併せて,銃の発射と連動したストロボによる現実空間 への照明効果などが施された. 著者らが試行したフィジカル MR ディスプレイとして機 能するユーザインタフェースの事例を図 4 に示す [7][8][9][10].図 4(a)では,シューティングゲームにおいて 力覚フィードバックをプレイヤに提示すると共に,LED の 発光をオーディエンス向けに提示する.図 4(b)では,HMD. 図4 Figure 4. MR 体験のフレームワーク. に搭載した角型の LED インジケータと手に装着した LED. Framework of the MR experience. アレイがプレイヤのパワーや武器装備に応じた発光パター. ⓒ2014 Information Processing Society of Japan. 23 2.

(3) ンを提示する.いずれもプレイヤ自身ではなく周囲のオー. ューブは適度な弾性を持っており,手が接触したときに柔. ディエンスに情報を提示するために備えた機能である.. 軟に変形するとともに,モータからの振動を手に程良く伝 搬する.. 図5. フィジカル MR ディスプレイの試行事例. Figure 5. 図7. Case studies of physical MR display. ポリプモジュール. Figure 7. Coral polyp module. 4. MR Coral Sea とサンゴディスプレイ 4.1 コンテンツデザイン MR Coral Sea の体験内容は,バーチャルな魚にエサを与 えて遊ぶコンテンツであり,ルールは特になくエンドレス で自由に楽しむことができる.プログラムには ARToolKit を利用している.マーカトラッキング用の「エサカード」 を手のひらにのせ,手の甲がサンゴディスプレイに触れる ようにしてカメラにかざすと,MR 空間ではマーカ上に貝 殻の皿にのったエサが現れる.サンゴディスプレイには魚 が生息しており,このエサを食べようとユーザの手に向か. 図8. って泳いでくる.エサがなくなれば,手を一旦振ると再び. Figure 8. エサが得られる.また,エサカードを取り換えることで, 図 6 に示すように 3 種類の魚を選択できる.. サンゴディスプレイの構造 Structure of Coral Display. 5. 展示実験とまとめ MR Coral Sea のプロトタイプシステムは,Laval Virtual 2014 ReVolution にて展示実験をおこない,5 日間で約 1000 人が本作品を体験した[11].図 9 にインスタレーションの 様子を示す.サンゴディスプレイの真上にカメラを設置し て,プレイヤの立ち位置からの主観視点に近い MR 映像を. 図6 Figure 6. 魚の種類. 生成し,正面の壁面に映像を投射した.. Variety of fish. 4.2 サンゴディスプレイ 魚の挙動に合せて,泡や音のエフェクトを表すと共に, 魚の位置に連動して,サンゴディスプレイの触手が光り振 動する.MR 映像で魚が手の上にきたときに,サンゴディ スプレイからの振動を感じることとなる.サンゴディスプ レイに触れて目視するだけでも,実際には見えない魚の挙 動を感覚的に把握することが可能となっている. サンゴディスプレイは,図 7 に示すような 24 個の「ポ リプモジュール」から構成される.各ポリプモジュールは, それぞれ 3 つの白色高輝度 LED とディスク型バイブレーシ ョンモータからなっている.これらは,マイクロコンピュ ータ Arduino によって制御される.. 図9. MR Coral Sea システム全体の様子. Figure 9. Installation of MR Coral Sea system. サンゴディスプレイは特にむずかしい操作も必要のな. 図 8 に示すように,LED には半透明のシリコンゴム製チ. いインタフェースであり,小さな子供でも楽しめる様子が. ューブを触手として装着しており,LED が発光するとチュ. 確認できた.コンテンツ的にもかわいい魚の泳ぐ様子は、. ーブ全体が柔らかく発光するようになっている.また,チ. 図 10 に示すような家族連れに特に好評であった.. ⓒ2014 Information Processing Society of Japan. 24 3.

(4) HMD ベースとスクリーンベースの 2 種類の MR 視覚デ. 謝辞. 本プロジェクトでの開発および展示実験に関わ. ィスプレイシステムを同時に運用したが,一般公開日では. った立命館大学映像学部・映像研究科の大島研究室所属学. 特に家族連れや友人グループが多く,HMD ベースよりも. 生各位と写真の掲載を快諾された Laurent Gosselin 氏に謝. 複数人で一緒に楽しむことのできるスクリーンベース MR. 意を表する.本研究は JSPS 科研費 24500159, 24220004 の. 体験が主に好まれて選択された.. 助成を受けたものである.. 参考文献. 図 10. 本作品を楽しむ親子連れの様子. Figure 10. A family enjoys the demo. 今後は,投影型 MR 表示モードの実装を進める.また展 示実験を重ねて,MR 表示方式とサンゴディスプレイとの 組み合わせについて評価実験をおこなう.MR Coral Sea シ ステムは,魚の種類を増やすなどコンテンツ面での充実を 行うとともに,サンゴディスプレイの改良を行う.サンゴ ディスプレイに関しては,形状の変更やセンサ機能・アク チュエータ機能の多様化を試み,他のフィジカル MR ディ スプレイの実現に応用できる知見を集積していく.遠隔地 点間のフィジカル MR ディスプレイによるコミュニケーシ ョン手段としての可能性も検討していきたい.. ⓒ2014 Information Processing Society of Japan. 1) Poupyrev, I., Nashida, I., Maruyama, S., Rekimoto, J. and Yamaji, Y.: Lumen: Interactive visual and shape display for calm computing, SIGGRAPH 2004, Emerging Technologies (2014) 2) Kushiyama, K., Ikei, R. and Sasada, S.: Tactile Grass Landscape. SIGGRAPH 2008, Posters (2008) 3) Kushiyama, K., Sasada, S. and Takeyama, S.: FUR-FLY, SIGGRAPH 2009, Art Gallery (2009) 4) 大島登志一,佐藤清秀,山本裕之,田村秀行:AR²ホッケー: 協調型複合現実感システムの実現,日本バーチャルリアリティ学 会論文誌, Vol.3, No.2, pp.55-60 (1998) 5) 大島登志一,佐藤清秀,山本裕之,田村秀行:RV-BorderGuards: 複数人参加型複合現実感ゲーム,日本バーチャルリアリティ学会 論文誌, Vol.4, No.4, pp.699-705 (1999) 6) 大島登志一,黒木剛,小林俊広,山本裕之,田村秀行:2001 年 MR 空間の旅:複合現実感技術の映像制作分野への応用,日本バ ーチャルリアリティ学会論文誌, Vol.7, No.2, pp.219-225 (2002) 7) Ohshima, T. et al.: RV-Border Guards 3 – Attack of the Mech-Insects, Laval Virtual 2012, ReVolution demo (2012) 8) Ohshima, T. et al.: Hyak-Ki Men – Anti-Ogre Ninja Mask, Laval Virtual 2013, ReVolution demo (2013) 9) 柴田雄樹,一色康平,速水洸,田中千遥,大島登志一: 『百鬼面』 - 複合現実型エンタテインメントコンテンツ制作の体系化の検討, 第 18 回日本 VR 学会大会論文集, 13C-3 (2013) 10) Ohshima, T. et al.: Hyak-Ki Men – The Study of Framework for Creating Mixed Reality Entertainment, SIGGRAPH ASIA 2013, Posters (2013) 11) Tanaka, C. and Ohshima, T.: MR Coral Sea. Laval Virtual 2014, ReVolution demo (2014). 25 4.

(5)

図 2   現実空間の様子 Figure 2 Experience in the real space
Figure 4  Framework of the MR experience
図 8   サンゴディスプレイの構造 Figure 8 Structure of Coral Display
図 10   本作品を楽しむ親子連れの様子 Figure 10 A family enjoys the demo

参照

関連したドキュメント

For quantitative assessment, we calculated the coefficient of variance (CV) of fat region and contrast between fat region, normal tissue, and lesion on MR images acquired using

  The aim of this paper is to find out that the Religious Knowledge education ( hereinafter called RK ) in Denmark and the Moral Education ( hereinafter called MR )

cor1℃spondingtoMIS5cto3,whichcanbedividedintofOuragegroupstakingeITor

This paper deals with the a design of an LPV controller with one scheduling parameter based on a simple nonlinear MR damper model, b design of a free-model controller based on

Therefore, we presuppose that the random walk contains a sufficiently large number of steps, so that there can be an equivalent to finite partial sums of both sums in (2.13)

[23] Ariel Barton, Svitlana Mayboroda; Layer potentials and boundary-value problems for second order elliptic operators with data in Besov spaces, Mem..

Karlovich, Singular integral operators with piecewise continuous coefficients in reflexive rearrangement-invariant spaces, IntegralEquations and Operator Theory 32 (1998), 436–481,

We shed new light on a long-known way to utilize the algorithm of multiple relatively robust representations, MR 3 , for this task by casting the singular value problem in terms of