Microsoft PowerPoint - 清川-第５回-ARディスプレイ kiyo

システムインターフェース設計論

拡張現実感のためのディスプレイ技術

清川 清

大阪大学 サイバーメディアセンター

*2 Courtesy of Prof. Oliver Bimber, Weimar Bauhaus Univ. Deleted based on copyright concern.

*1 Courtesy of Prof. YAGI, Yasushi, Osaka Univ.

*1

目次

z

拡張現実感とは

z

拡張現実感に用いられるディスプレイ

–

ヘッドマウントディスプレイ

–

網膜投影型ディスプレイ

–

ハンドヘルドディスプレイ

–

据え置きシースルーディスプレイ

–

プロジェクションベースディスプレイ

–

その他のディスプレイ

マジックパドル

H. Kato, M. Billinghurst, I. Poupyrev, K. Imamoto and K. Tachibana, “Virtual object manipulation on a table-top AR environment,” ISAR 2000,

pp.111-119

拡張現実感とは

z

計算機情報を重畳表示して現実世界を増強する技術

Courtesy of Dr. Henry Fuchs, University of North Caroline Ultrasound Project

Boeing, Wire Harness Assembly

S. Feiner, B. MacIntyre, and D. Seligmann. Knowledge-based augmented reality.

Communic. of the ACM, 36(7), July 1993, pp. 52-62.

MR Systems Lab., Aqua Gauntlet

Deleted based on copyright concern.

拡張現実感とは

拡張現実感

の３要件

ＡＲ，

ＭＲ

ウェアラブル

コンピュータ

映画，

_ＴＶＣＭ

ＶＲ

１）

実像と人工像の合成

実＋ＣＧ

２次元ＧＵＩ

合成写真

３次元ＣＧソフト

実時間性

２）

実時間のインタラクション

３次元性

３）

３次元的な位置合わせ

R. T. Azuma, “A Survey of Augmented Reality,” in MIT Press Presence:

拡張現実感の位置づけ

（Milgram’s Reality-Virtuality continuum）

複合現実感

Reality - Virtuality (RV) Continuum

実環境

拡張現実感

Augmented Reality

拡張仮想感

Augmented Virtuality

仮想環境

HITL

P. Milgram and F. Kishino, “A Taxonomy of Mixed Reality Visual Displays,” IEICE Trans. Information Systems, Vol.E77-D, No.12, 1994, pp.1321-1329.

*1 Courtesy of Prof. Mark Billinghurst, HIT Lab NZ

*2 *1

拡張現実感の歴史

z

1960’s: Ivan Sutherland

のVRシステムはシースルー

z

1994: “AR” という語ができる

z

1998: 第1回専門国際会議

Deleted based on copyright concern. Deleted based on copyright concern.

拡張現実感システムの要素

z

ハードウェア

–

ディスプレイデバイス

•

HMD, プロジェクタ, PDA …

–

トラッキングデバイス

•

カメラ, ジャイロセンサ, 磁気センサ, 超音波センサ,

ハイブリッド, …

–

計算機

•

デスクトップPC, ノートPC, ウェアラブルPC

z

ソフトウェア

–

レンダリング, トラッキング, ネットワーク, …

ユーザインタラクション, コラボレーション, …

画像合成の位置による

ディスプレイの分類

ヘッドマウント

ディスプレイ

z

Head Stabilized

–

実環境に安定した像を提示するに

は頭部の位置姿勢計測が必要

–

画素の角度分解能が一定

z

常時装着

–

どこでも使える

–

周辺視が遮られる

z

装着感・解像度・重量

z

光学透過型 vs. ビデオ透過型

光学透過型HMD

PCから

の映像

実環境

光学

コンバイナ

光学透過型HMDの例

Sony Glasstron (~$2000)

Courtesy of Sony

Any type of modification by users is strictly prohibited.

i-glasses / i-Scape II ($299)

光学透過型HMDの特徴

z

利点

–

実環境の観察に好都合

•

高解像度、無遅延、高ダイナミックレンジ、

視点のずれや画像歪みが少ない

–

構造が簡単（≒安価）

–

安全

z

欠点

–

実環境と仮想環境の画質の整合性が低い

•

解像度、ダイナミックレンジ、遅延量

–

実環境を遮蔽できない

–

透過光学系が必要

•

広視野化が困難

ビデオ透過型HMD

ビデオカメラ

ディスプレイ

PCの映像

画像合成

ビデオ映像

ビデオ透過型HMDの例

Trivisio ARvision

Trivisio ARvision-3D

z

透過光学系が不要なため設計の自由度は高い

z

カメラ内蔵型製品は極めて限られる

Canon COASTAR

*1 Courtesy of Prof. Mark Billinghurst, HIT Lab NZ *2 Courtesy of Trivisio

ビデオ透過型HMDの特徴

z

利点

–

実映像をフレーム単位で取り込んで処理

•

CGとの柔軟な映像合成

•

CGに合わせた実映像の時間遅れ調整

•

画像認識の手法を利用可能

•

正しい遮蔽関係の提示が可能

–

光学系の設計の自由度が高い

•

広視野化が比較的容易

•

ビデオの光学系とマッチさせる必要

z

欠点

–

システムトラブル時に視界が遮られ危険

–

肉眼とビデオ映像の視点が異なる

–

実映像の品質が悪い

–

構造が複雑（≒高価）

ヘッドマウントディスプレイの

最新技術動向

z

実映像の遮蔽を実現する光学透過型HMD

–

ELMO （旧 通総研、トプコン）

z

肉眼と視点が一致するビデオ透過型HMD

–

COASTAR （キヤノン）

z

水平180度の超広視野を実現するHMD

ELMO

試作1号機 (1999)

35.7mm

291.7mm

z

透過型LCDを凸レンズで挟み、実映像の透過度を画素単位で制御

-

単眼、ベンチトップ

-

肉眼との視点ずれが大きい

z

視点ずれ

: 視点ずれは完全に解消

z

厚み

: レンズ直径と同程度(3cm)まで薄型化

z

重さ

: 片側のリングで200g

(３号機の約１０分の１)

z

明るさ

: 偏光ビームスプリッタにより従来比２倍の明るさ

ELMO

試作４号機 (2002)

実時間レンジファインダ

Kiyoshi Kiyokawa, Mark Billinghurst, Bruce Campbell, Eric Woods, “An Occlusion-Capable Optical See-Through Head Mount Display for Supporting Co-Located Collaboration,” ISMAR 2003, pp.133-141.

ELMO

試作４号機を通した実際の映像

ELMO

素手によるインタラクション

z

実時間レンジファインダ

により素手とＣＧの衝突

判定が可能

z

左手がブロックを

隠している

z

不正確な距離情報の

影響が見られる

ELMO

体験者の様子

Xプリズムを用いる手法

Ozan Cakmakci, Yonggang Ha and Jannick P. Rolland, “A Compact Optical See-through Head-Worn Display with Occlusion Support”, ISMAR 2004, pp.16-25.

Xプリズムを用いる手法

Courtesy of Prof. Jannick Rolland

See-COASTAR HMD

Akinari Takagi, Shoichi Yamazaki, Yoshihiro Saito, and Naosato Taniguchi, “Development of a Stereo Video See-through HMD for AR Systems,” ISAR 2000, pp.68-80.

Courtesy of Canon Inc. Any type of modification by users is strictly prohibited.

z

偏心光学系・自由曲面プリズム

Super Wide View HMD

z

水平１８０度、垂直６０度の視野角を確保

–

左右それぞれ１２０度、６０度オーバーラップ

Hajime Nagahara, Yasushi Yagi and Masahiko Yachida, “Super Wide Viewer Using Catadioptrical Optics”, VRST ’03, pp.169-175.

Super Wide View HMD

z

水平１８０度、垂直６０度の視野角を確保

–

左右それぞれ１２０度、６０度オーバーラップ

Hajime Nagahara, Yasushi Yagi and Masahiko Yachida, “Super Wide Viewer Using Catadioptrical Optics”, VRST ’03, pp.169-175.

ヘッドマウントディスプレイの動向

z

国内メーカーから民生用製品は消えつつある

–

単眼HMDはある

–

海外はまだ比較的活発

•

Ex) Saab AddVisor 150 ($95,000)

•

SXGA, Stereo, 水平54度

z

技術チャレンジ

–

広視野化：Super Wideview HMD

–

高解像度化：LCOS

–

軽量化：偏心自由曲面プリズム、有機EL

Photo by courtesy of Saab AB

画像合成の位置による

ディスプレイの分類

網膜投影型ディスプレイ

z

網膜上で直接映像をスキャン

–

マクスウェル視

–

視力に関わらず鮮明な映像

–

瞳射出が小さい

Microvision, Nomad Display Systems (http://www.mvis.com/)

Univ. of Washington, Virtual Retinal Display

網膜投影型ディスプレイの特徴

z

通常のヘッドマウントディスプレイと同様の特徴

–

Head Stabilized

–

常時装着

z

通常のヘッドマウントディスプレイと異なる特徴

–

損失が少なく、像が明るい

•

ダイナミックレンジが広い

•

光学透過系の透過度を高く設定できる（外が明るい）

–

画素がないので原理的には超高解像度化可能

–

軽量化に向く

画像合成の位置による

ディスプレイの分類

ハンドヘルドディスプレイによるARの例

z

ハンドヘルドデバイス上にAR環境を提示する

–

デバイスの裏のカメラを用いたビデオシースルー

Jun Rekimoto, “TransVision: A Hand-held Augmented Reality System for Collaborative Design,” VSMM 1996.

ビデオ

D. Mogilev, K. Kiyokawa, M. Billinghurst, J. Pair, "AR Pad: An Interface for Face-to-face AR

Collaboration,“ ACM CHI 2002, pp.654-655, 2002.

Courtesy of Sony Computer Science Laboratories, Inc.

ハンドヘルドディスプレイによるARの例

The Invisible Train

(Demonstrated at ISMAR 2004) Moehring, M., Lessig, C. and Bimber, O._{“Video See-Through AR on Consumer Cell} Phones, “ ISMAR'04, pp. 252-253.

ビデオ

z

PDA や 携帯電話 もプラットフォームに

ハンドヘルドディスプレイARの特徴

z

利点

–

めがねを必要としない

–

どこでも使える

–

小型・軽量

z

欠点

–

画面が狭い

–

カメラと肉眼の視点が異なる

–

マシンパワーが非力

–

基本的に２次元（裸眼立体視ディスプレイを除く）

画像合成の位置による

ディスプレイの分類

据置き型シースルーディスプレイ

Bimber, O., Fröhlich, B., Schmalstieg, D., and Encarnação, L.M. “The Virtual

Showcase,” IEEE Computer Graphics &

伴好弘,佐藤宏介,千原國宏：“強調現実感による 電子部品検査の作業支援環境”, 日本バーチャル

ビデオ

Courtesy of Prof. Oliver Bimber, Weimar Bauhaus Univ. Courtesy of Prof. BAN, Yoshihiro, Kobe Univ. and SATO,

Virtual Showcase における

光源環境の再現

Bimber, O., Grundhöfer, A., Wetzstein, G., and Knödel, S. “Consistent Illumination within Optical See-Through Augmented Environments,” ISMAR 2003, pp. 198-207.

ビデオ All images by Courtesy of Prof. Oliver Bimber, Weimar Bauhaus Univ.

据え置きシースルーディスプレイの特徴

z

利点

–

実物体と仮想物体の位置あわせ精度が高い

–

照明を調節すれば光源の影響も再現できる

z

欠点

–

実物体の手前にハーフミラーが必要

•

自由な位置に仮想物体を表示できない

•

大型スクリーンが必要

•

デッドスペースができる

•

場合によっては実物体に手を触れられなくなる

画像合成の位置による

ディスプレイの分類

プロジェクションベースAR

プロジェクタ

再帰反射材を

塗布した実物体

Spatially-プロジェクションベースARの例

Photos by courtesy of Deepak Bandyopadhyay, Ramesh Raskar and Henry Fuchs, “Dynamic Shader Lamps : Painting on real Objects,” ISAR 2001.

東城賢司, 日浦慎作, 井口征士：プロジェクタ を用いた３次元遠隔指示インタフェースの構 築, 日本バーチャルリアリティ学会論文誌 Vol.7, No.2, pp.169-176, 2002.

プロジェクションARを用いた

協調インタラクション

z

天井から机上に投影し協調作業を支援

ビデオ ビデオ

J. Rekimoto and M. Saitoh,

"Augmented Surfaces: A Spatially Continuous Workspace for Hybrid Computing Environments", CHI 1999.

Ben Piper, Carlo Ratti, Hiroshi Ishii,

“Illuminating clay: a 3-D tangible interface for landscape analysis,” CHI 2002, pp.355-362.

Courtesy of MIT, Media Lab. Courtesy of Sony Computer Science Laboratories, Inc.

プロジェクションARの最新の研究例１

z

通常の映像に３次元情報獲得用パターンを埋め込む

Photos by courtesy of Daniel Cotting, Martin Naef, Markus Gross and Henry Fuchs, “Embedding Imperceptible Patterns into Projected Images for Simultaneous Acquisition and Display,” ISMAR 2004, pp.100-109.

プロジェクションARの最新の研究例１

z

準実時間で獲得する３次元形状とユーザの視点に

対応した映像を提示

プロジェクションARの最新の研究例２

z

実環境の起伏やテクスチャを気にせず映像を投影

実環境 起伏を計測

Bimber, O., Emmerling, A., and Klemmer, T. “Embedded Entertainment with Smart Projectors,” IEEE Computer, January issue 2005.

プロジェクションARの最新の研究例２

z

実環境の起伏やテクスチャを気にせず映像を投影

補正機能なし 補正機能あり

ビデオ

Bimber, O., Emmerling, A., and Klemmer, T. “Embedded Entertainment with Smart Projectors,” IEEE Computer, January issue 2005.

ウェアラブルプロジェクタ

z

プロジェクタを背負い、手元に投影すること

で情報の提示や操作を行う

Toshikazu Karitsuka and Kosuke Sato, “A Wearable Mixed Reality with an On-board Projector,” ISMAR 2003, pp.321-322.

All images by Courtesy of Prof. SATO, Kosuke, Osaka Univ.

プロジェクションベースARの特徴

z

利点

–

投影面に直接映像を投影することによる利点

•

ハーフミラーなどが不要

•

投影面上では高い融合感が得られる

–

照明を調節すれば光源の影響も再現できる

z

欠点

–

基本的に２次元

–

オクルージョンの問題

•

手を出すとCG映像が見えなくなる

ヘッドマウントプロジェクタ

z

再帰反射スクリーン上に像

を投影

Masahiko INAMI, Naoki KAWAKAMI and Susumu TACHI, “Optical Camouflage Using Retro-reflective Projection

Technology,” ISMAR 2003, pp.348-349.

*1

*1 Courtesy of Prof. Jannick P. Rolland

*2

*3

ヘッドマウントプロジェクタの特徴

z

通常のヘッドマウントディスプレイと同様の特徴

–

Head Stabilized

–

常時装着

z

通常のヘッドマウントディスプレイと異なる特徴

–

オブジェクト指向

•

映像が再帰反射スクリーン上にのみ提示できる

•

手前の実物体上には映像が提示されない

z

通常のプロジェクションベースＡＲと異なる特徴

–

同じスクリーン上に観察される像が視点ごとに異なる

•

立体視が可能

•

多人数に対応可能

ホログラムを用いたAR

z

透過型ホログラムの奥に立体ディスプレイを設置

Perkins Museum of Geology

Dynamic Haptic Hologram (MIT)

Deleted based on copyright concern.

Deleted based on copyright concern.

ボリュームディスプレイ

z

多くはシースルー

（Langhans らによる分類（２００２） ）

-

走査型

z

回転スクリーン

- 平面スクリーン（ＬＥＤアレイ，ActualitySystems，etc.）

- 曲面スクリーン（ヘリカルミラー，アルキメデススパイラル，etc.）

z

振動スクリーン（移動ミラー，振動ＣＲＴ，etc.）

z

可変焦点方式

-

非走査型

z

固体（蛍石＋赤外光, etc.）

z

気体（ルビジウムガス＋レーザー, etc.）

z

その他（光ファイバー，液晶，etc.）

z

積極的に活用したARシステムはない

“The Perspecta Spatial 3-D Display creates volume-filling three-dimensional images. Photo courtesy of FotoJones and Actuality Systems, Inc(Masa.,USA)

その他のシースルーディスプレイ

z

空中への平面像提示が可能

Heliodisplay

FogScreen Inc.

Deleted based on copyright concern.

まとめ

z

拡張現実感に用いられる様々なディスプレイ

を分類・紹介

–

ヘッドマウントディスプレイ

–

網膜投影型ディスプレイ

–

ハンドヘルドディスプレイ

–

据え置きシースルーディスプレイ

–

プロジェクションベースディスプレイ

–

その他のディスプレイ