現実世界と仮想世界を融合する複合現実感技術 : V拡張現実感の具体例

システム_／制 御／情 報

，

Vol

．

50

_，

　No

．

8

，

　_pp

．

321

−

326

，

2006 321 講

座

現 実 世 界 と

仮

想 世 界 を融

合

す

る

複 合

現

実 感技

術

一

V

　 拡

張 現

実 感

の

具

体 例

横 矢 　直和

＊

1 ．

　は じ めに 　複 合現実 感 （

MR

）の中で

_，

前回は

_，

仮 想 世 界の

tt

”

r一

的な デ

ー

タ を現 実 世 界に 重 畳表 示 するこ と に よっ て現 実

i

ロ_堺 を増 強

・

強 化 する拡 張 現 実 感 〔

AR

：

Augmented

Reality）における技 術 課 題とそれ を解 決 する基 本 的な方 法 論につ い て述べ た

_［

1

_］

．

今 回は

_，

その続 編として

_，

AR システム を実 現 するための代 表 的 なビジョ ン ベ

ー

ス の ソ フ ト ウユ ・ア ツ

ー

ル とい くつ かの

AR

システ ムの 構 築事例 を 紹介す る

．

具 体的 に は

，AR

シス テム _{構 築}用パ ッ ケ

ー

ジ

，

協 調 型

AR

シ ス テ ム

，

ウェ ア ラブル

AR

システ ム

，

投 射 型

AR

シ ステムを取 りヒげ， 以 卜

．

の事 例を紹 介 する

．

　・ 拡 張 現 実 感 構 築ツ

ー

ル ARToolKit とそ れ を利 用 し

　　

たデス ク トッ プ型 拡 張 現 実 感シ ス テ ム

_［

24 ］

　・ 対 戦 型ゲ

ー

ム を 実現する協 調 型 拡 張 現 実 感システ

　　

ム

_［

5

_］

　・ 屋 外で の観 光 案 内を

H

的と し たウェ ア ラブル拡 張 現

　　

実 感シ ス テム

_［

6］

　● プロ _ジェ ク タを用い た 実 物 体へ の映 像 投 射による投

　　

射 型 拡 張現実 感システム

_［

7］

　最 初の 「 つ の例 は初 期の

AR

_{研 究}か ら盛ん に取り組 ま れ たデス ク トッ _{プ 型}の

AR

シス テム であ り

，

最初 に_単

一

ユ

ー

ザ を想 定し たシ ス テ ム を紹 介し

，

つ _ぎに_， 複 数ユ

ー

ザ が

AR

空間を共 有 する協 調 型シ ス テ ム の代 表 的な例を 紹 介 する

．

三つ _目の シ ステムは

，

近 年 研 究が盛ん になっ てきた ウェ ア ラ ブル コ ンピュ

ー

タ 巳で

AR

を実現する例 で あ る

．

最後の例 で は

，

スマ

ー

トプロ ジェ ク タ研 究の

一

環と しての _投射型

AR

シ ステ ム を紹 介 する

．

2

． 拡

張 現

実感構 築

ツ

ー

ル

ARToolKit

と

　　

その

利

用

例

　AR にお ける最 も基 本 的な 問 題である現 実 世 界と仮 想 世界の幾何 的位 置 合せ を行 うソ フ ト ウェ ァッ

ー

ルに

，

ビ ジョ ンベ

ー

_{ス トア プロ}

ー

_チ ［

1

］に よ る加 藤ら に よっ て開発 さ れ た

ARToolKit

_［21があ り

，

ビ ジョンベ

ー

ス の

AR

シ ス テ ム を構 築 するうえで の基 本ツ

ー

ル と なっ てい る

．

以 ドで は

，ARToolKit

の概 要と利 用 例を紹 介 する

．

’

_{奈 良 先 端 科 学 技 術 大 学 院 大 学 情 報 科 学矧究 科}

Key　 ivof

・

ds：　 mixed reality _，　 allgmellted reality

．

　 AR ail

・

h ckey

、

ARTo  1Kit_，Nat

・

a

．

　Pala

．

ceSitenavigat

・

or

、

projection

−

based　AR

．

　

2 ．

1

　

ARToolKit

　

ARToolKit

は

_，

正 方 形マ

ー

カをカ メラで撮 影し

，

マ

ー

カの

4

頂 点の 画 像 中 での 座 標 値 か ら

，

コ ン ピュ

ー

タ ビジ ョ ン_{分 野}に おける

PnP

（

Perspective

　n

−Point

_）問 題

_［

8

_］

_（

ll

＝

4）を解 くこ とによっ て

，

ユ

ー

ザ視 点 位 置に取 り 付 け られたカ メ ラ の位 置

・

姿 勢とマ

ー

カ座 標 系との関 係 を計 算 する

，

カ メ ラ に よ る撮 影 か ら

AR

表 示 まで の具 体 的 な手 順は以 ドの通 りである （第

1

図 参 照 ）

，

（1）カメ ラ か ら 人 力 さ れ た 画 像 を しきい値 処 理 に よっ 　 　 て 2値化 す る

．

（

2

）

2値 画像の連 結 成 分 処 理の後

，

正 方 形マ

ー

カ領 域を 　　 抽 出し， 正 方 形 領 域の内 部パ タ

ー

_{ンか ら}マ

ー

カ ID 　 　 を 認 識 する

．

（3

）

正方 形 領 域の

4

頂 点の画 像 内での座 標 値 と使 用 す 　　 る カメ ラの _{内 部}パ ラメ

ー

タ か ら

，P4P

問 題を解 く 　 　 こ とに よっ て

，

マ

ー

_{カ 座標 系}で の カメ ラ の位置と 　 　 姿 勢を計 算す る

．

（

4

）

ステッ プ

（

2

）

_，

（

3）

で得 られ た情 報 を用いて_， マ

ー

　　 カ

ID

に対 応 する仮 想 物 休 （

3

次 元

CG

オ ブ ジェ ク 　 　 　ト） を描画 す る

，

薩像入 力

ゆ

闘

◇

「司

　 　 　 　二鐙 化　　　　　　　マ

ー

カ検畠 　 　 　 弓 CG 合 成

◇

_食

佼畷 姿 勢訂算 第 1 図　ARToolKit における処 理の流れ （大阪大 学

・

加 藤 　 　 　 　 博

一

氏の_厚意に よ る） 　長 方 形マ

ー

カをカ メラで_{撮 影}してマ

ー

カ とカ メラ との 幾 何 的 関係を求め ること は

，

コ ンピュ

ー

タビジョ ン の分 野における カメ ラ キャリ ブ レ

ー

ショ ン_［8］な ど で古 くか ら行わ れてお り

，

VR 空間の操 作インタ

ー

フェ イス ［9］へ の応 用 も以 前 からあるが

，ARToolKit

は

，

非 専 門 家で も 上 記の

一

連の 処 理 によっ て ビデ オシ

ー

ス ル

ー

型の AR シ ス テ ムを 容 易 に 構 築 できる ように

，

　。 正方 形マ

ー

カ を利 用して幾 何 的位 置 合せ を行う画 像 　　処 理

・

コ ンピュ

ー

タビジ ョ ンラ イ ブラ リ

322 シ ス テ ム_／制御 ／情 報 第 50巻 第8号 　（2006） 　・ パ ラメ

ー

タ取 得な どの た め のユ

ー

ティリ ティプロ グ 　 　 ラム 　● サン プルア プ リ ケ

ー

シ ョ ンプロ グ ラム か ら な るソ フ ト ウェ ア パ ッケ

ー

ジ と して ま と め た と こ ろ に価 値がある

．

AR

の 入 門 用ソ フ ト ウェ ア と して の 評 価は高 く

，ARToolKit

の利 用に関 する国 際 会 議 も開 か れた

_［

10

_，

11

_］

．

な お

，

ARToolKit の最 新バ

ー

ジ ョ ン は

_，

GNU

　

GPL

の もと で利 用 可 能 な ものが

SourceForgc

で 管理 さ れ てい る_［

12

_］

．

　こ の ソ フ ト ウェ ア は

，

基 本 的に

，

マ

ー

カ を用い て

AR

のた めの幾 何 的位 置 合せ を行 う もの で

_，3

次 元 グラ フ ィッ ク ス機 能 を 備 えたPC とそ れに接 続口_{∫能 な}カ メラおよ び マ

ー

カがあれば

，

簡 易 的 な

AR

システムを容 易に構 築で きる とい う特 長 をもっ てい る

．

た だ し

，

幾 何 的位置 合 せ が う ま くい く た め に は カメ ラが 常 にマ

ー

カ を撮 影し続 け る必 要がある

．

し た がっ て

，

広 範 囲に多 数のマ

ー

カ が配 置 され， ユ

ー

_{ザ が 自 由に動 き回る よう なア プ リケ}

ー

_{シ ョ} ン で は

_，

撮 影 するマ

ー

カ を切 り替 え なが ら連 続 的に位 置 合せを行 うた めの工夫が必 要になる

．

現在の 幾 何 的位 置 合せに関 する 研究の主流 はマ

ー

カの_代わ り に シ

ー

ン内の 自然 特 微 点を 追跡 するア プロ

ー

チに移っ て いる

．

こ の場 合，

ARToolKit

を その ま まで は利 用で き ないが

，

基本 的 な 枠 組として は有効であ り， ロ バ ス トな 自然 特 徴 点 追 跡 手 法の実 装に よ る機 能 拡 張が期 待さ れ る

．

22

_MagicBook

　デス ク トップ 型の シス テム を中心に

，AR

］

7001Kit

を 用 い た数多くの

AR

アプ リ ケ

ー

ショ ンが開発さ れ

，

最 近で は

，PDA

に実 装さ れ た複 数ユ

ー

_{ザ に よ る}

AR

_ゲ

ー

ム _［131 も存 在 する

，

以

．

ドで は

，

ARJ［bolKit の開 発 者ら に よ る初 期の応用 例である MagicBook _［

3，

4］を簡 単に 紹介 する

．

眼 鏡 型

’

ディスヅ レイ カ メ ラ スイツチ 角 度センサ

／

・

_…Pt

一

_マ

ー

_カ 第2 図　MagicBook の シ ス テ ム構成と利 用 して いる様子 （大 　 　 　 　 阪 大学

・

加藤 博

一

氏の厚 意に よ る） 　

MagicBook

は絵 本の メ タフ ァ を利 用 し た

AR

アプ リ ケ

ー

シ ョ ンで あ り

，

ペ

ー

ジ を識 別 する た めのID 付 き正 方 形マ

ー

カを 印 刷 した本とカ メラ付 き眼 鏡 型デ ィスプレ イ か ら なる （第

2

図 参 照 ）

，

ARIbolKit によっ てマ

ー

カ の識 別 と幾 何 的 位 置 合せを 行い

，

仮 想 物 体 をマ

ー

カ上に 重畳合 成 する こと によっ て ビ デ オシ

ー

ス ル

ー

型AR を実 現 している

．

本の _各ペ

ー

ジにはマ

ー

カ

ID

に対応 した コ ンテン ッが関 連づ け ら れ て おり

，

ユ

ー

ザ は通 常の _本と同 様にペ

ー

ジ を め くる操 作に よっ て次々 に新しい コ ン テ ン ツを見るこ と がで きる 立体 絵 本で ある

．

　MagicBook では

，

こ の ような

AR

モ

ー

ドに加えて

，

ス イッ _チの切 り替 えによっ て

_，

本の上 に表 示され てい る

3

次元 仮想世 界 に 入 り込 み

，

仮 想空間 を自 由に 見 回 す

VR

モ

ー

ド も用意さ れてい る （第

3

図 参 照）

．

この _{場 合}に は

，

眼鏡 型ディス プレイの下 部に取 り付 けられ た角 度センサ を利 用 する

．

（a_）AR モ

ー

ド 〔b）VR モ

ー

ド 第3 図　Ma

．

gicBQokの AR モ

ー

ド とVR モ

ー

ド 伏 阪 大 学

・

　 　 　 　加藤博

一

氏の厚意に よ る）

3

．

協 調 型

拡

張 現

実感

シス テム

　

AR2

ホ ッ 　　 ケ

ー

シス テム 　 複 数のユ

ー

ザ が互い に相 手を視 認で きる位 置 関係で現 実 空 間 と仮 想 空 間 を 共有し な が ら協同 作 業 を 行 う

AR ．

シ ステム は

一

一

般 に協調 型

AR

と よ ば れ る

．

要 素 形 状の組 立 に よっ て 3次 元形 状モ デ リン グ を行 う協 調 型

AR

システ ム

_［

14

_］

なども 開発 されてい る が

，

こ こ で は

，

対 戦 型 ゲ

ー

ム をAR 技 術 を用い て実 現 した初 期の研 究 例で多 くの デ

モ にも供さ れた

AR2

（

Augmcntcd

　

Reality

　

AiR

）ホッ

ケ

ー

シス テム

_［

5

_］

を紹 介 する

．

　通常のエ アホッケ

ー

は

，

テ

ー

ブル を 挟 んで対峙す る2 人の プレイ ヤ がマ レ ッ ト を用いて テ

ー

ブル上のパ ックを 打 ち 合い_， 相 手の ゴ

ー

ル に入 れる とい うゲ

ー

ム である

．

AR2

ホ ッ _ケ

ー

_{で は}

，2

人の プレイヤ が光 学シ

ー

ス ル

ー

HMD

を 装着し

，

手に持っ た実 物 体であるマ レッ トで 現

一

．

_{34 一}

横 矢 ：現 実 世 界と仮 想 世 界を融 合 する複 合 現実 感技 術

．

−

V

323

実の テ

ー

ブ ル上の仮 想のパ ッ クを打ち 合う

．

操 作 対象と な るの は仮 想パ _{ッ ク}のみである

．

第4図に実 際のプレイ 風景 を示す

，

こ のように

，

プレイヤ は互い に対 戦 相 手を 視 認し な が ら

，

通常のエ ア ホッケ

ー

と同 様の駆 け引 きが 口_∫能になる

．

これ が VR ゲ

ー

ム にはない

AR

シ ステム の 大 きな特 長である

．

（nt

．

_）第三者 視点か ら見た様子 （h）プレイヤ の視界 第 4 図　AR2 ホッケ

ー

の プ レ イ風 景 位 命館大学

・

大 島 登 志 　 　 　 　 氏の厚意に よ る） 　ユ

ー

ザの移 動 範 囲が限 定さ れ る デス ク トップ型の

AR

シ ス テ ム で は

，

現 実 田堺 と仮 想 世 界の時間 同期が容 易な こ と から ビデ オ シ

ー

ス ル

ー

方 式の表 示を行 うこと が多い が

，

こ こ で は光 学シ

ー

ス ル

ー

方 式を採 用して い る

．

これ は

，

駆 け引きの た め に 即応 性が要 求 される対 戦 型 ゲ

ー

ム において

，

ユ

ー

ザ間の _完全な実 時間性 と同 期 を保 証 する こ と を優 先し た た め で あ る

．

し か し その分

，

幾 何 的位 置 合せ に伴 う現 実 世 界と仮 想

IU

：界の時 間ず れの_抑制 に対 す る 要求が厳しくなる

．

AR2 ホ ッケ

ー

シ ス テ ム で の幾 何 的 位 置 合せ で は

_，

以下の ように

_，

セ ンサベ

ー

ス の手 法とビ ジョ ンベ

ー

_{ス の手 法を組}み合わせ た 方式を採っ てい る

．

幾 何 的位 置 合せ：幾 何的位 置合せ に必 要 なユ

ー

_{ザ 視 点}の 　 　位 置

・

姿 勢 計 測に は

，

まず

，VR

シス テム で よく使 　 　用 されて いる3次 元 磁 気センサ を 用い

，

視 点付 近に 　 　取り付けた小 型カ メ ラ で撮 影したテ

ー

ブル上のマ

ー

　 　カの画像 内で の位 置 情 報から3次 元 磁 気セ ンサの計 　 　測 誤 差を

igi

．

iEす る

．

こ の補正過 稈で は

_，

磁 気セ ンサ 　 　の_{計 測 値}に 基づ _く計算上の マ

ー

カ の画 像 内で の位 置 　 　と実 際のマ

ー

カ位 揖の誤差 を相 殺す る ようにユ

ー

ザ 　 　 視 点の位 置

・

姿 勢 値を修正する

．

　 も う

一

つの重 要 な 計 測は仮 想パ ッ ク を打つ マ _{レッ ト}の 位置計測である

．

マ レッ ト上にマ

ー

カを配 置し

，

位 置 合せ に使用するユ

ー

ザ 視 点カ メ ラ で撮 影 し た画 像か らマ レ ッ ト位 置を計算す ること が考えら れ る が _， 本シ ス テ ム では 安 定動 作を 重視し て

，

以 下 の ような方 式 を採っ てい る

．

マ レッ トの位 置 計 測 ：マ レッ トに 上向きに赤 外 線 発 光 ダ 　　イオ

ー

ド を取 り付 け

，

テ

ー

ブ ルの真上 に 設置し たカ 　 　メラで赤 外 線を と ら え

，

画 像処 理 に よっ てマ レッ ト 　 　 位置 を求め る

，

　光 学シ

ー

ス ル

ー

_方式の_採用 によっ て生じ る大き な問題 は

，

幾 何 的 位 置 合せ と

CG

映像の _描画 に伴 う現 実 世 界に 対 する仮想 世 界の提 示の時 間遅れ で あ る

．

AR2

ホッケ

ー

システム では

_，

サ

ー

バ

・

ク ライア ン ト方 式に 基づ く並 列 分 散 処理 に よっ て

，

時 間 遅 延を抑 制 する と と も に

，

時 間 遅 延 が累積 し ない ように プロセ ス管理 を行っ てい る （第 5図 参照 ）

，

以

E

述べ た ように

，

AR2 ホ ッ ケ

ー

シ ス テ ム で は_， 即 応 性が要 求さ れ る対 戦ゲ

ー

ムを題材に

，

ユ

ー

ザ の違和 感の抑 制と安 定 動 作を最 優 先 し た協調型

AR

シ ス テムを構 築 して いる

．

：／ 測 〕 第5図　 AR2 ホッケ

ー

にお ける プロセス構 成 位 命 館 大 学

・

　 　 　 　大 島 登 志 氏 の厚 意に よ る）

4 ．

　 ウ

ェ ア ラ ブル

拡 張 現

実

感

シス テ ム

　

平

　　 城

宮

跡

ナ ビ 　近 年

，

ウェ ア ラブル コ ンピュ

ー

タ上で拡 張 現 実 感を実 現 する ことに よっ て

，

広域環境 中 を自由 に 動 き回 るユ

ー

ザに対して場 所 依 存情 報の実 時間提示 を 行 うウェ ア ラブ ル拡 張 現 実 感シ ス テム の研 究が盛ん に行わ れ る ように なっ てきた

．

こ の た めの枠 紺として， ネッ トワ

ー

_{ク 上の} サ

ー

バ に注釈デ

ー

タベ

ー

ス を用 意し

，

情 報 提 供 者とウェ ア ラブル コ ン ピュ

ー

タユ

ー

ザの両 者がネッ トワ

ー

ク を介 し て場 所に依存し た注釈情報を 実 時間 で追 加

・

更 新

・

閲 覧で きる ネッ トワ

ー

ク共 有型注 釈デ

ー

タベ

ー

ス ［

15

］が

一

般的にな りつ つ _ある （第6図 参 照 ）

．

以 下では

，

ネッ ト ワ

ー

ク共有型デ

ー

タベ

ー

スに基づ _{く無線 ネ}ッ トワ

ー

ク環 境で利用 可能な ウェ ア ラ ブル拡 張 現 実 感シ ステムの例 と して

’

ド城 宮 跡ナビ _［

6

_］を紹介する

．

　平城宮 跡ナ ビ は

，

’

ド城 宮 跡に代表さ れ る遺 跡や観 光 ス ポッ _トが点 在 する地域 におい て観 光スポッ ト問のナ ビ

324

シ ステム_／制御／情 報 第 50巻 第 8号



（2006） ぎ

…tt

囎 囃纈 輸 鑒逓 蟹 灘 萋

，

纖黷蕪 蕪

獸

1

_臨

・

總

位 置 依存情 報 　 の提供者 サ

ー

バ

騾

．

撚

A

”

　　

◆ ◆◆

幽

…

≦

：

：

：

：

_；

_驪

鱸

　 　 　 ウェア ラ ブ ル 　 　 　 PCのユ

ー

ザ ■

レ

有_線… ワ

ー

・

　

… _レ 爛 ネ・・ワ

ー

・ 第6図　ネッ ト ワ

ー

ク共 有型注 釈デ

ー

タベ

ー

ス の枠 組 ゲ

ー

シ ョ ンと観 光スポッ トでの ガイドを

H

的 としてお り

，

ネッ _トワ

ー

ク共有型 注釈デ

ー

タベ

ー

ス の枠 組を採用 す る とともに

，

情 報 提 示 端末と して

，

　

（

1

）ウェ アラ ブル コ ン ピュ

ー

タ（小 型ノ

ー

トPC ，　HMD ， 　　 位 置

・

姿 勢セン_サ

，

_{小 型}ビデオカ メ ラなどを 含 む）

　（

2

）

PDA （位 置

・

方 位セ ンサ

，

小 型ビ デ オ カメラを含む）

（

3）

携 帯 電 話 （位 置セ ンサ

，

ノ」型ビデ オ カメ ラを含む） の

3

種 類 を想 定 し

，

表示 能力の異な る端末を サ ポ

ー

ト できる サ

ー

バ

・

クライア ン ト方 式の シ ス テ ム ア

ー

キテ ク チャを採っ て い る とこ ろ に特 徴がある （第7図 参照）

．

こ の端 末 非 依 存 性 を実 現 するため の主 要 な工夫は以下の通 りで ある

．

　● サ

ー

バ に格 納さ れ る場 所に依存し た情報 （コ ンテ ン 　　ッ）に は

，

そ れを従 示で きる端 末の タ イ プに関 する 　　 情報を付 加 する

．

　● ク ライア ン トはネッ ト ワ

ー

クを介して

，

端 末タイプ 　　とユ

ー

_ザの位 置

・

姿 勢 悁 報 をサ

ー

バ に常 時 送 信す る

．

　● サ

ー

バ は ク ラ イ アン トの端末タ イ プ と位 置

・

姿 勢

1

青 　　報に基づ い て

，

ユ

ー

ザの眼 前の シ

ー

ンに関 連 付 けら 　 　れ たコ ン テンツ の中か ら端 末 側で提 示 可 能なもの を 　 　送択 して ク ライア ン トに送 信 する

．

本システ ムが提 供 する卞なコ ン テ ンツは

_，

対象とする 現 実

10

堺 に関 連した映 像

，

音 声

，

ウエ ブマ ッ _プ

，CG

_{物 体} 像

，

注 釈テ キス トである

，

　 本シス テ ム に関して は

，

イン タ

ー

ネッ トカ

ー

を 中 心 とする ア ドホ ッ クネッ トワ

ー

ク を 構 築 し て 平 城宮跡 内 において実 証 実 験が行われ た

．

実験 で は

，

ネッ トワ

ー

ク 共 有 型 注釈デ

ー

タベ

ー

ス を含む サ

ー

バ お よ び無 線

LAN

（IEEE802

．

11b

）の アクセ ス ポ イン ト を平 城 宮 跡 内に仮 設し

，

無線正

AN

の電 波 強 度を 上げる た めに遠 距 離 通 信 用 無 指向性 屋 外ア ン テ ナ を用い て

3

種 類の ク ライアン ト端 末を持つ _{複 数}のユ

ー

ザに対 して観 光 案 内 を行っ た

．

こ のときの HMD を装着 し た ウェ ア ラ ブル コ ン ピュ

ー

タ ユ

ー

ザへ _{の 提 示 画 像の 例 を第} 8_{図 に示す}

，

_第8_図には

，

平 城 宮 跡に おける復 元さ れ た未雀 門へ のナビゲ

ー

ショ ン とビデ オ映 像を父え た説 明 （左

．

k

）， 「城 遷 都1300年記 念 事 業の

一

環として復 元 作 業 が 行われてい る第

一

次 大 極 殿 跡 地へ の ナビ ゲ

ー

シ ョ ン と大 極 殿の歴 史や構 造に 関す る テ キス トに よ る説 明 （右 上）

，

第二次 大 極殿 跡 地前で の

CG

像の 重畳 合 成 と 音声案 内 （左 下）

，

第二次 大 極 殿 の基 増 に おい て

CG

に よ り仮 想 復 元さ れ た大 極 殿 内部か ら外を眺め た様 子 （右 下 ）が示 されてい る

．

な お， こ の 端 末タイプ

_（

1

_）

で の幾 何 的 位 置 合せ の た めのユ

ー

ザ視 点 の位 置

・

姿 勢 計 測は

_{，GPS ，}

歩 数 計測 お よ び姿勢センサ によっ て行っ てい る

．

また

，AR

環境の提 示には ビデオ シ

ー

ス ル

ー

方 式 を採用 してい る

．

樋

第8図 　 平 城 宮 跡で の ウ

ー

L ア ラブルコ ン ピュ

ー

タユ

ー

_ザへ _の 　 　 　 　 提 示 両 像

5 ． 投射 型拡

張

現 実感

システム コ ノピnt

−

Pt クラ イア 姉 無滅 　端 末情 報

，

　ユ

ー

ザ位 置

・

　 　 姿 勢 鯛 覊 瀬 _蝿蜘

鸚

噸

嬲

觀 　 ） ノテソ ノ 　 　 デ

ー

タ 　 　 　 嚇

一

N 第7 図　平 城宮跡ナ ビ が ネ ッ トワ

ー

ク環 境でサポ

ー

トす る3 　 　 　 　種 類の ク ラ イ アン ト端 末 　 VR におい て は

_，

　

CAVE

に代 表 さ れ る ように

，

プロ ジェ ク タからの 映像 投 影に よっ て没入型 環 境 を構築す る こと が主流になっ てい る が

，

投 影対象面 は形状 が既知の 固 定ス ク リ

ー

ンであ る

，

これに対 して

，

近年， プロジェ ク タの小 型 可搬 化に伴い

，

プロ ジェ ク タか らの映 像を現 実 環 境 巾の実 物 体に直 接 投 射 する こと によっ て

AR

環 境 を構 築 する研 究が現れ て きた

_［

16］．

以下 で は

，

この投射 型

AR

シ ステムの例

_［

7］

を紹介する

．

　実環境中の_物体に_{映 像}を投影し

，

ユ

ー

ザ が幾何歪み な く映 像を観 察で きる た めには

，

ユ

ー

_{ザ視 点 位 置と映 像 投}

一36 一

横矢 ：現実世 界 と仮想 世 界を融 合する複合現実 感 技 術

一

V 325 　 　 Y　

．

valv 　 Pittlz 　 　 x 仮 想的な投 影 中心

，

計 測 基 点 　 丁 計 測 基 点

　　　　〆

・

　 　 　 　 ：

．

　

．

　

・

　 　 　← 回 転ミラ

ー

＼

　　　■

　

　

■

　

　

一 　

　

　

．

　

！

夢

ダ イク咐 ・ラ

ー

　

i

　 　 　 プ囗ジェク タ

ー 一

　 　 　 レ

ー

ザレ ンジファイン 中 心 十測 基 点 （a_） （b） 第9図

　

3次元計測機能 を 有 する映 像 投 影 装 置 （_（a_）溝 成

，

_（b_）：外 観） （NTT コ ミュ ニ ケ

ー

シ ョ ンズ

・

島 村 潤 氏の厚 意に よ る） 影面の

3

次元形 状 を計 測 する必 要がある

，

ユ

ー

ザ が自 由 に動き

，

環 境 も動 的に変 化 する場 合には

，

この計 測を実 時 間で行うと ともに

，

幾 何 補T1

−

1

済みの映 像 を実 時 間で提 示しなけれ ば な ら ない

．

島村ら

_［

7］

は

，

このため に第

9

図 の ような

，

プロ ジェ ク タ

，

レ

ー

ザレンジフ ァイン ダ

，

回 転ミ ラ

ー

_，

ダ イクロ イック ミ ラ

ー

か ら な る 映 像 投影装 置 を試 作して い る

．

　この装 置で は

，

プロ _ジェ ク タの投 影 光 が 到 達 する 奈点 の 3次元情 報を取得する た め に

，

プロ ジェ _{ク タ と}レンジ フ ァ インダの両 光軸方向 と投 影中心お よ び計 測 基 点 をダ イク ロイック ミ ラ

ー

で

一

致さ せて いる

．

また

，

広 範 囲の 映 像 投 影と形 状 計 測を実 現 する た めに

，

プロ ジェ クタ と レ ンジフ ァ イン ダ の光 軋 前 方に回転 ミ ラ

ー

を設 置してい る

．

本シ ステム で は

_，

ユ

ー

ザと実 際の映像 投 影 対 象の両 方が レン ジファ インダ で 同時に計 測でき， プロジェ ク タ はその画 角 内の対 象物 体に映像を投射 することが前 提に なっ て い る

．

　本シ ス テ ム の基 本 部であ るユ

ー

ザ視点 （頭部）位 置の 計測 と投 影 映 像の幾 何 補正の概 要を 以 ドに示す

，

ユ

ー

ザ頭部 位 置の計 測： まず ， レ

ー

_{ザ レ ンジフ ァイン ダ} 　　で得ら れ る時系列距離 画 像の フ レ

ー

ム間 差 分によっ 　　て移 動 物 体の候 補 領 域 を検出する

．

つ _ぎに

，

_{人 物 頭} 　　部の形 状を球と仮 定し て

，

移 動物体領 域の距離 画 像 　　から人 物 頭 部の 大き さ に近い _球を探 索し

，

その 中心 　　位置をユ

ー

ザの観 測 位 置とする

．

な お

，

遮蔽物体や 　　背景物 体の影 響に よ る外れ値を除 去するた めに

，

_球 　　を規 定 するパ _ラメ

ー

タ数に対 応 する 4点の反 復ラン 　 　ダムサン プ リン グ に基づ くLMedS 基 準に よ るロ バ 　 　ス ト推 定を採 用し てい る

．

投 影 映 像の幾 何 補正： まず

，

距 離 画像の

3

次元点 をポ リ 　 　ゴン化 して実 環 境の 3次 元 形 状モ デル を作成 す る

．

　　つ ぎ に

，

観測位 置 を光 源と見 なし て

，

四角 錐で構成 　 　さ れ るユ

ー

ザの視 体 積 内に含 まれ るポ リゴ ン モ デ ル

　　

に対して

Projective

　

Tcxture

_法

_［

17

_］

によっ て入力 映 　 　像を逆 投 影 する

．

最 後に_， こ の逆 投 影さ れ た

CG

モ 　 　デル を プロ ジェ ク タ の仮 想 投 影 平 面に透 視 投 影 する 　 　こ と に よっ て

，

プロジェ ク タ か ら投 射 すべ き幾 何 補 　 　

．

［

E

像を得る

。

　実 際に観 察 者を含む動 的な環 境に おい て映像提 示 を 行っ た例 を第10図に示 す

．

同 図の上段には環 境中の観察 者の様了

・

，

中段に は距 離 画 像上で検 出さ れ た観察者の頭 部位 置

，

ド段には_観察者 視 点か ら見た提 示 映 像が示さ れ てい る

，

　こ こ で紹 介し た システムで は

，

動的実環境へ の実 時 間 補 正 映 像 投 影に よっ て投 射型

AR

を実現 し てい る

，

ただ し

，

補 正 処 理は幾 何 補正のみであ り

，

映 像が投射さ れ る 実 物 体 表 面の反射 特 性の不均

一

に よ る色 ずれ を補正する 光 学補 正 は 行 わ れてい ない

．

光 学 補IE機 能の導入によっ て

，

_「どこ で も ディプレイ」 「スマ

ー

ト プロ ジェ ク タ」

_［

ユSl の 実 現が期 待さ れ る

，

ま た

，

現状の 試作シ ステム は比 較 的大 き く据え置 き型の シス テ ム に なっ てい る が

，

プロ ジェ クタ とレ ンジファインダの小型化が進めば可搬 型シ ステム も可能となろ う

．

6 ．

　 お わ り に 　本 稿で は_， 連 載 講座 「現 実世界と 仮 想

IUr

界を 融 合 す る 複合現実 感 技 術 」の第五 回と して

，

前 回述べ た 電子的 な デ

ー

タを現実世界に重 畳 表 示 するこ とによっ て現 実 世 界 を増 強

・

強 化す る拡 張現実 感の具 体 的 なシ ステム を紹 介 し た

．

い_ずれも試作システム の段 階であ り

，

1

垠定 され た 環 境で の実 証に と ど まっ て い る が

，

今後は

，

これらの プ ロ トタイ プシ ス テ ム の発 展 形と して実 利用 可能な システ ムの出現が期 待され る

．

　　　　　　　（

2006 年5月4日受 付

_）

参 考 文 献 ［1］横 矢：現 実 世 界と仮 想 世 界を融 合す る複 合現実感技 術

一

　 IV 拡 張 現 実 感の方 法 論：シ ス テ ム／制_{御 ／情}報

．

　Vol

、

5〔〕

，

326 システム_！制_{御 ／情 報} 第 50巻 第8 号



_（2006_）

第 10 図　動 的 環 境での投 射 型 拡 張 現 実感 （上段

　　　　　ケ

ー

シ ョ ンズ

・

島 村 潤 氏の厚 意に よ る）

観 察者の様子， 中段　観 察 者の頭 部 検 出

，

下 段　観察映像 ） 〔NTT コ ミュ ニ

　　No

．

6

，

　pp

．

238243 _（2006_）

［2］II

，

　Kato　and 　M

．

　Bi1】iIJghurst： Markcr　trackiIlg　aI］d

　　HMD 　_calibratioIl 　

for

　_a、_{vide （Fbased 　augmented 　reality}

　　C ltference 　systClll _；∬〕_f

’

OC

．

2nd　

IB’

E

’

E ／

A

　

CM

∫nt

．

玩」

（）rk

−

　　shop on Augmented Reality_（JVVAR ，₉₉

）

，

　pp

．

85　94

　　（1999 ）

［3］M

．

BilhnghurstT 　H

．

　Kato　and 　I

．

　Pollpyre、

・

：The　Mag

−

　　icBook Moving 　scanllessly 　between　reality 　and 　vir

−

　　tllality；IEEE 　Cornputer　

Gra

_ゆh？lcs　and 　

4pp

齔αめ乞o児5

，

　　Vol

．

21

，

　No

．

3

，　pp

、

6

−

8（2001）

［4_］M

，

Billinghtirst

_，

　H

．

　Kato　aIld　I

．

　Poupyrcv：The　Mag

−

　　icB ok ： Atransitional　AR 　jI】t

・

erface ： Compu

，

ter　8

　　C；raphics

_，

　Vol

．

25

，

　_pp

，

745753 _（20〔〕1_）

［5］大島

，

佐藤

，

山本

，

m村：AR2 ホッ ケ

ー

：協調 型複合 現 実

　　感システム の実 現：日本バ

ー

チャル リ ア リ ティ学会 論 文

　　誌，

V61．

3

，

　

No ，

2

，

　pp

．

55

−

60 （1998 ）

［6］R

，

Temnoku ，　Y

．

　Nakazato

，

　A

，

　AIIabuki

，

　M

，

　Kanbara

　　alid　N

．

　Yokoya：Nara　Palace　Site　Navigator：Device

−

　　iIldependellt　hllmal】 【lavigation 　using 　a　networked

　　shared 　d

．

ztabaase ； Pr

’

oc

．

10th　Int

．

　C

”

onf ！ or）

．

　Virtitat

　　Systerns　a

’

rtd_{Muttimedia　（}

VSMM2004

_丿

，

_pp

．

₁₂₃₄

−

　　1242（2004＞ ［7］島村

，

荒 川： プロジェ ク タを用い た動 的実環境にお ける 　　観 測 位 置 依 存 映 像 提 示；凵本バ

ー

チャ ル リ ア リ テ ィ学 会 　　論 文 誌

，

Vol

．

10

_，

　No

．

　21　_pp

．

145

−

153 _（2005_＞ ［8］出凵：射 影 幾何 学に よ るPIIPカメ ラ補正 問 題の統

一

的 　　解 法；コ ンピュ

ー

タビ ジョ ン

’

90

・

一

一

．

ビ ジョ ンと環境理解

〜

　　シンポ ジ ウム論 文 集

，

pp

．

4］

．

50 （1990） ［9］ 高橋

，

石 井

，

牧 野

，

中静：人工現 実 感 イン タ フェ

ー

ス のた 　　め の単眼 画 像か らのマ

ー

カの位 置と姿 勢の計 測：電子情 　　報 通 信 学 会 論 文 誌 _（A）

，

Vol

．

　J79

−

A

，

　No

．

3

，

　_pp

．

804812 　　（1996）

［1｛」_］1部Jnt

，

_A

．

zagmented _{Reality　 T}（）olkit_VVoτ

’

kshop

　　 （4RTO2丿

，

　Darmstadt （2002）

［11｝2ncl　lnt

．

　A

’

ugTnented 島 α♂_勘　Toolk

’

ie　LVorh

’

sitoP

　　 （

ARI 「

03丿

，

　Tbkyo （2003）

［12_］　htt

，

₁）；／／artoolkit

．

sourceforge

．

net

．

_／

［13］D

．

Wagner

，

　T

．

　Piritaric

，

　F

．

　Ledcrmanli 　and

　　 D

．

Schmalstieg： T｛）wards 　massively 　iriulti

−

user 　aug

−

　　 mentcd 　reahty 　on　haIldlleld　deviccs；　Proc

．

3rd

　　 ∬nt

・Cortf

・

OTt　

PeT’

vasii／e σo川P厩珈g　

rP

印 マ

，

α5 乞t評e2005 丿

、

　　 pp

．

208

−

219 （2｛〕05）

［14］K

．

Kiyokawa

．

，

　H

，

　Takemura 　alld 　N

．

　Yokoya：

SeaII1

−

　　 lessDesigIl　f（）r　3D　oh

_．

iect

　creatiolL _；fEEE 漁 伽M εd忽

　　 Vol

．

7

，

　NO

．

1

，

pp

．

22　33 （2000）

［15］KMakita

，

　M

．

　Kanbara 　and 　N

．

　Yokoya：Shared　an

−

　　 notation 　database　for　iletwerked 　wetarable 　augmented

　　 reaiity　sy8tem ；Proc

．

　S）th　Pα6_頑c

一

襯 7η Corif

．

　on 　nful

−

　　tirrtedia（PCiM2004 ノ

．

　Ve］

．

3

，

　pp

．

499　507 （2004）

［16_］



「投 影 型インタフ」

．

一

ス

1

特 集_；日本バ

ー

チャ ル リ ア リ

　　

テ ィ学 会論 文 誌

，

Vol

．

10

_，

　No

．

2 _（2005 _）

［171M

．

　Segal

．

　C

．

　Kor bkiIl

，

　R

，

　V

，

　Windenfclt

，

_，　J

．

　Fora

．

n

　　aIld　P

．

　Ilaeberli：Fast　shadows 　and 　liglltillg　effects　us

−

　　illg　text

．

ul

’

e　ma

．

PPiIlg；Proc

，

　

SI

（穿

GRAJ

）U

，

92

，

　PP

．

249

　　252 （1992＞

［18］O

．

Bimber，　A

．

　Emlnerling　and 　T

，

　Klcmmer ： b］in

−

　　bedded　elltertainmcnt 　with 　srrla

．

rL　project rs；JEEE

　　（t

”

07nputer

，

〜bl

．

38

，

　No

．

1

，

　pp

，

48

．

−

55 （20〔｝5）

，

Lこ　　や 横 矢 す 冂 か 壬 − 鯑 直 著 者 略 歴 学 会誌V61

．

49

，

　N 

．

12 ，　p

．

494参照

一38