講 座
現
実 世
界
と
仮
想 世
界
を
融 合 す
る
複 合現 実感技 術
一
IV
拡 張 現 実 感
の
方
法論
横 矢 直 和
＊1 ．
は じ めに複 合 現 実 感 （
MR
）技 術［
1］
の中で，
今同 は，
仮 想世界の 電 子 的 な デー
タ を 現 実 世界に 重 畳表示 す るこ とによっ て 現 実 世界を 増 強・
強化す る拡 張 現 実 感 （AR
：Augmented
Reality
）技 術［
2，3］
につ い て述べ る．
AR
は，
近 年，
現 実 世 界と仮 想 世 界の継 ぎ 目の ない融 合に よ る新 しい映 像 合 成 法として の役 割と ともに，
ウェ ア ラ ブル コ ンピュー
タを用いて場 所に依 存し た情 報の直感的 な提 示を 可能に するこ とか ら，
実世界指 向の新しい情報提 示手段と して の ロ∫能性 が 注 目 さ れている．
AR
における中心的な技 術 課題 は，（
1）
ユー
ザの視 点 移 動に応じて現 実 世 界と仮 想 世 界 を継 ぎ 囗 な く融 合・
提 示 すること と，（
2）
ユー
ザが いる場 所と状 況に応 じて必 要 な情 報 を効果的に選 択・
提 示 することである．
現実世界 と仮 想世界の継 ぎ目 が分か ら ない ように両 世 界を 融合し，
自由な視 点 移 動を行うユー
ザに違 和 感なく 提 示 するた めには， 以 下の よ うな 両 世界の間の整 合 性問 題を解 決しな けれ ばならない．
● 幾 何 的 整 合 性 ：AR
環境を観 察す る際に違和 感が 生 じ る最大の要因 は，
実 物 体と 重 畳合成 さ れ た仮 想 物 体の視点移動に伴 う位 置 ずれである．
こ れ を解 消 す る た めには，
ユー
ザの視 点 移 動に関わらず 現 実 世 界 と仮 想 世 界の座 標 系を一
致させ る必要があ り，
こ の 問題は幾 何 的 位 置 合せ とよば れる．
幾 何的位 置 合せ は，
ユー
ザ視点の位 置と向きを実 時 間で計 測す る問 題 に帰 着 する．
現 実 世 界と仮 想 世 界の問の幾 何 的 整 合 性と しては，
実 物 体と仮 想 物 体の奥 行 き隠 蔽 関 係 を保っ た映 像 合 成 も重 要 な 課 題となるが，
こ の場 合 に は，
ユー
ザ 視 点か ら見た現実LU
界の奥 行 き情 報の 実 時間取 得が 必 要 に な る，
● 光学的整 合 性 ：重畳合成 さ れ る仮 想 物 体が写 実 性の 高いCG
オ ブ ジェ ク トであ る場 合に は，
現 実 世 界と 仮 想 世 界の照 明 条 件の不一
致によ る画 質の不 連 続 が 違 和 感を 生 じさせ る主 要 な 要 因となる．
こ の問 題 を 解 消 するため に は現 実 世 界の 光 源 環 境 を推定しなけ れ ば な ら ない．
ま た，
光 学 的 整 合 性 を 厳 密 に 実 現 し ようと す る と，
融 合 空 間 に お け る実 物 体と仮 想 物 体 の相互影づ けや相互の映 り込み表 現 も考 慮 しな けれ’
奈 良先 端科 学技術 大学院大学 情報科 学 研 究 科Key words ： mixed reality
，
augmcntcd reality，
geometric registration ， photometric registra．
tion，
view maIlagelnent．
ばな ら ない
．
こ の場 合には，
現 実 世 界の光 源 環 境に 加えて， 現 実 世 界の 3次 元 形 状や表面反射 特 性の推 定 も必 要になる．
これら の光学的 整 合 性問 題は光 学 的位 置 合せと総称さ れ る．
● 時 間 的 整 合 性 ：幾 何 的整合性 と光 学 的 整 合 性を確 保 し ようと す る と，
上 述の ようにユー
ザ視 点や現 実 世 界の計 測が必 要であ り，
必 ず 時 間遅れ が発牛する．
ま た仮 想 物 体の描 画に も計 算 時間を要する，
AR 環境を光 学シ
ー
ス ルー
方 式国
で提 示 する場 合には，
こ の現実 世界と仮 想世界の時間 ず れ が大 きい と，
幾 何 的 整合 性や光 学 的 整 合 性の破 綻につ な が る．
こ のた め，
現 実 世 界と仮 想 世 界の融 合 処 理に伴 う時 間 遅 延 を極 力 抑え る必 要がある．
た だ し，
こ の問 題の完 全 な解 決は原理的に難しい．
ウェ ア ラブ ル コ ン ピュー
タ 上 でAR
を 実 現 す る ウェ ア ラ ブル拡張現 実感に おい て は，
現 実 世 界を自 由に動 く ユー
ザの い る場 所と状 況に 応 じて必 要な情 報を効 果 的に 提 示 する た め に，
前 述の課 題に加えて以 ドの課 題 が 重 要 にな る．
● ビュー
マ ネー
ジメ ン ト：現 実 世界の 対象に 関連づ け られ た多数の 注釈情 報 が存在 す る 場 合 には，
そのす べ て を 視覚的 に 重 畳表 示す る と，
眼 前の シー
ンが 注 釈で被い尽 く され る とい う 事 態 が 発 生 するた め， ユー
ザに必 要 な情 報 をい かにして選 択 するかが最 も 重 要 な課 題となる，
さ らに，
選 択さ れた情 報 をユー
ザの視 野 内にいかに効 果 的に配 置 する か が重 要で あ る．
また，
現 実 世界に お け る対象物体のユー
ザ位置 か らの 可 視判 定や 注釈 情 報の奥 行き感の提 示も含め て，
注 釈と そ れ が関連づ けら れて い る対 象 物 体との 対 応 関係 をユー
ザにいかに直 感 的に提 示 する かとい うユー
ザ インタフェー
ス面で の課題 がある，
以下，
本 稿で は，
幾何 的 整 合性，
光 学的 整合性，
ビュー
マネー
ジメ ン トの各課 題 を解決す る た めの基本 的な方 法 論の整理 に重点をおい て，
最 近の ト ピックを交えてAR
の要 素 技 術を紹 介 する．
2
．
現 実 世 界 と仮
想 世界
の幾何
的 整合性
AR
に おける幾 何 的位 置 合せの簡 単 な例を第 1 図に示 す．
現 実 世 界と仮 想 世 界の座 標 系 が 致 して いれば，
あ る位 置か ら眺め た現 実 世 界の映 像 （第1
図（
a）
）に実 物 体であるサ イコ ロ の稜 線の ワイヤー
フ レー
ム を重 畳表示する と， 同 図
（
b）
の ように 正 し く 表 示 さ れ る が，
視 点が 変 化 する と1
司図（
c）
の ように位 置ずれ が 牛 じ る．
これは，
視 点 を 中心に表 現 されてい る仮 想 世 界の 座 標 系が視 点の 移動に よっ て現 実 世 界の座 標 系とずれ た た めで ある．
視 点の移動後に第1
図（
d）
の ように正 しい重 畳 合 成を行 う た めには，
視 点の位 置 と向 き を実 時 間で計 測 して仮 想 世 界の座標 系を変 換 し な け れ ば な ら ない．
（a）柔見点 1 灘 （b
）視点1 （整 合性 あ り〉，
謹tt
（c）視 点2 （整 合 性 な し）（d）視 点2 （整 合 性あ り） 第1図 ユ
ー
ザ視点 画像に対 するCG の重畳合 成に おける幾 何 的 整 合 性AR
に お ける幾 何 的 位 置 合せ のた めに は，
先に も 述べ た ようにユー
ザ視点の位貴・
姿勢の実 時 間計 測が不 可 欠 である．
このた めの基本 的な方法 論は，（
1）
バー
チャル リ ア リテ ィ （VR ）に おい て古く か ら利用 さ れ てきた3
次元 磁 気セ ンサ等のセンサ を用い る方 法と，
（2
）ユー
ザの視 点 位 置に取 り1
’
」け られた カメ ラ で撮 影し たマー
カの画 像 上の位 置 か らマー
カ座 標 系に対 するユー
ザ 視 点の位 置・
姿勢 を 推 定 す るビジョ ン ベー
ス手 法に大別さ れ る．（
1）
のセンサ を用い る方 法は，
ユー
ザの移動範囲 が限 定され てい れ ば，
ユー
ザ 視 点の位 置・
姿 勢を高精度に計測する こ とがで きるが，
屋 内外の広 範 囲を自山に 移動 するユー
ザに対 して連 続 的に幾 何 的 位 置 合せ を実 現 する単．
一
のセ ンサ は存 在しない．
また，（
2）
の ビ ジョ ンベー
ス トア プ ロー
チ は 適 用環境 は 限定さ れ ない が，
広 範 囲にマー
カを 配 置する ことの非 現 実 性と と も に，
推 定 精 度 と環境 変 動 に対 するロ バ ス ト性の低さ が問 題に な る．
以 ドでは，
ビ ジョ ンベー
ス トア プロー
チの概 要と屋 内 外で の位 置 合せ に利用 さ れ てい るセ ンサベー
ス トアプロー
チの具 体 例を 紹介する．
2 ．
1
ビ ジョ ンベー
ス トア プロー
チによる幾 何 的 位 置 合せ ビジョ ン ベー
ス トァプロー
チ で は，
ユー
ザの視 点 付 近に 取 り付 け られ たカ メ ラ で取 得 した映 像か ら3
次元位置が 既知の マー
カや特 徴 点 を抽 出し，
その画 像L
での位 置 情1
世 界座 縣 か 漿轢 貘繍 糞攤讖 難難 韈 第2 図 ビ ジョン ベー
ス の幾何 的 位 置合 せの基 本 原 理 報 か らコ ンピュー
タビ ジョ ン におけるPnP
（Perspective
n−Poillt
＞問題［
4］
を解 くことによっ て，
マー
カ 座標 系 （世 界座 標系）に お け るカ メ ラ，
す なわちユー
ザ視 点の位 置 と姿 勢を決 定す る．
PnP
問 題の図 解 を第 2 図 に示 す．
3 次 元 空 間 内の特 徴 点p の 3次 元座標Sp ＝
（x，y
，z）と 画像 上で の検 出座 標勘＝
（u，のとの 関係か らマー
カ座標系で の カ メラの位 置・
姿 勢 （カメ ラ外 部パ ラ メー
タ）M
を求 め る．
この 問 題 を線 形に解 くた めには，一
般に は6点以 上，
平 面 ヒの点の場 合に は4点以E
の対 応が 与え ら れ る 必 要が あ る．
具 体的 な 解法で は，3
次元座 標Sp
を変 換 行 ア ア 列M によっ て画像上 に 投 影 し た 座 標％＝
（u，
u ）と検 出 座 標卿，の 問の 二乗 誤 差 和 E一
Σ
II4
−
・ ，1
ド
P が 最 小 に な るような変 換 行 列ftfを算 出 する．
AR
に おい て は，
様々なマー
カ パ ター
ン が考 案さ れて い る が，
最も単純で よく用い ら れ るの は正方 形マー
カ で ある．
こ の場 合，
平 面 トの既 知の4
点か らマー
カ座 標 系 にお けるカメ ラ （ユー
ザ視 点）の位 置と姿勢を決定する，
このP4P
解 法に基づ く加 藤らに よっ て開発さ れ たAR
ソ フ トウェ アARToolKit ［
5］
が 世 界 的に広 く流 通してい る．
ビジ ョ ン ベー
ス ト ア プロー
チ は，
常にマー
カ が撮 影さ れ る ように多 数のマー
カ を 環 境 中 に密に 配置 すれば，
屋 内 外 を 問わず 適 用で きる とい う意味で は汎用性が高い．
しかし， 建 物 内に多 数のマー
カ を配 置する と景 観を損な うとい う問 題や，
屋 外では広 域に マー
カ を密に配 置 する こ と 自体が難しい とい う 問 題 が ある．
こ の た め最 近で は，
前者の 問 題 に対し て は半透 明の 再 帰 性 反 射 材を用い たマー
カが考 案さ れている ［6］．
ま た，
後 者の問 題 に対し て は， 環 境 中の 自然 特 徴 点をラ ン ドマー
ク と してマー
カ の代 わ りに利 用 する ア プロー
チ が 提 案 されてい る［71．
自 然特徴点の追 跡に基づ く幾 何 的 位 置合せの例を第 3 図に 示 す．
ビ ジョ ン ベー
ス トアプロー
チの弱 点の一
つ は，
マー
カ や特 徴 点の追 跡の失敗によっ て位置合せ が破 綻 するこ と で ある．
こ の ロ バ ス ト性の 向上には，
適 用環境 を 限定す れ ば，
ユー
ザ 視 点カ メ ラ以外に第三者 視 点の カメ ラを利 用 す る方法や加 速 度セ ンサ・
ジャイロ セ ンサ等の併 用が一
一
（a）自 然 特 徴 点ラン ドマ
ー
ク の検出 （b）位 置 合せ結 果に基づ くCG の重 畳合成 第 3図 自然 特 徴 点 追 跡に よ る幾 何 的 位置合せ 有 効である［8
］．
以 ヒ は現 実 壯界 と仮 想 世 界の座 標 系の位概合せ に 関 する議 論で あっ たが，
視 点 位 置に 取 り付け られ たカ メラ を利 用 する手 法は，
両 眼ス テレオカ メラ を用いるこ と に よっ てユー
ザ視 点位 置か らの現 実 世 界の奥行き情 報を取 得する こ とが でき，
座標 系の位 置 合せ と同 時に，
実 物 体 と仮 想 物 体の奥行き隠 蔽 関 係の表 現 も可 能になる，
実 際 に，
座 標 系の位 置 合せ と奥 行 き隠 蔽 表 現 を実 現 する ビ デ オ シー
ス ルー
型ス テレオHMD が 開 発 さ れ てい る ［9］．
2 ．
2
屋内環 境 に お け る 幾 何 的 位 置 合せ 屋 内 環 境での据 置 き型AR
シス テ ムでは，
AR
研 究の 初 期 か ら3
次元 磁 気セ ンサ に よっ てユー
ザ視 点の位 置・
姿 勢を計 測す ること が行わ れて き た が， ユー
ザの移 動 範 囲が た か だ か数メー
トル に限 定さ れ，
自 由に動き回 る ユー
ザに は対 応で き ない．
現 在の ところ，
広範囲 を移 動 するユー
ザに対し て連 続 的に幾 何 的 位 置合せ を実 現 する 単一
の セ ンサ は存在せず，
位 置 計 測 用の環 境イン フ ラ に よ る絶対位 置 同定と装 着セ ンサによる相 対 移 動 量 計 測を 組 み合わ せ た手 法を採るこ と が多い （第 4 図 参 照 〉．
・ 絶 対 位 置同定 ：環 境 中に位 置 計 測 用の インフ ラ と し て位 置ID を発 信 する赤外 線ビー
コ ン発 信機やRFID
タ グを設置し，
ユー
ザ が 装着し た赤 外 線 受 信 機や タ グ読取装置 を用い て，
ユー
ザ が環 境イン フ ラ の受 信 範囲に到 達し た時 点で絶 対 位 置を同定 する．
環 境イ ンフ ラと して前 述の画 像マー
カを配 置 し，
ユー
ザ視 点カ メ ラ で取 得した画 像か らマー
カID
を認 識 する こ とに よっ て位 置 を同定することもできる．
● 相 対 移 動 量 計 測 ：環 境インフラ問を移 動 する間は，
ユー
ザ が 装着し た電 子コン パ ス と加 速 度セ ンサ等に よっ て歩 行 動 作を検 出し，
歩 幅に基づいて直 前の絶 対 位 置 同定 位 置から の相 対 移 動量を算出 す る．
な お，
’
欝
凝
麟
繊 鑞 靉 第4 図 環 境イン フラ を用いた絶 対 位 置 同 定と歩行計測によ る位置推 定 ユー
ザの平 均 歩 幅は事 前に計測 して お く必 要 が あ る，
ユー
ザの姿勢計測に は別 途，
姿 勢セ ンサ が必 要である．
歩 数計測 に 基づ く相 対 移 動 量 計 測は一
般に移 動 距 離に対 し て10
％〜20
％程 度の誤 差が発生 し，
移 動 距 離と ともに 誤 差が蓄 積 する．
こ の た め，
相 対 移 動 量 計 測の誤 差 を考 慮 して環 境 インフ ラ の設 置 間 隔 を決 定 する 必 要 がある．
環 境インフ ラの設 置 間 隔 を 大 き く し 設置 数を減ら す た め には，
相 対 移 動 量の計 測 精 度 を 上 げ る 工夫が 必要になる．
2 ．
3
屋 外 環境にお け る幾何 的位 置 合せ 屋外 環 境で の位 置 計 測には汎 地 球 測 位 装 置 （GPS
）の 利用 が一
般 的であ り， GPS と姿 勢セ ン サ の組 合せ によっ て幾 何 的位 置 合せを 実 現 するこ とが多い．
ただし，
通常 のGPS
はIHz
で し か位 置 情報が得ら れ ない た め，
ユー
ザの視 点 移 動に応 じ て連続的な位置 計 測が求め ら れ るAR ．
に おい て は位 置デー
タ の補 間が必 要になる．
位 置 計 測 精 度の向．
h
とデー
タ補 間の 問 題を 同時に解 決 する た めに， リ ア ル タイム キ ネマ ティッ クGPS
（RTK −GPS
＞ とファイバー
ジャ イロ を 内蔵し た慣性 航 法 装 置の ハ イ ブ リッ ド化 も試み ら れ てい る 卩0
】（第 5 図 参 照）．
第 5図 RTK−
GPS と慣 性 航 法 装 置のセ ンサハ イ ブリッ ド RTK−
GPS を用い る こ とに よっ て，
十分 な数の 衛星 が 捕 捉で きれば数セ ンチメー
トルの位置 計 測 精 度 が得ら れ，
ナ ビゲー
シ ョ ン等を目 的と し た通 常の屋 外AR
に は ［一
分 で ある，
し か し，
ビ ルが建ち 並 ぶ都 市環 境 等では衛 星の捕 捉 状 況 が悪 化 し
，GPS
の精 度が大幅に低下する，
こ の た め，
屋外での ロ バ ス トな位置 合せ には前述の ビジョ ン ベー
ス トアプロー
チの併 用が考 えら れ る．
これ に よっ て，
屋 内外にわ た るユー
ザの移 動に も対 応で き よう．
3
． 現
実 世界
と 仮 想 世界
の光学
的 整 合 性AR
におい て光 学 的整合 性の破綻が一
目で分 か るのは，
現 実1
凵堺 の光 源 環 境と仮 想 物 体を描 画 する際の照 明 条 件が一
致 し て い ない場 合と， 現 実 世 界に落とす 仮 想 物 体 の影が 正 しく描 画され てい ない場 合である，
た と え ば， 第6
図（a）で は，
仮 想 物 体 （ティー
ポッ トのCG
）が実物 体のテー
ブ ル 上 に落 とす影が ない た め，
仮 想 物体が空中 に浮い てい る ような不自然な印象を受け る．一
方，
同図（
b）
で はテー
ブルk
の影が描 画さ れてい る た め，
テ ィー
ポッ ト が実 際に テー
ブル の上 に置か れてい る ように感じ る．
以 下，
本 節で は光 学 的 整 合性に関 わる基 本 的 な課 題 と具体的 な アプ ロー
チ につ いて述べ る．
（a．
〉光 学 的 整 合 性 なし （b）光 学 的 整 合 性 あ り 第 6図 光 学 的 整 合 性の有 無3 ．
1
現実 世界と仮 想 世界の陰影 合 せ 現 実 世 界を撮影し た画像にCG
オ ブ ジェ ク ト を重畳合 成 する場 合，
照 明 条件の違いに起因する実 物 体と仮 想 物 体の表 而の陰 影 矛 盾を なくすた めには， 画 像 撮 影 時と同 じ照明 条 件で GG を描 画 する必 要が ある．
現 実 環 境に存 在する光 源の位 置 と種 類が 既知で一
二次反射の影 響が無 視 できる場 合に は，CG
を描画する際の照 明条 件の設定は 容 易で あ る が，
一
般に は 二次反射が無視で きず，
周囲の 環 境全体を光 源と見な し た大域的な光 源 環 境の推 定が 必 要に なる．
光 源 環 境の推 定に は以 下の よ うなアプロー
チ がある．
● 光源 環境の直接 撮 影 ：全 方 位カ メ ラや魚眼カ メラを 用い て全周 囲の光 源 環 境を撮影す る方法で あ る．
撮 影さ れ た画 像か ら光 源を検 出 する，
1枚の画像か ら で は光 源の方 向 しか決ま ら ないが，
ス テ レオ視に よって光 源 まで の距 離を推 定 する こ とが で きる
［
11，
12］
．
光源の 強 さと色 を正確に推 定 する た め に は，
取 得 画 像の 高ダ イ ナ ミッ クレンジ化の 工夫が 必 要 に な る，
● 光 源 環 境の間 接 撮 影 ：形 状が既 知の 凸 面 鏡に 映 る 環 境の鏡 像を撮 影 することに よっ て全周 囲の光 源 環 境 を推 定 する方 法で あ り，
球 面鏡を用い るこ と が多い
［
13］．
この 場 合 も，
光 源の 強 さと色 を正 確に推 定 す る た め に は，
高ダ イ ナミ ッ クレンジ画像の取得が 必要である，
AR
で は，
ユー
ザ視点カ メ ラを用い る ビ デ オシー
ス ルー
方 式との相 性の 良さ か ら，CG
合成位置に置か れ た 球 面 鏡をユー
ザ視 点カメ ラで撮 影 する間接 撮 影 法が利 用 さ れ る，
ま た，
この球 而 鏡 と画 像マー
カ を組み合わ せ る こ とに よっ て，
幾 何 的 位 置 合せ と光 学 的位 置 合せ を同 時 に実現する試み もある［
14，
15］
（具体 的 な 方 法につ い て は 後述 ）．
3 ．
2
実 物 体 と仮想 物 体 の 相 互 影づけ お よ び 映 り 込み の表 現 光 学 的整合 性を厳 密に達 成 し ようとする と，
実物体と 仮 想 物 体が相互に落とす 影や相互の映 り込 み現象を表 現 しなけれ ば な ら ない，
こ の場 合には，
前 述の光 源 環 境の 推 定に加えて， 現 実 世 界の 3次 元 形 状と表 面 反 射 特 性を 推定する必 要がある．3
次元形 状 推 定に は幾 何 的位 置 合 せ にも用い ら れ るステ レオ視 等のコ ンピュー
タ ビ ジョ ン （CV
）技 法が有 効で あり，
表而反射特性の推定に は本連 載 講座の 第11
口1
［16 ］で紹 介し た インバー
ス レンダ リン グ［
17iの手 法が利 用で きる．
CG オ ブジェ ク ト に対 する現 実 世 界の映 り込み表 現は 全 方 位画像 を用い た環 境マ ッ ピング［
13］
に よっ て比 較 的 容易に実現で きる，一
方，
実 物体に対 するCG
オ ブジ ェ ク トの映 り込 み を表現 し ようと す る と，
実物体の3
次元 形 状と表 面 反 射 特 性の同 時 推 定が必 要に なり，
問題 が格 段に難しくな る，
3．
3
光 学 的整 合 性 を考 慮 した拡 張 現 実 感 以 卜，
概 観 した ように，
光 学 的 整 合 性を達 成 する た め の基 本 的 な 方 法 論はCG
やCV
の分 野に存 在 する．
し か し，AR
に お け る 最 大の 困 難 は，
連 の計 測 処 理 と 描 画 を 現 実1
凵堺 の 変 化 と 視 点 移動に 応 じて実 時 間で実 現 し な けれ ばならない とこ ろ にある．
この た め，
すべ て の光 学 的 整 合 性 問 題 を解 決 したAR
シ ス テム は存 在 し ない．
こ こ では，
正 方 形マー
カ と球 面 鏡 を組み合わ せ た3
次 元 マー
カ （第7
図 参 照 ）に よっ て幾何 的位 置合せ と同時に 光 学 的 整 合 性の い くつ かの 課題 を簡 易 的に解 決し てい る シス テム の 事例卩4］を紹 介す る．
処 理の流 れ は 以 下の通 りで あ る．
（
ユ）3
次 元マー
カを撮 影 した画 像 か ら正 方 形マー
カ領 域 と球 面 鏡 領 域 を抽 出 する．
（
2）
正方 形マー
カ の 画像L
で の 四つの頂 点 座 標か らマー
カ座 標系にお け る カメ ラ の位概・
姿勢 を決定す る，
（
3）
球 面 鏡 領 域の色 と明る さ か ら光源 環 境 （光源の 方 向・
強さ・
色 〉を推 定 する．
（
4）
推 定され たカ メ ラ位 置・
姿 勢 情報と光 源 情 報をもと に仮 想 物 体の陰 影 と実 物 体に落 とす 影 を描 画 する．
実シー
ンを観測し たと きの球面鏡 領 域の画 像 と推定さ れ た光 源 環 境マ ップ を第8
図に示 す．
こ こ で は，
マー
カ 位 置を中心と し た ドー
ム上に分 布 する小 球の大き さで光 源の強さを表 現し て い る．
実 際に 2種 類の異なる光 源 環一
第7図 3次 元マ
ー
カ 第8図 3次元マー
カ の球 面 鏡 領 域の画 像 （右E
）と推 定さ れ た 光 源 環 境マ ッ プ 鏤 鑼鑼 難 膿嬲i鯊 鵬iil 難鑿萋蠶 羅 灘＿
tttttttt
tttt
tttt
tt
’
tま・
萋羅難 萋iii縄糊‘’
一
（a） （b
） 第 9図 光 学 的 整 合 性 を考 慮 した 仮 想 物 体の重 畳 合 成 境下でマー
カ位 置に仮 想 物 体の テ ィー
ポ ッ ト を配 置し た ときの重畳合 成 画 像を第 9 図に示 す．
同 図（
a）
と（
b）
で は，
光 源の種 類 （強さ と色 ）と ともに観 察 視 点が変 化し て いる，
本手法で は光 源 まで の距離が わか らない た め，
マー
カ内の球 面 鏡を中心 と し た 十分に 大 きい球面 ドー
ム 上 に光 源が存在す る と仮 定し て描 画を行っ てい る．
この ビデオ シー
ス ルー
合 成の フ レー
ム レー
ト は通 常のPC
を 用い て約10fpsで ある．
4
．
ビュ
ー
マネ
ー
ジメ ン ト 広域環境を移 動 するユー
ザに対して場 所に依 存し た情 報 を提 供 する実 用 的 なAR
シ ステムを 開 発 する た め に は， ユー
ザのい る場 所 と状 況に応 じて，
何 を どの ように提 示 する かとい う広い意 味での ビュー
マ ネー
ジメ ン トが重 要 で あ る．
こ の課題 につ い ては 十 分 に研 究が行わ れてい る と は言いが たい．
以 ドで は，
ビュー
マ ネー
ジメン トに関 わる課題を整 理 する．
4．
1 情報フ ィ ル タリング 近 年，
広 域 環 境 を 自 由に動 き回るユー
ザを想 定した ウェ ア ラ ブルAR
シ ステム に関して は，
場 所に依 存した 注 釈 情 報をネッ トワー
ク共 有型 デー
タベー
ス に蓄え，
多 数のユー
ザ を同時にサ ポー
トする サー
バ・
ク ラ イア ン ト 方 式の考え方が一
般 的に なりつ つ ある．
こ の場 合，
デー
タベー
ス には広 域 環 境の実 物 体に関 連 付 けら れ た大 量の 注 釈 情 報 が 存 在 するこ とにな り，
個々 のユー
ザに どの情 報 を提 供 する のかとい う情 報 選 択の問 題 が 生 じる．
情 報 選 択の 方法と し て は 以 下の ようなもの が考 えら れ る．
・ ユー
ザプロフ ァ イル に基づ く情 報選択 ： これは通 常 の情 報シス テム にア クセス する場 合と同じ で，AR
システ ム に固 有の 方式で は ない．
個々 のユー
ザの 特 性 を記 述 した プロ ファ イル情 報 が サー
バ に格 納 さ れ ていれば，
その情 報に基づいて提 供 すべ き情 報 を絞 り込 むこ とが で きる．
● ユー
ザ 位置に 基 づ く情 報選 択 ：AR
システム に代 表 さ れる場 所 依 存 情 報 提 供シ ス テ ム に固 有の方 式で あ り， ユー
ザ が 現 在い る位 置か らある範 囲 内の実 物 体 に関連 付 けられている情 報の みを選 択 する，
た だし， 単 純にユー
ザ 位 置か らの距離 情 報のみ に基づく選 択 で は 不 十 分であ り，
ユー
ザ位置か らの実 物 体の可視 判定が 必要な場合もある．
● ユー
ザの置かれて い る状 況に基づ く情 報選択 ：ユー
ザが欲 して い る情 報を提 供 する とい う観 点か ら は， 状 況 判 断に基づ く情 報 選 択が最 も重 要である．
し か し，
ユー
ザ の シス テム利用経験に よっ てユー
ザ プ ロ フ ァイルが自動 頁新さ れ る と し ても，
ユー
ザ プロ フ ァイル と利 用 履歴 だけで シ ス テ ムがユー
ザの置か れ てい る状 況を 正 しく 自動 認 識 する こと は一
般に は 困 難である．
ユー
ザが その場で シ ス テ ム に対 話 的に 自分の状 況を伝える た め のユー
ザイン タフェー
スが 不 可 欠で あ る．
こ こ で は，AR
シ ス テ ム における代 表 的な情 報 選 択 方 式につ いて述べ た が，
いずれ か単 独で ［一
分とい うわけで はな く，
これ らを組み合わ せ た方 式 を 模 索 する必 要が あ ろ う，
4 ．
2
情 報 提 示 の ビュー
設 計 選 択 さ れ た 注 釈 情 報 を 現 実 世界の映 像 に 重 畳 合 成 し て ユー
ザに提 示す る際には，
注 釈 情 報と そ れ が関連付け ら れて い る実 物 体の間の対 応 関 係をユー
ザが理 解 しやすい ビュー
設 計 が 必 要である．
通 常は実 物 体のlt
に対 応 する 注 釈 を重 畳 するこ とが 多いが，
注 釈 が 多数 存 在 する場 合 に は注釈1
司士が重な るとい う問 題 が生じ る．
また，
ユー
ザ視点か ら見 えてい ない物 休に対す る注釈をどの ように 提 示 するか とい う課題 も あ る．
注 釈が密 集 して重 なる とい う問 題に対する最も簡 単な 対 処 法は，
注 釈 情 報 を視野内のオー
プン スペー
ス に再 配 置し，
注 釈 と実 物 体 との対 応 をポ イン ター
で表 示 する方 法である ［18，
19］
．
これ は2
次元 平 面 ヒでの オ ブ ジェ ク トの最 適配置 問題で あ る．
ま た，
注釈情報と実物体の対 応 関 係をユー
ザに対 して明 示 的に提 示す る た めに，
シー
ン の3
次 元 形 状モ デ ルを用い て，
視野中 央のユー
ザ が注 視してい る物 体と その注 釈 を 強 調表示 する方法や他の実（a）注目物 体の強 調 表 示 （b ）隠 蔽 部 分の補 完 表 示 第 10図 3次元モデル に基づ く注日物 体の 強調 表 示と隠蔽 部分の補 完表示 物 体によ る 隠蔽 部分 を補 完 表示 す る 方法も考え ら れてい る
［
201．
第 10 図にそのAR
提 示 画 像の例を示 す．
5
．
おわ り に 本 稿で は，
連 載 講 座 「現実世界と仮想世界 を融 合 する 複 合 現 実 感 技 術 」の第四「口1
と し て，
電 子 的な デー
タ を現 実 世 界の映 像に重畳表 示 する ことに よっ て現 実 世 界を増 強・
強 化 する拡 張 現 実 感の基 本 的な課 題と そ れ を解 決 す る ため の方法論につ いて述べ た．
従 来の AR．
研 究は幾 何 的・
光 学 的整合性 問題の 解 決に重点が置か れてお り，
日 常生活 環 境での場 所依存情 報の提供を ロ 的 と し た 実 用 的 な シス テ ム の 開発に は，
今 後，
ビュー
マ ネー
ジ メン トに 関 する取 り組み が重 要にな る と思わ れ る，
（
2006年 3月9 日受 付）
参 考 文 献 ［1］横矢：現実世 界と仮想世 界 を融合する複 合現実感 技術一
i 複 合現実 感とは ；シ ス テ ム満rl御／情報，
VbL 49， No．
12， pp．
489 494 （2000「 ）［2］R
．
Azuma ：Asllrvcy of allgmented reality ：Presence，
Vol
，
6，
No．
4，
pp．
355−
385 （1997）［3］R
．
Azuma，
Y．
Baillot，
R，
BehI・
inger，
S．
Feiner，
S，
Juiler aIld B．
Maclntyre．
：Recent adv 油 ces in allg−
mented reality ；IEEE
Co’
rnputeraraphic
’
s and Appli一
σ繭 oη8
，
VbL
21， No．
6
， pp．
34−
47 （2001）［4］出 ［］；射 影 幾何 学に よ るPnP カメラ補 正問題の統
・
的解 法；コ ンピュ
ー
タ ビジョン’
9〔〕・
t一
ビジョンと環 境 理 解一
シ ンポジウ ム論 文 集
，
pp．
41−
50 （1990）［5］H
．
Kato and M，
Billillghul・
st： MaI・
ker tra．
ckillg andHMD calibration fo！
’
avideo−
based augmented realityconfcrcnce syst 〔｝nl：Proc
．
2nd JEEE ／A CA・
f Int，
Work’
−
shop （，n Au
．
gme．
nt，
ed Rεα1吻 （IWAR ！99？．
PP．
85−
94（1999） ［6］中里
，
神 原，
横 矢： ウェ ア ラ ブ ル拡 張 現 実感の た め の不 μ∫視マー
カと赤外 線カメラを用い た位 置・
姿勢 推定；日 本バー
チャ ル リア リティ学 会 論 文 誌，
Vol．
10、
No，
3，
pp，
295304 （2005 ） ［7］大 江，
佐 藤，横矢： 幾 何学的位置合せ の た め の自然特 徴 点ラン ドマー
ク デー
タベー
スを 用い たカ メ ラ位 置・
姿 勢 推定；日本バー
チャ ル リ ア リ テ ィ学 会 論 文 誌，
VoL 10，
No．
3， pp．
285−
294 （2005） ［8］佐 藤，内 山，山 本： UG ＋B 法 ：主 観及 び 客 観 視 点カ メ ラ と姿勢センサ を 用いた位置 合わ せ手法；囗本バー
チャ ル リアリテ ィ学 会 論 文誌1Voi．
10，
No．
3，
pp．
391−
400 （2005 ） ［9］神原，
大隈，
竹村，
横 矢： ビ デオシー
ス ルー
型 拡 張 現 実 感のた めの実 時 間ス テ レ オ画像 合 成；電 子 情 報 通 信 学 会 論 文 誌 （D−
II）， V61．
J82−
D−
II， No，
10，
pp．
1775−
1783 （1999） ［10］神 原，
横 矢：RTK−
GPS と慣 性 航 法 装 置 を併 用 したハ イ ブ リッ ドセ ンサ を 用いた屋外型 拡張現 実 感；電 子 情 報 通 信学 会技術 研 究報 告，
PRMU2004−
160（2005）［ll］1
．
Sato， Y．
Sato and K．
Ikeuchi： Acquiring a radi−
ance distributiQII to superimp se vil
’
tual objects ol）to areal scene ；IEEE TTuns．
Visuαtizαtion αnd COTn一
ρ磁er Craph
’
ics，
Vo】．
5，
No．
1，
pp．
1−
12 （1999）［121 池 内
，
佐 藤，
西野，
佐 藤： 複 合現 実 感にお ける光 学的整 合 性の 実 現；日本バ
ー
チャ ル リア リテ ィ学 会 論 文 誌，
Vol
．
・t’
No．
4，
pI）．
623．
630 （1999）［13］P
．
Dcbcvcc： Rcndering synthetic object5 into realscenes ：Bridging traditional and image
−
based graph−
ics with global illuIIIiIlatioIl aIld
high
dyIlamic
I’
angePhotography ； Proc
．
S
∬GGRAPff
，98，
PP．
189−
198 （1998） ［14］神 原，横 矢：光 源 環 境の実 時 間 推 定による光 学 的 整 合 性 を 考 慮 したビジョンベー
ス拡 張 現 実 感；電 子 情 報 通 信 学 会技術 研 究 報告，
PRMU2002−
190 （2003） ［15］安 室，
石 川，
井村，
南， 眞鍋，千原：立体マー
カを用い た 実空間における仮 想 物体の調和的表現〜
インタ ラ ク テ ィ ブMR インテ リアデザ イン〜
；映 像 情 報メデ ィ ア学 会 誌，
Vol．
57，
No，
10，
pp．
1307−
1313 （2003） ［16］横矢：現 実 世 界 と仮 想 世 界を融合する複合 現実感 技術一
ll仮想化現実の方法論 ；システム／制 御／晴報，
V61．
50，
No．
2、
pp．
68−
73 （2006） ［17］佐藤 向川：イン バー
ス レンダ リング；情 報 処 理 学会研 究 報 告，CVIM145−
9 （2004）［18］B
．
Bell，
S．
Fcincr and T．
H611crcr：Information at aglaIlce； JffEE CornPuter Craphics and ／lpplicatiOns
，
Vo1
．
22，
No．
4，
pp．
6−
9 （2002 ）［19］R
．
Azuma and G，
FurIIIaIlski；Evaluating label place−
ment for augmentcd reality vicw managementi Proc
．
2nd IEEE ／A CM lnt
．
Sym，
posium on Mi＝ed a，
nd 、Aug−
mented Rε α‘混 り（19MARO
