68 シス テム／制 御／情 報
，
VoL 50，
No．
2，
pp．
68−
73，
2006講
座
現 実世
界
と
仮
想 世 界 を
融合
す
る
複
合
現
実
感
技
術
一
II
仮 想 化現 実
の
方
法
論
横矢
直
和
＊1．
は じ めに 現 実 世 界と仮 想 世 界の間の連 続 的 な融 含 世界を扱 う複 合 現 実 感 （MR ：MixedReality
） 技 術［
1］
の 中 で，
今回 は，
現 実 世 界の情 報 を用いてコ ンピュー
タの内部の仮 想世 界 を強化す る仮 想化現 実 （AV
：Augmented
Virtuality） 技 術につ い て述べ る．
AV
技 術は現 実 世 界に匹敵 する写 実 性を仮 想 世 界に付 与 する こ と を 目的と して お り，
コ ン ピュー
タ グ ラフ ィッ クス （CG
）の分野 に お け る 写実 性の 追 求に源 を発し てい る．
CG
の分野 に おい て は高い 写実 性 を求め て様々な描 画法が考案さ れ，
そ れ を高 速に実 行 す る た めのハー
ドウェ ア も開 発さ れて き た が，
仮 想 物 体 に現 実 世 界と同等の写 実 性を与え ようとする と仮 想 物 体 の モ デ ル を作 成 するた めの手 作 業 が 膨 大にな り，CG
の み で表現する仮 想世界の写実性 には限界が ある．
そこ で 現れ た の が現実世界の情 報を使うとい うAV
につ な が る 考え 方で あ る．
AV
技 術に は，
仮 想 物 体の幾 何モ デ ル に対 する実 写 画 像の テ ク ス チ ャマ ッ ピン グ に代 表され る初 歩 的 な もの か ら，
現 実 世 界を3
次 元 的 あるい は時間軸 も含め て 4次元 的に コ ン ピュー
タに取り込 む究 極の AV である 「現実世 界の仮 想 化 」まで，様々 な手 法が存 在する．
な お，
AV は 拡 張 現 実 （AR
：Augmented
Reality
）と は異 な り， 実 時 間描 画 を伴わ ない利用場面 に おい て は オフ ラ イン処 理 で よい こ とも多く，
必 ずしも実 時 間 性は要 求さ れ ない．
AV 技 術の起 源は先に述べ た ようにCG 研 究にあるが，
そこ で用い ら れる 「現 実 世 界を仮 想 世 界に取 り込む」 技 術の 多くは コン ピュー
タビジ ョ ン （CV
）の分 野で 開発 され た壬法が基礎 に なっ て い る．
これ が，
AV がCG
とCV
の融 合 領 域と よ ば れ る ゆ え ん で あ る．
実 際，
AV
技 術に関 する論 文はCG
とCV
の 両分 野の会 議・
雑 誌で発 表さ れて い る．
以下，
本 稿では，AV
技 術に よ る仮 想 化現実 空間構 築 の方法論を 整 理 し，
具 体 的 な事例 を交 えな が ら 要素 技術 を 紹介す る，
2
．
テ クスチャ マ ッ ピン
グ
と画像変 形
実 写 画 像を用い て仮 想 環 境を構 築 するAV
技 術の基本 手法に テ クスチャマ ッ ピングと画像の変 形 処理 がある．
＊
奈 良先端 科 学技術 大学院 大学 情 報科 学研究科Key words： mixed rea 】ityl auglnented virtuality
，
IIlodel−
based rendering ， image
−
based rendering ，inverse rendering．
2
ユ テ ク ス チ ャマ ッ ピ ング テ ク スチャマ ッ ピン グは既 知の幾 何 形 状の表 面に既 存 の画 像 を貼 り付 ける処理 であ り，CG
に お け る詳 細な ポ リ ゴン モデルの 作 成に伴 う手 作 業 と複 雑 なモ デルの描 画 に 伴 う 計算の負荷 を 軽 減 す る た めに考え ら れ た手 法で あ る，
高精 細なモ デル を持たず，
比較 的 単 純な ポ リゴ ン モ デル に実 写 画 像のテ クス チ ャマ ッ ピングを行 うこと に よっ て，
モ デ ル化 作 業と描 画につ い て は軽い 負 荷で写 実 性の高い画 像 を生 成 するこ とがで きる．
最 近では，
パ ソ コ ンレベ ル でも実 時間描 画が 可能に なっ てい る．
テクス チャ マ ッピングの手順 を第 1図に示す．
テ クスチャマ ッ ピングの対 象と な る幾 何モ デ ルその もの も現 実 世 界か ら 取 得 する のが後 述の モ デ ルベー
ス トレ ンダリ ン グ である，
画 像上 の点 と3次 元 形 状 の 頂 点 を 対 応 づ け る テ クス チ ャ画像 駅 タ滅 テ瀞 驚鑢鍵 3次元 形状 マテ クッピス チ ャング後 第 1 図 幾 何モ デル に対 するテ クスチ ャ マ ッ ピング2
．
2
画像変 形： ワー
ピングとモー
フィング テ クスチャマ ッ ピング と関連が深 く，
併 用さ れ るこ と の 多い技 術 にワー
ピング （inlage
warping ＞［2
］が あ る．
ワー
ピング は，
第 2図に示す よ うに，
画像内に設定さ れ た制 御 点をあら か じめ与え ら れ たフロー
ベ ク トルに従っ て引っ 張る こ とによっ て画 像を歪め る画像の幾 何 学 的 変 換 処 理であ り，AV
研 究ではテレプレゼ ン ス にお ける全 方 位 画 像か らの提 示 画 像生成な どに利 用さ れて き た［3］．
QuickTimeVR
［41に代 表さ れ る 全方 位 画 像を用い るアプ ロー
チ では，
複 数の画 像を張り合わ せて全方 位 画 像を 生 成するた めに ス テ ィ ッチング と よ ば れ る処理 が行わ れ る．
最 近では，
複 数の カ メ ラ で撮 影 した ビデ オ映像の 自動ス テ ィッ チ ング に よっ て全天球ビデ オを作 成 する ことも可 能に なっ ている ［5
］．
ワー
ピングの ような画 像の幾 何 学 的 変 換に加え て 色 情 報の変 更 も行 う画 像 変 形 処 理にモー
フ ィ ング （image morphing ）が ある，
モー
フ ィン グは，
対 応 点が 与え ら一26 一
横矢 ：現 実世界と仮 想 世 界 を融 合 す る複 合 現 実 感 技 術
一
II 69 原画像 ヌ7嗣ピング1駄 t生 ぽ熱 海 第 2図 画像ワー
ピング れ た2枚の画像間で形の変換と同 時に色の合 成 を行 うこ とによっ て 中 間 画 像 を生成 する手 法である．
2枚の画 像 の中 間 画像を連 続 的に生成 することに よっ て人 間 や 動 物 の変身効果 を表現で き （第 3 図（
a）
参 照 ），
映 画 制作や テ レ ビのCM
制作な どに広 く利 用 されている．
AV
で は，
離 散 的な位 置で撮 影さ れ た 複 数の画 像 か ら 中 問視 点の 画 像 を 生 成 す る視 点 補 間 （viewinterpolation
）に利用 さ れ る （第 3 図（
b）
参 照 ）．
これ は，
後述の イメー
ジベー
ス トレン ダリン グ の一
種である，
2枚の画 像闘で対応 す る点 を与え る 原 画像1 モ＿
フ ィングに 蕊もて蝦 轟た画像 原画像2 （a）変 身 効 果 2枚の画 像 間で対応 す る点 を与える 原画 像1 モ＿
ブイングによって生歳 された日 像 原 画像2 （b）視 点補 問 第 3図一
二つ の画 像 問の モー
フ ィ ング こ こで 紹介し た 画像の変 形 処 理はい ずれ も，
制御点の フロー
ベ ク トル や複 数 画像問の対 応 点が既 知であ るこ と が前 提になっ てい る，
CG
に よっ て描 画した画 像の場 合 に はこれ らの情 報は事 前にわ かっ てい る が，
実 写画像に おい ては一
般に未知である．
画像 問の対．
応 点 を 手 作 業で 与える こ とが 多く，
自動 化が 課 題で あ る．
3 ．
モデル ベ
ー
ス トレ ン ダ リング
MR
に おい て は，
ユー
ザの 自 由 な視 点 移 動に応 じて，
MR 環境 を 眺めた ときの 各 視 点の画像 を実 時間で生成・
提 示する必 要がある．CG
で は物 体の幾 何モデルを持っ て い る た め，
描画の計 算能力さえ あれば，
自由 視 点で の 映像 提示 は 容 易であ る，
現実世 界の 仮 想 化に お い て も現 実 世 界の情 報か ら幾 何モ デル を取 得す るこ と が考えら れ る．
こ のような幾 何 形 状モ デ ルの取 得を経由 す る 描 画法 は，
一
般にモ デ ルベー
ス トレンダ リン グ （MBR
＞と よ ば れ る．
こ こ で の幾何モ デル の取 得はコ ン ピュー
タビジョ ン の 分 野で古 くか ら取 り組ま れて き た3次 元 物 体・
シー
ン の モ デル化 技 術 その もの で ある，
物 体 表 面の テ クス チャ づ け は形状計測 と同 時に取 得 し た画 像のテク スチャ マ ッピング が利用 さ れ る．
3次 元モ デ ル化 技 術は，
レ ンジファ インダ な ど を 用い る能動的 手 法 と画 像 か らshape−froIll
−
X （X＝
sha．
ding
，texture
，
focus，
silhouette，
nlQtion など）やステ レオ視の技 法によっ て
3
次元 形 状を復元する受 動 的 手 法に大 別 され る．
3．
1
能 動的 手 法によ る 幾 何モ デ リン グ3
次 元 計 測のた めの様々 な能動的手法［
61
が存 在 する が，
AV の た め の幾 何モ デ リングで は，
高精 度 な 計 測 が 可 能 なこ と か ら，
対 象に対し て レー
ザ光を 照射し，
反射 時 間 や三角測量原 理に よっ て対象までの距離を計測 する レー
ザレ ンジフ ァ イン ダ が利用 さ れる こ と が多い．
近年， 文 化 財の デジ タル アー
カ イ ブ を 目 的 と し たAV
研 究が世 界各所で行われ る ようになっ て き た が，
最も 代表的 な も の は，
ス タ ンフ ォー
ド大 学のLevoy
ら に よ る デ ジ タ ル ミ ケ ラン ジェ ロ プロ ジェ ク ト［
7】
と，
東 京 大 学の池内 らに よ る大 仏プロ ジェ ク ト［8］
である．
デ ジ タル ミ ケ ラ ンジェ ロ プロジェ ク トにおい て，
フ で レ ン ツ J−・
ア カ デ ミア美 術 館 所 蔵の ダビデ像をレー
ザ レ ン ジ ファ インダで計 測 し ている様 子と，
得ら れ た 幾 何モ デル の描 画 結 果 を第 4図 に示 す．
第4図 ダビデ 像の計 測 風 景と得 られた幾何モ デル複雑な形 状 を した文 化財などの全周形状 を得るため に は
，
複数の 位 置で計 測し た デー
タの 統 合が必 要で あ り，
一
般に （1）多視 点での対 象の3
次 元 形 状 計 測 （2）多視 点 距 離 デー
タの 位 置 合せ70
システム／制 御1
情報 第50巻 第2号（2006）
（
3）
位 置 合せ さ れ た複 数デー
タ か らの 単一
幾 何モ デ ル、
生 成 の 三つ の プロ セ スを経て幾 何モ デル を取 得 する．
プロセ ス （2）に おい て，
二 つ の 距 離デー
タ間の位 置 合せ を繰 り 返 す 逐 次 的 な手 法で は 距離デー
タの数が多い場 合に位 置 合せ誤 差の蓄 積が問 題に な る た め，
デー
タ全 体で の位 置 合せ誤 差 を最 小 化す る大 局 的な位 置 合せが 必 要である，
これ まで に本 格 的 なデ ジ タ ル アー
カイ ブ が 試 み ら れて い るの は小 物 体から大 仏 程 度の スケー
ル ま で で あ る．
大 型の構造 物に な る と，
全表 面の距 離デー
タを得るため に 多数の撮影位置が必 要と なり，
地上 か らの計 測だけでは 不十分な こ と もある．
こ の た め，
池 内 らは大仏 プロジェ ク トの 中で，
カンボ ジア・
バ イヨ ン寺 院 を計 測 するため に 空中 浮 遊 型の レ ンジセ ンサ を 開発し てい る［
9］．
3．
2
受 動 的 手 法に よ る幾何モデ リン グ レンジフ ァ イン ダを用い た3
次 元 計 測は高 精 細 な幾 何 モ デ ルが得ら れる とい う特 長 が ある が，
一
方で，
設備が 大 掛か り に な るとい う 欠 点 が あ る．
ま た，
都 市レベル の 広 域 計測 が 難 しい とい う問 題 も あ る．
こ のた め，AV
の た めの簡 易 的な幾何モ デル 取 得や広 域 環 境の モデ リング に は， 画 像 撮 影に よ る受 動 的 な 手 法 も用い ら れ る．
とくに
，
shape−
from−
silhouette やshape−from−
motion の技 法が用い られる こ とが 多い．
shape
−
from−
silhouette物 体の周 囲の複 数の視 点 か ら 対 象 を撮 影 し
，
対象の シ ルエ ッ トを空間 に投 影し た視 体積の交差 部 分 と して幾 何 形 状モ デ ル を計 算す る方 法で あ る （第 5 図 参 照 ），
こ の outside−in
撮影に は，
実 際に複 数のカメ ラを物 体の周 囲 に 配置す る方 法，
物 体の周 りか ら カメ ラを移 動 させな が ら撮 影を行 う方 法，
回転 台に乗せた 物 体 をカ メラの 前で 回転 させなが ら撮 影 する方 法 など がある．
shape−fr
⊂｝m−
silhouette 法は小 物 体 や 人 物 な どの幾 何モ デル 取得によ く利 用 さ れ る．
この方 法 は，
背 景差 分 な どに よっ て画像 か ら物 体の領域 を 正確に切 り出せ るこ と が前提である，
そのた め，
正確な物 体 領域切 り出し を実 現 するため に ク ロ マ キー
撮影の ように単 色の背 景を用い るこ と が多い．
カメ ラ V重 第 5図 シルエ ッ ト制 約 面 手 持ち ビデ オ カ メ ラを用い て対 象の周 りか ら移 動 撮 影 を行い， shape
−
from−
silhouctte に よっ て幾何モデル を生成 した 例
［
10］
を第6
図 に示 す．
こ こで は，
既知のマー
カ の 上 に物 体 を置き （第6
図（a）参照），
撮 影さ れ たマー
カ の画 像上で の座 標か らPnP （Perspective n−
Poillt）問 題［
11】
を解 くこ とに よっ て，
まずマー
カ座 標 系に おける 撮 影 時の カ メラの位 置と姿 勢 （第 6 図（b
）中の 曲線と角 錐 ） を求め，
つ ぎに背 景 差分に よっ て求まっ た シルエ ッ ト をカメ ラ位 置か ら空 間に投影し，
視 体 積 交 差 法に よっ て 幾 何モデル を得ている．
な お，
第6図（
b）
中の数 字は移 動 撮 影 時の フ レー
ム番 号を表し てい る．
幾 何モ デ ル の表面 テ クス チャは撮 影 画 像の テ ク ス チャ マ ッ ピン グ に よ る．
」一
陟 触 A （a）マー
カ シー
ト上に置かれた対 象物 体 』陶L AL （b ）撮 影 時の カメラ の位 置・
姿勢 と得られ た幾何モデル 第6 図 物 体 周 囲 か らの移 動 撮 影に基づ く視体積 交 差法に よ る幾 何モデ リン グshape
−from −
motion移 動カメ ラ撮 影によっ て得ら れ た動 画 像か ら対 象の
3
次元形 状を復元 し，
幾 何モ デ ルを生成 する手 法である，
カ メ ラ の移 動 軌 跡を 正確に制 御で きる場合には，
動 画像 の各フレー
ム画像を用い てマ ルチベー
ス ラ イン ス テレオ 法 ［12
］などで対象の密な形状 デー
タ を取 得す る こと が で き る．
自由に動 くカメ ラ の場 合には，
動 画 像か ら カメ ラ の移 動パ ラ メー
タ と対 象の 3次 元 情 報を同 時に復 元 し なけれ ば な ら ない．一
般に対 象の 3次 元 情 報は疎 な特 徴 点上で し か得ら れない た め，
得ら れ た カ メ ラ移 動パ ラ メー
タを用い て，
後 処理 とし て前述の場合と 同様にマ ル チベー
ス ライン ス テ レオ法を適 用 する ことに よっ て密な3次 元 情 報を得る
．
AV
において shape−
from−
motioll は，移 動 撮 影に よる広 域 屋 外 環 境の幾 何モ デ リング に利 用 さ れるこ とが多い
．
横 矢 ：現 実世 界と仮想 世界を融 合する複 合現 実 感技 術
一II
71
3 ．
3
モデル ベー
ス トレ ンダ リングの特 徴 モ デ ルベー
ス トレ ンダ リン グ は幾 何モ デル を 経由し た 描 画を行 うた め，
通 常のCG
と 同 様 に自 由な視 点 移 動 に対 応した描 画 が 容 易であ り，
仮 想 物 体との奥行き 隠蔽 関 係の表 現や衝 突 判 定 も 叮能である．
し か し，
比較的単 純 な 形 状 を した物 体につ い て は幾 何モ デルの取得が容 易 であるが，
複 雑な形 状や表 面 材 質に よっ て は表面形 状の 取得その ものが 難 しい とい う問 題がある．
ま た，
テ クス チャ マ ッ ピン グ に 用い ら れ る画像は撮 影 時の照 明 条 件の 影響を受 けてお り，
仮想 世界に 取 り込 ま れ たモデルを任 意の仮 想 照 明 条 件で描 画し ようとする と照 明 条 件の 矛盾 が 生 じる．
す なわち， その ま まで は入 力 画像撮 影時と異 な る光源 環 境 ドでの描 画は原 理 的に行 え ない．
こ の問 題 を解 決す る た めには，
画像か ら撮 影 時の照 明 条 件の影 響 を 除 去 し，
物 体固有の表 面 反 射 特 性 を求めておく必 要が あ る．
こ のよ う な光学 特 性の モデ リングを行 うた め の ア プロー
チ は イン バー
ス レ ン ダ リング （後 述）と よばれ る．
4 ．
イ メ
ー
ジベー
ス トレ ンダ
リング
現 実 匿界か らの高精 度な幾 何モデル の取 得 が 難 しい と い う 問題に対し て，
幾 何モ デル を経由しない 描 画 法 が 考 案 されてい る．
既 存の画 像をもと に新た な視 点・
視 線の 両 像 を生成 する方 法で あ り，
イメー
ジベー
ス トレンダ リ ン グ （IBR
）と総 称 される，
IBR はCG
分 野で活発に研 究 が行わ れ，
既存の画像とし て実 写 画 像を 用い ることに よっ てAV
の た め の 強 力 な 手 法になっ て い る．
AV
に お い ては，
既 存の実 写 画 像か ら撮影時 とは異 なる視 点・
視 線の画 像を 生成 可 能な仮 想 化 現実環境の構 築が必 要であ る．
以下で は，
こ の観 点か ら，AV
の た めのIBR
を実 現 する う えで の基 本 的な方 法 論につ い て述べ る．
4．
1
全 方 位画像の利 用QuickTilneVR
［
4】
以 来，
全 方 位 画 像や全 方位ビデ オ の イン タ ラ ク テ ィブ 観賞に 関 す る 研究が盛ん である［
31．
全 方 位 画 像を取 得す る た めの様々 な手 法や 具体 的なセ ン サ［
131が開 発 されてい る が，AV
の ため に 利 用 され てい るの は お もに，
1点へ の中 心 投影像を撮影できる，
す な わち，
単一
視 点 制 約を満た す 全方位セ ンサ で あ る．
全 方 位 画 像の例 を 第 7 図に示 す．
こ の ような全 方 位画像の 幾 何 学 的 変 換に よっ て任意の視線方向の平 面透 視 投 影 画 像を 生 成 す るこ と がで きる．
た だ し，
1枚の全方位画像 か ら は視 線の 変更の み が 叮能で あ り，
生 成さ れる画 像の 視 点 位 置は 全方 位セ ンサの 設置位 置 あるい はその移 動 経 路 上に制 限 され，
自由な視点変更は できない．
自 由視 点 画像の生成には次 節 以 降で述べ る手 法が必 要と な る．
全 方 位 画 像の幾何学 的変換を高速に実行す る た め に 前 述の ワー
ピング が利用 さ れ てい る ［3］．
4 ．
2
視 点 補 間 既 存の実 写 画 像か ら撮影時 と は異な る視 点の画像 を生 成 す る最 も簡単なAV
手 法は視 点 補 間で ある，
基 本 的に （a）双 曲 面 透 視 投 影 全 方位画像 （b）等 角投影全 天球画 像 第 7図 全方 位画像 は，
複 数の画像問を 前 述の ワー
ピン グやモー
フ ィ ン グ操 作で補 間し 中 間 画 像を生成 する，IBR
の 原 形ともい え る手法で あ る．
視点補間 に よっ て中 間画 像 を連 続 的に生 成 す れ ば，
既存の画 像 問の連 続 的な視 点 移 動 を実 現で き （第 3図（
b）
参 照 ），
仮 想 化 現 実 環 境の ウォー
クス ルー
が 可能にな る．
複 数の位 置で全 方 位 画 像 を 取 得 し，
全 方位 カ メラ設 置 点の 凸 閉 包 領 域 内で の自 由 な 視 線・
視点 移動 が 可 能 な ウォー
クス ルー
シ ス テム も考 えら れてい る．
視 点 補間 は画 像間 での点 対 応 が 既 知で ある こと が前 提 になっ てお り，
実写 画像に適 用 する場 合に は人 手に よる 対応付 けに頼ること が多い．
この た め，
オフライン処 理 による対 応 付 けを前 提と し た蓄 積再 生 型 システム に な ら ざるを得ないのが現 状で ある，
対応点 指 定の 自動 化に は，
CV
の分野 で．
占くか ら取 り組 まれて きた複 数 画 像か らの 3次 元 復元 と 同 じ対応 点 探 索問 題を解 決しな け ればなら ない．
さ ら に，
動 的 な 環境の ラ イブ ビデ オを 用い る場 合 には，
こ の対 応点探索を実 時間 で行 わ な ければ ならない とい う 大きな 壁．
がある．
4 ．
3
光 線 空 間 とLight
Field
画 像は3 次元空間 に おける物 体 か ら反 射 した 光 線 を撮 像 面で記 録し た結 果と考 えるこ と がで きる．
IBR
の 基 礎 と な る最 も一
般 的 な 理 論は，
3次 元 空 間 内の光 線 分 布を，
位 置 ＠，
弘の，
方 向（θ、
φ）， 波 長λ，
時 間亡か ら なる 7次 元 の関 数p（x，
y，x，θ，iP
，
λ，
t）とし て記 述 する方 法である［
14］
．
こ の plenopticfunction
と よばれ る7
次元情 報 空 間 を画 像と して完 全に記録してお け ば，
こ の空 間内で任意
の視 点・
視 線の画 像を描 画で き るこ とにな る，
し か し，
7次 元 の情 報空間を 記録しよ う とする と 膨 大 な 画 像デー
タが 必 要になる．
そのた め，
1本の光 線は同じ色を持ち，
時 間 的に変 化し ない とするの が一
般 的で あ る．
これ で2
次 元72
シス テム／制御／情 報 第 50 巻 第2 号 （2006） 縮 退 する が，
基 準 面 （撮 像面〉 を通 過 す る 光 線 情 報に の み 注目する と，
さ ら に 1次元 縮 退 し，
4次元 空 間 に な る．
実 写 画 像を用い た IBR が広く注目 さ れ る ように なっ た きっ かけは，
日米で独 立にほ ぼ同時 期に考 案さ れ た，
4次 ）t
空 間での光 線 記述 に基づ く光 線空間理論［
15］
とLightField
［16
】で あ る．
光 線空間 理 論では，
光 線 情 報 を1枚の 基準 面を通 過 する光 線の位 置＠，
〃）
と方 向（
θ，
φ）
の4
次元 関 数ρ＠
〃，
θ，
φ）
で表 現 する．
い っ ぽ う，Light
Field
で は，
光 線が2枚の基 準 面 を通 過する位置（x，y ），
（IL，v）の 4次元 関数ρ（
．
T，
Y，
u，V）で記述 す る．
明ら かに，
両理 論は 多次元情 報 空間の 定義の仕 方が異な る だ けで，
原 理 的に 等 価である．
光 線 空間 や
1
．ight
Field
は，
必要な画 像 群をあら か じ め取得し て お けば，
幾何モ デ ル な しで任 意 視 点・
視 線の 画 像を描 画で き，
万 能な IBR 法に なっ てい る．
し か し，
AV
で要 求 され る高 精 細 な 合 成画像 を得 ようと す る と 膨 大な画 像デー
タ が必 要に なる．
こ の た め，
物 体の シ ル エ ッ トを利用 して少ない画像か ら光 線 情 報を補 間す る方 法，
実 写画像か ら粗い 幾 何モ デル を推 定し光 線 情 報の補 間を行う方法，
全方位 画像を用い る方 法な ど，
様々な一
1二 夫がなさ れ てい る．
4 ．
4
イ メー
ジベー
ス ト レ ンダリ ングの特 徴光 線 空間 理論や
Light
Field
を利 用す れ ば，
あら か じ め 必要な画像群を取 得し て お くこ と に よっ て，
幾 何モ デ ルな しに写 実 性の高い 任 意 視 点・
視 線画像を描画で きる の が IBR の最 大の利 点で ある．
し か し，
現実の複雑 な シー
ンを対象とすると 画像デー
タが 膨大な 量 に な る た め，
先にも述べ た ように，
デー
タ 圧縮が重 要な課 題になっ て い る．
な お，
全く幾何モ デ ル を持たない場 合には，
仮 想 物 体との奥 行き隠 蔽 関 係の表 現や衝 突 判 定は 般 に は不 可能であ る．
工BR
で用い ら れ る実 写 画 像は，
MBR にお い て テ ク スチャ マ ッ ピン グ に利 用され る画像と 同様，
撮 影 時の照 明条 件の影 響を受けてい る．
この ため，
あ ら か じめ様々な 光源 環境で の画像を取得し て お か ない限 り，
任意の仮 想 照 明 条 件 下で の描 画はMBR
以 上に難 しい．
5
．
インバー
ス レ ンダ1丿 ング 仮 想化さ れ た実 物 体を任意の光 源 環 境 下で任 意の視 点 か ら 眺 め た ときの画像を描 画する た めには，
物 体の 3次 元 形 状 （幾 何モ デル ） と表面 反射 特 性 （光 学モ デ ル）を 知 る 必 要 が あ る．
これ は幾 何モ デル を持た ない IBR で は 本 質 的 に 不 可 能 で あ り，MBR
におい て も，
幾 何モ デ ル は持っ ている が，
テ クス チャ マ ッ ピン グに用い ら れ る画 像はある特 定の照 明 条 件の もとで撮 影 され た もの に過 ぎ ないた め，
その ま までは任 意 光 源・
任 意 視 点の描 画はで きない．
こ の問 題 を解 決 す るのが，
複 数の撮 影 画 像 か ら 物 体 固 有の表 面 反 射．
特 性 を推 定 するインバー
ス レン ダ リ ング［17
］と よ ば れ る 光 学 的モデ リング 手法で あ る．
インバー
ス レ ンダ リング は その 言葉の意味通 り，
画 像 生 成 （描 画 ） 過 程の逆 過 程を た どる ことに よっ て表面 反 射 特性 を推 定する 方法である．
般 に， 物 体の姿 勢と光 源 方 向 を変 化 させなが ら撮 影 した 複 数の画 像 と別 途レ ン ジフ ァ インダなどで計 測 され た距 離デー
タに対し て な ん ら かの反 射モ デル をあて はめ，
反 射パ ラメー
タを推定す るとい うアプロー
チを とる．
これまで のイン バー
ス レ ン ダ リングの研究 は，
● 完4
，拡散反射 物 体 ● 拡 散反射と鏡 面 反 射を有 する物 体で一
様な鏡 而 反 射 を仮 定 ● 非一
様 な拡 散・
鏡 面 反 射 物 体 ● 非一
様 な 拡 散・
鏡 面 反 射 物 体で拡 散 反 射に 関 し ては 相互反 射 を 考慮 ． 非一
様 な 拡 散・
鏡 面 反 射 物 体で拡 散・
鏡 面 反射に 関 し て 相 互 反射を考 慮 とい う 流 れで，
徐々に対 象に関す る制 約を緩め，一
般 的 な対 象を扱え る ようになっ て きた．
拡 散・
鏡 面 反 射 物 体の反 射モ デ ルとして よ く用い ら れ るの は次 式で表 現 され るTorrallce−Sparrow
モ デル［
18］
で ある．
・一
羨
｛
P・・ ・… ＋ 。磊
，
，
・xp （一
、誓
2）｝ こ こで，f
は 物 体 面 ヒの点 に 対応す る観測 画像内の画素 の輝 度 値，
θd は 入射光と法 線の なす 角 度，
θ． は視 線と 法 線のなす 角 度，
θ，
．
は光 源と視 線の 二等 分 方 向と法 線の なす 角 度を表 す．
y，
D はそれぞ れ光源の強 度と光 源か ら物 体 面 まで の距離を表す．
上式の第1
項が拡散反射成 分，
第2
項が鏡 面 反 射 成 分を表しており，Pd ，
鳥，
σ が そ れ ぞ れ推 定すべ き拡 散反射 係 数，
鏡 面 反 射 係 数，
表 面 粗さ係 数で あ る．
観測 位置，
光 源位置，
光 源 強 度が既 知で，
物 体の幾 何 形 状が計 測さ れて いる と，
物 体 表 面で非．
様 な拡 散・
鏡 面反射 特 性を持つ 物 体の 光 学モ デ リ ン グ は， 観測 画像 ∬ か ら物 体面 上の各点に おい て 反射係ift
Pd ，
P
、，
σ を推 定す る問題 に な る．
物 体 表 面．
ヒの各点で反 射 係 数を密に 推 定 する た め に は，
観 測 位 置と光 源 位 置を変えなが ら複 数の画 像を取 得し，
物 体 表 面上の各 点で反 射モ デ ル に含 まれ る未 知 変 数以 Eの方 程 式 を 立て る必 要 がある．
強い 鏡 面 反 射 成 分を観 測で きる の は正反 射 方 向の 限られた範 囲である こ と か ら，
すべ て の点で こ の条 件を満 足し よう と する と非 常に多数の画 像が必 要になる．
そ こ で， 町田 ら［
19｝
は，
物 体の 3次 元 形 状か ら画 像 撮 影の た めの光 源 位 置 を計 算 する光源 位 置 計 画 法 を 報 告 してい る，
Torrance−Sparrow
モ デル などの 反 射モデル は物 体 表 面で光が一
度 だけ反 射さ れ た直 接反射 光の み が観 測さ れ るこ と を仮 定 して い る．
こ の た め，
物 体表面での相互 反 射 等の 2次 反射が存 在す る場 合には 正 しい反射 係 数が得 ら れ ない．
実 際，
複 雑な形 状を し た物 体で は必 ず 相互反 射が 生 じ，
簡単 な形 状で も凹 部で は相ft1反 射が発牛する．
一30 一
横矢 現実世界と仮想 世界を 融合す る複 合現実感技術
．
．
．
II 73 撮 影 画 像における相互 反射の存 在を前 提に表 面 反 射 係 数 を 正 しく推 定するた めには，
CG にお ける ラジ オシ テ ィ 法［
2〔｝］
や フ ォ トンマ ッ ピン グ法［
21］
の ような大 局 的 描 画 法の逆過程が 用い られる．
こ の方 法は インバー
ス グロー
バ ル レ ンダリングとよば れる．
レ ンジフ ァ インダ計 測に よる幾 何モ デ ル と，
ラジオ シ テ ィ法とフォ トンマ ッ ビ ン グ法 を併 用した イン バー
ス グロー
バ ル レン ダ リン グ［
19］
によっ て得 られた 光 学モ デルを もと に，
二つ の 異 なる仮 想光源 環 境 下 で描画 を行っ た 例を 第8
図 に 示 す．
第8図 実 物 体の幾 何モ デルと 光 学モ デルを用い た，
二つ の 異 なる仮 想 光 源 環 境 ドで の描 画6 ．
お わ り に 本 稿で は，
連 載 講 座 「現 実 陟 界と仮 想 臥 界 を 融合する 複 合現実 感技 術」の第二 回 と し て，
現 実 世界の情 報を 用 い て仮 想 環 境 を構 築 する仮 想 化 現 実のた めの基 本 的 な方 法 論 を紹 介 した．
今 後，
文 化 遺 産や自然 遺 産の デジタル アー
カ イ ブ などに おい て，
仮 想 化現実 技 術の本 格 的 な 応 用展開 が期 待さ れ る，
（2〔X〕5年 11月14日受 付 ） 参 考 文 献 ［1］横矢：現 実 世 界と仮想世 界を融合する複 合現実感技 術
一
1 複合現実 感と は ；システム沸［」御 ／1
青報、
It’
ol．
49，
No．
12、
pp．
489494 （2005 ） ［2］G．
IK・
’c）lherg： Digita
，
t Image Wα7μ7呂g，
IEEE Com−
pllter S【）ciety Press （1990）
［3］Y
．
Onoe，
K．
Yamazawa．
，
II．
Takemura and N．
Yokoya ：Telepresen〔：e b｝
・
real−
tiIIIe view−
del）eIldent image gen−
eratiOn fl・
Olrl oTnni ｛iireCt，
ioIiftl vi〔leO StreamS ； COm−
Pτ1
，
te’
r’
レ厂
魏 θ η a．
T）．
d Jmage Understanding、
Vol．
71，
No
．
2，
pp．
154−
165 （正998）［4］S
．
E．
CheII：Quick
time VR−
An image−
based ap−
proach to virtual enviro 【LInent Ilavigatio11 ；P厂ηc
．
SIG−
（］
RAPH
，9J「
、
pp．
29−38
（1995） ［5］池田，
佐 藤，
横矢 ：全方位型マ ルチ カメ ラ システム を用 い た高解像 度な 全天球パ ノラマ 動 画像の生 成 とテレプレ ゼン スへ の応 用； 凵本バー
チャ ル リアリテ ィ学 会 論 文 誌，
Vo1．
8，
No．
4．
pp．
443−
450 （2003） ［6］井冂，
佐 藤：＝
三次 元 画像 計 測．
昭 晃 堂 （1990）［7］M
、
Levoy．
et al．
： The 〔ligital Michelangelo project：3Dscallning of large Etatues ；Proc
，
S∬CGRAP ∬12000，
pp
．
131−
144 （200〔〕）［8］K
．
Ikeuchi，
A．
Nakazawa、
K．
Hasegawa artd T．
Ohishi； The great Buddha project； ModeliIlg cu1
−
tllral herit
．
age for VR．
systems t，
hrough 〔，bservat．
ion；P
’
r’
o〔：，
2nd IEEE ／A CM ITit，
Syrrt，
posi．
u，
T’
n on M 誼6d rtnd
．
4’
ttgTrLe・
nted 8eα‘吻 （iSMARO，
？丿、
PI）．
716 （2003）［CJ］阪野
，
長 谷川，
池 内：大 型 有 形 文 化 財計測のた めの気球 搭 載 型レンジ センサ ；情 報 処 理 学 会 研 究 報 告、
Cv
［M148−
28 （2005）［
10］
不 殿，
佐藤，
横矢 ：ハ ン ドヘ ル ドビ デ オ カ メラを用い た 撮 影支援イン タフェー
ス を有す る イン タ ラ クテ ィブ 三 次 元モ デ リング システム ； 日本バー
チ ャ ル リアリ ティ学 会 論 文面占，
Vol．
10、
No．
4，
PP，
599．
608 （20〔｝5） ［11］出1」 ：射 影幾 何 学によ る PIIP カメ ラ補IE問 題の統．
・
的 解法 ；コ ン ピュー
タ ビ ジョ ン「
90−一
ビ ジョ ン と環 境 理 解一
一
シ ンポ ジウ ム論文集，
pp．
415 〔1（1990）［12］M
．
Okutomi an 〔1 T．
Kanade ：Amult．
i−
basclille stere α∫月1弼 7｝
’
ans．
Pat．
tern．
4’
nat／usi，
s’
〔tnd M αcl‘オη 已 lrtte：lti−
gence
．
V L l5，
No．
4．
pp．
353 363 （1993）［13］八 木
，
横 矢 ：全 方 位ビジョ ン ：セ ンサ 開 発 と応 用の最 新動 向 ；惰 報 処 理 学 会 論 文 誌 ：コ ンピュ
ー
タ ビ ジョ ン とイメ
ー
ジメディア，Vol．
42．
No．
SIGI3（CVIM3 ），
pp，
l l8（2001）
［14］E
．
H．
Adelson and J．
R．
Bergen： The plenoptic function and the elernents of early visi n： C’
orrtp’
tt一
オα伽 剛 M・dels・
f
怖 5？∫祕 PrOC齠 吻 （M．
1・
andy andJ
．
A．
M vsh n （Eds．
）），
MIT
Press，
pp．
：320 （t991）［15］藤 井
，
金 子，
原島：光 線 群に よ る 3次元空間情 報の表 現とその応 用 ；テ レ ビジョ ン学 会誌，
Vol．
50，
No．
9，
pp
．
1312−
1318 （1996）［16］M
．
Levoy and P HanrahaIi； Light field renderiitg ；」Proc
．
SICGRAP ”，
96’
．
pp
，
31−
42 （1996）［17］佐 藤
，
向 川：イン バー
ス レン ダ リング ；情 報 処 理 学 会 研究 報 告，CVIM145
−
9 （2004）［18］KE
．
Torrance and E．
M．
Sparrow； The ry of ff−
specular reflection from roughened surfaces ； Jo
’
uf・
−
na，
t of Opれcα！So（／7／et’
y 〔ゾ・
47肥 「％α．
晒｝1、
57、
No．
9、
pp．
1105 1114 （1967） ［19］町田，
竹村，
横矢：実物体の モ デ ル化の た め の相彑反射 を考慮 し た．
表il
反射特 性の推定：電子情 報通信 学 会 論 文 誌（D−
II）、
lv「
ol．
」88−
D−
IL No．
8．
pp．
1450−
1459 （2｛〕05 ） ［20］C．
M．
G ra｝，
K．
E．
Torrance，
D．
P．
Greenberg and B．
Battaile； Modelillg tlle interactioll of light between
diffllsc surfaces ；Proc
．
5∫GGE
／1P
∬’
84，
pp、
213−
222（1984）
［21】H
．
、V．
Jensen： Realistic∬mage Synthesis近∫5肋g Pho−
ton Mqpp 飢g
