162 シ ス テム／制 御
1
情 報，
vol，
50， No．
4， pp．
162−
167， 2006 講座
現
実
世 界 と
仮
想 世
界
を
融 合
す
る
複 合現 実感技 術
一
III
仮
想
化
現
実
の
具 体 例
横 矢 直和
＊1
．
は じめに複 合 現 実 感 （MR ）の中で
，
前回は，
現実世 界の情 報を 用いて仮 想 世 界を構 築 する仮 想 化 現実 （AV
：Augmented
Virtuality）技 術の基 本 的な方 法論につ い て 述べ た ［1］．
今 回は，
そ の続 編 とし て，
これ らの基本 技 術を用い て現 実に存在する構 造 物や情 景をコ ン ピュー
タ に取 り込み，
写 実 性の高い仮 想 空 間を構 築 して い る事 例 を紹 介 したい．
具 体 的には，
プロ ジェ ク ト研 究と して実施 さ れ た 以 下のAV
関連 研 究を紹 介 する．
● モ デルベー
ス ト ア プロー
チ に よ る大 型 構 造 物を含む文 化財の デ ジ タルア
ー
カ イ ブ図 ． イ メー
ジベー
ス ト レンダリング と幾 何モ デ ル表 現の融 合に よ る仮 想 空 間構 築
［
3，
4］
● 全方 位 ビ デ オ映 像 を用い た テ レプレゼ ン ス とそのネッ ト ワ
ー
ク化 ［5
，6
］ ・ 多 視 点ビデ オ映像 か らの 自 由視 点映像生 成 と その ラ イ ブ配 信 ［7
，8
］ 今 回紹 介 するもの は，
い ず れ もま だ 直 接 的 な 実 用 化に は 至 っ て いないが，
実 用に近い レベ ルでの システム化 を 行っ て い るAV
技 術の応 用 事 例である．
前半の 2例 は，
多 視 点 撮 影・
計 測に よ る現 実 世界の仮 想化過程は オフ ラ イン処 理 で あ る が，
構築 さ れ た仮 想 化 現 実空間では実 時 間 での 自 由 な 視 点 移動が 可能であ る．
ま た， 後 半の 2例 で は，
遠 隔 情 景を撮 影 した ライ ブビ デ オの インター
ネッ ト を介 した複 数ユー
ザによるインタ ラ ク テ ィブ視 聴を実 現 してお り，
ネッ トワー
ク技 術 との融 合が図ら れ てい る．
これ らは次 世 代 ネッ トワー
クメ デ ィ ア と して の可 能性を 持っ ている．
2 ．
モ
デ
ル ベー
ス トアプ
ロー
チ に よ る文化
財
のデ ジ
タルアー
カ イブ
現 実 世 界の情 報をコ ンピュー
タ に取 り込 み仮 想 環 境を 構 築 する AV 技術の典型的な応 用は デ ジ タル アー
カ イ ブ である，
と くに 近年，
文 化 遺 産や自然 遺 産 等を対 象とし た デ ジ タ ル アー
カ イ ブ が世 界 各 所で行わ れるようになっ て きた［2
，9
］．
デ ジ タル アー
カイブで は，
幾 何 モデルの取 得を経 由 する ことに よっ て任 意 視 点・
視 線で
の鑑賞が 可＊
奈 良先端 科学技術大学 院 大 学 情 報 科 学 研 究 科Key words： mixed reality ， augmented virtuality ， digital archive
，
telepresencel live 3D video．
能 なモ デルベ
ー
ス トア プロー
チ が採ら れ ること が多い，
その中で，
有 形 文 化 財につ い ては， 対 象に対して レー
ザ 光 等の電 磁 波を照 射し， 反 射 時 間や三角 測 量原 理 に基づ いて対 象 まで の距 離 を 計 測 するレ ンジフ ァ インダ を用い た3
次 元モ デ リング が行わ れ てい る，
い っ ぽう，
・
伝 統 芸 能 な どの無 形 文 化財 の場合に は，
対 象が 人間であるこ と か ら，
多視点で同期を取っ て撮 影し た ビデ オ映 像をもと に，
shape−from−
silhouette 法に基づ い て，
時 間 軸 を含 む 4次 元モ デ リ ング が行わ れる［
10】
．
以 下では， モ デ ルベー
ス トアプロー
チ による有形文化 財の デ ジ タルアー
カ イ ブの代表例と して，
池 内ら に よっ て推 進さ れ た文化財の デ ジ タルコ ン テ ン ツ化プロジェ ク ト［21
の概 要を紹 介 する．
このプロ ジェ ク ト全 体で は以 下の三つ の研 究 要 素に取 り組み，
最 終 的に は，
デジ タル 化さ れ た文 化 財コ ンテンツ の任 意 視 点・
視 線での インタ ラ クティブ鑑賞の実現 を目指し てい る （第 1図 参 照），
1．
幾 何モ デ リン グ ： レン ジファ インダ に よっ て多視 点での距 離 画 像を取 得し，
多視 点デー
タの位 置 合 せ・
統 合に よっ て対 象の全 周 表 面の3
次 元 形 状モ デ ルを得る．
2．
光 学モ デ リング：多 視 点で 撮影し た カラー
画 像 か ら幾 何モ デル に 対応 し た表面テ クス チャ画 像を得 る．
ま た，
インバー
ス レン ダリングに よっ て撮 影 時の照 明の影 響を除 去 した表 面 反 射 特 性 を得る．
3．
光 源 環 境モ デ リング ：文 化 財 が 存 在 する現 実 世 界 の光 源 環 境 を 計 測 し，
幾 何・
光 源モ デル の描画時 に利 用 する，
複 雑な 形 状 を し た 文 化 財 等の幾 何モ デ リン グで は，
全 周 形 状 を 得 る た め に は，
複 数の位置で計 測し たデー
タ の 統 合が必 要であ り，一
般に （1）
レ ン ジフ ァ イン ダ を用い た 多 視 点での対象の3
次 元 形 状 計 測（
2）
多 視 点 距 離デー
タの位 置 合せ（
3）
位 置 合せ さ れ た複数デー
タ か らの単一
幾 何モ デ ル 生 成 の詫つの プロセス を経て幾 何モ デ ルを取 得 する こ とが多 く，
プロセ ス（
2）
が 重 要になる．
多視 点 計 測 を行 うレ ン ジフ ァ インダの相 対 的 な位置関係を厳 密に設 定・
計 測 す るこ とは難しい た め，
得ら れ た距 離デー
タ に 基づ く自動 位 置 合せ が 必 要にな る．
従 来か ら，
複 数 距 離デー
タ の位 置 合せ には，
二 つの距 離デー
タ集 合 内の対 応 点 問の距 離一38 一
横矢 二現実世界 と仮想 世界を 融 合 する複合 現 実 感 技 術
一
III163
多視 点距離画像取得 多 視 点 カラー
画像 取 得 光 源 環 境 計 測瞬
幾 何モデ リング瞬
光 学モデリング瞬
光 源 環 境モデリング 第 1図 文 化 財の デ ジタ ル アー
カ イブ にお ける 三つ の 要 素 〔東 京 大 学・
池 内 克 史 氏の厚 意に よ る）を最小化する
ICP
（lterative
Closest
Poillt
）アル ゴ リズ ム
［
11］
を 基本と し た手 法が 用い ら れ るこ と が多い が，
文 化 財 等の大型構 造 物を対 象と す る と，
多数の距 離デー
タを必 要とするた め，．
二つ の距 離デー
タ間の位 置 合せ を 繰 り返 す 逐 次 的 な 手 法では位 置 合せ誤 差の蓄 積 が 問題に な る．
こ のた め，
デー
タ全 体での位 置 合せ誤 差 を最 小 化 す る 大局的 な位 置 合せ手法「
12］
を 開発してい る．
基 本 的 には，
デー
タ間の位置 ずれ を対 応 する点と面 との距 離で 評 価 し， デー
タ集 合全体で位 置 ずれ を最小にす る ような 距 離デー
タ の剛 体 変 換パ ラ メー
タを求める．
奈 良・
東 大 寺の大 仏 を計 測した 距 離デー
タの一
部 とこれら を位 置 合 せ・
統合し た最終的な幾 何モデルを 第2
図 に示 す．
池内 らの 文化財 デ ジ タル コ ンテンツ化 プロ ジェ ク トで は，
国 内で の奈 良大 ｛t、
（第 2 図），
飛鳥大仏，
鎌 倉大仏 等の アー
カイ ブに加 えて，
海外における 歴史 的文化遺産・
史 跡の アー
カ イ ブに も取 り組ん で い る．
第 3図は， カ ン ボ ジア・
ア ンコー
ル遺 跡の バイヨ ン寺 院の デ ジタ ル アー
カ イ ブ結果 である．
大仏 のスケー
ルが10m
程 度である の に対し て，
バ イヨ ン寺院は150m
四方に高さ40m
の構 造 物が存在す る た め，
地 上 か らの計測のみ で は全体を計 測で き ない，
大 規 模 距 離デー
タを扱 うた め に膨 大な計 算 時 間とメ モリ容 量を必 要とする，
といっ た問題 が発生 す る．
第 3 図の例で は，
500箇 所以 上の位 置か ら計 測し た 距離デー
タの統 合 を行っ て いる．
こ の た め，
・ 上 空 か らの計 測を 可能にする気球 搭載型 レンジファインダ等のセンサ開発 ［131 ● 大 規 模 距 離デ
ー
タの 同 時 位 置 合せ処理の並列 化 とPC クラ ス タ上で の負 荷 分 散
［
14］
な どが行われた．
この プロジ ェ ク トは第 1 図 にも示 した ように，
AV 技 術に よ る文化財の デ ジ タル コ ンテンッ化と モ デルベー
ス （a）複数の位 置か ら計 測した距離デー
タ の一
部 （b）多 視 点 距 離デー
タ を統 合し た幾 何モデ ル 第2図 奈 良・
東 大 寺の大 仏の 3次 元 計 測と幾 何モデル （東 京 大 学・
池 内 克史氏の厚 意に よ る） （a）全 体 像（b）尊 顔 佐 ：テ クス チャな し
，
右 ：テクスチ ャあ り） 第3 図 カンボ ジア・
バ イヨ ン寺 院の デ ジ タル アー
カイブ （東 京 大 学・
池 内 克 史氏の 厚意によ る） ト レンダ リン グ （MBR
）に よっ て，
没入型 映 像 提 示 装 置 を用い た臨 場 感豊 か な鑑賞や インター
ネッ トを介し た簡 便 な 文化 財 鑑 賞の実 現を目指しているが，
文 化遺産の破 損，
欠 損 時の修 復のため の基 礎デー
タと して の利 用や製 作 当時の状 態へ の仮 想 的デ ジタ ル復 元 など，
幅 広い応 用 が期 待さ れ る．
一39 一
164 システム／制 御／情 報 第 50巻 第4 号 （2006）
3
．
イメ
ー
ジベー
ス トレ ン ダ リング
と幾
何
モデル の
融 合
に よ る仮想 空間構築
複 雑で場 合に よっ て は多くの人手を要 する幾何モデ リ ングを経由せず，
実物 体を撮影し た大量の実 写 画 像か ら 写実 性の高い任意 視点画 像を 生 成 す る手 法が イメー
ジ ベー
ス ト レン ダ リン グ （IBR
）である．
IBR
の理論 的 基 礎を与え たの は，
画 像を3次 元 空 間における物 体か ら反 射 し た光 線を撮 像 面で記 録し た結果 と して と らえ，3
次 元空間内の光線分布を，
位 置（x，y
，2
），
方向 （θ，φ），
波 長 λ，
時間 tか ら な る7
次 元の関数ρ（x，Y，z，θ，iP
，λ，t）と し て記述 す るplenopticfunction
である ［15］．
こ の 7次 元 の情 報空間を記 録し ようとする と膨 大な画 像デー
タが必 要に な る た め，
実 際の IBR は，
1本の光 線は同じ色を持 ち，
時 間 的に変 化しない と仮 定し，
基 準面 （撮 像面） を 通 過 する光 線 情 報のみ に注目する4
次元空間 での光 線記 述 に基づ く光線空 間理論 ［161
とLight
Field
［17］に 基礎 を置い ている．
光 線空間理論とLight
Field
は多次 元 情 報空間の定義の仕 方が異な る だけで，
原 理 的に等 価で あ る．
光 線 空 間理 論で は第 4 図に示 すように，
光 線 情 報 を 1枚の基 準 面Z＝0
を通 過 する光 線の 位 置＠，
〃）
と方 向（
θ，
φ）
の 4次元 関数ρ（亀 跳 θ，φ）で表現 す る．
光 Y Z X 〜．
OZ 虐 Y ρ（κ，
y，
θ，
φ） る 光 線 デー
タ に よっ て記述 し，
背 景の幾 何モ デ ル と融 合 し た仮 想 空 間の任 意 視 点・
視 線 画 像 を 実 時 間で描 画 する ビュー
アCyberMirage
を 開 発 して いる［
31．
第5
図は仮 想シ ョ ッ ピングモー
ル の花 屋 を題 材 とし てCyberMirage
で生 成した 融 合 空 間 を示 す．
こ の例か らわか る ように，
C
アberMirage
で は ● 形 状 が複 雑でかつ 微 妙な質 感を表 現 する た めに高い 写 実 性が求め ら れ る もの （第 5図で は花と鉢 ）は光 線デー
タに基づ くIBR で描 画 ・ 形 状 が 比 較 的 単 純で幾 何モ デル表現が容 易なもの （第5
図 で は インテ リ ア）は 通常のCG
とし て幾 何 モ デル に基づ くMBR
で描画 とい う2 種類の描 画を組み合わ せて，
標 準 的な PC と グ ラ フ ィッ クボー
ドで実 時 間 描 画を実 現して いる．
こ の シ ス テ ムは当 初の ス タ ン ドア ロン型シ ス テ ムから， ネッ ト ワー
クを介し て複 数の箇 所 か ら操 作できるネッ トワー
ク 型システムへ の拡張も行わ れ た［
4］．
X 第 4 図 光 線 空 問 理 論にお ける光 線 記 述光 線 空 間 理 論やLight Fieldに基づ く
IBR
は，
あ らか じめ必 要 な画 像 を取 得 し デー
タベー
ス化し て おけ ば，
原 理 的に は画 像 撮 影 位 置 以 外の任 意 視 点・
視 線での 描画 が 可 能 で あ る とい う意味 で，AV
手法と して万能で あ る．
し か し，
・ あら ゆ る場 合に適 用 しようとする と撮 影 すべ き画 像 が膨 大になる ・ 大 型構 造 物や自然 情 景 を対象とすると必 要 な撮 影位 置 を確保できない とい う問 題 がある．
この た め，
光線空間法に基づ くIBR の利 用は 比較 的小さ な物 体や撮 影 位 置を設 定しやすい空 間に限 定さ れてい る，
ま た， 現 実 的なアプロー
チ とし て，
高い写 実 性 を 要 求 されるもの をIBR 「
で描 画し，
そ の他の もの を幾 何モ デル表現に よ るCG
で補 完するハ イ ブ リッ ド手 法が有効である．
以下 で は，
このハ イ ブ リッ ドア プ ロー
チの例 を簡単に紹 介 する．
キ ヤ ノ ン と東京 大 学で は，
小 物 体を多視 点 撮 影に よ （a）背景をワイヤー
フレー
ム表 示 （b）IBR とMBR の融 合 結 果 第5図 CyberMirage で生 成さ れた 仮 想ショッピングモー
ル の花 屋の シー
ン （立命館 大 学・
田村 秀 行 氏の厚 意 に よ る）4 ． 全方 位
ビデ
オ映像
を 用い た テ レプ
レゼン スと
そ
のネ
ッ ト ワー
ク化
空 間 的 ある い は時 間 的に離れ た遠隔実 世 界に実 際にい る か の ような感 覚を与えるAV
技術の一
種に，
ロ ボッ ト の遠隔操 作に端を 発する テ レ プ レ ゼン ス が あ る ［18］．
テ レ プ レ ゼン スで は，
ユー
ザの視 線・
視 点 変 更に追 従して 実 時 間で遠 隔 地の映 像を提 示 する ことが求め られ，
近 年，
全 方 位カ メ ラを用い た IBR の ア プロー
チ が注目 さ れて いる．
その きっ か け と なっ た の は，
カ メラを回転して撮 影した複 数の画像の ワー
ピング や スティッチ ング に よっ て作成 し たパ ノ ラマ 画像を インタ ラ クテ ィブ に表 示 するQllickTimeVR
［19］の成 功で ある．
その後，
全方 位ビデ オ カメ ラ の開 発と ともにテ レプレゼ ン スへ の応 用 が 始一40 一
横 矢 ：現 実 世 界と仮 想 世 界 を融 合 する複 合 現 実 感 技 術
一
III 165 まっ た．
テ レプレゼン ス に利 用され るの は，
1点へ の中心 投 影 像 を撮 影で きる， す なわち， 単．
視 点 制 約を満たす 全 方 位カ メラ である［
20］
．
単一
視 点 制 約 を満たす 全 方 位 画像は幾 何学的 変 換に よっ て任 意 形 状の投 影 面へ の透 視 投影画像を生成で きるとい う特長を もっ てお り （第6
図 参照），
こ の特 長を利用 して，
ユー
ザの視 線に応じ た画 像を実 時 間で生 成・
提 示 することによっ て全方 位ビデ オ のイン タ ラ ク テ ィブ観 察が．
口∫能になる，
た だ し， 1枚の 全 方位 画 像か ら は視 線の変 更のみ が 可能であ り， 生 成 さ れ る 画像の視 点位 置は全 方 位セ ンサの設置位 置 あるい は その移動 経 路上 に制 限さ れ，
自由な視点変 更は できない．
以 下で は，
全方 位カ メ ラを用い たテ レプレゼンス方 式と そのネッ ト ワー
ク化の例を紹 介 する，
全 方 位 画 像 変 換 画 像 第6図 全 方 位 画 像 か らの平面 透 視 投 影 画 像の生 成 蓄積 再生 型テ レプレ ゼ ン ス を 実 現 してい る．
ス テッ プ〔3
） の実 時 間処 理に はワー
ピング を利 用し てい る．
．
前述の シ ス テム はネッ トワー
ク に は対 応してお らず，
基 本 的にス タン ドアロ ン型の シ ス テ ム であっ た．
その後，
ネッ トワー
クを介 した 実 時 間テレプレゼン スへ の取 り組 み が行 われ，
最 近で は，
イン ター
ネッ ト上でWeb
ブ ラ ウ ザ に よ り起動さ れ る 全 方 位 動 画 像 ビュー
ア によっ て，
● サー
バ上に蓄 積さ れ た 全 方 位 ビデ オ あ るい は 全 方位 ライブ ビ デオのマ ル チ キャ ス ト配 信 ・Web
ブラウザ 上で のマ ウ ス・
キー
ボー
ド操 作 また は 姿勢 計 測 装 置 付 きHMD
による奈 方 位コ ンテンツの インタラクテ ィブ鑑賞 が可 能なシ ス テム へ の拡張が行わ れてい る［
6］
（第8
図 参 照〉．
移 動 体か らの全方位ビデ オの マ ル チ キャ ス ト配 信を行 うシ ス テ ム の概 要を第 9図に示 す．
ま た，
本シス テム を利 用し てい る様 了 を 第10 図に示 す．
全方 位 勦 画像 鍵 サー
バw
．
全 方 位力 メラ趨
麹
幽
灘
。舗
暫
翳
、「
燕
総
第8 図 W6b ブラ ウザ を 用い た ネッ トワー
ク テ レプレゼ ン スシス テム の構 成 wireleSS 第7 図 全方位ビ デ オ映 像を用いた テ レプレ ゼ ン ス シ ス テ ム の構成全方 位ビデ オ カメラ
HyperOmiii
Vision
を 用いた 初期 の システム （第 7図 参 照）［5］では，
映像 提 示 装 置と し て ヘ ッ ドマ ウ ン トデ ィ ス プレ イ （HMD ）が用い ら れ，
以 下の処 理に よっ てユー
ザの視 線に追 従 した実 時 間 画 像 提 示 が 行われた，
（1
）全 方位ビデ オカ メラで現実世 界の情景を撮 影し，
コ ン ピュー
タ に取 り込 む．
（
2）
ユー
ザの装 着 するHMD に取 り付 けた3次 元磁 気ト ラッ カー
でユー
ザの視 線 顧 部 ）の方 向を計 測 する，
（
3）
全 方 位 画 像からユー
ザの視 線に対 応 した平 面 透 視 投 影 画 像 を生 成し，HMD
に表 示 する．
ステ ップ（
1）
に おい ては，
全 方 位ライ ブビ デ オの入 力と 蓄積 再生 入力が．
ロ∫能であ り，
実 時 間 型テ レプレ ゼ ン ス と 全方 位 動 画 像 ビュー
ア 全方 位 動 画 像 取 得 車両 第9図 移 動 体 か らの全 方 位ビ デオのマ ルチキャ ス ト配 信に よる ネッ トワー
ク テ レ プ レ ゼ ン ス一
一
166 システム／制 御／情 報 第50 巻 第4号 （2006） 第 10図 ネッ トワ
ー
ク テ レプレ ゼ ン ス シス テ ムを利 用して いる様 子 （左 上 ：全方 位カ メ ラ搭 載車 輌，
左下 ： HMD を装着したユー
ザ，
右 ：ユー
ザ提 示画像 ） 本 節で紹 介し たシ ス テム は，
カ メラ 設置場所まで の距 離に関 係 な く，
視 線 変 化か ら 画像 提示 まで の時間遅 れ を ほとんど感じ るこ となく，
複数のユー
ザ が独立 に遠 隔 情 景を イン タ ラ クテ ィブ に鑑 賞で き る とい う特 長をもっ て い る．
た だ し，
先に も述べ た ように，
視 点は全 方 位カ メ ラ の設 置 位 置お よ び移 動 経 路上に限 定さ れる．
5
．
多視 点
ビ デ オ映像
か らの自由視 点 映像
生
成
と その ライブ配信
近 年，
ス ポー
ツ シー
ンに おいて，
多視点 で 撮影さ れ た 複 数の ビデ オ映像か ら任意視 点の画 像を 生成し，
ユー
ザ が視 点を自 由に変 更で きる インタラ クティブなス ポー
ツ 中継を実 現し ようとい う研 究 が 盛ん である，
こ のよう な インタラク テ ィブ視 聴 が 可 能 な実 況 中 継 を実 現 するため に は，
多 視 点 映 像 撮 影，
複 数ユー
ザに対 応 した 自由 視 点 映像 生 成，
複数ユー
ザへ の映像配信のすべ て を実 時 間で 処 理 す る 必 要 が あ り，
MBR，
IBR のいずれの ア プロー
チも，
大 規 模 空 間を対 象として厳 密 な 自由 視 点 映像 を実 時 間で配 信 する に は至っ ていない，
以下 で は，
サッカー
シー
ンを対 象として，
映 像 解 析に基づく選 乎の簡 易 的な 見 え表 現と背 景シー
ン の 幾 何モ デル表現 を用いて，
複 数 ユー
ザに対 する自由 視 点 映像の実時間で のインター
ネッ ト配信を 実現してい る 例［
7，8］
を紹 介 する．
大田 らの ラ イ ブ3D ビデオシ ス テ ム で は，（
1）
サッ カー
ス タジア ム の構 造 物 等，
変 化の ない 背 景 シー
ンは事 前に3
次元モ デルを作 成し て お く（
2）
映 像か ら選手のフ ィー
ル ド上の3
次元位置を計 測 し，
選手の位 置に フ ィー
ル ドに対 して垂 直な仮 想 の板 （入物ビ ルボー
ド）を 立て，
そこ に 多視 点 映 像か ら抽 出し たユー
ザ視 点に最 適 な選 手の テ クス チ ャを貼 り付 ける （第 11 図参照） の 二つ の ス テッ プに よっ て 自 由視 点映像を 生 成 し てい る［
8］
．
ス テップ（1
）は事前に一
度行い，
その情 報をユー
ザ 側 に配 信し て おけば よい．
実 時 間で の更 新 処 理が必 要 なの はス テッ プ（
2）
であ り，
常 時 配 信 する必 要がある情 報は選 手を表 現 するため の人 物ビル ボー
ドの位置 と大 き さお よびテ ク スチャ画 像で ある．
選 手の ビル ボー
ド表現と背景シー
ン の 合成 に 基づ く謬
撮 影 した 映像⇒
仮 想 化 空間 第11 図 サ ッ カー
選 手の ビルボー
ド表現 （筑波 大 学・
大 田 友一
氏の厚意に よ る） 第12図 サ ッ カー
シー
ン の イン ター
ネット中 継シス テ ムの 構成 （筑波 大学・
大田友．
．
一
氏の厚意による ） サ ッ カー
シー
ン の イン ター
ネッ ト中継シ ステム の構成 を 第12
図 に示 す．
本シス テムは，
シー
ン解 析 部，
多視 点 映像撮影部，
サー
バ 部，
自由 視 点 映 像生成・
提 示 部（
ク ライア ン ト）か ら な り，
それぞれ 以下の ような 機 能 を 有 してい る．
・
シー
ン解 析 部： フ ィー
ル ドを俯 瞰で きる位置 に 設 置 さ れ た複 数の カ メラ か らの映像をもと に，
選手領 域を フ ィー
ル ド に投 影し，
その重 心 と カメ ラ を結ぶ直 線 の交点と し て選 手の 3次 元 位 置を決 定 する．
・
多視 点 映 像 撮 影 部：選 手 撮 影 用の複 数の カメラに接 続 され た PC は，
サー
バ 部 を経 由 して得 た選 手の3
次 元位 置 情 報 を もと に，
そ れ ぞ れ が 撮 影 し ている 映 像 内か ら 選手 領 域のテ クス チャを 抽 出 し，
サー
バ 部 に 転送する．
・
サー
バ部：まず，
シー
ン解 析 部か ら選 手の3
次 元 位 置 情 報を取 得 し，
多視 点 映 像 撮 影 部の各PC に転 送 する．
つ ぎに，
多 視 点 映 像 撮 影 部 か ら選 手の テ クスチャ画 像 を取 得 し，
自 由視 点 映 像 生 成に必 要 なデー
タセ ッ トを構 築す る．
最 後 に，
自由 視 点 映 像 生 成・
提 示 部 か ら 送 ら れて き たユー
ザの視 点 情 報に従っ て，
必 要 な デー
タ を自由視 点 映 像 生 成・
提 示 部に配 信 する．
・
自由視 点 映像 生 成・
提 示 部：マ ウス操 作 等に よっ て指 定 され たユー
ザの視 点 情 報 をサー
バ部に転 送し，
サー
バ 部 か ら配信さ れ てきた デー
タを もとに自由視 点画像を 再 構 成し背景シー
ン と合 成して，
ユー
ザに提 示 する．
一42 一
横 矢 現 実 世 界と仮 想 世 界を融 合 する複 合 現実感 技術
一
III 167 以 上の処 理 を繰り返 すこ と に よっ て，
複 数の ユー
ザ に 独．
立に 自 由視 点 映 像が提 供さ れ る．
シー
ン解 析 部に2
台の カ メラ， 多視 点 映 像 撮 影 部に8台の カメ ラ を用いて生成 さ れた 自 由視 点 映 像の 1シー
ンを第 13図に示 す．
第 13 図 自由視点 映像の 1シー
ン （筑波大学・
大田友．
．
・
氏 の厚意に よ る）6
．
お わ りに 本 稿で は，
連 載 講 座 「現 実 世 界と仮 想 世 界を融 合す る 複 合現 実 感 技 術 」の第三回と して，
前 回 述べ た現 実 世 界 の情 報 を用い て仮 想 環 境 を構 築 する仮 想 化 現 実のた めの 基 本 的 な 方法 論 を 駆 使して，
実 際に仮 想 化 現 実 空 間の構 築 とシステ ム化 を 行っ てい る 四つ の事 例 を紹 介 した．
今 後は，
ここで紹介し た 基 本 技 術 と プロ ト タ イ プシ ステム の実 用 化が期 待さ れ る．
（
2〔〕06年1月5日受 付） 参 考 文 献 国 横 矢 ：現 実 世 界と仮 想 世 界を融 合 する複 合 現 実 感技術一
II仮想 化現実の方法 論；シス テ ム／制御／［青報， VoL 50， No．
2， pp．
6873 （2006）［2］K
．
Ikeuchi，
A ．
Nakazawal K．
Hasegawa
and T．
Ohishi
： The GI・
eat Buddha Project： Modeling cul．
tural heritagc for VR systems thr ugh observation ；
PrOC
．
2nd JEEE ／4．
CM lnt．
SYmpOb’
・
tUM on Mixed andAugmented Real
’
it野（ISMARO9 丿，
pp．
7−
16 （2003）［3］片1
．
1．
1、
内 山，
田村，
苗村，
金子，
原島：CG モ デ ル と光線 空 間デー
タとの融合．
に よ る仮想 環境の実現；電子 情報．
通信 学 会論文誌（D−
II），
Vol．
J80−
D−
II，
N．
1／，
pp．
3048−
3057 （1997） ［4］片 山，
内 山，
熊 谷，
出 村，
苗 村，
金子，
原島：Collaborative CyberMirag。；情 報 処理学 会 論文 誌，
Vol．
39，
No．
5，
pp．
1484−
1493 （1998）［5］Y
．
Onoe7
K．
Yamazawa，
H，
Take．
mura and N．
Yokoya：Te】epresence by real
−
time view−
dependelLt image geIl−
eration 丘om omnldirectional video streams ；Oom
−
puter Vis乞on an
，
d Jma．
ge Understanding，
V6L 71，
No
．
2，
pp．
154165 （1998） ［6
］山 澤，
石 川，
中村1 藤川，
横 矢，
砂原 ：Web ブ ラ ウザ と全方 位 動画像を 用い た テ レプレゼ ン ス システム；電子情報 通信 学 会論 文誌 （D−
II），Vol．
J88−
D−
ll，
No．
8，
pp．
1750−
1753 （2005）［7］T
．
Koyama，
1，
Kitahara alld Y．
Ohta；Live mixed−
rea ｝ity 3D vidco in soccer stadium ； Proc，
2ndJEEE ／
A
CM
Jnt．
Symposiurn
onMixed
and Aug−
mented
Realit1V
（JSMARO，
9）， pp，
178．
187 （2003）［
8
］．
占山，古谷，向川1 亀N
，吉川，大田 ：サ ッカー
のインター
ネッ ト中継が 可能 な 白 由 視 点 映 像 方 式 ；第 1回デジタル
コ ンテンッシ ンポ ジウム講 演 予 稿 集
，
No．
S1−
6 （2005）［9］M
．
Levoy，
et al．
：The Digital “・
lichelangelo Prject
：3D scallIliIlg of large statuesl Proc
．
SIGGRAPH2000 ｝pp
．
131−
144 （2000）［10］松 山
，
高井，
ウ，
延 原：3次 元ビ デオ映 像の撮 影・
編 集・
表示；日本バ
ー
チャ ル リア T丿テ ィ学 会 論 文 誌，
Vol．
7， No．
4，pp
，
521 532 （2002）［11］P
．
J．
Besl and N，
D．
McKay ：Arnethod for registra−
tion of 3
−
D shapcs ；fEEE 7｝・
ans．
PαtternAnal．
Maeh ．
Intell
．
，
Vol．
14，
No．
2，
pp．
239256 （1992）［12］
K ．
Nishino
and K．
Ikeuchi：R．
obust simult・
aIleous reg−
istration of multiple range images；Proc
．
J「th AsianCon
・
f
．
on Computer VisionrA
CCV，
02丿，
pp．
454−
461（2002）
［13］阪 野
，
長 谷 川，
池内：大型有形文化財計測のための気球搭 載 型レ ンジセ ン サ ；情 報処理学 会研究報告，
CVIM148−
28 （2005）［14］T
．
Oishi，
R．
Sngawa，
A．
Nakazawa，
R．
Kurazume andK
．
Ikeuchi： Parallel alignment of a large number ofrange images on a PC cluster ；Proc
．4th
∫nt，
Oonf．
on
，
9−
D Dig’
ital 1’
rna
．
qing and Mo 読 置れg （，
9DIM200・
9？，
pp．
195−
2‘〕2 （20｛〕3）［15］
E．
H．
Adelson andJ．
R ．
Bergen：The pleIloptic func−
tlon and the elemellts of early vision ；Oomputa
，
tiona，
lModels of I傷梛 α‘Processing （M
．
Lalldy aIld J，
A ．
Movshen7 Eds
．
）1 MIT Press，
pp．
3−
20 （1991）［16］藤 井
，
金子，
原島：光線 群に よ る 3次元空間情 報の 表現 と その応 用；テ レビ ジョ ン学 会 誌
，
Vol．
50，
No．
9，
pp
．
1312−
1318 （1996）［17］M
，
Levoy and P．
Hallrahan ： Light 丘eld rendering ；Proc
．
SICCRAPH’
96，
Pp
．
31−
42 （1996）［18］SpeciaユIssue on Immersive Telepresence；JEEE Mv
，
1−
tiMedia
，
Vol．
4，
NQ、
1 （1997）［19］S
・
E・
Chcn
：Quick
Time VRAn
imag←based
ap−
prOaCll to virtllal envlronment navigatiOn ；Pr
’
O〔／．
S∫a−
aRAPH ，951
pp
．
29−
38（1995）［20］八木
，
横 矢 ：全 方 位ビジョ ン ：セ ンサ 開 発と応 用の最 新動 向；情 報 処 理 学 会 論 文 誌：コ ンピュ
ー
タ ビ ジョ ンとイメ
