映像情報メディア学会ワードテンプレート (タイトル)

コンピュータビジョン技術による仮想現実・複合現実技術

斎藤

英雄

慶應義塾大学大学院理工学研究科 〒223-8522 横浜市港北区日吉 3-14-1

E-mail: [email protected]

あらまし コンピュータビジョンはカメラで撮影された画像をコンピュータに理解させるための技術であり，30

年以上前からコンピュータによる人工視覚の実現を目的として研究されてきた．最近の

10 年は，コンピュータビジ

ョンは色々な目的に利用されており，仮想・複合現実感のためにも盛んに利用されている．本発表では，コンピュ

ータビジョン技術を仮想・複合現実感に応用した研究事例として，筆者が最近行っている関連研究について紹介す

る．

キーワード 自由視点画像，マルチカメラ，カメラキャリブレーション，3 次元形状復元，トラッキング

Free Viewpoint Image Generation from Multiple Viewpoint Images

and its Application to Mixed Reality Presentation

Hideo Saito

Graduate School of Science and Technology, Keio University

3-14-1 Hiyoshi Kouhoku-ku Yokohama, 223-8522, Japan

E-mail: [email protected]

Abstract Research on image processing and computer vision for multiple viewpoint images has extensively been

performed in recent years. Free viewpoint image generation has especially been attracting a great deal of attention, because is

can be applied to highly immersive visual communications and broadcasting in the next generation. In this article, I would

like to introduce related researches to free viewpoint generation from multiple cameras that I have been performed in recent

years, while referring to related researches. In addition to that, I would also like to introduce application of free viewpoint

generation to mixed reality presentation.

Keyword Free Viewpoint Image, Multiple Cameras, Camera Calibration, 3D Shape Recovery, Tracking

1. は じ め に

複 数 の カ メ ラ を 用 い て 同 一 シ ー ン を 撮 影 し た り ， １ 台 の カ メ ラ を 異 動 さ せ な が ら 同 一 シ ー ン を 撮 影 し た り す る こ と に よ り 得 ら れ る 多 視 点 画 像 を 入 力 と し た 画 像 処 理・コ ン ピ ュ ー タ ビ ジ ョ ン の 研 究 は ，最 近10 年 以 上 に わ た っ て 非 常 に 盛 ん に 研 究 さ れ て き た ． 特 に 自 由 視 点 映 像 生 成 に 関 す る 研 究 開 発 は ， 映 像 の 視 聴 者 や 製 作 者 が カ メ ラ を 実 際 に 移 動 さ せ た り 切 り 替 え た り す る こ と な く ， 同 一 シ ー ン に 対 し て 観 察 し た い 視 点 を 自 由 に 設 定 し て 映 像 見 る こ と が で き る 技 術 で あ り ， 次 世 代 の 映 像 生 成 ・ 提 示 技 術 と し て 注 目 を 集 め て い る ． 筆 者 は ， 多 視 点 画 像 か ら の 自 由 視 点 映 像 生 成 に 関 す る 研 究 を 1997 年 ご ろ に 米 国 の CMU に 滞 在 す る 機 会 を 得 た 際 に 始 め ， そ れ 以 降 ， 関 連 す る 技 術 に つ い て の 研 究 を 行 っ て き た ． 本 稿 で は ， こ れ ま で に 筆 者 が 行 っ て き た 多 視 点 画 像 か ら の 自 由 視 点 映 像 生 成 に 関 連 し た 研 究 事 例 を 関 連 研 究 の 動 向 と と も に 紹 介 す る ． さ ら に ， 最 近 筆 者 が 展 開 し て い る ， 自 由 視 点 画 像 生 成 技 術 を 複 合 現 実 感 提 示 に 応 用 し よ う と す る 研 究 事 例 に つ い て 紹 介 す る ．

2. Virtualized Reality

1995 年 に Kanade ら が 発 表 し た 論 文 [1]で ， Virtualized Reality の コ ン セ プ ト が 紹 介 さ れ ，そ れ を 実 現 す る た め

に 行 っ た 基 礎 実 験 の 結 果 が 紹 介 さ れ た ． こ の コ ン セ プ ト は 単 純 明 快 で あ る ． つ ま り ， 多 視 点 画 像 を 利 用 す れ ば 原 理 的 に は シ ー ン の 3 次 元 形 状 復 元 が 可 能 で あ り ， 実 際 は 色 々 難 し い に し て も ， 何 と か し て 復 元 し た 3 次 元 形 状 を 利 用 す る こ と に よ り ， そ れ を 任 意 視 点 か ら 観 察 し た「 自 由 視 点 画 像 」を CG 合 成 す る こ と が で き る ， と い う も の で あ っ た ． こ れ は ， つ ま り の と こ ろ ， 現 実 シ ー ン の 幾 何 学 的 構 造 情 報 と ， そ の 見 え 方 の 情 報 を 一 旦 コ ン ピ ュ ー タ に 取 り 込 み（ 電 子 化 ，も し く は 仮 想 化 ）， そ の 上 で 電 子 化 ・ 仮 想 化 さ れ た 現 実 シ ー ン を 自 由 に 観 察 し よ う ， と い う も の で あ る ．Kanade ら の 論 文 ［ 1］ な ど で 最 初 に 言 わ れ た 応 用 と し て は ， バ ス ケ ッ ト ボ ー ル を コ ー ト 内 部 か ら 観 戦 し よ う ， と い う も の で あ っ た が ， 実 際 は そ こ ま で 仮 想 視 点 を 移 動 さ せ て し ま う と ， 3 次 元 形 状 復 元 の 誤 差 等 が 非 常 に 大 き く 目 立 っ て し ま う た め に 画 質 が 良 好 な 自 由 視 点 画 像 を 得 る こ と が で き な か っ た ． 筆 者 は ， 部 屋 の 壁 ４ 面 と 天 井 に 合 計 49 台 の カ メ ラ を 固 定 し た3DRoom[2]を 構 築 し ，さ ら に ，自 由 視 点 合 成 の 際 の 画 質 を 入 力 画 像 か ら 出 来 る だ け 劣 化 さ せ な い よ う に す る た め に ， 入 力 画 像 を 撮 影 し た 視 点 間 の 視 点 内 挿 （ 補 間 ） を 行 う こ と に よ り 自 由 視 点 画 像 を 合 成 す る 手 法 を 実 装 し ，有 効 性 を 示 し た[3]．そ し て ，こ の 研 究 を 通 し て ， 多 視 点 画 像 か ら の 自 由 視 点 画 像 生 成 の た め の 重 要 な 要 素 技 術 と し て ， ・ カ メ ラ キ ャ リ ブ レ ー シ ョ ン 技 術 ・ 3 次 元 形 状 復 元 技 術 ・ レ ン ダ リ ン グ 技 術 そ れ ぞ れ に つ い て ， ま だ 多 く の 研 究 課 題 が 残 さ れ て い る こ と を 痛 感 し ， そ れ ぞ れ の 技 術 を 出 来 る だ け 実 用 レ ベ ル に 引 き 上 げ る こ と が ， 自 由 視 点 画 像 生 成 を 実 用 化 さ せ る た め に 重 要 で あ る と 考 え た ． 以 下 ， そ れ ぞ れ の 観 点 か ら 筆 者 が 行 っ て き た 研 究 と そ の 関 連 研 究 に つ い て 述 べ る ．

3. カ メ ラ キ ャ リ ブ レ ー シ ョ ン 技 術

多 視 点 画 像 を 利 用 し て 自 由 視 点 画 像 を 生 成 す る た め に 避 け て 通 れ な い の が ， カ メ ラ キ ャ リ ブ レ ー シ ョ ン で あ る ． 同 じ 空 間 を 撮 影 す る 多 視 点 カ メ ラ の 内 部 パ ラ メ ー タ と 外 部 パ ラ メ ー タ の 全 て を 精 度 良 く 推 定 す る こ と は 容 易 な 作 業 で は な い ． 特 に ， 撮 影 対 象 空 間 が 大 き く な る と ， そ の 作 業 に は 相 当 の 労 力 を 要 す る ． 単 純 な 方 法 と し て は ， 撮 影 対 象 空 間 中 に3 次 元 座 標 が 既 知 な 点 を 複 数 配 置 し ， そ れ ら が 各 カ メ ラ に 投 影 さ れ る2 次 元 座 標 と ， 元 の3 次 元 座 標 の 関 係 を 利 用 し て カ メ ラ キ ャ リ ブ レ ー シ ョ ン は 行 わ れ る ． し か し ， 対 象 空 間 が 大 き く な る と ，3 次 元 座 標 が 既 知 な 点 を 空 間 中 に 配 置 す る こ と が 難 し く な る た め ， カ メ ラ キ ャ リ ブ レ ー シ ョ ン は 容 易 で は な く な っ て く る の で あ る ． そ こ で ，3 次 元 位 置 は 未 知 で あ る が ， 画 像 中 に 投 影 さ れ て 検 出 さ れ た 複 数 の 点 の 視 点 間 の 対 応 関 係 の み を 利 用 し た キ ャ リ ブ レ ー シ ョ ン が ， 簡 単 な キ ャ リ ブ レ ー シ ョ ン と し て 利 用 さ れ る こ と が あ る ． こ の よ う な 複 数 カ メ ラ 間 の 対 応 点 関 係 の み に 基 づ く キ ャ リ ブ レ ー シ ョ ン は ，弱 キ ャ リ ブ レ ー シ ョ ン[4]と 呼 ば れ た り し て い る が ， 理 論 的 に は 複 数 カ メ ラ 間 の エ ピ ポ ー ラ 幾 何 的 関 係 を 求 め る こ と に 相 当 し ，２ カ メ ラ の 場 合 は Fundamental Matrix を 推 定 す る こ と が こ れ に 相 当 す る ． 筆 者 は ， こ のFundamental Matrix に 基 づ い て ， 複 数 カ メ ラ に よ り 撮 影 さ れ た 多 視 点 画 像 か ら 自 由 視 点 画 像 を 生 成 す る た め の 技 術 に つ い て 研 究 を 進 め て き た ． そ の 基 本 コ ン セ プ ト に な っ て い る の は ， 射 影 グ リ ッ ド 空 間[5]と 呼 ん で い る ，複 数 カ メ ラ か ら 選 ば れ た 2 台 の 基 底 カ メ ラ 間 の Fundamental Matrix と ， 基 底 カ メ ラ と そ の 他 の カ メ ラ 間 と の Fundamental Matrix か ら 各 カ メ ラ 間 の 幾 何 学 的 関 係 を 表 現 す る 枠 組 み で あ る ． こ の 枠 組 み を 利 用 す る こ と に よ っ て ， 例 え ば ， 図 1(a) を 含 む 20 枚 の 多 視 点 画 像 か ら 形 状 復 元 を 行 い ，そ れ に 基 づ い て 図 1(b)に 示 す よ う な 自 由 視 点 画 像 が 合 成 可 能 で あ る こ と を 示 し て い る[6]． (a) 入 力 多 視 点 画 像 の う ち の ２ 枚 (b) 多 視 点 画 像 か ら 生 成 さ れ た 自 由 視 点 画 像 の 例 図 １ ： 多 視 点 画 像 間 の Fundamental Matrix の み を 用 い て 生 成 し た 自 由 視 点 画 像 さ ら に ， 複 数 の 人 が 手 持 ち で 同 一 対 象 を 撮 影 し て い る 状 況 を 想 定 し ， 複 数 の 移 動 カ メ ラ を 利 用 し て 撮 影 し た 多 視 点 画 像 か ら 自 由 視 点 画 像 を 生 成 す る の に 上 記 の

考 え 方 を 利 用 し た 手 法 を 提 案 し た[7]． こ の 手 法 で は ， 2 台 の 基 底 カ メ ラ 画 像 の み は 固 定 と し ， こ の カ メ ラ に よ り 定 義 さ れ る 3 次 元 空 間 座 標 系 に 対 し て 全 て の カ メ ラ の 射 影 関 係 を カ メ ラ 間 のFundamental Matrix の み を 用 い て 推 定 す る こ と が で き る こ と を 利 用 し て ， 自 由 視 点 画 像 の 合 成 を 行 っ て い る ． 上 記 の よ う な Fundamental Matrix に 基 づ く 複 数 カ メ ラ の キ ャ リ ブ レ ー シ ョ ン は ，3 視 点 ，4 視 点 間 の 関 係 を 表 現 す る た め に ，よ り 高 次 の テ ン ソ ル 表 現 に 拡 張 さ れ ， そ れ ら を 利 用 し た キ ャ リ ブ レ ー シ ョ ン 手 法 が 研 究 さ れ て い る[8]． さ て ， 上 記 の 手 法 の よ う に ， カ メ ラ 間 の 2 次 元 特 徴 点 の 対 応 関 係 の み に 依 存 す る「 弱 キ ャ リ ブ レ ー シ ョ ン 」 で は ， 結 局 の と こ ろ カ メ ラ の 位 置 や 向 き の 絶 対 値 を 知 る こ と は 困 難 な の で ， 結 果 的 に は ， 対 象 シ ー ン の3 次 元 形 状 の 絶 対 値 を 知 る こ と は 出 来 な い 場 合 が 多 い ． そ こ で ， や は り 対 象 空 間 に 配 置 し た 3 次 元 座 標 の 既 知 な 点 な ど に 頼 る 必 要 が 出 て く る こ と も 多 い ． こ の よ う な 場 合 に ，カ メ ラ 間 の2 次 元 特 徴 点 の 対 応 関 係 も 利 用 し ， こ れ に 矛 盾 の 無 い よ う な 内 部 パ ラ メ ー タ ・ 外 部 パ ラ メ ー タ を 推 定 し よ う と す る 考 え 方 が Bundle Adjustment[9] で あ る ．こ の 考 え 方 を 利 用 し て ，図 ２ に 示 す よ う に ， 同 一 平 面 に 存 在 す る 3 次 元 座 標 が 既 知 の ５ 個 の マ ー カ を 撮 影 し た 多 視 点 画 像 一 組 か ら カ メ ラ パ ラ メ ー タ を 推 定 し ， さ ら に こ の 推 定 値 の 精 度 を 向 上 さ せ る た め に ， 両 端 に2 点 の マ ー カ が 取 り 付 け ら れ て い る 長 さ が 既 知 の 棒 を 任 意 の 姿 勢 ・ 位 置 で 移 動 さ せ な が ら 撮 影 し た 多 視 点 画 像 列 か ら 得 ら れ る カ メ ラ 間 の2 次 元 特 徴 の 関 係 を 利 用 し て カ メ ラ パ ラ メ ー タ の 推 定 精 度 を 向 上 さ せ る こ と に よ り ， 多 視 点 カ メ ラ の キ ャ リ ブ レ ー シ ョ ン を 実 現 す る ソ フ ト ウ エ ア を 共 同 で 開 発 し た [10]． カ メ ラ の 特 性 等 に も 依 存 す る が ， 直 径 １ メ ー ト ル 程 度 の 空 間 に 対 し て ６ 台 の カ メ ラ を 利 用 し て 本 手 法 を 適 用 し た 場 合 ， 空 間 内 の 長 さ が 既 知 の ２ 点 間 の 距 離 の 推 定 誤 差 が 最 大 で 2mm， 平 均 で 1mm 程 度 に な る よ う な 精 度 で 全 て の カ メ ラ の キ ャ リ ブ レ ー シ ョ ン を 行 う こ と が で き た ． こ れ は ， 同 一 平 面 特 徴 点 を 利 用 す る だ け で も カ メ ラ キ ャ リ ブ レ ー シ ョ ン を 実 現 で き る こ と が 知 ら れ て い る が ， そ れ だ け で は 十 分 な 精 度 が 得 ら れ な い 場 合 に ， た と え そ の 3 次 元 位 置 が 未 知 で あ っ て も ， 任 意 位 置 姿 勢 に マ ー カ 配 置 し ， そ こ か ら 得 ら れ る カ メ ラ 間 の エ ピ ポ ー ラ 幾 何 的 関 係 が 精 度 向 上 に 役 立 つ こ と を 意 味 す る も の で あ る ． 図 ２ ： 同 一 平 面 に 存 在 す る 3 次 元 座 標 が 既 知 の ５ 個 の マ ー カ を 撮 影 し た 多 視 点 画 像 と ， 両 端 に 2 点 の マ ー カ が 取 り 付 け ら れ て い る 長 さ が 既 知 の 棒 を 移 動 さ せ な が ら 撮 影 し た 多 視 点 画 像 列 を 入 力 画 像 と し た 多 視 点 カ メ ラ キ ャ リ ブ レ ー シ ョ ン 手 法

4. 形 状 復 元 技 術

多 視 点 画 像 か ら 対 象 の 3 次 元 形 状 を 復 元 す る こ と は ， 自 由 視 点 画 像 の 質 を 本 質 的 に 高 め る た め に 必 須 で あ る ． 文 献[3]で は ，隣 接 す る 複 数 カ メ ラ に マ ル チ ベ ー ス ラ イ ン ス テ レ オ 法[11]と ， 全 て の カ メ ラ の シ ル エ ッ ト を 利 用 し た 視 体 積 交 差 法[12]を 併 用 し て 形 状 復 元 を 行 っ た ． 冨 山 ら の 研 究[13]に お い て も 視 体 積 交 差 法 を ベ ー ス に し て ， ス テ レ オ 法 の 考 え 方 を 併 用 し て ， 高 精 度 な 形 状 復 元 が 可 能 な こ と が 報 告 さ れ て い る ． ま た ， 視 体 積 交 差 法 で 得 ら れ る 形 状 と ， 実 際 の シ ル エ ッ ト の 差 を 出 来 る だ け 小 さ く す る よ う な 形 状 を 反 復 演 算 で 求 め る 手 法 [6,14]も 高 精 度 な 形 状 復 元 に は 有 効 で あ り ，図 1 で 示 し た 自 由 視 点 画 像 も こ の 手 法 で 復 元 し た 形 状 を 利 用 し て い る ． こ の 分 野 で は 世 界 的 に 高 い レ ベ ル の 国 際 会 議 で あ るCVPR06 で は ，こ の よ う な 多 視 点 画 像 か ら の 形 状 復 元 手 法 に つ い て の 比 較 サ ー ベ イ[15]が 行 わ れ ， 最 新 の ア ル ゴ リ ズ ム の 手 法 が 色 々 な 評 価 基 準 で 比 較 さ れ た ． こ の 中 で も ，Furukawa ら に よ る 手 法 の 評 価 が 高 く ，こ れ を 発 展 さ せ た 手 法 がCVPR07 で 報 告 さ れ て い る [16]． し か し ， 形 状 復 元 精 度 を 向 上 さ せ よ う と ア ル ゴ リ ズ ム を 工 夫 す れ ば す る ほ ど 計 算 時 間 は 掛 か る よ う に な り ， 動 き の あ る 対 象 に つ い て の 自 由 視 点 画 像 を タ ー ゲ ッ ト と す る と ， こ の 計 算 時 間 の 短 縮 の 問 題 は 避 け て は 通 れ な く な っ て し ま う ． ま た ， 対 象 が 静 止 し て い る ス タ テ ィ ッ ク な 物 体 だ ， と 仮 定 す れ ば ， 計 算 時 間 は 気 に し な く て も 良 く な っ て く る ，と い う 考 え 方 も あ る ．し か し ， 対 象 が 静 止 物 体 の 場 合 ， あ え て カ メ ラ を 利 用 し て 多 視 点 画 像 を 撮 影 し な く て も ，3 次 元 ス キ ャ ナ を 利 用 す る な ど し て 高 精 度 計 測 を す れ ば よ い ， と い う 考 え も 生 ま れ て き て し ま う ． こ の よ う な 議 論 に つ い て は ， 各 手 法 の 長 所 ・ 短 所 を よ る 検 討 し た 上 で ， 実 際 の 要 求 に 合 わ せ て 選 択 す る 必 要 が あ る ． 一 方 ， 対 象 が 何 か ， と い う こ と を 限 定 す る こ と に よ っ て ， 形 状 に 関 連 す る 未 知 変 数 を 減 ら し て ， 形 状 推 定

を 簡 略 化 す る こ と に よ っ て ， 多 視 点 画 像 か ら 良 好 な 形 状 復 元 を 行 う ， と い う 考 え 方 も 有 効 で あ る ． そ の 一 例 と し て ， 人 を ス ケ ル ト ン モ デ ル と し て 考 え ， 人 の 各 関 節 角 度 と ， 各 ス ケ ル ト ン の 形 状 を 標 準 形 状 か ら の 変 形 に よ り 表 現 し て パ ラ メ ー タ を 削 減 す る こ と に よ っ て ， 人 が 動 作 し て い る シ ー ン を 撮 影 し た 多 視 点 画 像 か ら 形 状 を 推 定 し ， 自 由 視 点 画 像 を 生 成 し た 研 究 が あ る[17]． 筆 者 ら の グ ル ー プ で は ， 自 由 視 点 画 像 の 生 成 を 目 的 に し た も の で は な い が ， 顔 形 状 の 多 視 点 画 像 か ら の 推 定 に ， 複 数 の 実 測 顔 形 状 デ ー タ ベ ー ス を 利 用 し た 手 法 を 提 案 し て い る[18]． こ の 手 法 で は ， 顔 形 状 デ ー タ ベ ー ス に 含 ま れ る 形 状 を 主 成 分 分 析 し ， そ の 上 位 の 主 成 分 ベ ク ト ル の 係 数 に よ り 顔 形 状 を 表 現 す る こ と に よ っ て ，顔 形 状 を 少 数 の パ ラ メ ー タ（ 筆 者 ら の 実 験 で は20） で 表 現 し ， こ の パ ラ メ ー タ を 多 視 点 画 像 か ら 推 定 す る も の で あ る ． そ の 結 果 ， 同 じ 顔 を レ ー ザ ー ス キ ャ ナ に よ り 計 測 し た 真 値 と 比 較 し て も ，平 均3mm 以 内 の 誤 差 に 収 ま る 高 精 度 な 形 状 計 測 が 可 能 で あ る こ と を 確 認 し た ．

5. レ ン ダ リ ン グ

文 献[19]で 筆 者 ら が 生 成 し た 自 由 視 点 画 像 で は ， 復 元 し た3 次 元 モ デ ル に 入 力 画 像 の テ ク ス チ ャ を マ ッ ピ ン グ し て 自 由 視 点 映 像 を 生 成 し た ． こ れ は ， 形 状 復 元 精 度 が 非 常 に 良 い 場 合 は 良 好 な 自 由 視 点 映 像 が 得 ら れ る 手 法 で あ る が ， そ う で な い 場 合 に は ， そ の 誤 差 の 影 響 に よ る 画 質 劣 化 が ， 生 成 さ れ る 自 由 視 点 画 像 に 対 し て ， 自 由 視 点 画 像 の 仮 想 視 点 が 実 視 点 に 近 い か 遠 い か に 無 関 係 に 生 じ て し ま う ． そ こ で ， あ く ま で も 見 か け 上 の 画 質 劣 化 を 防 ぐ 方 法 と し て ， 隣 接 す る 視 点 間 の 視 点 内 挿 （ 補 間 ） を 利 用 し て ， 実 カ メ ラ 画 像 に 近 い 視 点 の 場 合 は ， で き る だ け 実 視 点 画 像 に 近 い 画 像 が 生 成 さ れ る よ う な 手 法 を 適 用 す る こ と が 有 効 と 考 え た ． そ の 考 え 方 の も と に 行 っ た 研 究 が ， 実 際 の サ ッ カ ー 多 視 点 画 像 か ら の 自 由 視 点 映 像 生 成 で あ る[20]． こ の 研 究 で は ， 対 象 シ ー ン の3 次 元 形 状 を 復 元 す る こ と は 困 難 と 考 え ら れ る た め に ， グ ラ ン ド は 平 面 で あ る と 考 え ， ま ず ， 平 面 領 域 に つ い て は ， 隣 接 す る 視 点 間 の 平 面 射 影 行 列 か ら 自 由 視 点 画 像 を 生 成 し た ．一 方 ， 選 手 領 域 は グ ラ ン ド に 立 つ ビ ル ボ ー ド の よ う な も の で あ る ， と い う 考 え 方 を 利 用 し て ， 隣 接 す る 視 点 間 で 領 域 の 輪 郭 間 の 対 応 関 係 の み を 求 め ， そ の 対 応 点 位 置 を 視 点 の 移 動 に 応 じ て 移 動 さ せ ， 領 域 内 も そ れ に 応 じ て 移 動 さ せ る （ ワ ー プ さ せ る ） 処 理 に よ っ て 中 間 視 点 画 像 を 生 成 し た ． こ の よ う な 手 法 を 利 用 し て 複 数 カ メ ラ 間 を 連 続 的 に 視 点 内 挿 し た 映 像 を 生 成 す る と ， 実 視 点 に 近 い 視 点 の 場 合 は 実 画 像 に 近 い 画 質 の 画 像 が 再 生 さ れ る た め ， 全 体 と し て の 画 質 が 劣 化 し た と い う 印 象 を 抑 え る こ と が で き る と い う 心 理 的 効 果 を 期 待 で き る こ と が メ リ ッ ト と な る ．

6. 複 合 現 実 提 示

さ て ， 上 記 の よ う な 自 由 視 点 画 像 生 成 は ， 一 定 の 映 像 コ ン テ ン ツ に 対 し て ， 自 由 に 視 点 を 選 択 し た 画 像 を 生 成 し て み せ る も の で あ る ． 一 方 ， 複 合 現 実 提 示 は ， 現 実 シ ー ン で 電 子 化 さ れ て い る 仮 想 映 像 を 同 時 に 複 合 的 に 観 察 す る こ と に よ っ て ， 現 実 シ ー ン に 新 た な 映 像 情 報 を 増 強 し て 提 示 す る こ と に よ り 観 察 者 に 多 く の 情 報 を 提 示 し よ う と す る も の で あ る ． 自 由 視 点 画 像 は ， こ の よ う な 複 合 現 実 提 示 と 非 常 に 関 連 し た コ ン テ ン ツ で あ る ． な ぜ な ら ， 自 由 視 点 画 像 を 見 る と き に は ， 視 点 を 自 由 に 選 択 す る こ と を 暗 に 述 べ て い る わ け で あ り ， 一 方 で ， 複 合 現 実 提 示 は ， 現 実 シ ー ン を 自 由 な 視 点 で 観 察 し な が ら も ， そ こ に 増 強 表 示 さ れ る 仮 想 コ ン テ ン ツ は 現 実 シ ー ン を 観 察 す る 際 に 選 択 さ れ て い る 視 点 に 応 じ た 変 化 を す る 必 要 が あ る か ら で あ る ． こ の 考 え 方 に よ る 発 想 に 基 づ い て 実 現 し よ う と し た の が ， サ ッ カ ー の 自 由 視 点 映 像 を 実 フ ィ ー ル ド で 観 察 す る と い う 試 み で あ る[21]． こ れ は ， 実 際 に は サ ッ カ ー ゲ ー ム の 行 わ れ て い な い 空 の ス タ ジ ア ム や ， ス タ ジ ア ム の 模 型 を 現 実 世 界 に 用 意 し ， そ の 現 実 世 界 の ス タ ジ ア ム を 観 察 し た 際 に ， そ の 観 察 し た 視 点 に 相 当 す る 仮 想 視 点 で 生 成 し た 自 由 視 点 画 像 を ス タ ジ ア ム 画 像 に 重 畳 表 示 す る と い う も の で あ る ． こ う す る こ と に よ っ て ， 観 察 者 は ， そ の 現 実 世 界 に 用 意 し た ス タ ジ ア ム で サ ッ カ ー の 試 合 が 行 わ れ て い る か の よ う な 効 果 を 得 る こ と が で き る わ け で あ る ．図 ３ に そ の 実 現 例 を 示 す ． さ ら に ， 同 様 の 考 え 方 に 基 づ い て ， 図 ４ に 示 す よ う な ， 野 球 コ ン テ ン ツ を 観 察 す る こ と が で き る シ ス テ ム を 構 築 し た[22]． 図 ３：サ ッ カ ー を 現 実 の ス タ ジ ア ム モ デ ル 上 で 仮 想 的 に 観 察 す る シ ス テ ム ．こ こ で は ，サ ッ カ ー フ ィ ー ル ド 上 の 直 線 パ タ ー ン を 利 用 し て カ メ ラ 位 置 姿 勢 の 推 定 を 行 っ て い る ．

図 ４：野 球 を 現 実 の ス タ ジ ア ム モ デ ル 上 で 仮 想 的 に 観 察 す る シ ス テ ム 図 ５ ： 障 害 物 に よ り 一 部 を 遮 蔽 さ れ た 同 一 シ ー ン を 複 数 の カ メ ラ が 観 察 し て い る と い う 状 況 を 想 定 し て ， 障 害 物 を 除 去 し た 画 像 を 表 示 す る シ ス テ ム 例 自 由 視 点 画 像 は ， 従 来 は 映 像 制 作 者 ・ 撮 影 者 側 に あ っ た 視 点 の 選 択 権 を ， 観 察 者 （ 視 聴 者 ） に 与 え る こ と の で き る 技 術 で あ り ， 次 世 代 の 映 像 メ デ ィ ア と し て の 期 待 は 大 き い ． し か し な が ら ， 視 点 選 択 の 自 由 度 が 増 え る こ と に よ り ， 視 聴 者 （ 観 察 者 ） に 余 計 な 負 担 を 強 い る こ と も 考 え ら れ る た め ， 視 点 の 選 択 を よ り 自 然 な 形 で 負 担 を 与 え る こ と な く 行 わ せ る こ と が で き る 仕 組 み も 重 要 と 考 え ら れ る ． そ の 意 味 で は ， 本 稿 で 紹 介 し た よ う な 複 合 現 実 提 示 で は ， 現 実 シ ー ン を 観 察 す る こ と が ， 視 点 を 自 動 的 に 選 択 し て い る こ と に 相 当 し ， 視 聴 者 が 極 め て 自 然 な 形 で 視 点 を 選 択 す る 仕 組 み に な っ て い る と も 考 え ら れ る ． と こ ろ で ， こ れ ら の 複 合 現 実 提 示 で 重 要 と な る 技 術 は ， カ メ ラ の オ ン ラ イ ン ト ラ ッ キ ン グ で あ る ． こ の 技 術 は ， 別 の 見 方 を す れ ば ， カ メ ラ の オ ン ラ イ ン キ ャ リ ブ レ ー シ ョ ン と い う こ と に な り ， 前 述 の カ メ ラ キ ャ リ ブ レ ー シ ョ ン 技 術 と 密 接 な 関 係 が あ る こ と に な る ． し か し ， こ の 場 合 に 重 要 な の は ， オ ン ラ イ ン で 行 う ， と い う 点 で あ り ， オ ン ラ イ ン で 行 う が た め に ， カ メ ラ キ ャ リ ブ レ ー シ ョ ン と し て の 精 度 や 前 提 に つ い て ， 多 少 の 妥 協 が 必 要 な 場 合 も あ る ． 例 え ば ， マ ー カ ー の 利 用 で あ る ． し か し ， マ ー カ が 常 に 見 え る と は 限 ら な い の で ， 色 々 な と こ ろ に マ ー カ を 設 置 し て お く こ と に よ り 解 決 可 能 で あ る が ，マ ー カ の 位 置 関 係 が 未 知 で あ る と ， 連 続 的 な 複 合 現 実 提 示 が 不 可 能 に な っ て し ま う ． 筆 者 ら は ， マ ー カ の 位 置 関 係 が 未 知 な 場 合 で あ っ て も ， そ れ ら を フ リ ー ハ ン ド の カ メ ラ で 撮 影 し た 画 像 列 か ら 位 置 関 係 を あ ら か じ め 推 定 し て お き ， 複 数 マ ー カ を 連 続 的 に 利 用 す る こ と に よ っ て 広 範 囲 な 領 域 で 複 合 現 実 提 示 を 行 う こ と が 出 来 る 手 法 を 提 案 し て お り ， 文 献[22]で 野 球 コ ン テ ン ツ を 広 範 囲 の 視 点 か ら 複 合 現 実 提 示 で き る よ う に す る た め に 利 用 さ れ て い る ． (a) 入 力 画 像 列 (b)障 害 物 を 除 去 表 示 し た 画 像 列 図 ６ ： 手 で 文 字 を 描 い て い る 時 に ， パ タ ー ン を 遮 蔽 し て い る 手 を 除 去 し た 画 像 を 生 成 し た 例

一 方 ， 仮 想 物 体 を 提 示 す る こ と と は 逆 に ， 余 計 な も の を 削 除 し て 提 示 す る と い う こ と も 複 合 現 実 提 示 の 一 種 で あ る ．筆 者 ら は ，図 ５ の よ う に ，複 数 の カ メ ラ が ， あ る 障 害 物 に よ り 一 部 を 遮 蔽 さ れ た 同 一 シ ー ン を 独 立 に 観 察 し て い る と い う 状 況 を 想 定 し ， 複 数 カ メ ラ の う ち い ず れ か が 遮 蔽 さ れ た シ ー ン を 部 分 的 に 撮 影 し て い る と い う 前 提 に 基 づ い て ， 各 カ メ ラ に 対 し て 遮 蔽 物 体 を 削 除 し た 画 像 を 提 示 す る 手 法 を 提 案 し て い る[23]． こ こ で は ， シ ー ン 中 に 設 置 さ れ た マ ー カ ー パ タ ー ン に よ り ， 各 カ メ ラ の 位 置 姿 勢 は 常 に 得 ら れ て い る も の と 考 え ，遮 蔽 物 体 に よ り 隠 れ て い る シ ー ン の 画 像 情 報 を ， そ れ が 見 え て い る 他 の カ メ ラ か ら 入 手 し て ， 隠 れ て い る シ ー ン に 貼 り 付 け て 提 示 す る ． 図 ６ に ， 本 手 法 に よ り 実 際 に ペ ン で 紙 に 絵 を 書 い て い る 際 に ， そ れ を 遮 蔽 し て い る 手 を 除 去 し て 提 示 し た 画 像 例 を 示 す ．

7. お わ り に

本 稿 で は ， こ れ ま で に 筆 者 が 行 っ て き た 多 視 点 画 像 か ら の 自 由 視 点 映 像 生 成 に 関 連 し た 研 究 事 例 と 関 連 研 究 に つ い て 紹 介 し ， さ ら に ， 自 由 視 点 画 像 を 複 合 現 実 提 示 に 応 用 し た 研 究 例 に つ い て 紹 介 し た ． 今 後 は ， 自 由 視 点 映 像 の 生 成 法 に と ど ま ら ず ， 生 成 し た 自 由 視 点 画 像 を ど の よ う に 利 用 す る の か ， ま た ど の よ う に 提 示 す る こ と が 効 果 的 な の か ， と い っ た 応 用 面 に つ い て の 研 究 開 発 も 重 要 と 考 え ら れ ， 筆 者 も そ の 方 向 に つ い て の 研 究 を 展 開 し て い き た い と 考 え て い る ．

文

献

[1] Takeo Kanade, P. J. Narayanan, Peter Rander, “Virtualized Reality:Concept and Early Results,” Technical Report, CMU-CS-95-153, 1995

[2] Takeo Kanade, Hideo Saito, Sundar Vedula, “The 3D Room:Digitizing Time-Varying 3D Events bySynchronized Multiple Video Streams,” Technical Report, CMU-RI-TR-98-34, 1998

[3] H. Saito, S. Baba, T. Kanade, “Appearance-based virtual view generation from multicamera videos captured in the 3-D room,” IEEE Trans. Multimedia, Vol.5, No.3, pp.303-316, 2003

[4] O.Faugeras, Q. Luong, S. Maybank, “Camera Self-Calibration: Theory and Experiments," in Proceedings ECCV92, p.321-334, 1992

[5] H. Saito, T. Kanade, “Shape reconstruction in projective grid space from large number ofimages,” IEEE CVPR1999, Vol.2, pp.49-54, 1999.

[6] S.Yaguchi, H.Saito, “Improving Quality of Free-Viewpoint Image by Mesh Based 3D Shape Deformation,” Journal of WSCG, Vol. 14, No. 1-3, pp. 57-64, 2006

[7] S. Jarusirisawad,H. Saito, “New Viewpoint Video Synthesis in Natural Scene Using Uncalibrated Multiple Moving Cameras,” IEICE technical report. Image engineering, Vol.106, No.448, pp. 25-30, IE2006-142, 2007

[8] 佐 藤 淳 , “テ ン ソ ル と 多 視 点 幾 何 ,” 情 報 処 理 学 会

研 究 報 告 CVIM[コ ン ピ ュ ー タ ビ ジ ョ ン と イ メ ー ジ メ デ ィ ア], Vol.2007, No.42, pp. 33-42, 2007 [9] B. Triggs, P. McLauchlan, R. Hartley, A. Fiztgibbon,

“Bundle Adjustment - A Modern Synthesis,” In B. Triggs, A. Zisserman, R. Szeliski (Eds.), Vision Algorithms: Theory and Practice, LNCS Vol.1883, pp.298-372, Springer-Verlag, 2000

[10] Yuko Uematsu, Tomoaki Teshima, Hideo Saito, Cao Honghua, “D-Calib: Calibration Software for Multiple Cameras System,” 14th International Conference on Image Analysis and Processing (ICIAP2007), pp.285-290, 2007.

[11] M. Okutomi and T. Kanade, “A Multiple-Baseline Stereo,” IEEE Trans. on Pattern Analysis and Machine Intelligence, vo.15, no.4, 1993

[12] A. Laurentini, “The visual hull concept for silhouette-based image understanding,” IEEE Trans. PAMI, Vol.16, 2, pp.150-162, 1994 [13] 冨 山 , 片 山 , 岩 舘 , 今 泉 , “視 体 積 交 差 法 と ス テ レ オ マ ッ チ ン グ 法 を 用 い た 多 視 点 画 像 か ら の 三 次 元 動 オ ブ ジ ェ ク ト 生 成 手 法,” 映 像 情 報 メ デ ィ ア 学 会 誌, vol.58, No.6, 2004. [14] 延 原 章 平 , 和 田 俊 和 , 松 山 隆 司 , “弾 性 メ ッ シ ュ モ デ ル を 用 い た 多 視 点 画 像 か ら の 高 精 度3 次 元 形 状 復 元,” 情 報 処 理 学 会 CVIM 研 究 会 論 文 誌 , Vol.43, SIG11(CVIM5), pp.53-63, 2002

[15] S. Seitz, B. Curless, J. Diebel, D. Scharstein, R. Szeliski, “A Comparison and Evaluation of Multi-View Stereo Reconstruction Algorithms,” Proc. IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR06), pp.519-528, 2006

[16] Y. Furukawa and J. Ponce, “Accurate, Dense, and Robust Multi-View Stereopsis,” IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR07), pp., 2007

[17] J. Carranza, C. Theobalt, M. Magnor, H.-P. Seidel, “Free-Viewpoint Video of Human Actors,” ACM Trans. on Computer Graphics (SIGGRAPH'03), vol. 22, no. 3, pp. 569-577, July 2003．

[18] Hideo Saito, Yosuke Ito, Masaaki Mochimaru, “Face Shape Reconstruction from Image Sequence Taken with Monocular Camera using Shape Database,” 14th International Conference on Image Analysis and Processing (ICIAP2007), pp.165-170, 2007.

[19] T. Kanade, P. Rander, S. Vedula, and H. Saito, “Digitizing a 3D Time-Varying Event as is and in. Real Time,” in Mixed Reality (Y.Ohta and H.Tamura eds.),. pp.41-57, Ohmsha, 1999

[20] 稲 本 奈 穂 ，斎 藤 英 雄 , “視 点 位 置 の 内 挿 に 基 づ く ３ 次 元 サ ッ カ ー 映 像 の 自 由 視 点 観 賞 シ ス テ ム,” 映 像 情 報 メ デ ィ ア 学 会 誌 ，Vol.58, No.4, pp.529-539, 2004.

[21] Naho Inamoto, Hideo Saito,”Immersive Observation of Virtualized Soccer Match at Real Stadium Model,” The Second International Symposium on Mixed and Augmented Reality (ISMAR03), pp.188-197, Oct.2003

[22] Y. Uematsu, H. Saito, “AR Baseball Presentation System with Integrating Multiple Planar Markers,” Proc.ICAT2006, LNCS4282, pp.163-174, 2006 [23] 榎 本 暁 人 ， 斎 藤 英 雄 , “複 数 の ハ ン デ ィ カ メ ラ を

利 用 し た Diminised Reality,” MIRU2007 画 像 の 認 識 ・ 理 解 シ ン ポ ジ ウ ム, pp.1277-1282, 2007