On-line 3D video generation

九州大学学術情報リポジトリ

Kyushu University Institutional Repository

On-line 3D video generation

上田, 恵

九州大学システム情報科学研究院知能システム学部門

有田, 大作

九州大学システム情報科学研究院知能システム学部門

谷口, 倫一郎

九州大学システム情報科学研究院知能システム学部門

http://hdl.handle.net/2324/5963

出版情報：情報処理学会研究報告. CVIM, [コンピュータビジョンとイメージメディア]. 2004 (40), pp.133-140, 2004-05. Information Processing Society of Japan

バージョン：

権利関係：ここに掲載した著作物の利用に関する注意 本著作物の著作権は（社）情報処理学会に帰属し ます。本著作物は著作権者である情報処理学会の許可のもとに掲載するものです。ご利用に当たっては

「著作権法」ならびに「情報処理学会倫理綱領」に従うことをお願いいたします。

¿

次元ビデオ映像のオンライン生成

上 田 恵

有 田 大 作

谷口 倫一郎

九州大学大学院システム情報科学府

九州大学大学院システム情報科学研究院

複数のカメラ映像から 次元情報を復元することで，任意の視点からの映像，つまり 次元ビデ オ映像を生成する研究が近年盛んに行われている． 次元ビデオ映像生成は処理に時間がかかり，オ ンライン処理が難しいため，その研究の多くは，できる限り正確な 次元モデルの復元をオフライン で行う，あるいは，陽には 次元形状を復元しないがオンラインで 次元ビデオ映像を生成するとい うアプローチをとっている．本稿では，ＰＣクラスタを利用した 次元形状復元による自然な 次 元ビデオ映像生成をオンラインで行う手法について述べる．視体積交差法によって 次元形状を復元 し，三角パッチで表現された 次元表面に仮想視点位置とカメラ画像を考慮した色を付けることで，

写実性の高い 次元ビデオ映像を生成する．また，生成された 次元ビデオ映像を示し，提案手法 を評価する．

Ý

Þ

Þ

Æ

は じ め に

近年では ，ディジタルテレビ放送，広帯域イ ンターネットなどといった大容量メディアの普及や，

機器の高性能化により容易に大量の情報を扱うことが 可能になった．そこで情報メディアのさらなる発展，

特に次元情報を持った新たな情報メディアの開発を 目的とする研究が盛んに行なわれている．次元の情 報メディアの応用例として，次元ビデオ映像が考え られる．次元の情報メディアは，例えば スポーツのＴＶ中継や，伝統芸能の記録，保存などの 応用が考えられ，将来は娯楽から学術利用まで幅広く 利用されることが期待できる．

次元ビデオ映像生成を実現するには，対象物体の

形状情報と色情報の獲得と，生成した映像の表示が必 要である．本稿ではこれらをオンラインで実現し，

次元ビデオ映像を生成する手法について述べる．本研 究はクラスタを用いて，視体積交差法によって獲 得された次元形状に，仮想視点位置に応じた重み付 き色を着色することでオンラインで次元ビデオ映像 を生成するというアプローチをとった．次元ビデオ 映像に関する多くの研究は，できる限り正確な形状復 元を行うが処理に時間がかかり過ぎるためオフライン で行っていたり，正確な形状復元を行わないが処理の 高速化によりオンライン処理が可能というアプローチ をとっている．しかし，本研究ではできる限り正確な 形状を復元し，オンラインで自然な次元ビデオ映像 生成を実現した．さらに本研究では実験を行い，あら

&CVCHNQY

%CRVWTKPICPF

EQPUVTWEVKPIXKUWCNEQPG %QNQTKPI

+PVGITCVKQPQH EQNQTKPHQOCVKQP CPFIGPGTCVKPIC HTGGXKGYRQKPV KOCIG 8KUWCNEQPG

KPVGTUGEVKQP

%

&

#

#

#

#

%

%

%

%COGTCKOCIG 8QZGN

%QNQT

$

#

$

$

%COGTC

#

$

図 本研究のシステム構成

かじめ決められた空間内に存在する対象物体を，固定 されたカメラで撮影し，オンラインでの次元ビデオ 映像生成が可能なことを確認した．

オンライン次元ビデオ映像生成

システム構成

実時間での次元ビデオ映像生成には多くの処理時 間を必要とする．そこで分散並列計算機の一種である

クラスタ，およびクラスタをプラットフォー ムとする実時間並列画像処理システムのためのプログ

ラミングツール

を用いて，オンラインで並列画像処理を行なう．

図に本研究のシステム構成を示す．以下に各 での処理を述べる．

ノード カメラ画像を取得し，その中から対象物 体を抽出し，対象物体を抽出した画像から視体積 を構築する．視体積をノードに，対象物体を 抽出した画像をノードに送る．対象物体の抽 出は，カメラ画像に対し背景差分を施した後に，

クロージング処理を施すことで行う．ノード は形状復元だけに使用しており，ノードに視 体積を送り，カメラ画像は送信しない．色付けに 多くのカメラを使用しても，精度向上にあまり寄 与しないと考え，処理時間の短縮のため色付けに は使用しない．

ノード ノードおよびノードから送られて きた各視体積の共通領域を求める．得られた対 象形状のボクセル表現に対し，離散マーチング・

キューブ法 を施し三角パッチ表現へ変換する．

その結果をノードとに送るが，三角パッチ 表現を送信するとデータ量が膨大になってしまい，

送受信に時間がかかり過ぎてしまうので，三角 パッチに変換されるボクセルの座標と，対応する 三角パッチの生成パタンを送信し，ノードと

のそれぞれで三角パッチ表現を再構築させる．

台ので全てのカメラ画像に対して視体積交 差を行なうと，視体積の送受信に時間がかかりす ぎるため多段に分けて視体積交差を行なう．

ノード ノードから送られてきた次元情報 から三角パッチ表現を再構築する．得られた三角 パッチに，ノードから送られてきた画像を基 に バッファ法を用いて色を付ける．この詳細に ついては^!"!節で述べる．得られた色情報をノー ドに送る．

ノード ノードから送られてきた次元情報か ら三角パッチ表現を再構築する．ノードから の色情報とユーザーから入力された仮想視点位置 から重み付き色付き対象形状を生成，すなわち 次元ビデオ映像を生成する．

ノードからノードへのボクセルの流れは が提供するストリーミング処理を利用して遅延の削減 を図っている．ノード以降の流れはノードにお ける バッファ法のため，全ての次元情報が揃わな いと処理ができないので，が提供するフレーム 同期処理を利用している．

色 付 け

本節ではノード，ノードにおける，三角パッ チデータへの色付けについて説明する．

色付け手法

対象物体形状への色付けの従来手法は，

カメラ位置と対象物体表面方向の関係を利用す る手法

! カメラ位置と仮想視点位置の関係を利用する 手法

の二つに分類できる．本研究では，できるだけ自然な

次元ビデオ映像を実時間で生成することを目指して おり，文献 で後者の手法の有効性が示されている ことから後者の手法を採用した．

色は三角パッチの頂点に各カメラ視点の重みを基に 付ける．三角パッチの各頂点の色をスムージングによ り補間した色を三角パッチの面に塗ることで自然な色

付けを実現する．また，どのカメラからも見えないと 判断された頂点については，隣接する三角パッチの頂 点全ての平均の色を付ける．このようにすることで，

どのカメラからも見えない頂点にもある程度自然な色 を付けることが可能となる．

色情報の取得手法

カメラ画像を基に三角パッチ頂点の色情報の取得手 法について述べる．

色情報は バッファ法に基づいて取得する．しかし，

単純に バッファ法で色情報を取得すると，まばらな 色付けになってしまう．なぜなら，一つの画素に複数 の頂点が投影される可能性があり，その場合，それら の頂点のうちの一つの頂点にしか色が付かないためで ある図^!．そこで本研究では バッファ法を発 展させた以下の処理をすることによって頂点に色を付 けることを提案する．

処理 カメラの視線方向のベクトルと面の法線 方向のベクトルとの内積が正となる面つまり，カ メラの方向を向いていない面はカメラから見え ないと判断し，頂点には色を付けずに，カメラか らの距離値を バッファに保存する．

処理 カメラの視線方向のベクトルと面の法線 方向のベクトルとの内積が負となる面つまり，カ メラの方向を向いている面はカメラから見える 面と判断し， バッファ法で色を付ける．ただし，

バッファの距離値を置き換えることはしない．

こうすることで隣接する頂点の距離値が バッファ に保存されることがないので，まばらな色付けになら ず，カメラ視点から可視な頂点のみに色を付けること ができる図^!#．

また，通常の三角パッチ図を六個の三角パッ チ図^#に分割して色を付けることで色付けの精 度向上を図った ．ボクセルの量子化間隔を小さくす ることでも，形状および色付けの精度を向上させるこ とができるが処理時間が劇的に増加してしまう．そこ で，三角パッチを分割することで次元形状の精度は 変わらないが，処理時間を劇的に増加させることなく，

より細かい模様の表現が可能となる．

色情報の重み

すべての頂点について，可視と判定されたカメラ画 像から得られるその頂点の色の重み付き平均をとり，

その頂点の色とする．ある頂点が 個のカメラから 可視である場合，その中のカメラ か ら得られる色の重みÒは，仮想視点から頂点へのベ クトルと，カメラから頂点へのベクトルとがなす角 度を^Òとして図^$，

+OCIGRNCPG

1DLGEV

%QNQTGFXGTVGZ 7PEQNQTGFXGTVGZ

1DLGEVUWTHCEG

単純なバッファ法 による色情報獲得手法

+OCIGRNCPG

1DLGEV

%QNQTGFXGTVGZ 7PEQNQTGFXGTVGZ 0QTOCNXGEVQT

1DLGEVUWTHCEG

本研究の提案する色情 報獲得手法

図 色情報獲得手法

通常の三角パッチ 高精度な色付けのた め分割された三角パッチ 図 三角パッチの分割

Ò%

&

«

Æ

Ò

Ò

&

«

として求めている．括弧内をのみにすると色 の重みが負の値をとるので^&としている．ま た，経験的に^%'としている．このようにすること で仮想視点と方向が近いカメラからの色が優先され，

仮想視点と方向が遠いカメラほど色の優先度が下がる ことになる．

実験と考察

実 験

本手法を用いてオンラインで次元ビデオ映像を生 成し，その処理時間，遅延時間，通信量，色付け誤差 を計測した．

本実験では合計⁽台のを利用した．各は スイッチ型ギガビット^)*+の一つである^,に

Ǒ Ǒ

Ǒ

%COGTC

%COGTC

%COGTC0 8KTVWCNXKGYRQKPV

0

1DLGEV 1DLGEVUWTHCEG

図 色情報の重みの付け方

&CVCHNQY

%CRVWTKPICPF

EQPUVTWEVKPIXKUWCNEQPG %QNQTKPI

+PVGITCVKQPQH EQNQTKPHQOCVKQP CPFIGPGTCVKPIC HTGGXKGYRQKPV KOCIG 8KUWCNEQPG

KPVGTUGEVKQP

#

$

%

&

#

#

#

#

#

#

$

$

%

%

%

%

%

ECO %COGTCKOCIG

8QZGN

%QNQT

%COGTC

%CO

%CO

%CO

%CO

%CO

%CO

図 本実験で実装したシステム構成

よって相互に結合されており，^-#./の通信が可能 である．さらに⁽台の^0001$ディジタルカメラ が接続されており，全てのカメラは同期信号発生装置 により同期がとられている．図^'に本実験で実装した システム構成を示し，図²にカメラ配置を示す．

ノードには天井カメラの^/(を用いた．全て のカメラが上方から見下ろしているので，天井カメ ラは色付けにあまり寄与しないと考えたからである．

また，カメラは予めキャリブレーションしておいたも のを使用した．カメラキャリブレーション手法として は，レンズ歪みを考慮した ³ の手法 を利用し た．カメラ画像の解像度は^!4!$4で，空間解像度 は^!5!5!5，ボクセルの一辺を^!として実 験を行った．実験で使用したの概要を表に示す．

実験には縞模様のある服装を使用し，縞模様の間隔

表 の性能

メモリ

コンパイラ !"!"

%COGTC

斜め上から見たカメラ配置

%COGTC

%GKNKPIECOGTC

ECO

ECO ECO ECO

ECO

ECO

ECO ECO

ECO

上から見たカメラ配置 図 本実験のカメラ配置

はボクセル表現の量子化間隔よりも広い．オンライン で処理を行うことは可能であるが，評価実験において は先に述べた測定を同じカメラ画像に対して行うため に，保存しておいたカメラ画像を入力としてオフライ ンで実験を行った．このとき保存しておいた画像に対 するオフライン処理は全く施していない．したがって，

計算処理および画像データは実際にオンラインで処理 したものと同等と考えてよい．また，次元ビデオ映 像の表示には^6-)を用いた．^6-)は，ハー ドウェアや⁶には依存しない３次元グラフィックス のためのプログラミングインタフェースである．

次元ビデオ映像についての考察

図⁽に原画像と生成された次元ビデオ映像を，図

5に実際にはカメラのない視点からの次元ビデオ映

原画像 生成画像

原画像^" 原画像 原画像

#生成画像^" 生成画像 ^$生成画像 図 原画像と生成画像

像を示す．図⁵の周りの小さな立方体はカメラを表し ている．

図⁽を見ると，服の模様が再現されていることがわ かる．また，体の一部が欠けている生成画像があるが，

これは周りに暗幕があり，床にも黒い布を敷いている ため，服の影の部分が背景と誤認識され背景差分に失 敗し，対象領域を抽出できなかったためである．

実際の動画像を主観的に評価すると

ほぼ忠実に動きが再現されている

形状が多少不正確である

!4!$4の解像度のカメラ画像とほぼ遜色ない ように見える

という評価ができた．

以上より，次元ビデオ映像の生成はほぼ実現され ているが，より自然な次元ビデオ映像を生成するた めには形状復元の高精度化，背景差分の強化が必要で

生成画像 生成画像^"

生成画像 生成画像 生成画像^% 図 仮想視点からの画像

あるということがわかった．

色付け誤差についての考察 測定した色付け誤差を，図¹に示す．

色付け誤差の測定は，得られた色付きの三角パッチ 頂点をカメラ画像に投影し，^-7値の^!乗平均平方根 誤差を求めた．その際，投影された三角パッチ頂点間 には線形補間した^-7値を用い，その誤差を求めた．

色付け誤差の原因は，以下の四つが考えられる．

視体積交差法により復元した形状の誤差のため

! キャリブレーションの誤差のため

細かい模様をスムージングによって表現しよう とするため

$ 重み付き色情報の統合による誤差のため また，色付けに使用したカメラとの誤差と比べて色 付けに使用していないカメラとの誤差が^!倍程度に なっていることがわかる．このことから，提案手法の 効果によりカメラ視点と仮想視点の方向が近いときに は生成画像の精度が高くなることが確かめられた．

処理時間についての考察

処理時間の測定には，送信完了待ち，受信待ちの時 間を除いた，各ノード特有の処理にかかった時間を計 測した．

図^1#/に処理時間，図¹⁸にスループットを 示す．

平均では^!4 程度の速度での処理が可能であり，

実用十分な速度が得られている．しかし図^1#8か ら，処理速度は安定しないことがあることがわかる．

これは対象物体の大きさや形によって三角パッチの数 が変わるからである．

遅延時間についての考察

遅延時間は，全の内部時計は一致しているとい う前提で，カメラ画像が入力された時刻と次元ビデ オ映像を生成した時刻との差を計算することによって 求めた．

図¹に遅延時間を示す．

パイプラインの各段における処理時間の合計よりも 短く，ストリーミング処理の効果がでている．しかし，

主観的にはまだ遅延を感じるので，本システムを人同 士のインタラクションなどに使う場合には，さらなる 改善が必要である．ノード以降ではストリーミン グ処理を行なっていないので，ストリーミング処理化 ができれば遅延時間の削減が見込めると思われる．

通信量についての考察

図¹ に各ノードからのデータの送信量を示す．図

1 にはノードからのボクセル情報送信量を載せて いないが，ボクセル情報の量は常に一定であり，ビッ トボクセルで処理をしているので^!5!5!5 ビットである．現時点ではそれを⁵回にわけてスト リーミング処理をしているので一回の送信量は^!"(25 キロバイトとなる．また，ノードからのカメラ画 像は，前景領域のみを送信しているので送信量は可変 となっている．

ノードに送信されるノード，からのデー タ量の合計，つまり次元ビデオ映像生成に必要な データ量は，図¹ からフレーム平均で²⁴⁴キロ バイト程度必要であることがわかる．^"節で述べた

,の性能から通信時間を計算すると，各ノード 間の通信時間は数ミリ秒でありスループットへの影響 はほとんどなく，また，遅延時間に及ぼす影響は十数 ミリ秒程度であると予測される．したがって，通信時 間がシステムに及ぼす影響はほとんどないと思われる．

しかし，ノードからの色情報の送信量がノード からの形状情報に比べて格段に多く，次元ビデオ映 像のライブ配信などといったシステムの応用を考える とデータを圧縮する必要があると考えられる．

お わ り に

本論文では，クラスタを利用した多視点画像か らのオンライン次元ビデオ映像生成の手法を提案し た．実験によりオンラインでの次元ビデオ映像生成 が可能なことが確かめられた．したがって，今後の課 題としては，

ノード以降の処理のストリーミング処理化 全てのノードでストリーミング処理をすることに より，遅延時間を削減する

処理速度が対象物体の大きさに影響を受けにくい アルゴリズムの開発

対象の大きさや形状に影響を受けにくいアルゴリ ズムを開発することにより，安定したスループッ トで高速に次元ビデオ映像を生成する

形状復元の高精度化

形状復元を高精度化することにより，より自然な 映像を生成する

などが挙げられ，高速でかつより自然な次元ビデ オ映像の生成を目指す．

参 考 文 献

高井 勇志松山 隆司^9: 次元ビデオ映像の高 精細表示アルゴリズムと編集システム^;映像情 報メディア学会誌^{" '2+"$"'1<24!}

!44!"

! 松山 隆司高井 勇志ウ 小軍延原 章平^9: 次元ビデオ映像の撮影・編集・表示^; 日本バー チャルリアリティ学会論文誌^"(+"$"

'!<'!!44!"

延原 章平和田 俊和松山 隆司^9:弾性メッシュ モデルを用いた多視点画像からの高精度次元形 状復元^;,研究会論文誌^"$+"-

,'"'<2!44!"

$ 斉藤 英雄木村 誠矢口 悟志稲木 奈穂：^:射影 幾何に基づく多視点カメラの中間視点映像生成^; 情報処理学会論文誌^"$+"-,

'"!<!!44!"

' 北原 格大田 友一：^:大規模空間に適した次元 形状表現手法による自由視点映像の実時間生成^; 信学技法^{,!44"2<22!44"}

2 古山 孝好北原 格大田 友一：^:スタジアムの自 由視点ライブ中継が可能な次元映像システム^;

次元画像コンファレンス^!44"!!'<!!5"

( 有田 大作花田 武彦谷口 倫一郎：^:分散並列 計算機による実時間ビジョン^; 情報処理学会論 文誌^"$+"-,'"<4，

!44!"

5 = 0" ) > 0" 9

:,/ #9 * >

/ / *;

-/"!+"$"2<2115("

1 剣持 雪子 小谷 一孔 井宮 淳^{9 :} 点の連結性 を考慮したマーチング・キューブ法^;信学技報

,15!5"1(<!4$111"

4 吉本廣雅有田大作谷口倫一郎^9:1$カメラを 利用した多視点動画像獲得環境^;第²回 画像セ ンシングシンポジウム講演論文集^{" !5'!14}

!444"

?"39:* #

3/@ >*/// ,/

,6A 3

8);0003#/8

*"+"$"!<$$15("

㪇 㪈㪇 㪉㪇 㪊㪇 㪋㪇 㪌㪇 㪍㪇 㪎㪇 㪏㪇 㪐㪇

㪈 㪊㪏 㪎㪌 㪈㪈㪉 㪈㪋㪐 㪈㪏㪍 㪉㪉㪊 㪉㪍㪇 㪉㪐㪎 㪊㪊㪋 㪊㪎㪈 㪋㪇㪏 㪋㪋㪌 㪝㫉㪸㫄㪼㩷㫅㫌㫄㪹㪼㫉

㪩㫆㫆㫋㪄㫄㪼㪸㫅㪄㪼㫉㫉㫆㫉㫉

㪺㪸㫄㪈 㪺㪸㫄㪉 㪺㪸㫄㪊 㪺㪸㫄㪋 㪺㪸㫄㪌 㪺㪸㫄㪍 㪺㪸㫄㪎 㪺㪸㫄㪏 㪺㪸㫄㪐

カメラ画像との色の誤差

㪇 㪇㪅㪇㪈 㪇㪅㪇㪉 㪇㪅㪇㪊 㪇㪅㪇㪋 㪇㪅㪇㪌 㪇㪅㪇㪍

㪈 㪋㪈 㪏㪈 㪈㪉㪈 㪈㪍㪈 㪉㪇㪈 㪉㪋㪈 㪉㪏㪈 㪊㪉㪈 㪊㪍㪈 㪋㪇㪈 㪋㪋㪈 㪝㫉㪸㫄㪼㩷㪥㫌㫄㪹㪼㫉

㪫㫀㫄㪼㩿㫊㪼㪺㪀

㪥㫆㪻㪼㩷㪘 㪥㫆㪻㪼㩷㪙 㪥㫆㪻㪼㩷㪙㩾 㪥㫆㪻㪼㩷㪚 㪥㫆㪻㪼㩷㪛

各パイプライン毎の平均処理時間

㪈 㪊

㪌 㪎

㪥㫆㪻㪼㩷㪛 㪥㫆㪻㪼㩷㪚 㪥㫆㪻㪼㩷㪙㩾 㪥㫆㪻㪼㩷㪙 㪥㫆㪻㪼㩷㪘 㪇

㪇㪅㪇㪇㪌 㪇㪅㪇㪈 㪇㪅㪇㪈㪌 㪇㪅㪇㪉 㪇㪅㪇㪉㪌 㪇㪅㪇㪊 㪇㪅㪇㪊㪌 㪇㪅㪇㪋 㪇㪅㪇㪋㪌 㪇㪅㪇㪌

㪫㫀㫄㪼㩿㫊㪼㪺㪀 㪥㫆㪻㪼㩷㪛 㪥㫆㪻㪼㩷㪚 㪥㫆㪻㪼㩷㪙㩾 㪥㫆㪻㪼㩷㪙 㪥㫆㪻㪼㩷㪘

各ノードの平均処理時間

㪇 㪌 㪈㪇 㪈㪌 㪉㪇 㪉㪌 㪊㪇 㪊㪌

㪈 㪉㪏 㪌㪌 㪏㪉 㪈㪇㪐 㪈㪊㪍 㪈㪍㪊 㪈㪐㪇 㪉㪈㪎 㪉㪋㪋 㪉㪎㪈 㪉㪐㪏 㪊㪉㪌 㪊㪌㪉 㪊㪎㪐 㪝㫉㪸㫄㪼㩷㫅㫌㫄㪹㪼㫉

㪝㫉㪸㫄㪼㩷㫇㪼㫉㩷㪪㪼㪺㫆㫅㪻㪻

スループット

㪇 㪇㪅㪇㪌 㪇㪅㪈 㪇㪅㪈㪌 㪇㪅㪉 㪇㪅㪉㪌

㪈 㪊㪉 㪍㪊 㪐㪋 㪈㪉㪌 㪈㪌㪍 㪈㪏㪎 㪉㪈㪏 㪉㪋㪐 㪉㪏㪇 㪊㪈㪈 㪊㪋㪉 㪊㪎㪊 㪋㪇㪋 㪋㪊㪌 㪝㫉㪸㫄㪼㩷㫅㫌㫄㪹㪼㫉

㪫㫀㫄㪼㩿㫊㪼㪺㪀

遅延時間

㪈 㪉 㪊 㪋 㪌 㪍 㪎 㪥㫆㪻㪼㩷㪙㩿㪧㪸㫋㪺㪿㪀 㪥㫆㪻㪼㩷㪘㩿㪠㫄㪸㪾㪼㪀 㪇

㪉㪇㪇㪇㪇 㪋㪇㪇㪇㪇 㪍㪇㪇㪇㪇 㪏㪇㪇㪇㪇 㪈㪇㪇㪇㪇㪇

㪥㫆㪻㪼㩷㪙㩿㪧㪸㫋㪺㪿㪀 㪥㫆㪻㪼㩷㪚㩿㪚㫆㫃㫆㫉㪀 㪥㫆㪻㪼㩷㪘㩿㪠㫄㪸㪾㪼㪀

#各ノードの平均送信量 図 計測結果