プロジェクタカメラシステムを用いた非平面スクリーンへの最適投影画像生成
8
0
0
全文
(2) Vol.2010-CVIM-171 No.3 2010/3/18. 情報処理学会研究報告 IPSJ SIG Technical Report. elc = F> m ep elp = Fm ec. (1) (2). ここでプロジェクタ画像中の同一のエピポーラ線 lp 上の他の点 m0p , m00 p を考えると，図 2 に示すようにこれらの点に対するカメラ画像上の m0c , m00 c は，やはりエピポーラ線 lc 上に 図 1 特殊な画像パターン Fig. 1 Unique Pattern Images. 存在する．このように，プロジェクタ画像中のエピポーラ線 lp 上のすべての点はカメラ画.
(3) . 像中の対応するエピポーラ線 lc 上に必ず存在する．本研究ではこの性質に着目してプロジェ クタ画像上の点とカメラ画像上の点のマッチングを行い，これを基に非平面スクリーン上の 画像の歪みを除去する．. 3. カメラ画像とプロジェクタ画像の対応計算に基づく非平面スクリーン画像の 生成 本節では，カメラとプロジェクタ間のエピポーラ幾何を用いて，プロジェクタ画像上の点 とカメラ画像上の点との間の対応関係を求め，これを基に非平面スクリーン上に歪みのな い画像を投影する手法を提案する．まず，非平面スクリーン投影時の画像の歪み方を解析す る．そして DP マッチングによる対応関係の計算方法について示し，非平面スクリーンへの 画像投影法を提案する．最後にシミュレーション実験により非平面スクリーンへの画像生成 結果を示す．. 3.1 非平面スクリーンへの投影と画像の歪み方. 図 2 同一エピポーラ線上にある点の投影 Fig. 2 Point Projection on Same Epipoler Line. まず，非平面スクリーンへ画像を投影した場合の歪みについて考える．エピポーラ線 l0 上 から， 「 赤黄緑」の画像を図 3(a) に示すように波を打った非平面スクリーンに投影したとす る．このとき，エピポーラ線 l0 上の画像からエピポーラ線 l 上の画像への変化は，図 3(b). 2. カメラとプロジェクタ間のエピポーラ幾何. に示すようにカメラ，プロジェクタ，非平面スクリーンの位置関係と，非平面スクリーンの. 本節では提案法で用いるエピポーラ幾何の特性を述べる．カメラとプロジェクタ間には，. 形状による非線形な伸縮となる．. カメラ 2 台間と同様にエピポーラ幾何が成り立つ．図 2 に示すようにプロジェクタから画. 3.2 DP マッチングによる対応関係計算. 像上の点 mp がスクリーン Π 上において点 X に投影され，点 X がカメラ画像上において. よって，カメラ画像のエピポーラ線 l とプロジェクタ画像のエピポーラ線 l0 で画像の色. 点 mc として投影されている状況を考える．プロジェクタ P とカメラ C 間の fundamental. 情報を基に DP マッチング 9) を行うことで，エピポーラ線同士の対応関係の計算が可能と. 行列 F が既知であれば，プロジェクタ画像上のエピポーラ線 lp とカメラ画像上のエピポー. なる．l 上の i 番目の点 mi の画素値 Ii = {R, G, B} と，l0 上の j 番目の点 m0j の画素値. ラ線 lc は，点 mp ，mc を用いて以下の式で求めることができる．. I0j = {R0 , G0 , B 0 } を用いて，画素間の対応付けコスト d(i, j) を以下のように定義する． d(i, j) = arccos(N (Ii )> N (I0j )). 2. (3). c 2010 Information Processing Society of Japan.
(4) 情報処理学会研究報告 IPSJ SIG Technical Report.
(5) .
(6) . . Vol.2010-CVIM-171 No.3 2010/3/18. (b) 投影画像の変化. (a) 投影関係 図 4 元画像 Fig. 4 Original Image. 図 3 非平面スクリーン投影時の投影画像の変化 Fig. 3 Image Transformation at Projection to Nonplanar Screen.
(7) . ここで N (·) は単位ベクトル化することを表す．これは，RGB ベクトル Ii と I0j の角度を 表しており，プロジェクタ投光時やカメラによる撮影時における輝度変化に左右されない マッチングが可能となる．これをすべてのエピポーラ線において行うことで，プロジェクタ 画像とカメラ画像の全体の対応関係を計算することができる．そして，この対応関係を基 に，カメラ画像上において元画像が観測されるようにプロジェクタ画像を生成することで， 非平面スクリーン上にカメラ視点から見て歪みのない画像を生成することができる．. 3.3 シミュレーション実験 3.2 節で述べた提案手法の有用性を確認するため，mathematica 上でシミュレーション実 験を行った．本実験では図 4 を元画像とし ，2 つの異なる非平面スクリーンを対象として， プロジェクタの投影画像の生成を行った．カメラ画像において画像の歪みが観測できるよ う，カメラ画像上の目的画像は元画像を 1/2 の大きさにしたものとした．また，非平面スク. 図 5 非平面スクリーン Fig. 5 Nonplanar Screen. リーンはランバート反射モデルに従い，拡散反射をするものと仮定した．σ = 5 の輝度ノイ ズをカメラ画像に対して付加し，ノイズ耐性の確認を行った．. . .
(8) ! 図 6 環境 Fig. 6 Environment. 図 5 に示す非平面スクリーンに対して，提案法により画像生成を行った結果を示す．カ す．図 5 に示す非平面スクリーンに対しては，図 8 に示すように適切なプロジェクタの投. メラ，プロジェクタ，非平面スクリーンは図 6 のように配置した．この時の，カメラ画像は 図 7 となり，非平面スクリーンであるがために画像が歪んでいることがわかる．この画像. 影画像が生成できたことが分かる．一方，図 9 に示す非平面スクリーンに対しては，図 12. と，図 4 を用いて提案手法を適用した結果を図 8 に示す．図 8 では歪みが除去されている. に示すように画像ノイズの影響から生成画像に大きな乱れが発生していることがわかる．ま. ことが確認できる．次に，図 9 に示す非平面スクリーンに対して，提案法により画像生成. た，DP マッチングを各エピポーラ線に対して用いているため，計算時間は mathematica. を行った．カメラ，プロジェクタ，非平面スクリーンは図 10 のように配置した．この時の，. 上で約 1000 秒かかっており高速に計算できているとは言い難い． これらの結果より，よりノイズの影響を受けにくく，高速計算が可能な手法への改善が必. カメラ画像は図 11 となり，この画像と，図 4 を用いて提案手法を適用した結果を図 12 示. 3. c 2010 Information Processing Society of Japan.
(9) Vol.2010-CVIM-171 No.3 2010/3/18. 情報処理学会研究報告 IPSJ SIG Technical Report. 図 7 カメラ画像 Fig. 7 Camera Image.
(10)
(11) . 図 9 非平面スクリーン Fig. 9 Nonplanar Screen. 図 11 カメラ画像 Fig. 11 Camera Image. 図 8 生成後のスクリーン画像 Fig. 8 Result of Screen Image. ' ( ) %& " # $ .
(12) !. 図 12 生成後のスクリーン画像 Fig. 12 Result of Screen Image. の制御点を X 軸，Y 軸，Z 軸ごとでまとめた行列 Xc , Yc , Zc と，2 つのパラメータ t, s か らなるベクトル t,s および係数行列 B を用いて，B スプライン曲面上の点 X = [X, Y, Z]> は，以下のように表すことができる．. . X. . . . . . s> B> Xc Bt. . X = Y = s> B> Yc Bt . (4). s> B> Zc Bt. Z. ここでパラメータベクトル t, s，及び係数行列 B は以下の通りである．. . 1. . . . . 1. . . . 1 1 2 0. t= t s= s B=. 図 10 環境 Fig. 10 Environment. t. 2. 2. s. 1. −2. 1. . −2 . 2 0. 1. また，Xc , Yc , Zc は以下に示す 3 × 3 行列である．. 要であることがわかる．. [. 4. B スプライン曲面に基づく画像生成. Xc =. そこで次に 3 節で説明した手法を改良し ，より高速かつ安定に画像生成を行う方法を提. X00 X10 X20. X01 X11 X21. X02 X12 X22. ]. [. Yc =. Y00 Y10 Y20. (5). Y01 Y11 Y21. Y02 Y12 Y22. ]. [ Zc =. Z00 Z10 Z20. Z01 Z11 Z21. Z02 Z12 Z22. ] (6). 案する．まず，そのために用いた B スプライン曲面について述べ，次に B スプライン曲面. この 3 階 B スプライン曲面を用いて非平面スクリーンの近似を行う．まず，3 節で説明. を用いた非平面スクリーン画像の生成について説明する．本論文では 3 階 B スプライン曲. した手法により，エピポーラ線同士の DP マッチングによる対応関係の計算を行う．そこか. 面を用いて非平面スクリーンの近似を行う．3 階 B スプライン曲面は 9 つの制御点により 2. ら，直接プロジェクタ画像の生成を行わず，B スプライン曲面を用いて非平面スクリーン. 次曲面を表現する．9 つの制御点を Qij = [Xij , Yij , Zij ]> (i = 0, 1, 2)(j = 0, 1, 2) とし，そ. の近似を行い，B スプライン曲面からプロジェクタ画像の生成を行う．そのために，まず. 4. c 2010 Information Processing Society of Japan.
(13) Vol.2010-CVIM-171 No.3 2010/3/18. 情報処理学会研究報告 IPSJ SIG Technical Report. . ル t, s を用いて，以下のように表すことができる．. . . Z X Z. . . s> B> Xc Bt. . 0. >. . . . . s B Zc Bt. . X. . Y >. 0. (8). >. (9). >. s B (Zc + ∆Zc )Bt. ここで ∆Zc は以下に示す 3 × 3 行列である．. . . . ∆Z00. ∆Z01. ∆Z02. ∆Zc = ∆Z10. ∆Z11. ∆Z12 . ∆Z20. ∆Z21. ∆Z22. . . (10). 以上より X と X0 の差分は以下のように表すことができる．. . X0 − X = . 0 0. . . =. Z0 − Z. fundamental 行列をもとにカメラ行列を求め，3 次元空間中の点の復元を行う．. 0 0. . (11). s> B> ∆Zc Bt. 式 (11) から，∆Zc に関して次に示す拘束式を導くことができる．. 次に，その空間内において B スプライン曲面を図 13 のようにカメラ画像の正面に配置を. Z 0 − Z = s> B> ∆Zc Bt. する．そして，B スプライン曲面の制御点 Qij を，Z 軸 (カメラに対して深さ) 方向に ∆Zij 移動することで，非平面スクリーンを近似する．このときの移動後の制御点を Q0ij とする. (12). 式 (12) において計算すべき要素は ∆Zc である．これに対して前述のようにパラメータ. は以下のように表すことができる．. t, s が既知であることから，パラメータベクトル t, s は既知となる．制御点 Qc は既知なの. Q0ij = Qij + [0, 0, ∆Zij ]> = [Xij , Yij , Zij + ∆Zij ]. . X0 = Y 0 = . 図 13 制御点の移動方向とその計算方法 Fig. 13 Movement Direction of Control Points and Calculation. と，Q0ij. . X = Y = s> B> Yc Bt . !. .
(14). X. で Z も既知である．また，係数行列 B も既知である．ここで，DP マッチングによる対応関. (7). 係の計算結果からカメラの座標 m に対するプロジェクタの座標 m0 を計算できているので，. >. F 行列から Z 0 を復元することができる．以上より，一組の対応点が得られれば，式 (12) に. 制御点 Qij の X 座標と Y 座標が変わらないため，移動前後の B スプライン曲面に対して，. おいて，∆Zc 以外の全ての要素が既知となり，∆Zc についての拘束式 1 本を得ることがで. 同じパラメータ t, s を与えると X 座標と Y 座標については同じ座標が導かれる．今，カメ. きる．式 (10) より ∆Zc の未知数は 9 となるので，9 点以上の対応関係から ∆Zc の計算が. ラ画像中において同じ点 m に投影される移動前の B スプライン曲面上の点 X = [X, Y, Z]>. 可能となり，B スプライン曲面で非平面スクリーンの近似ができる．このようにして，近似. 0. 0. 0. 0 >. と，移動後の B スプライン曲面上の点 X = [X , Y , Z ] に注目する．アフィンカメラな. した B スプライン曲面を用いて非平面スクリーンの形状に適したプロジェクタの投影画像. ので，X と X0 は，X 座標と Y 座標が同じである．従って X, X0 は同じパラメータベクト. を生成する．プロジェクタ画像の生成は，カメラ画像より点 m を求めた B スプライン曲面. 5. c 2010 Information Processing Society of Japan.
(15) 情報処理学会研究報告 IPSJ SIG Technical Report. . . . . .
(16) . 図 14 非平面スクリーン Fig. 14 Nonplanar Screen. & $%# !
(17) " 図 15 環境 Fig. 15 Environment. Vol.2010-CVIM-171 No.3 2010/3/18. 図 16 カメラ画像 Fig. 16 Camera Image. (a) 使用したエピポーラ線. (b) スクリーン画像. (c) スクリーン画像の歪み. 図 17 結果画像 (エピポーラ線の間隔:1) Fig. 17 Result(Interval between Epipoler Lines:1). に投影し，これをプロジェクタ画像に投影することで行う． ここで，制御点の移動量 ∆Zc は最小で 9 点の対応関係から計算が可能である．一方で，. 1 本のエピポーラ線からは多数の対応関係を得ることができることから，すべてのエピポー ラ線を使用しなくても十分な対応点が得られる．従って，使用するエピポーラ線の本数を少 なくすることで，DP マッチングの段階から計算量を大幅に削減することができ，この結果. 3 章で説明した提案手法よりも高速で，ノイズに強い画像生成を行うことができると考えら れる．. 5. 実. (a) 使用したエピポーラ線. 験. (b) スクリーン画像. (c) スクリーン画像の歪み. 図 18 結果画像 (エピポーラ線の間隔:30) Fig. 18 Result(Interval between Epipoler Lines:30). 4 節で提案した非平面スクリーンへの映像投影法に関する実験を行う．まず，シミュレー ション実験により提案法の有効性を定量的に評価する．次に，実画像実験で実環境でのノイ ズ耐性と，使用するエピポーラ線の本数を変化させた場合の計算時間と生成した投影画像の. 隔が 1 の場合と，30 の場合の結果を図 17，18 に示す．尚 (a) に，使用したエピポーラ線を. 精度を評価する．プロジェクタの投影画像は 3.3 節と同じ投影画像である図 4 を用いて行っ. 水色で示し，B スプライン曲面の輪郭を紫色で表示している．また (c) の緑線は画像の歪み. た．また，均等に配置した B スプライン曲面で非平面スクリーンを近似する．. を表す．3 節で提案した手法でも実験を行い，4 節で提案した手法と比較した．図 19 にそ. 5.1 シミュレーション実験. の結果を示す．. まず，シミュレーション実験により提案法の有効性を確認した．本シミュレーション実. 図 19 の 3 節の手法と比べると 3 節の手法で発生した画像の乱れが，4 節の手法ではほぼ. 験では図 14 に示す形状を非平面スクリーンに用いて行った．実験環境として，非平面スク. なくなっていることがわかる．これにより 4 節の手法が有効であることが分かる．. リーン，カメラ，プロジェクタを図 15 に示すように配置した．計算に使用するエピポーラ. また，図 21，22 に精度評価の結果を示す．この結果よりエピポーラ線の間隔を増やして. 線の数と計算精度と計算時間の関係を定量的に評価するために，使用するエピポーラ線の間. も，生成画像の精度は概ね安定していることがわかる．また，エピポーラ線の間隔を増やす. 隔を 1∼40 の間で変化させ，計算時間の推移と生成した画像の精度について調べた．. ことで計算時間を大幅に高速化できることがわかる．この結果より，4 節の提案法により精. まず，輝度ノイズが無い場合を考え，使用するエピポーラ線を変化させた場合に，生成後. 度を維持しつつ計算速度を高速化することが可能であるとわかった．. にカメラで観測された画像と，カメラ画像中での元画像の歪みについて，エピポーラ線の間. 6. c 2010 Information Processing Society of Japan.
(18)
(19) ) * ! " $(%&' #
(20) . Vol.2010-CVIM-171 No.3 2010/3/18. 情報処理学会研究報告 IPSJ SIG Technical Report. ' " $ !&5 ( % 7 9 8 6. ) " # * ! + , 5 .01 / : 9 8 6 2 34 .
(21) . . 図 19 3 節手法を適用した結果 Fig. 19 Result of Section3 method. ( ! ) " #$% &
(22) '$. 図 22 色相誤差の推移 Fig. 22 Hue Error Transition. 図 21 座標誤差の推移 Fig. 21 Coordinates Error Transition. . 図 20 計算時間の推移 Fig. 20 Calculate Time Transition.
(23) . 図 23 環境 Fig. 23 Environment. 図 24 非平面スクリーン Fig. 24 Nonplanar Screen. 5.2 実画像実験 次に実画像に提案法を適用し，実環境における提案法の有効性を確認した．実験環境とし. すようにスクリーン形状を変化させて行った．このとき提案法を繰り返し用いることで各ス. て，図 23 に示すように，プロジェクタとカメラを配置し ，図 24 に示す黒の画用紙で作っ. クリーン形状に適した歪みのない画像を生成した．このとき各スクリーンで生成された画像. た曲面を非平面スクリーンとして用いた．プロジェクタの投影画像は 3.3 節，5.1 節と同じ. を図 28(a)，(b)，(c) に示す．これらの図に示すとおり，ほぼ歪みのない元画像を表示する. く，図 4 を使用し，元画像とカメラ画像の解像度が違うため中央に元画像を表示するように. ことができることがわかる． これらの結果より，非平面スクリーンの形状がリアルタイム. した．. に変化した場合やプロジェクタカメラシステムを持って動いた場合にも，提案法を繰り返し. 提案法を適用したところ，投影画像生成後のカメラ画像は図 26 となった．左側の周辺部. 適用することで常に適切な非平面スクリーンへの投影画像が生成可能であることがわかる．. に若干歪みが生じたが，その他については元画像をほぼ歪み無く表示することができた．し. 6. ま と め. たがって，提案法は実環境においても非平面スクリーンへの適切な画像表示が行えることが わかる．. 本論文では，特殊な形状計測用のパターン光を投光することなく，写真などの一般的な画. 最後に，スクリーン形状が時々刻々と変化する場合において，提案法を繰り返し適用する. 像を投影するだけで，非平面スクリーンの形状を考慮した投影画像を生成し，意図した画像. ことで常に適切な非平面スクリーン画像が生成できるか確認した．図 27(a)，(b)，(c) に示. をスクリーン上に提示する手法を提案した．. 7. c 2010 Information Processing Society of Japan.
(24) Vol.2010-CVIM-171 No.3 2010/3/18. 情報処理学会研究報告 IPSJ SIG Technical Report. するエピポーラ線を減らし計算時間の高速化が可能であることを示し，実験においてそれを 確認した．最後に，繰り返し提案法を行うことで，時間経過による非平面スクリーンの形状 変化やプロジェクタカメラシステムの持ち運びから生じる非平面スクリーンとプロジェクタ カメラとの相対位置の変化に対応できることを示した． 今後の課題として，カメラをアフィンカメラで近似せず，射影カメラを仮定した手法に拡 張し，プロジェクタカメラシステムの自由度を高めることなどが考えられる． 図 25 カメラ画像 Fig. 25 Camera Image. (a). 図 26 生成後のスクリーン画像 Fig. 26 Result of Screen Image. (b). 参. (b). 文. 献. 1) M. Brown, A. Majumder, R. Young, Camera-Based Calibration Techniques for Seamless Multiprojector Displays, IEEE Transaction on Visualization and Computer Graphics, Vol. 11, No. 2, pp.193-206, 2005. 2) 西江 桂亮, 佐藤 淳, 未校正カメラと未校正プロジェクタによる 3 次元復元と仮想楽器 への応用, 情報処理学会論文誌, Vol. 47, No. SIG10(CVIM 15), pp. 49-58, 2006. 3) 浜田 康司, 佐藤 淳, モバイルプロジェクタカメラの校正と映像生成, 画像の認識・理 解シンポジウム (MIRU 2006), pp. 471-476, 2006. 4) 和田 幹生, 岡谷 貴之, 出口 光一郎, 複数プロジェクタの投影像の重ね合わせによる 超解像画像投影について. MIRU2008 第 11 回 画像の認識・理解シンポジウム, pp. 1668-1669, 2008. 5) M. Ashdown, T. Okabe, I. Sato, Y. Sato, Robust Content-Dependent Photometric Projector Compensation, Proc. IEEE Int. Workshop on Projector-Camera Systems, pp. 60-67, June 2006. 6) 川崎洋, 古川亮, 大澤裕, 空間コード 化法を用いた未校正ステレオシステムによる密な 3 次元形状復元, MIRU2005 第 8 回 画像の認識・理解シンポジウム予稿集, pp. 1268-1275, 2005. 7) 稲垣 雅彦, 坂上 文彦, 佐藤 淳, 車載マルチプロジェクタを用いた悪路走行支援のた めの路面形状強調提示, 第 15 回 画像センシングシンポジウム (SSII09), IS2-04, 横浜, 2009 年 6 月. 8) Ramesh Raskar, Greg Welch, Kok-Lim Low and Deepak Bandyopadhyay, Shader Lamps: Animating Real Objects with Image-Based Illumination, In Proc. of EGWR, pp.89-102, 2001. 9) 内田誠一, マッチング概説 ∼ 基本と様々な拡張∼, 信学技報, PRMU2006-166, 2006.. (c). 図 27 スクリーンの形状変化 Fig. 27 Transformation of Screen Shape. (a). 考. (c). 図 28 適用後のスクリーン画像 Fig. 28 Result of Screen Images. まず，プロジェクタ画像上の点がカメラ画像上の対応するエピポーラ線上にあることに着 目し，DP マッチングによりカメラ画像とプロジェクタ画像の対応関係の計算を行った．次 に，計算した対応関係から B スプライン曲面で非平面スクリーンを近似することで，ノイ ズに頑強な投影画像の生成方法を示した．また，B スプライン曲面を用いることから，使用. 8. c 2010 Information Processing Society of Japan.
(25)
図
+4
関連したドキュメント
Proof of Theorem 2: The Push-and-Pull algorithm consists of the Initialization phase to generate an initial tableau that contains some basic variables, followed by the Push and
Henk, On a series of Gorenstein cyclic quotient singularities admitting a unique projective crepant resolution, in Combinatorial Convex Geometry andToric Varieties (G.. Roczen, On
Thus as a corollary, we get that if D is a finite dimensional division algebra over an algebraic number field K and G = SL 1,D , then the normal subgroup structure of G(K) is given
Furthermore, we characterize the bounded and compact multiplication operators between L w and the space L ∞ of bounded functions on T and determine their operator norm and
These authors make the following objection to the classical Cahn-Hilliard theory: it does not seem to arise from an exact macroscopic description of microscopic models of
These authors make the following objection to the classical Cahn-Hilliard theory: it does not seem to arise from an exact macroscopic description of microscopic models of
Related to this, we examine the modular theory for positive projections from a von Neumann algebra onto a Jordan image of another von Neumann alge- bra, and use such projections
As application of our coarea inequality we answer this question in the case of real valued Lipschitz maps on the Heisenberg group (Theorem 3.11), considering the Q − 1
