ステレオカメラと位相シフト法による鏡面と透明物体の3次元形状復元

全文

(1)Vol. 49. No. SIG 6(CVIM 20). 情報処理学会論文誌：コンピュータビジョンとイメージメディア. Mar. 2008. ステレオカメラと位相シフト法による鏡面と透明物体の 3 次元形状復元山. 崎. 雅. 起†1. 岩. 将†1. 田. 徐. 剛†1. コンピュータビジョンの研究において，鏡面・透明物体の形状を計測する簡便な手法は少ない．本論文ではステレオカメラとディスプレイを用いて，鏡面物体の 3 次元形状復元について述べたあと，透明物体の 3 次元形状復元に拡張する．従来の方法は 2 回までの反射または屈折する鏡面・透明物体において，屈折率が既知な場合，点ごとに表面形状と法線を求めるのに 3 視点必要だった．そこで，提案手法では 2 視点のみで解を求めることができることを示す．また，ディスプレイ上に縦方向と横方向の位相シフトさせることによって，ディスプレイとカメラ間の対応点を画素ごとにかつサブピクセルの精度で得ることができる．. 3 D Reconstruction of Specular and Transparent Objects Using Stereo Cameras and Phase-shift Method Masaki Yamazaki,†1 Sho Iwata†1 and Gang Xu†1 In computer vision research, few methods for estimating the shape of specular and transparent objects have been proposed. In this paper, we ﬁrst describe our approach to estimating the surface shape of specular objects and then we extend the method to estimating the surface shape of transparent objects by using stereo cameras and a display. Existing methods need three viewpoints for estimating the 3D shape of specular and transparent objects through which light refracts twice with a known refractive index. We show that two viewpoints are suﬃcient to enable reconstruction in the general case. We can establish correspondences for each point between cameras and a display by showing two-dimensional phase shifts.. る．しかし，鏡や金属のような鏡面反射をする表面の. 1. まえがき. 場合には，投射された光はある特定の方向にしか反射. 3 次元画像計測は，その計測手法よりパッシブ計測とアクティブ計測に分類できる．パッシブ計測はカメ. されず，一般的にカメラに向かわず計測できない．ま. ラで計測対象を撮影し，その画像情報のみから特徴点. 体の内部で反射・屈折・通過するため環境によって見. の抽出，対応付けと 3 次元形状の復元を行う．しか. え方が大きく変化してしまう．そのため，パウダを物. し，工業機器の部品など模様がない対象に対してはこ. 体表面に噴射して，人工的に拡散反射面を作り出すこ. の手法は使えない．アクティブ計測はプロジェクタな. とで計測するのが一般的である．これは面倒なだけで. どを利用してパターン光を対象に投影し，それをカメ. なく，パウダの厚みの影響もある．. た，ガラスのような透明物体の場合には，光は透明物. ラで撮影することにより全自動で形状計測を行う．プ. コンピュータビジョンの研究において，鏡面・透明. ロジェクタなどを利用することで画像情報の全画素に. 物体の形状を計測する手法はいくつか提案されている．. ついて対応関係を解析することができるため，画像の. 代表的な鏡面物体の形状計測手法として，ステレオ法. みで行うパッシブ計測の場合より高精度，高精細な 3. に基づく手法5),6) ，光切断法に基づく手法7) ，ハイラ. 1)–4). ．. イト法に基づく手法8) ，法線計測に基づく手法9) ，ス. 一般的な 3 次元形状計測において，プロジェクタな. ペースカービング法に基づく手法10) などがある．し. どで投影したパターンが拡散反射され，それぞれのカ. かし，これらの手法は特殊な実験装置を必要とし，実. メラで見た像は同じものであることが前提となってい. 験環境に制約があるなどで計測対象が限られる．. 次元形状復元ができる. 同様に，代表的な透明物体の形状計測手法として，. †1 立命館大学情報理工学部メディア情報学科 Department of Media Technology, Faculty of Information Science and Engineering, Ritsumeikan University. 偏光解析に基づく手法11),12) ，シルエット法に基づく手法13) ，動画像に基づく手法14),15) ，光切断法に基づ 79.

(2) 80. 情報処理学会論文誌：コンピュータビジョンとイメージメディア. Mar. 2008. く手法16) などがある．しかし，これらの手法は，表面形状のみの計測であったり，パラメータで表現可能な形状であったり，特殊な実験装置を必要とするなどの制約がある．近年，ディスプレイなどで既知のパターンを物体の表面に投影し，そのパターンの変化を解析して鏡面・透明物体形状を計測する shape-from-distortion に基づいた手法17)–21) が提案された．これらの手法は投影パターンの 3 次元座標とカメラ画像の各画素が正確に対応していることが前提である．Tarini ら17) は位相シフト法を用いることで画素ごとに対応点を得て，鏡面物体の形状を計測した．しかし，Tarini らの手法は単眼カメラであるため，解を一意に解くことができない．. 図 1 ステレオカメラとディスプレイによる鏡面物体復元 Fig. 1 3D reconstruction of specular objects by stereo cameras and a display.. そこで全体で最適化をする必要があった．Kutulakos ら20) は，2 回までの反射または屈折する鏡面・透明物体において，屈折率が既知な場合，3 視点あれば，点ごとに解を解くことができることを示した．しかし，. 1 本の移動スリット光で対応をとっているため，十分な量のデータを収集するのに必要な測定回数が多い．本論文ではステレオカメラと位相シフト法を用いて，鏡面と透明物体の形状復元手法を提案する．ディスプレイ上に縦縞と横縞のパターンを表示し撮影することで，左右の画像の各画素の光がディスプレイのどこから来たかを解析することができる．1 回反射する鏡面物体では，物体の各点の入射光と反射光と法線方向が. 図 2 1 つのカメラでは，解が一意ではない Fig. 2 Single-camera ambiguities.. 共平面という関係により，左右の画像において法線方向を一致させるように対応点を探索し 3 次元形状を求. とによって問題は解ける．そこで，ディスプレイと位. める．2 回屈折する透明物体では，カメラからの光線. 相シフト法（付録 A.1）を用いる．ディスプレイで縦. とディスプレイからの光線どうしが透明物体の表面と. 方向と横方向の位相を表示・シフトさせることにより，. 裏面で交差するという関係により，左右の画像におい. ディスプレイ上の各点に縦と横の位相を持たせること. て上記の関係を満たすように 3 次元形状を求める．. ができる．そして，その 3 次元座標をステレオカメラ. 提案する手法による筆者らの貢献は，次の 2 点であ. とディスプレイの校正（付録 A.2）によって求めるこ. る．(1) 2 回までの反射または屈折する鏡面・透明物. とができるので，鏡面反射された光の位相を調べるこ. 体において，屈折率が既知な場合，2 視点のみで点ご. とでディスプレイ上のどの点から光が届いたかが分か. とに解を求めることができる．(2) 位相シフト法と組. る．ディスプレイ上のどこから光が鏡面反射されてき. み合わせることによって，ディスプレイとカメラ間の. たかが分かれば，この点と視線とで平面を構成する．. 対応点を画素ごとにかつサブピクセルの精度で得るこ. 奥行きが分かれば，法線方向は決まるが，1 台のカメ. とができる．. ラのみの場合，解が一意には決まらない17)（図 2）．そ. 2. 鏡面物体復元の原理. こで，ステレオカメラを用いる．2 台のカメラがある. 鏡面反射では，入射光，反射光と法線方向が共平面. り，解が一意に決まる．. と，共通の法線方向と奥行きを持つ解を探すことによ. であり，かつ入射角と反射角が等しいという性質を持. 一般性を失うことなく，世界座標系を左カメラ座標. つ．したがって，左右のカメラで物体表面の同じ点を. 系と同じにする．左画像上の正規化画像座標 x ˜(x, y). 見ても，異なる方向からの光が写るが法線は同じであ. を持つ点の位相を調べると，光はディスプレイの 3 次. る（図 1）．もしどの方向からその光が来ているかが. 元座標ベクトル Y から来ていることが分かったとす. 分かれば，法線を一致させるように対応点を求めるこ. る．この点が見ている鏡面上の 3 次元座標は.

(3) Vol. 49. No. SIG 6(CVIM 20). ステレオカメラと位相シフト法による鏡面と透明物体の 3 次元形状復元. X = s˜ x. (1). と表せる．ただし，s は未知のスケールである．この ˆ は点における単位法線ベクトル N. 81. 面である．2 回屈折する透明物体の場合，ディスプレイからの光線が物体の裏面で 1 回屈折し，さらに表面でもう 1 回屈折してカメラ 1（左カメラ）に届く（図 3 (a)）．一方，カメラ 2（右カメラ）において表. ˆ = N N ||N|| x ˜ Y − s˜ x − N= ||Y − s˜ x|| ||˜ x||. 面の点を通る光線は，左カメラとは異なる方向から光. (2). が来る（図 3 (b)）．また，裏面の点を通る光線も，左カメラとは異なる方向から光が来る（図 3 (c)）．求めたいものは物体の表面と裏面の 3 次元座標である．こ. となる．一方，右カメラ座標系と左カメラ座標系の間に，下. こで，左カメラで表面と裏面の 3 次元座標点を仮定す. 記の関係が成り立つとする．. る．次に，右カメラからその表面の 3 次元座標点を通. X = Rc X + tc (3) ここで，Rc ，tc はそれぞれ右カメラ座標系と左カメ. る光線を追跡し，その表面の点で屈折して裏面に向か. ラ座標系の間の回転行列と並進ベクトルである．右画. ら裏面に向かう光線と交差するかどうかを判定する．. . . . う光線を求める．そして，その光線がディスプレイか. ˜ (x , y ) を持つ点の位相を調像上の正規化画像座標 x. 同様に，ディスプレイからその裏面の 3 次元座標点を. べると，光はディスプレイの 3 次元座標ベクトル Y. 通る光線を追跡し，その裏面の点で屈折して表面に向. から来ていることが分かったとする．この点が見てい. かう光線を求める．そして，その光線が右カメラから. る鏡面上の 3 次元座標は. 表面に向かう光線と交差するかどうかを判定する．つ. X = s Rc x ˜ + tc (4) となる．ただし，s は未知のスケールである．この点 ˆ はにおける単位法線ベクトル N. まり，左カメラで仮定する物体の表面と裏面の 3 次元. ˆ = N N ||N || Y − (s Rc x ˜ + tc ) x ˜ − N = ||Y − (s Rc x ˜ + tc )|| ||˜ x ||. 座標点が正しくないと，それらの点で屈折して物体内部を通過する光線が，ディスプレイからの光線・右カメラからの光線と交差しない．表面の 3 次元座標点を左カメラ座標からの距離，裏面の 3 次元座標点をディ. (5). スプレイ座標からの距離で表すと未知数は 2 つとなる（屈折率は既知とする）．よって，左右のカメラにおい. となる．左画像と右画像が同じ点を見ているとすれ. て上記の光線交差条件がともに交差するように，表面. ば，式. と裏面の 3 次元座標点を探索することで解を得ること. X = X. (6). ができる（図 3 (d)）．一般性を失うことなく，世界座標系を左カメラ座標. と式. ˆ =N ˆ N. (7). 系と同じにする．ディスプレイからの光の方向（ベクトル）を決定するためにディスプレイを前後に 1 回動. が成り立たなければならない．よって，エピポーラ線. かす必要がある．左画像上の正規化画像座標 x ˜(x, y). に沿って，式 (6) と式 (7) を満たす対応点を探せば. を持つ点の位相を調べると，光は前後のディスプレイ. よい．しかし，このままでは一意に解を求めること. ˜ を少はできないので，右画像上の正規化画像座標 x. 3 次元座標ベクトル Y1 ，Y2 から来ていることが分かったとする．この点が見ている透明物体の表面の 3. しずつ変化させて求める（左画像上の正規化画像座. 次元座標は. ˜ は固定とする）．つまり，式 (7) の差分である標 x ˆ x) − N ˆ (˜ C = N(˜ x ) が限りなく 0 に近づいたときの. と表せる．ただし，s1 は未知のスケールである．ディ. . x ˜とx ˜ が求めたい点となる．サブピクセル単位で画像の対応を求めるために，ピクセル単位で求めた最小差分値とその隣接点の計 3 点を 2 次の対称関数（放物. X1 = s1 x ˜. (8). ˆをスプレイからの光の方向（単位ベクトル）y y ˆ=. Y1 − Y2 ||Y1 − Y2 ||. (9). 線）で近似することで求める．最終的に求めた対応点. とすると，この点が参照する透明物体の裏面の 3 次元. より，三角測量を用いて物体の 3 次元座標を獲得する. 座標は. ことができる．. X2 = s2 y ˆ + Y2. (10). 3. 透明物体復元の原理. と表せる．ただし，s2 は未知のスケールである．. 透明物体では，入射光，屈折光と法線方向が共平. が決まると，表面から裏面へ向かう単位屈折ベクトル. ここで，表面と裏面の 3 次元座標 X1 (s1 )，X2 (s2 ).

(4) 82. Mar. 2008. 情報処理学会論文誌：コンピュータビジョンとイメージメディア. (a). (b). (d). (c). (e). 図 3 透明物体復元 Fig. 3 3D reconstruction of transparent objects.. ˆ 1 (s1 , s2 ) v ˆ が分かるので，表面の単位法線ベクトル N を以下のように求めることができる． ˆ 1 (s1 , s2 ) = −R(θi , x ˆ×v ˆ)ˆ x N r sin θδ −1 θi = tan r cos θδ − 1 −1 θδ = cos (ˆ xT v ˆ) x ˜ x ˆ= ||˜ x||. 元座標点 X2 (s2 ) を通る光線を追跡し，その裏面の点で屈折して表面に向かう光線を求める．そして，その光線が右カメラから表面に向かう光線と交差するかどうかを判定する．最後に，両方ともに交差するという条件を満たすように 3 次元座標点 X1 (s1 )，X2 (s2 ) を. (11). 探索することで解を求める．右カメラにおいて，左カメラで仮定した表面の 3 次元座標点 X1 (s1 ) を通る光線を探す．そのために 3 次. ただし，R(θ, ψ) は ψ を軸とした θ だけの回転を表し. 元座標点 X1 (s1 ) を右画像上に射影する．そうするこ. た回転行列であり，r は屈折率である．裏面の単位法 ˆ 2 (s1 , s2 ) も同様に求めることができる．線ベクトル N. ˜ (x , y ) が分かる．もちろんこの点に規化画像座標 x. とで 3 次元座標点 X1 (s1 ) に対応する右画像上の正. ここで，左カメラで仮定した表面と裏面の 3 次元座. 位相情報がなければ，この 3 次元座標点は計算できな. 標点 X1 (s1 )，X2 (s2 ) が正しくないと，その点の法線 ˆ 1 (s1 , s2 )，N ˆ 2 (s1 , s2 ) も正しくない．そのため，右 N. い．この点の位相を調べると，光は前後のディスプレ. カメラにおいて，表面・裏面の 3 次元座標点 X1 (s1 )，. 分かったとすると，ディスプレイからの光の光線（単. X2 (s2 ) で屈折して物体内部を通過する光線は，ディスプレイからの光線・右カメラからの光線と交差しない．. ˆ = (Y1 − Y2 )/||Y1 − Y2 || となる．位ベクトル）は y. 求めたい未知数は 2 つ（s1 ，s2 ）である．よって，左カメラで表面と裏面の 3 次元座標点 X1 (s1 )，X2 (s2 ) を仮定する．次に，右カメラから表面の 3 次元座標点 X1 (s1 ) を通る光線を追跡し，その表面の点で屈折して裏面に向かう光線を求める．そして，その光線がディスプレイから裏面に向かう光線と交差するかどうかを判定する．同様に，ディスプレイから裏面の 3 次. イ 3 次元座標ベクトル Y1 ，Y2 から来ていることが. よって，右カメラにおいて，表面の 3 次元座標 X1 (s1 ) ˆ 1 (s1 , s2 ) を参照した単位屈折ベクトルとその法線 N. v ˆ1 はスネルの法則より以下のように求めることができる． ˆ 1 )/r v ˆ1 = (ˆ x + (c − g)N. g = r2 + c2 − 1 ˆ1 c = −ˆ xT N. (12).

(5) Vol. 49. No. SIG 6(CVIM 20). ステレオカメラと位相シフト法による鏡面と透明物体の 3 次元形状復元. x ˜ ||˜ x || 右カメラにおいて，左カメラで仮定した裏面の 3 次元座標点 X2 (s2 ) を通る光線を探す．探索の方法として，裏面の 3 次元座標点 X2 (s2 ) とディスプレイから x ˆ =. 83. 索する．もちろんすべての組合せを探索していては計算が終わらないので，探索方法として最急降下法を用いた．早く解を収束させるために，近傍点で求めた解を初期値として使用する．しかし，光線どうしが平行になっている点は解を求めることができないので，左. の光線との距離を計算し，最短距離の光線を探索結果. 右のカメラでともに (s1 , s2 ) を求め，最終的に統合す. とする．この距離が大きい場合，裏面の 3 次元座標点. る．そうすることで，片方のカメラで解を求めること. X2 (s2 ) を通る光線はないので，この 3 次元座標点を求めることはできない．また，最短距離の光線の候補が複数ある場合，光線を求めることができないので，. ができなくても，もう片方のカメラで補うことができ. この 3 次元座標点は計算しない．探索結果より，裏面 ˆ 2 (s1 , s2 ) を参の 3 次元座標点 X2 (s2 ) とその法線 N. において表面と裏面の 3 次元座標点で光線が交差する. ˆ2 は，式 (12) と同様に求照した単位屈折ベクトル v. 関連研究として，Kutulakos ら20) は 1 つ目の視点. る．ただし，両カメラにおいて光線どうしが平行となる場合は解を求めることができない．また，両カメラ点のみ解を求めることができる．で表面と裏面の 3 次元座標点を仮定し，さらに 2 つの. めることができる．光線どうしが交差するかどうかの判定は，直線と. 視点において，その表面の 3 次元座標点を参照した屈. 直線との距離を求めることで判定する．右カメラか. 折光がディスプレイから裏面に向かう光線と交差する. ら表面に向かう光線を直線 P1 ，裏面の 3 次元座標点. かどうかを判定した（図 3 (e)）．本手法は表面だけで. X2 (s2 ) から表面に向かう光線を直線 Q1 ，2 直線間の距離を d1 とすると，表面での交差判定は以下のようになる．. なく裏面の 3 次元座標点も参照することで，従来では. d1 = ||P1 − Q1 ||2. p1 q1. =. 1 T. −ˆ x. v ˆ2. 4. 実験結果本システムは Nikon 製の CCD カメラ（3,008 ×. P1 = tc + p1 x ˆ Q1 = X2 + q1 v ˆ2. . 3 視点必要なところを 2 視点に改善したといえる．. −1. (13). . −ˆ xT v ˆ2. (X2 − tc )T x ˆ. 1. (tc − X2 )T v ˆ2. 2,000 画素，28 mm レンズ）2 台と Dell 製 17 インチ液晶ディスプレイ（解像度 1,280 × 1,024）を使用する．周りからの光を遮断するために，ディスプレイ以外の光をすべて消して撮影する．ただし，環境光が一. ここで，tc は右カメラ座標系と左カメラ座標系の間の. 定の強さであるならば暗室である必要はない．また，. 並進ベクトルである．よって，2 直線間の距離 d1 が. 周りの物体からの相互反射もできる限り遮断して撮影. 限りなく 0 に近いときに光線どうしが交差していると. する．. いえる．しかし，直線どうしが平行であると解を求め. ステレオカメラ間の校正は，三次元メディア社製の. ることができないので，この 3 次元座標点は計算しな. システムを使用する．ディスプレイとステレオカメラ. い．直線どうしが平行であるならば，行列式. 間の校正（付録 A.2）として，ディスプレイを両方の. 1 det −ˆ xT v ˆ2. −ˆ xT v ˆ2 1. カメラに写るように配置する．ディスプレイとカメラ. (14). が 0 になるので，この結果をしきい値で判断する．. 間の対応点を求めるために，ディスプレイ上に縦縞と横縞の位相パターンを 4 回ずつシフトさせる．位相接続には縦縞と横縞のグレイコードを 16 回ずつ投影す. ディスプレイから裏面に向かう光線を直線 P2（P2 =. る（付録 A.1）．位相パターンの幅は縦縞位相が 1 波. Y2 + p2 y ˆ ），表面の 3 次元座標点 X1 (s1 ) から裏面に ˆ1 ），2 直線間向かう光線を直線 Q2 （Q2 = X1 + q2 v. 長 5 画素，横縞位相が 1 波長 4 画素とする．また，縦. の距離を d2 すると，裏面での交差判定は式 (13) と同. さは位相の 1 波長と同じ幅とする．. 縞と横縞のグレイコード 256 本における 1 本の大き. 様に求めることができる．よって，2 直線間の距離 d2. 本実験では，平面と見られる物体と球面と見られる. が限りなく 0 に近いときに光線どうしが交差している. 物体とを使用したが，実際の平面度や球面度について. といえる．直線どうしが平行であるかどうかは式 (14). は，たとえば接触型 3 次元測定器などで計測しては. と同様に求める．. いない．したがって厳密にいえば，復元した結果の比. 以上より，表面と裏面で求めた光線どうしの交差判. 較対象としての真値がないので絶対誤差は評価できな. 定 (d1 , d2 ) が一番小さいときの (s1 , s2 ) を解として探. い．しかし，仮に物体が厳密に平面や球面であったと.

(6) 84. Mar. 2008. 情報処理学会論文誌：コンピュータビジョンとイメージメディア. (a). (b). (c). (d). (e). (f). 図 4 鏡面物体復元結果：(a) 計測システムの構成，(b) 平面鏡の縦縞位相画像，(c) 平面鏡の 3 次元形状，(d) 半球鏡の横縞位相画像，(e) 半球鏡の 3 次元形状，(f) 半球鏡の切断面の曲線形状 Fig. 4 Result of specular objects: (a) experimental setup, (b) vertical stripe image of planar mirror, (c) 3D shape of the planar mirror, (d) horizontal stripe image of hemisphere mirror, (e) 3D shape of hemisphere mirror, (f) planar slice through a hemisphere mirror.. して，求められた 3 次元点群に対して最小自乗平面や最小自乗球面をフィッティングし，各点からの平面や球面までのばらつき（平均自乗偏差）を求めた．そして，カメラと物体の位置は固定して，ディスプレイの位置を変えながら 5 回計測を行い，各計測で得られた. 半球鏡での平均誤差，最大誤差，標準偏差としては 0.39 mm，0.68 mm，0.19 mm が得られた．この条件での理論画素分解能は，画像平面に平行な方向で約 0.11 mm，奥行き方向で約 0.13 mm であった． 4.2 透明物体の復元結果. 平均自乗偏差の平均値（平均誤差），平均自乗偏差の. カメラと透明物体までの距離は約 80 cm であり，カ. 最大値（最大誤差），平均自乗偏差のばらつき（標準. メラ間の距離は約 30 cm とした．透明物体は，屈折率. 偏差）を求め評価とした．. 4.1 鏡面物体の復元結果. 1.5 である 50 mm 四方のアクリル立方体と直径 70 mm のアクリル球を使用した．ディスプレイからの光の方. カメラと鏡面物体までの距離は約 50 cm であり，カ. 向を決定するためにディスプレイを前後に 1 回動かし. メラ間の距離は約 40 cm とした．鏡面物体としては，. 再度撮影をした．図 5 (a)∼(c) はアクリル立方体での. 平面鏡（15 cm × 10 cm）と直径 100 mm の半球鏡を. 横縞位相の原画像，復元した 3 次元形状（左側が表面. 用いた．図 4 (a) は計測システムを示す．図 4 (b)，(c). 形状，右側が裏面形状，上方から見た視点），切断面の. は平面鏡での縦縞位相の原画像と復元された 3 次元形. 曲線形状（左側が表面形状，右側が裏面形状）を示す．. 状（側面から見た視点）を示す．図 4 (d)∼(f) は半球. 図 5 (d)∼(h) はアクリル球での縦縞位相の原画像，復. 鏡での横縞位相の原画像と復元された 3 次元形状と切. 元した 3 次元形状（(g) 左側が表面形状，右側が裏面. 断面の曲線形状を示す．図 4 (f) では，実線が推定さ. 形状），切断面の曲線形状（左側が表面形状，右側が. れた形状を表し，破線がフィッティングした球面形状. 裏面形状）を示す．図 5 (c)，(h) では，実線が推定さ. を表す．. れた形状を表し，破線がフィッティングした平面・球. 平面鏡での平均誤差，最大誤差，標準偏差としては 0.28 mm，0.51 mm，0.16 mm が得られた．同様に，. 面形状を表す．アクリル立方体での平均誤差，最大誤差，標準偏差.

(7) Vol. 49. No. SIG 6(CVIM 20). (a). (e). ステレオカメラと位相シフト法による鏡面と透明物体の 3 次元形状復元. (b). (c). (d). (f). (g). (h). 85. 図 5 透明物体復元結果：(a) アクリル立方体の横縞位相画像，(b) アクリル立方体の 3 次元形状，(c) アクリル立方体の切断面の曲線形状，(d) アクリル球の縦縞位相画像，(e) アクリル球の 3 次元形状（表面形状），(f) アクリル球の 3 次元形状（裏面形状），(g) アクリル球の 3 次元形状（側面から見た視点），(h) アクリル球の切断面の曲線形状 Fig. 5 Result of transparent objects: (a) horizontal stripe image of acrylic cube, (b) 3D shape of acrylic cube, (c) planar slice through acrylic cube, (d) vertical stripe image of acrylic sphere, (e) 3D shape of acrylic sphere (front surface), (f) 3D shape of acrylic sphere (back surface), (g) 3D shape of acrylic sphere (side viewing), (h) planar slice through acrylic sphere.. としては 1.39 mm，1.92 mm，0.36 mm が得られた．. は，カメラを物体に近づけるか投影パターンの大きさ. 同様に，アクリル球での平均誤差，最大誤差，標準偏. を大きくする方法が考えられる．. 差としては 1.52 mm，2.13 mm，0.41 mm が得られた．. 本手法では，ディスプレイは両方のカメラに写って. この条件での理論画素分解能は，画像平面に平行な方. いると仮定している．この校正の方法は簡単だが，対. 向で約 0.16 mm，奥行き方向で約 0.43 mm であった．. 象物体に対して投影パターンの写る部分にかなり制限. 4.3 適用対象や測定環境の制限. をしてしまう．実際に図 4 (d) から分かるように，半. 対象物体が球面上の場合，投影パターンがつぶれて. 球物体の半円部分にしかパターンが観測できていない．. しまい位相を求めることができない場合がある．実例. 改善案としては，ディスプレイがカメラに写らなくて. として図 4 (e) に示す 3 次元復元結果に一部欠損して. もいい校正の方法17) がある．. いる部分は，図 4 (d) に示す縞模様が潰れたため位相. アクリル球の中心付近の 3 次元復元結果が欠損して. が求められなかったからである．同様に，図 5 (d)∼. しまっている（図 5 (e)，(f)）．これはカメラの向きと. (h) から分かるように，球の中央付近以外の部分は位相が潰れてしまっているため，球の中央付近しか復元. 対象物体の面が垂直になる場合に光が直進するため，. できていない．また，位相が潰れている近辺も位相の. 平面の場合は，原理的に困難となる．アクリル立方体. 結果に誤差がでてくる．そのため，平面よりも球面の. の実験では，カメラの向きから立方体の平面が斜めに. 精度のほうがより悪くなっている．位相の計算精度の. なるように配置しこの問題を回避した（図 5 (a)）．こ. 要因として実験装置の位置関係，カメラやディスプレ. の問題に対する解決策としては，物体を回転させるか. イの解像度，投影パターンの大きさなどが関係してい. カメラを増やすことによって，対象物体に対して様々. る．本手法において，位相が計算できなければ物体の. な角度からの視点を増やし，復元結果を統合する方法. 3 次元座標点も求めることができない．対応策として. が考えられる．. 式 (13) が計算できないためである．特に透明物体が.

(8) 86. 情報処理学会論文誌：コンピュータビジョンとイメージメディア. 5. むすび本論文では，2 回までの反射または屈折する鏡面・透明物体において，屈折率が既知な場合，2 視点のみで物体の形状を復元できることを示した．本手法は，位相シフト法を用いることで，ディスプレイとカメラ間の対応点を画素ごとにかつサブピクセルの精度で得ることができる．今後の課題としては，まず屈折率推定があげられる．屈折率が変わると法線方向も変わるので，正確な屈折率が必要である．Kutulakos ら20) は，4 視点あれば屈折率も推定が可能であると報告した．よって，本手法でも，3 視点あれば屈折率が推定できることがいえる．次に，本手法の対象物体は凸物体を想定している．それは凹となる部分がある場合，相互反射が発生する．また，透明物体においては内部反射も起きる．その場合，3 回以上の反射・屈折が起きるために現状の手法では計測不可能である．また，内部反射が起きる場合，位相シフト法におけるディスプレイとカメラ間の対応点の誤検出が起こる．よって，相互反射や内部反射を考慮した手法の開発が必要となる12) ．投影パターンの問題としては，1 本の移動スリット光は位相シフト法に比べ，対応点を得るための計測時間はかかるが，誤検出を小さくすることができる．よって，測定対象に最適なパターン光を組み合わせていく必要がある．謝辞本研究の一部は，文部科学省 21 世紀 COE プログラム「京都アート・エンタテイメント創作研究」の助成により行われた．計測にご協力いただいた三次元メディア社の阮翔氏，牛暁明氏に感謝いたします．最後に，有益なご意見をいただいた査読者の方々に感謝いたします．. 参. 考文. 献. 1) Batlle, J., Mouaddib, E. and Salvi, J.: Recent progress in coded structured light as a technique to solve the correspondence problem: A survey, Pattern Recognition, Vol.31, No.7, pp.963–982 (1998). 2) Brenner, C., Bohm, J. and Guhring, J.: Photogrammetric calibration and accuracy evaluation of a cross-pattern stripe projector, Photonics West Videometrics VI, Vol.3641 (1999). 3) Guhring, J., Brenner, C., Bohm, J. and Fritsch, D.: Data Processing and Calibration of a Cross-pattern Stripe Projector, ISPRS Congress 2000, IAPRS, Vol.33, No.5 (2000). 4) Sato, K. and Inokuchi, S.: Three-dimensional. Mar. 2008. surface measurement by space encoding range imaging, Journal of Robotic Systems, Vol.2, No.1, pp.27–39 (1985). 5) Ikeuchi, K.: Determining surface orientations of specular surfaces by using the photometric stereo method, IEEE Trans. Pattern Anal. Mach. Intell., Vol.3, No.6, pp.661–669 (1981). 6) Oren, M. and Nayar, S.K.: A Theory of Specular Surface Geometry, Int. J. Comput. Vis., Vol.24, No.2, pp.105–124 (1997). 7) Baba, M., Ohtani, K. and Imai, M.: New laser rangefinder for three-dimensional shape measurement of specular objects, Optical Engineering, Vol.40, No.1, pp.53–60 (2001). 8) Zheng, J.Y. and Murata, A.: Acquiring a Complete 3D Model from Specular Motion under the Illumination of Circular-Shaped Light Sources, IEEE Trans. Pattern Anal. Mach. Intell., Vol.22, No.8, pp.913–920 (2000). 9) Halstead, M., Barsky, B., Klein, S. and Mandell, R.: Reconstructing curved surfaces from specular reflection patterns using spline surface fitting of normals, Proc. SIGGRAPH ’96, pp.335–342 (1996). 10) Bonfort, T. and Sturm, P.: Voxel carving for specular surfaces, Proc. IEEE Int. Conf. Computer Vision, pp.591–596 (2003). 11) Miyazaki, D., Kagesawa, M. and Ikeuchi, K.: Transparent surface modeling from a pair of polarization images, IEEE Trans. Pattern Anal. Mach. Intell., Vol.26, No.1, pp.73–82 (2004). 12) Miyazaki, D. and Ikeuchi, K.: Shape Estimation of Transparent Objects by Using Inverse Polarization Ray Tracing, IEEE Trans. Pattern Anal. Mach. Intell., Vol.29, No.11, pp.2018– 2030 (2007). 13) Matusik, W., Pfister, H., Ziegler, R., Ngan, A. and McMillan, L.: Acquisition and rendering of transparent and refractive objects, Proc. 13th Eurographics Workshop on Rendering, pp.267– 278 (2002). 14) Murase, H.: Surface Shape Reconstruction of a Nonrigid Transparent Object Using Refraction and Motion, IEEE Trans. Pattern Anal. Mach. Intell., Vol.14, No.10, pp.1045–1052 (1992). 15) Ben-Ezra, M. and Nayar, S.: What does motion reveal about transparency?, Proc. IEEE Int. Conf. Computer Vision, pp.1025–1032 (2003). 16) Narita, D. and Baba, M.: Measurement of 3-D Shape and Refractive Index of a Transparent Object using Laser Rangefinder, Proc. IEEE Instrumentation and Measurement Technology.

(9) Vol. 49. No. SIG 6(CVIM 20). ステレオカメラと位相シフト法による鏡面と透明物体の 3 次元形状復元. Conf., Vol.3, pp.2247–2252 (2005). 17) Tarini, M., Lensch, H.P.A., Goesele, M. and Seidel, H.-P.: 3D Acquisition of Mirroring Objects using Striped Patterns, Journal of Graphical Models, Vol.67, No.4, pp.233–259 (2005). 18) Bonfort, T., Sturm, P. and Gargallo, P.: General specular Surface Triangulation, Proc. Asian Conf. Computer Vision, Vol.2, pp.872– 881 (2006). 19) Hata, S., Saitoh, Y., Kumamura, S. and Kaida, K.: Shape extraction of transparent object using genetic algorithm, Proc. Int’l Conf. Pattern Recognition, pp.684–688 (1996). 20) Kutulakos, K.N. and Steger, E.: A Theory of Refractive and Specular 3D Shape by LightPath Triangulation, Proc. IEEE Int. Conf. Computer Vision, pp.1448–1455 (2005). 21) Morris, N. and Kutulakos, K.N.: Dynamic refraction stereo, Proc. IEEE Int. Conf. Computer Vision, pp.1573–1580 (2005).. 付. 87. 図 6 縦縞の位相パターン Fig. 6 Example of phase stripe pattern.. 図 7 位相シフトの概念図 Fig. 7 Phase-shift method.. 録. A.1 位相シフト法の原理位相シフト法では，正弦波形のパターンをディスプレイなどによって物体表面に投影する．図 6 は縦縞の位相パターン画像を示す．同様に，横縞のパターン画像も作成できる．たとえば，正弦波の位相を 2π/4 ずつずらして 4 回シフトさせる．図 7 に示すように，各画素で観測される 4 回の輝度も同様に 2π/4 だけの位相がシフトしたものとなる．その 4 つの輝度データから，式 (15) により各画素の位相が求められる．. i3 (u, v) − i1 (u, v) (15) i0 (u, v) − i2 (u, v) ただし，(u, v) は画素の座標を示し，α(u, v) はこの画素の位相であり，i0 (u, v)，i1 (u, v)，i2 (u, v)，i3 (u, v) α(u, v) = tan−1. 図 8 位相連結処理 Fig. 8 Phase unwrapping.. はこの画素の観測された 4 回の輝度である．位相は 0∼2π の間で求められるので，視野の中で繰り返され，一意ではない．左右の画像で対応を求める場合，複数の対応候補が存在する．そこで，位相が視野内において単調に増えていくように接続（unwrap-. ping）を行う．図 8 はその概念を示す．位相接続にはグレイコード法4) を用いる．グレイコード法は，図 9. 図 9 縦縞のグレイコードのパターン Fig. 9 Example of gray code pattern.. に示す縦縞模様パターンを順次投影することで，空間. イコード法は 2 値なので，ロバストであるが，十分に. をコード化する．各画素について独立に 2 値化するこ. 細かくない．一方，位相シフト法は細かいが，視野全. とで，それぞれの画素がどの空間に属するかが分かる．. 体で一意ではない．両方の利点を組み合わせることに. この空間コードの細かさには限度がある．しかし，縞. より視野全体で位相を接続する．. 模様の範囲内で位相を求めることができれば，位相を. A.2 ステレオカメラとディスプレイの校正. 接続するのに十分である．同様に，横縞のグレイコー. ディスプレイの座標系を (I, J) とする．各点の位. ドと横縞の位相シフトを組み合わせて利用する．グレ. 相 (Px , Py ) が決まっているので，その位相から座標.

(10) 88. Mar. 2008. 情報処理学会論文誌：コンピュータビジョンとイメージメディア. 山崎雅起. (I, J) を求めることができる．一般的に位相は線形に付与するので，. 平成 17 年立命館大学理工学部情報. I = Px /a, J = Py /a (16) で変換できる．a は定数である．仮にディスプレイも両方のカメラに写っているとす. 工学科卒業．現在，同大学院理工学. る．従来のステレオによって，ディスプレイ上の各点の. 従事．電子情報通信学会学生会員．. 研究科博士課程在学中．コンピュータビジョン，パターン認識の研究に. ステレオ対応が可能であり，その 3 次元座標 (X, Y, Z) 岩田. を求めることができる．この 3 次元座標系とディスプレイの座標系との間に，. ⎛. ⎞. X. ⎛. Z. 平成 18 年立命館大学理工学部情報. ⎞. 工学科卒業．現在，同大学院理工学. I. ⎜ ⎟ ⎜ ⎟ ⎝ Y ⎠ = s d R d ⎝ J ⎠ + td. 将. (17). 0. 研究科修士課程在学中．コンピュータビジョンの研究に従事．. が成り立つ．ここで，Rd ，td はそれぞれディスプレイの座標系とステレオカメラの座標系との間の回転行. 徐. 列と並進ベクトルである．また，sd はディスプレイ. 昭和 57 年中国東南大学卒業．昭. の 1 画素の長さとカメラ座標系のスケールとの間の変. 和 59 年大阪大学大学院基礎工学研. 換比率である．I ，J は式 (16) より，サブピクセルの. 究科入学，平成元年同博士課程修了．. 精度で求まる．一定の点数がバランス良くサンプリン. 工学博士．平成 2 年大阪大学基礎工. グされていれば，Rd ，td ，sd は次式にある評価関数. C を最小化することで容易に求めることができる．. ⎛ ⎞ ⎛ ⎛ ⎞ ⎞2 Ii n Xi . ⎜ ⎟ ⎜ ⎜ ⎟ ⎟ C= ⎝ Yi ⎠−⎝sd Rd ⎝Ji ⎠+td ⎠ (18) i=1 Zi 0. 剛（正会員）. 学部助手，平成 5 年同講師，平成 8 年度より立命館大学理工学部助教授，平成 13 年度より同教授，現在，同情報理工学部メディア情報学科教授．株式会社三次元メディア代表取締役．コンピュータビジョン，3 次元画像計測，ロボットビジョンの研究開発に従事．著書：「Epipolar Geometry in Stereo, Mo-. i は画像上の点にあたる．n は点のサンプリング数にあたる．Rd ，td ，sd が求まれば，式 (16)，(17) より. 「3 次（共著，Kluwer Academic Publishers，1996），. 位相 Px ，Py から直接，ステレオカメラ座標系におけ. 元ビジョン」（共著，共立出版，1998），「写真から作. る光の発する位置 (X, Y, Z) が分かる．. (平成 19 年 5 月 10 日受付) (平成 19 年 11 月 21 日採録) （担当編集委員. 岩井儀雄）. tion and Object Recognition: A Unified Approach」. （近代科学社，2001）．電子情報通信学る 3 次元 CG」会，IEEE 各会員．.

(11)