照明変化にともなう輝度変化の類似度に基づく物体形状復元
11
0
0
全文
(2) 2. 照明変化にともなう輝度変化の類似度に基づく物体形状復元. ションを必要としない照度差ステレオを実現している．参照物体の併用は必ずしも新しい着 想ではないが4) ，物体表面の反射率の変化を少数個の参照物体の見えの線形結合で表現する 点に工夫が見られる．しかしながら，これらの参照物体を利用する手法には，対象物体と同 様の反射特性を持つ参照物体をあらかじめ準備しなくてはならないという問題がある．. Koppal ら5) は，運動光源下におけるシーンの時系列画像から，シーンを類似の法線ベク トルを持つ領域に分割する手法を提案している．この手法は，物体表面上の各点で観察され る輝度の時系列データが極値をとるタイミングに着目したきわめて簡便なものであるが，法 線ベクトルの密な分布や各領域の法線ベクトル相互の関係を求めるのは困難である．また， 時系列データの微分を利用するため，光源を滑らかに動かしながらシーンを撮影する必要が ある． また，提案手法で利用する MDS 7) やそれを拡張した Isomap 13) を画像に適用した研究 図 1 輝度履歴の概略．円柱表面上の 3 点のうち，類似の法線ベクトルを持つ黄色と橙色の点の輝度履歴はほぼ等し い．一方，異なる法線ベクトルを持つ水色の点では，輝度履歴もまた異なる Fig. 1 Illustration of radiance profiles. The similarity of radiance profiles is related to the similarity of surface normals.. 例も報告されている．Pless ら10) は MDS に基づく視点位置や物体姿勢などの推定法を，. Winnem¨ oller ら16) は Isomap を利用した光源方向の推定法を提案している．しかしながら， これらの手法がなぜうまく働くのかについての理論的考察はなされていない．また，これら の手法が視点位置・物体姿勢・照明条件という撮影条件を推定しているのに対して，物体形 状という撮影対象の特性を推定している点は本研究の特色である1 ．. れる輝度履歴を 3 次元空間内の単位球面上に射影する問題ととらえることができる．提案手. 以上をまとめると，提案手法は，次元削減という通常とはまったく異なるアプローチで法. 法では，上記の考察から測地線距離と法線のなす角度が等しいことを仮定して，距離を保存. 線ベクトルを推定するものであり，光源と反射特性が未知というきわめて困難な条件下にお. 7). する次元削減法として知られている多次元尺度構成法（MDS: MultiDimensional Scaling）. いても，参照球などを用いることなく，法線ベクトルの密な分布を獲得できるという利点を. の枠組みを用いる．また，遮蔽輪郭線（occluding contour）を利用して，並進や回転など. 持つ．. の次元削減に起因する不定性を解決し，法線ベクトルを一意に決定する． 本論文の構成は以下のとおりである．まず，2 章で関連研究を整理する．次に，3 章で輝 度履歴の定義と性質を述べ，4 章で輝度履歴の測地線距離と法線のなす角度の関係を明らか にする．5 章では提案手法を説明し，6 章で合成画像と実画像を用いた実験結果を報告して， 最後に 7 章で結ぶ．なお，理論的考察の詳細については付録にまとめる．. 照度差ステレオにおけるモデルベースのアプローチの限界を克服するために，いくつかの は，形状復元の対象となる物体と同様の反射特性を持つ球形の参照物体. を，対象物体と同時に撮影することで，反射特性の具体的なモデルや光源のキャリブレー. 情報処理学会論文誌. コンピュータビジョンとイメージメディア. 正規化したもの (Ip1 , Ip2 , Ip3 , · · ·, IpN )T Ip = N I2 n=1 pn. (1). を，点 p における輝度履歴 I p と定義する．本研究では，影（cast shadow）や相互反射の. 興味深い手法が提案されている．. Hertzmann ら. 視点と物体姿勢を固定して，単一光源の位置を変化させながら，滑らかな形状を持つ物体 を撮影する．物体表面上の点 p（p = 1, 2, 3, ..., P ）において n（n = 1, 2, 3, ..., N ）番目の 光源下で観測される輝度を Ipn とする．これらを並べたベクトルを長さが 1 になるように. 2. 関 連 研 究. 3). 3. 輝 度 履 歴. Vol. 1. No. 3. 1–11 (Nov. 2008). 1 画像をベクトルで表現し，ベクトルを並べた行列で画像列を表現する．この行列の列ベクトルの類似度を考える oller ら16) の研究であり，行ベクトルの類似度を解析するのが本研究である． のが Pless ら10) や Winnem¨. c 2008 Information Processing Society of Japan .
(3) 3. 照明変化にともなう輝度変化の類似度に基づく物体形状復元. 影響を無視して，輝度 Ipn が，. (1) の正規化を行っても反射率の影響を除去することができない．このことが形状復元に与. Ipn = Lpn fp g(θpn , θp , φpn − φp ). (2). える影響については，6 章の実験で触れる．なお，対象物体が Lambert モデルと Phong モ. のように，点 p から見た n 番目の光源の明るさ Lpn 1 ，反射率などの物体表面上の位置の. デルのように反射特性の異なる複数の素材から構成される場合，異方性 BRDF，および，鏡. みに依存する項 fp ，および，点 p における法線ベクトルを基準とする局所的な極座標系で. や再帰性反射材などの特殊な BRDF に対しては，提案手法を適用することはできない．. 定義された光源方向 (θpn , φpn ) と視点方向. (θp , φp ). のみに依存する関数 g の積で表現され. るものと仮定する．この仮定が多くの反射モデルに対して成り立つことは後述する．. 4. 測地線距離. 世界座標系で定義された，物体表面上の点 p の法線ベクトルを np ，点 p から見て n. 物体表面上のある点における輝度履歴は，N 次元ベクトル，すなわち，N 次元空間内の. 番目の光源に向かう単位ベクトルを lpn ，および，点 p から見て視点に向かう単位ベク. 点で表現することができる．前章で示したように，輝度履歴は法線ベクトルのみに依存する. T T トルを v p とすると，cos θpn = nT p lpn ，cos θp = n p v p ，cos(φpn − φp ) = [lpn v p −. ため，物体表面上の各点における輝度履歴は，法線方向を表す θ と φ の 2 つのパラメータ. (nTp lpn )(nTp v p )]/[sin arccos(nTp lpn ) sin Ipn = Lpn fp g (np , lpn , v p ). arccos(nTp v p )]. が成り立つから，式 (2) は，. で張られる，N 次元空間内の 2 次元多様体上に存在する．. (3). . のように，np ，lpn ，v p の関数 g を用いて記述できる．. 本章では，物体表面上の 2 点における輝度履歴間の測地線距離，すなわち，多様体上に 沿った最短距離について議論する．特に，内部反射の代表的なモデルと表面反射の代表的な. さらに，平行光線および平行投影を仮定すると，光源の明るさと方向，および，視線方向 は物体表面上の位置 p に依存しないため，. モデルに対して，輝度履歴間の測地線距離と対応する法線ベクトルのなす角度の間に成り立 つ関係を明らかにする．. Ipn = Ln fp g (np , ln , v). (4). と表現できる．また，式 (1) の正規化により，輝度履歴は fp にも依存しない． したがって，物体表面上の 2 点 p と q で観察される輝度履歴 I p と I q は，光源の明るさ. Ln と方向 ln （n = 1, 2, 3, ..., N ）および視線方向 v が共通で，法線ベクトル np と nq の みが異なる．ゆえに，輝度履歴 I p と I q の関数として定義される輝度履歴の類似度，たと えば I T p I q は，事実上，法線ベクトル n p と n q の関数と見なすことができ，I p = I q と. np = nq は同値である．以上のことから，輝度履歴の類似度と法線ベクトルの類似度の関 係を利用して画像のみから法線ベクトルを推定するというのが本研究の着想である．. なお，5 章で詳しく述べるように，実際には，N 次元空間における輝度履歴の隣接関係に 基づいた区分線形近似により，測地線距離を求める．たとえば，図 2 に示したように，物 体表面上の 2 点 p と s における輝度履歴 I p と I s の間の測地線距離 Dg (p, s) は，. Dg (p, s) |I p − I q | + |I q − I r | + |I r − I s |. (5). のようにして，隣接点間のユークリッド距離の和で近似する．. 4.1 内 部 反 射 まず，内部反射の代表的なモデルである Lambert モデルについて考える．付録 A.1.1 に 示したように，凸物体かつ単一平行光線の一様分布を仮定すると，点 p と q の輝度履歴 I p. 提案手法を適用する前提となる式 (2) の仮定は，内部反射を表現する Lambert モデル，. Oren-Nayar モデル8) ，表面反射を表現する Phong モデル9) ，Torrance-Sparrow モデル14) ， および，等方性 Gauss モデル15) などの等方性 BRDF（φpn と φp に独立に依存するのでは なく相対角度 φpn − φp のみに依存するもの）が満たす一般的な性質である2 ． 一方，二色性反射モデル12) において反射率が物体表面上で一様でない場合などには，式 1 点光源のような等方的な光源を仮定して，光源の明るさは点 p と n 番目の光源との距離のみに依存し，方向に は依存しないものとする． 2 等方性 BRDF が局所座標系の法線ベクトル周りの回転に不変であることからも，式 (2) から式 (3) への変形 は明らかである．. 情報処理学会論文誌. コンピュータビジョンとイメージメディア. Vol. 1. No. 3. 1–11 (Nov. 2008). 図 2 測地線距離（実線）とその区分線形近似（破線） Fig. 2 The geodesic distance (solid line) and its piecewise-linear approximation (broken line).. c 2008 Information Processing Society of Japan .
(4) 4. 照明変化にともなう輝度変化の類似度に基づく物体形状復元. と I q が N 次元空間において十分に近い（I p I q ）とき，その内積は，. I Tp I q nTp nq. (6). を満たす． ここで輝度履歴は式 (1) のように単位長さに正規化されているので， |I p − I q |2 I Tp I q = 1 − 2 が成り立つ．また，I p I q のとき，np と nq のなす角度も小さいから， arccos2 (nTp n) nTp nq = cos[arccos(nTp n)] 1 − 2 が成り立つ．. (7). (8). 図 3 MDS による次元削減 Fig. 3 Dimensionality reduction by MDS.. これらを式 (6) に代入すると，. |I p − I q | arccos(nTp nq ). (9). が得られる．つまり，輝度履歴 I p と I q の間のユークリッド距離は，対応する法線ベクト ルのなす角度にほぼ等しい．したがって，式 (5) から，物体表面上の任意の 2 点の輝度履歴 間の測地線距離は，対応する法線ベクトルのなす角度に近似的に等しいことが分かる．. 4.2 表 面 反 射 次に，表面反射の代表的なモデルである Torrance-Sparrow モデルについて考える．内部 反射に関する議論と同様にして，付録 A.1.2 に示したように，表面の粗さ σ が小さくかつ. I p I q （もしくは np nq ）が成り立つときに，p と q の輝度履歴の内積は， arccos2 (nTp nq ) I Tp I q exp − 2σ 2. 5. 提 案 手 法 3 章では，等方性 BRDF に対して，2 つの輝度履歴の類似度（または距離）と対応する 2 つの法線ベクトルの類似度（または距離）の間に密接な関係があることを示した．また， 4 章では，内部反射と表面反射の代表的なモデルに対して，2 つの輝度履歴間の測地線距離 が，対応する 2 つの法線ベクトルのなす角度にほぼ等しいことを示した．これらの考察に基 づいて，物体表面上の任意の 2 点における輝度履歴間の測地線距離と対応する法線ベクト ルのなす角度が等しいと仮定して，物体表面の法線ベクトルを推定する．. (10). 5.1 概. 要. 図 3 に示したように，輝度履歴から法線ベクトルを求める問題は，N 次元空間内におけ. を満たす．また，輝度履歴がほぼ等しい（ I p I q ）ため， 2 |I |I p − I q |2 − I | p q ln(I Tp I q ) = ln 1 − − 2 2 が成り立つ．. (11). したがって，輝度履歴 I p と I q の間のユークリッド距離は， arccos(nTp nq ) (12) |I p − I q | σ のように，対応する法線ベクトルのなす角度に比例する．この比例定数は得られた測地線. る 2 次元多様体上に存在する輝度履歴から 3 次元空間内の半球面上の点で表現される法線 ベクトルへの写像ととらえることができる．このとき，輝度履歴間の測地線距離と法線ベク トルのなす角度が等しいという仮定から，距離を保存する次元削減法として知られている. MDS を利用する． 提案手法は，以下の 3 つの手続きからなる．. (1). 距離行列の構成. 距離を正規化することで取り除くことができるため1 ，この場合も，物体表面上の任意の 2. (2). MDS による埋め込み. 点の輝度履歴間の測地線距離は，対応する法線ベクトルのなす角度に近似的に等しい．. (3). 半球面上への射影. 最初に，物体表面上の 2 点 p と q のすべての組合せについて，輝度履歴間の測地線距離を 計算して，p 行 q 列成分が Dg (p, q) となるような距離行列 Dg を構成する（5.2 節）．次に， 古典的 MDS 7) により，N 次元ベクトルで表現される輝度履歴の 3 次元空間への埋め込み. 1 滑らかな形状を持つ物体の遮蔽輪郭線が観察されるとき，測地線距離の最大値は π である．. 情報処理学会論文誌. コンピュータビジョンとイメージメディア. Vol. 1. No. 3. 1–11 (Nov. 2008). c 2008 Information Processing Society of Japan .
(5) 5. 照明変化にともなう輝度変化の類似度に基づく物体形状復元. を求める（5.3 節）．こうして得られる 3 次元空間内の 2 次元多様体は，並進，回転，およ. 5.4 半球面上への射影. び，鏡像の自由度を持ち，法線ベクトルの相対的な関係のみを表している．そこで最後に，. MDS により得られた 3 次元座標 xp （p = 1, 2, 3, ..., P ）を単位球面上に中心射影するこ. 遮蔽輪郭線において法線ベクトルが既知であることを手がかりにして，2 次元多様体を単位. とにより，法線ベクトルを推定する．単位球のパラメータ（中心位置，θ = 0 および φ = 0. 球面上に射影することで，法線ベクトルを一意に決定する1 （5.4 節）．. の方向）は，遮蔽輪郭線における法線ベクトルがその勾配から決定できることを利用して. なお，物体形状が滑らかであるという仮定から，法線ベクトルから計算される勾配を積分. 求める．具体的には，まず，3 次元空間内において遮蔽輪郭線上の点が占める 2 次元平面を. することにより物体形状を復元する．次節の実験では，shapelet 表現に基づく形状復元を. θ = π/2 とする．次に，この 2 次元平面内において，遮蔽輪郭線上の点を単位円上に中心. 実装したライブラリ. 6). を用いた．. 射影したものを法線ベクトルの推定値と見なして，法線ベクトルの正解値と推定値の差が最. 5.2 距離行列の構成. 小となるように，単位球の中心位置と φ = 0 の方向を求める．. 距離行列 Dg は，N 次元空間における輝度履歴の隣接関係に基づいて，以下のように計 算される．. (a) D(p, q) = |I p − I q | のようにして，輝度履歴 I p と I q の間のユークリッド距離を求 め，Dg の初期値とする．. 6. 実. 験. 6.1 合 成 画 像 提案手法の有効性を確認するために，まず，合成画像を用いた実験を行った．本実験では，. (b) 距離行列 D に基づいて各輝度履歴の k 近傍集合を求める．. 異なる反射特性を持つ洋梨の画像 450 枚（サイズ 50 × 40）からその形状を復元した．反射. (c) 輝度履歴 I p と I q が互いの k 近傍集合に属さない場合に，D(p, q) = ∞ と置き換える．. 特性として，Lambert モデル（L），テクスチャありの Lambert モデル（t-L），Oren-Nayar. (d) 最短経路アルゴリズムにより，p と q のすべての組合せについて最短距離を求め，. モデル（ON），テクスチャありの Oren-Nayar モデル（t-ON），Torrance-Sparrow モデル. Dg (p, q) とする．. （TS），および，Phong モデル（P）の組合せも含めた 8 つを試した．なお，単一平行光線. こうして得られる距離行列は，理想的には，対応する法線ベクトルのなす角度を表してい. の明るさはすべて等しく，物体の周りに一様な確率でランダムに分布すると仮定した．ま. る．そのため，法線ベクトルのなす角度 Dg (p, q) を 3 次元空間におけるユークリッド距離. た，距離行列の計算に必要となる近傍の数 k は，式 (13) の評価関数が最小となるように決. 2 sin[Dg (p, q)/2] に置換して，MDS への入力とする．. 定した． 図 4 に，MDS による射影の残余と次元数の関係を示す．次元数が大きくなればなるほど. 5.3 MDS による埋め込み 距離行列 Dg に対して古典的 MDS を適用して，距離を保存するような 3 次元空間への埋. 残余は小さくなっているが，いずれも次元数を 3 としたときに残余が十分に小さくなってい. め込みを求める．N 次元空間における輝度履歴 I p（p = 1, 2, 3, ..., P ）を 3 次元空間に射影 したものを xp とすると，xp の座標は，評価関数. C = |τ (Dg ) − τ (D3 )|. (13). を最小化することで得られる．ここで，D3 は 3 次元空間におけるユークリッド距離を要素 とする行列 D3 (p, q) = |xp − xq | で，|A| は行列の Frobenius ノルム (. . pq. A2pq )1/2 である．. また，τ は距離を内積に置き換える演算を表す．このとき，xp は行列 τ (Dg ) の固有ベクト ルから求まる7) ．. 1 一方，法線ベクトルの縮退によるランク落ちのため，Lambert モデルを仮定した未較正照度差ステレオにおけ る形状復元の不定性2) は，遮蔽輪郭線における法線ベクトルを用いても解くことができない．. 情報処理学会論文誌. コンピュータビジョンとイメージメディア. Vol. 1. No. 3. 1–11 (Nov. 2008). 図 4 合成画像（左，中）と実画像（右）に対する MDS による射影の残余 Fig. 4 Residuals of dimensionality reduction by MDS for synthetic images (left, center) and real images (right).. c 2008 Information Processing Society of Japan .
(6) 6. 照明変化にともなう輝度変化の類似度に基づく物体形状復元. 図 5 合成画像を用いた実験結果．(a) t-L，(b) t-ON，(c) TS，(d) P，(e) L+TS，(f) ON+P，(g) t-L+TS，(h) t-ON+P の各反射特性について，左 から，入力画像の例，推定された法線ベクトル，法線ベクトルの誤差マップ，および，推定された物体形状．(i) 法線ベクトルと形状の正解 Fig. 5 Experimental results for synthetic images. The reflectance properties are (a) t-L, (b) t-ON, (c) TS, (d) P, (e) L+TS, (f) ON+P, (g) t-L+TS, and (h) t-ON+P respectively. We show two examples of input images, the estimated surface normals, its error, and the recovered shape. The ground truth of surface normals and shape are shown in (i).. 情報処理学会論文誌. コンピュータビジョンとイメージメディア. Vol. 1. No. 3. 1–11 (Nov. 2008). c 2008 Information Processing Society of Japan .
(7) 7. 照明変化にともなう輝度変化の類似度に基づく物体形状復元. ることを確認できる．これは，法線ベクトルを表す N 次元空間内の 2 次元多様体を，3 次 元空間に埋め込むことが妥当であることを示している． 図 5 に，推定に用いた画像の例，推定された法線ベクトル，法線ベクトルの誤差マップ，. 表 1 法線ベクトルと形状の RMSE Table 1 RMSEs of the estimated surface normals and recovered shape.. (a). Diffuse t-L. Specular –. (b) (c). t-ON –. – TS. (d) (e) (f) (g) (h). – L ON t-L t-ON. P TS P TS P. および，推定された物体形状を (a) から (h) の反射特性ごとに並べた．なお，(i) は法線ベ クトルと物体形状の正解である．法線ベクトルは，画像平面内の横方向の成分の絶対値を. R，縦方向の成分の絶対値を G，画像平面に垂直な方向の成分を B として表示している．誤 差マップは，0 度を青，20 度を赤として，法線ベクトルの真値からのずれを表示している． 正解の法線ベクトルや形状と比較して，(a) から (h) のいずれの場合も，良好な結果が得ら れていることを目視で確認できる．また，輝度履歴間の距離という相互に依存する量を手が かりに法線ベクトルを推定しているために，遮蔽輪郭線を除けば，誤差が全体的に現れる傾. Distance Dg Dd Dg Dg Ds Dg Dg Dg Dg Dg. Normal 3.8 3.6 4.4 8.5 6.9 8.6 5.2 5.2 8.6 6.2. Height 0.064 0.066 0.066 0.093 0.052 0.085 0.059 0.076 0.088 0.071. 向があることも分かる．3 章で述べた必要条件を満たさない (g) と (h) については，法線ベ クトルの誤差とテクスチャに相関があることを確認できる． 表 1 に，法線ベクトルと形状（高さ）の二乗平均平方根誤差（Root-Mean-Square Error:. RMSE）をまとめた．法線ベクトルの誤差の単位は度，高さの誤差は物体の高さが 1 となる ように正規化している．また，(a) と (c) に対しては，4 章の考察に基づいた距離 Dd また は Ds を用いた場合の結果も示した．具体的には，5.2 節 (a) の |I p − I q | を，arccos(I T p Iq) あるいは. . − ln(I Tp I q ) に置き換えたものを，それぞれ Dd および Ds とした．. まず，(a) から (f) に注目すると，反射光の指向性の強い Torrance-Sparrow モデルと. Phong モデルに対する誤差が，Lambert モデルや Oren-Nayar モデルに対する誤差よりも 大きくなる傾向があることが分かる．また，(a) と (c) については，理論的考察から示唆さ れるより厳密な測地線距離 Dd または Ds を用いることで，通常の測地線距離 Dg と同程度 かそれ以上の精度が得られることが分かる．. 図 6 画像の枚数と法線ベクトルの推定誤差の関係 Fig. 6 The error of the estimated surface normals against the number of images.. モデルの場合により多くの画像を必要とすることは，反射光の指向性（周波数特性）と関連. 一方，(g) と (h) については，厳密には 3 章で述べた必要条件が成り立たないものの，(e). があると思われる．任意照明下の画像を生成するために必要な学習画像の枚数についての. と (f) のテクスチャなしの場合と比較して，精度が著しく悪化することはない．これは，鏡. 議論11) と同様にして，提案手法において必要となる画像の枚数をサンプリング定理に基づ. 面反射成分がごく限られた光源下でのみ観察されるのに対して，拡散反射成分が様々な光源. いて明らかにすることは，今後の検討課題としたい．なお，計算時間は，Intel Core 2 Duo. 下で観察されるため，鏡面反射成分の輝度履歴への寄与が相対的に小さかったためであると. 2.33 GHz のマシンで約 2 分であった1 ． 6.2 実 画 像. 考えられる． 図 6 に，Lambert モデル，Torrance-Sparrow モデル，および，その組合せに対して，画 像の枚数と法線ベクトルの推定誤差の関係をまとめた．Lambert モデルの場合の推定誤差 が，画像の枚数が少ないときにも小さい値をとるのに対して，Torrance-Sparrow モデルの 場合の誤差が，枚数の増加とともに緩やかに減少していく様子が分かる．Torrance-Sparrow. 情報処理学会論文誌. コンピュータビジョンとイメージメディア. Vol. 1. No. 3. 1–11 (Nov. 2008). 次に，実画像を用いた実験結果を報告する．ビスク焼きの猫，プラスチックのレモン，陶 1 多様体に沿った最短距離を求めるコストが支配的であるため，画像の枚数にはほとんど依存しない．一方，解像 度に依存して計算時間が増大するが，Floyd-Warshall や Dijkstra などの多項式時間アルゴリズムを利用する ことができる．. c 2008 Information Processing Society of Japan .
(8) 8. 照明変化にともなう輝度変化の類似度に基づく物体形状復元. ある．なお，これらの画像は，単一光源を，物体からの距離をほぼ一定に保って，物体の周 りで動かしながら撮影した． 図 7 に，推定に用いた画像の例，推定された法線ベクトル，および，推定された物体形 状を並べた．これらの画像から，提案手法を用いておおまかな法線ベクトルや物体形状を復 元できていることが分かる．特に，猫の画像は，非一様なテクスチャに加えて鏡面反射も生 じていること，および，凹領域に影が生じていることから，3 章で述べた必要条件を満たし ていない．しかしながら，実験結果が示しているように，対象物体が条件を満たさない場合 であっても，提案手法が比較的うまく働くことが分かる． 木の球については，平行投影を仮定してシルエットから求めた 3 次元形状を真値として， 定量的な評価を行った．法線ベクトルと形状の RMSE はそれぞれ，8.0 度と 0.042 であっ た．画像から分かるように，球が非一様なテクスチャを持ち，かつ，鏡面反射を生じている ことから，合成画像を用いた実験 (g) などと同程度の精度が得られたことは，妥当であると 考えられる．. 7. む す び 本研究では，様々な照明条件下で撮影された物体の画像列のみから物体形状を復元する手 法を提案した．提案手法は，輝度履歴の類似度と法線ベクトルの類似度の間の関係を手がか りとした簡便な手法であり，反射特性の具体的なモデルや光源のキャリブレーションを必要 としないという特長を持つ．また，本論文では，測地線距離と法線のなす角度の関係を理論 的に示して，提案手法がうまく働く理由を明らかにした． 影の取扱いや，反射特性の混合モデルへの対応は今後の課題である．また，推定に必要な 光源数やその削減についても検討したい．. 参 考. 図 7 実画像を用いた実験結果 Fig. 7 Experimental results for real images.. 磁器の羊，および，木の球を対象物体として，130 枚から 150 枚の画像を用いて物体形状を 復元した．画像のサイズはそれぞれ，107 × 92，106 × 140，93 × 97，および，40 × 42 で. 情報処理学会論文誌. コンピュータビジョンとイメージメディア. Vol. 1. No. 3. 1–11 (Nov. 2008). 文 献. 1) Dana, K., van Ginneken, B., Nayar, S. and Koenderink, J.: Reflectance and texture of real-world surfaces, ACM Trans. Graphics, Vol.18, No.1, pp.1–34 (1999). 2) Hayakawa, H.: Photometric stereo under a light source with arbitrary motion, JOSA A, Vol.11, No.11, pp.3079–3089 (1994). 3) Hertzmann, A. and Seitz, S.: Example-based photometric stereo: shape reconstruction with general, varying BRDFs, IEEE Trans. PAMI, Vol.27, No.8, pp.1254–1264 (2005). 4) Horn, B.: Robot vision, MIT Press (1986).. c 2008 Information Processing Society of Japan .
(9) 9. 照明変化にともなう輝度変化の類似度に基づく物体形状復元. 5) Koppal, S. and Narasimhan, S.: Clustering appearance for scene analysis, Proc. IEEE CS Conf. CVPR’06, pp.1323–1330 (2006). 6) Kovesi, P.: Shapelets correlated with surface normals produce surfaces, Proc. IEEE Int’l. Conf. Computer Vision (ICCV’05 ), pp.994–1001 (2005). 7) Mardia, K., Kent, J. and Bibby, J.: Multivariate analysis, Academic Press (1979). 8) Oren, M. and Nayar, S.: Generalization of the Lambertian model and implications for machine vision, IJCV, Vol.14, No.3, pp.227–251 (1995). 9) Phong, B.: Illumination for computer generated pictures, Comm. ACM, Vol.18, No.6, pp.311–317 (1975). 10) Pless, R. and Simon, I.: Embedding images in non-flat spaces, Proc. Conf. Imaging Science, Systems and Technology, pp.182–188 (2002). 11) Sato, I., Okabe, T. and Sato, Y.: Appearance sampling of real objects for variable illumination, IJCV, Vol.75, No.1, pp.29–48 (2007). 12) Shafer, S.: Using color to separate reflection components, COLOR Research and Application, Vol.10, No.4, pp.210–218 (1985). 13) Tenenbaum, J., de Silva, V. and Langford, J.: A global geometric framework for nonlinear dimensionality reduction, Science, Vol.290, pp.2319–2323 (2000). 14) Torrance, K. and Sparrow, E.: Theory for off-specular reflection from roughened surfaces, JOSA A, Vol.57, No.9, pp.1105–1114 (1967). 15) Ward, G.: Measuring and modeling anisotropic reflection, Proc. ACM SIGGRAPH 92, pp.265–272 (1992). 16) Winnem¨ oller, H., Mohan, A., Tumblin, J. and Gooch, B.: Light waving: estimating light positions from photographs alone, Proc. Eurographics 2005, pp.433–488 (2005). 17) Wolff, L., Shafer, S. and Healey, G.: Physics-based vision: principles and practice, Shape recovery, Jones and Bartlett Publishers (1992). 18) Woodham, R.: Photometric method for determining surface orientation from multiple images, Optical Engineering, Vol.19, No.1, pp.139–144 (1980).. 付. 録. A.1 輝度履歴の測地線距離と法線ベクトルのなす角度 A.1.1 内 部 反 射. たベクトル（もしくは正規化する前の輝度履歴）I p は，. I p = (max(ρp nTp l1 , 0), · · ·, max(ρp nTp lN , 0))T. で与えられる．ここで ρp と np は，点 p における拡散反射率と法線ベクトルである．また，. x と 0 のうち大きい方を出力とする関数 max(x, 0) を用いて陰（attached shadow）を表現 する一方で，影（cast shadow）の影響は考慮していない． 物体表面上の 2 点 p と q の輝度履歴の内積 I p I q を考えると， ⎛ T. I p I q = T. N. max(ρp nTp ln , 0) max(ρq nTq ln , 0) = ρp ρq nTp ⎝. ⎞. ln lTn ⎠ nq. T {n|n T p l n >0,n q l n >0}. n=1. (15) のように変形することができる．式 (15) の. {n|nTp ln. >. 0, nTq ln. > 0} は，光源ベクトルの. T うち，nT p ln > 0 と n q ln > 0 の両方を満たすものについてのみ和をとることを意味する．. ここで I p と I q が N 次元空間において十分に近い（I p I q ）と仮定すると，対応する 法線ベクトル np と nq もまたほぼ等しい．そのため，点 p と q はほぼ同一の光源に対して 陰になるから，. ⎛. T I p I q ρp ρq nTp ⎝. ⎛. ⎞. ⎜. lx2. ln lTn ⎠ nq = ρp ρq nTp ⎝ lx ly. {n|(n p +n q )T l n >0}. の近似が成り立つ．なお，式 (16) では，ln = (lnx , lny , lnz ). lx lz T. として，lx2. lx ly. lx lz. ⎟. ly lz ⎠ n q. ly2. lz2. ly lz =. ⎞. . l2 n nx. (16) などと. した． さらに，明るさ l の光源が物体の周りに一様に分布していると仮定して，式 (16) の和を 積分に置き換える．法線ベクトルがほぼ等しいことから (np + nq )/2 を中心とする半球面 について積分をとると，行列の各成分は，たとえば， π/2 2π 2π 2 2 2 l lx = l (sin θ cos φ)2 sin θdθdφ = 3 0 0 のように与えられる．他の成分も同様に計算すると， ⎛ ⎞. I p I q T. Lambert モデルを仮定して，輝度履歴と法線ベクトルの間に成り立つ関係を解析的に明 らかにする．. (14). 1 2π 2 ⎜ l ρp ρq nTp ⎝ 0 3 0. 0. 0. 1. 0 ⎠ nq. 0. 1. ⎟. (17). (18). となる．. 平行光線を，光源方向を向いた単位ベクトルに光源の明るさを掛けたベクトル ln （n =. ところで，I p のノルムは，. 1, 2, 3, ..., N ）で表す．物体表面上の点 p においてこれらの光源下で観察される輝度を並べ. 情報処理学会論文誌. コンピュータビジョンとイメージメディア. Vol. 1. No. 3. 1–11 (Nov. 2008). c 2008 Information Processing Society of Japan .
(10) 10. 照明変化にともなう輝度変化の類似度に基づく物体形状復元. |I p |2 = l2 ρ2p. . π/2. 0. . 2π. (cos θ)2 sin θdθdφ =. 0. このとき，明るさ l の光源が物体の周りに一様に分布していると仮定すると，点 p と q の. 2π 2 2 l ρp 3. (19). のように与えられる．したがって，輝度履歴 I p と I q の内積は，対応する法線ベクトル n p と nq の内積と， T I p I q I Tp I q = = nTp nq 2 2 |I p | |I q |. (20). 正規化する前の輝度履歴 I p と I q の内積は，. I p I q = T. ρp l ρq l nTp v nTq v. . exp −. T {l|n T p l>0,n q l>0,|l|=1}. α2p + α2q σ2. dl. (23). となる．なお，点 p と q の両方が陰にならない範囲で積分するものとする． 以後の議論では，表面反射が鋭いピークを持つことを仮定して，σ π とする．この仮 定から，式 (23) の積分に寄与するのは，α2p + α2q π 2 を満たすような法線ベクトル np ，. の関係にある．. A.1.2 表 面 反 射. nq ，光源ベクトル l の組合せのみである．つまり，法線ベクトル np と nq がほぼ等しく，. 簡略化した Torrance-Sparrow モデルに対して，輝度履歴と法線ベクトルの間に成り立つ. かつ，光源ベクトル l が h np nq を満たす場合のみを考えればよい． そこで，式 (22) について，αp ，(θ/2 − θp )，(φ − φp ) の 3 次以上の項を無視すると，. 関係を調べる． 図 8 のように，視線方向 v を天頂とする極座標系において，点 p における法線ベクトル. np ，点 q における法線ベクトル nq ，光源ベクトル l，および，視線方向と光源方向を二等 分する単位ベクトル h を，(θp , φp )，(θq , φq )，(θ, φ)，および，(θ/2, φ) とする．また，ベ クトル h と n p のなす角度を αp ，ベクトル h と n q のなす角度を αq ，ベクトル np と nq. . (24). β 2 (θp − θq )2 + sin θp sin θq (φp − φq )2. (25). が成り立つ．. のなす角度を β とする．. Torrance-Sparrow モデルのフレネル項と幾何的減衰項を無視すると，明るさ l で方向 l の単一平行光線下における点 p の輝度 Ip は， 2 αp ρp l Ip = T exp − 2 σ np v. これらを式 (23) に代入して整理すると，. . I p I q T. (21). で与えられる．ここで，ρp は表面反射率，σ は表面の粗さを表すパラメータで，αp は. cos αp = hT np = sin. . 2 θ θ − θp + sin sin θp (φ − φp )2 2 2 が得られる．同様に，β ，(θp − θq )，(φp − φq ) の 3 次以上の項を無視すると，. α2p . θ θ sin θp cos(φ − φp ) + cos cos θp 2 2. (22). . 1 exp − 2 σ. ρp l ρq l β2 exp − 2 T T 2σ np v nq v. . {l|(n p +n q )T l>0,|l|=1}. . θ φp + φq 1 (θ − θp − θq )2 + sin (sin θp + sin θq ) φ − 2 2 2. 2 dl. (26). が導かれる． ところで，I p のノルムは，. を満たす．. |I p |2 . . (ρp l)2 (nTp v)2. 1 exp − 2 σ. 1 2. . {l|n T p l>0,|l|=1}. (θ − 2θp )2 + 2 sin. θ sin θp (φ − φp )2 2. dl. (27). のように与えられる．したがって，輝度履歴と法線ベクトルのなす角度には， T. 図 8 表面反射モデルの座標系 Fig. 8 The coordinate system for representing surface reflectance.. 情報処理学会論文誌. コンピュータビジョンとイメージメディア. Vol. 1. No. 3. . I p I q β2 I Tp I q = exp − 2 2σ |I p |2 |I q |2 の関係がある．. 1–11 (Nov. 2008). . (28). c 2008 Information Processing Society of Japan .
(11) 11. 照明変化にともなう輝度変化の類似度に基づく物体形状復元. (平成 20 年 1 月 10 日受付). 佐藤 洋一（正会員）. (平成 20 年 7 月 30 日採録). 1990 年東京大学工学部機械工学科卒業．1997 年カーネギーメロン大学 計算機科学部ロボティクス学科博士課程了．Ph.D. in Robotics．同年よ. （担当編集委員. り東京大学生産技術研究所研究機関研究員，講師，助教授を経て，現在，. 日浦 慎作）. 同大学大学院情報学環准教授．コンピュータビジョン，ヒューマン・コン 岡部 孝弘（正会員）. ピュータ・インタラクション，コンピュータグラフィックスに関する研究. 1997 年東京大学理学部物理学科卒業．1999 年同大学大学院理学系研究. に従事．電子情報通信学会論文賞（平成 17 年度，平成 19 年度），平成 11 年情報処理学会. 科物理学専攻修士課程修了．2000 年同博士課程中退．2001 年より東京大. 山下記念研究賞，平成 11 年日本バーチャルリアリティ学会論文賞等を受賞．電子情報通信. 学生産技術研究所技官，助手を経て，現在，同研究所助教．コンピュータ. 学会，日本バーチャルリアリティ学会，ACM，IEEE 各会員．. ビジョン，コンピュータグラフィックス，画像パターン認識に関する研究 に従事．平成 17 年度電子情報通信学会論文賞，MIRU2004 優秀論文賞， 平成 16 年度 PRMU 研究奨励賞，平成 19 年度情報処理学会山下記念研究賞等を受賞．電 子情報通信学会，IEEE 各会員． 佐藤いまり. 1994 年慶應義塾大学総合政策学部卒業．2005 年東京大学大学院学際情 報学府博士課程修了．学際情報学博士．同年より国立情報学研究所助手 を経て，現在，同研究所准教授，科学技術振興機構さきがけ研究員．光源 環境の推定，イメージ・ベースド・モデリング & レンダリングに関する 研究に従事．1992∼1993 年 Carnegie Mellon University（CMU），Cen-. ter for Machine Translation，Research Assistant．1994∼1996 年 CMU，The Robotics Institute，Visiting Scholar． 于. 瓊. 2002 年南開大学計算機学部ソフトウェア専攻卒業．2007 年東京大学大 学院情報理工学系研究科電子情報学専攻修士課程修了．コンピュータビ ジョン，特に，形状復元に関する研究に従事．現在，東芝ソリューション 株式会社に勤務．. 情報処理学会論文誌. コンピュータビジョンとイメージメディア. Vol. 1. No. 3. 1–11 (Nov. 2008). c 2008 Information Processing Society of Japan .
(12)
図
+4
関連したドキュメント
c加振振動数を変化させた実験 地震動の振動数の変化が，ろ過水濁度上昇に与え る影響を明らかにするため，入力加速度 150gal，継 続時間
第1報Dでは，環境汚染の場合に食品中にみられる
Thus, we use the results both to prove existence and uniqueness of exponentially asymptotically stable periodic orbits and to determine a part of their basin of attraction.. Let
As a consequence, in a homological category with finite sums, the ternary co-smash product functors preserve regular epimorphisms, as do the binary ones (see Corollary 2.14). Section
Amount of Remuneration, etc. The Company does not pay to Directors who concurrently serve as Executive Officer the remuneration paid to Directors. Therefore, “Number of Persons”
条例第108条 知事は、放射性物質を除く元素及び化合物(以下「化学
平成 29 年度は久しぶりに多くの理事に新しく着任してい ただきました。新しい理事体制になり、当団体も中間支援団
部長 笹本弘美 2016
