距離濃淡画像を利用した実物体の三次元モデル生成手法の構築
Construction of a 3D Model of Real-world Object Using Range Intensity Images精密工学専攻 16号 草彅真人 Masato Kusanagi
1．序論
近年，カラーセンサや距離画像センサといった様々な計測 機器を用い，実在する物体を観察しながら三次元モデル化す る試みが行われている(1)．センサより得られる情報を用いる 本アプローチは，従来は手動で行っていた処理を自動化する ことが出来るため，作業コストの点で有用である．中でも，
物体の三次元幾何形状を表す距離画像の表面に実写画像を テクスチャとして貼り付けるテクスチャマッピングは，写実 的な三次元モデルを効率的かつ容易に生成出来るため利用 価値は高い．しかし，テクスチャマッピングには幾何的・光 学的な課題が存在する．
モデルの幾何構造に関わる幾何的な課題は，幾何情報を表 す距離画像とテクスチャとなるカラー画像の位置合わせで ある．従来，この位置合わせは作業者の手作業で行われてい たが，最近では両画像を自動的に位置合わせする手法が提案 されている(2)．また，一般的なセンサは対象物体の部分的な 幾何情報しか取得出来ないため，幾何的課題として幾何モデ ルの全方位化も挙げられる．
モデルの見え方に関わる光学的な課題は，カラー画像中に 生じた照明環境の影響の除去である．複数のカラー画像を単 純にテクスチャマッピングすると，ハイライトや陰影といっ た照明環境の影響により，モデルの表面に本来ないはずの色 の継ぎ目が生じてしまう(3)．物体本来の色情報を再現するた めには，これらの影響を除去する必要がある．
本論文では，距離画像取得と同時に得られる距離濃淡画像 を利用し，前述の課題を解消した三次元モデル生成手法を提 案する．篠崎らのカラー画像補正手法(4)を応用することで，
テクスチャマッピング時に生じる色の継ぎ目を解消し，対象 物の見えを再現した三次元モデルを生成する．
2．三次元モデル生成手法の概要
距離濃淡画像とは，能動型距離画像センサでの距離画像取 得と同時に得られる，物体表面の反射率に関係する一種の濃 淡画像である．本画像は，物体表面の反射特性の推定が容易 であるという特徴を持つ．物体本来の色情報を再現すること は，この物体表面の反射特性を推定することと等価であるが，
一般にカラー画像単体ではこの推定が困難である．そこで，
距離濃淡画像を利用してカラー画像中から反射特性を再現 し，見えに違和感のない三次元モデルを生成する．
提案手法の流れをFig.1に示す．まず，規範となる距離濃 淡画像の輝度補正を行う．取得した距離濃淡画像は，光源と 物体との位置関係により陰影やハイライトが生じるため，こ れらを除去することで物体表面の反射特性を推定する．
Fig.1 Flow of constructing a 3D model
続いて，幾何モデルの全方位化を行う．一般的なセンサは，
ある視点から見える幾何情報しか取得することが出来ない．
そこで，幾何情報を複数の視点から取得し，それらを一つの 幾何モデルに統合することで全周形状を獲得する．またこの とき，補正後の距離濃淡画像も同時に統合することで，幾何 モデルに濃淡情報という形で反射特性を付加する．この濃淡 情報は次のカラー画像の補正に利用する．
カラー画像中の照明環境の影響を除去するカラー画像の 補正は，色と明るさの二段階で行う．本研究では，照明環境 の影響として照明色・ハイライト・陰影の三つの要因を考慮 する．補正の流れは，まず照明色の補正を行い，続いてカラ ー画像を幾何モデルが持つ濃淡情報に従わせることで，ハイ ライト・陰影を除去する明るさの補正を行う．以上二つの補 正により，カラー画像から反射特性を推定する．最後に，補 正を行ったカラー画像を幾何モデル上にマッピングするこ とで，色の継ぎ目のない三次元モデルを生成する．以降，各 処理について説明する．
3．距離濃淡画像の輝度補正
能動型距離画像センサにより観測された距離濃淡画像の 輝度値は，センサ特性に由来するいくつかの影響を受ける．
対象物体の表面を完全拡散面と仮定すると，計測点の輝度値 は光源と計測点との距離lの二乗に反比例した値で観測され る．また，物体表面の法線ベクトルNと光源方向ベクトルL とのなす角をθとすると，観測される輝度値はcosθに比例し て低下する．これらの要因を考慮すると，センサにより観測 される輝度値Iobsは次式のように表現できる．
(1)
ここで，γはセンサに用いられているCCDカメラのガン マ値であり，ki(lc)はセンサ感度のばらつきを補正する関数で
( ) θ γ
= I
l l k
Iobs i c cos2
Fig.2 Torrance-Sparrow model
ある ．式(1)より，これらセンサ特性の影響を取り除いた輝度 値Iを求めることが出来る．
また，距離濃淡画像中の物体表面には，センサと物体の位 置関係により鏡面反射成分が生じるため，これを除去する必 要がある．本論文ではこの鏡面反射成分の除去において，代 表的な二色性反射モデルのひとつであるTorrance-Sparrowモ デ ル に仮 定を 設 け， 簡略 化し た もの を用 い る．Fig.2 に
Torrance-Sparrow モデルの概念図を示す．ここで，Lは光源
方向ベクトル，Vは視線方向ベクトル，HはLとVの二等 分ベクトル，αは法線ベクトルNとHとのなす角である．
Torrance-Sparrowモデルによる反射光Iは式(2)のように記述 できる．
(2)
ここで，I はセンサ特性を補正した輝度値，Idは拡散反射成 分，k は反射光における鏡面反射成分の割合を表す定数，σ は物体表面の粗さを示す．k とσ を求めることで，拡散反射 成分Idを求めることが出来る．
4．輝度情報を持つ全方位幾何モデル生成
前述のように，一般的な能動型の距離画像センサでは，あ る一視点から見た断片的な幾何情報しか取得することが出 来ない．そこで，複数視点から取得した幾何情報の相対的な 位置関係を求める位置合わせ処理を行い，それらを一つの幾 何モデルに統合することで全体形状を獲得することがよく 行われる(5)．本研究でも以上のアプローチを採用する．
また本研究では，幾何情報と共に補正後の距離濃淡画像の 統合も行う．距離濃淡画像もカラー画像と同様に光源環境の 影響を受けているため，単純な統合では明るさの継ぎ目が生 じるが，事前に3.の手法を用いて補正を行うことで滑らかな 濃淡情報を生成する．この濃淡情報はカラー画像の補正に利 用する．位置合わせから統合までの概念図をFig.3に示す．
これらの距離画像および距離濃淡画像の位置合わせ・統合処 理は，市販のモデリングソフトを用いて行う．
5．カラー画像補正
カラー画像に生じた照明環境の影響を除去し，物体本来の 色情報を抽出する．まず文献(6)の手法で照明色の影響を補正 した後，距離濃淡画像を利用した明るさの補正を行い，ハイ ライト・陰影の除去を行う．
Fig.3 Registration and integration of multiple range and range intensity images
5.1 照明色の補正
観測される物体表面の色合いは，撮影時の照明の色により 変化する．この照明色の影響を補正するため，カラー画像中 に生じる鏡面反射成分に着目した照明色推定手法(6)を適用す る．本手法は，鏡面反射を含むある色領域をRGB各成分の 和で正規化した rg 色度空間へプロットすると一本の直線を なし，さらに複数の色領域をプロットすると色直線群が照明 色の色度を表わすある一点で交差することに着目したもの である．求めた照明色の色度を用いてカラー画像のRチャン ネル，Bチャンネルを調整し，照明色の影響を補正する．
5.2 カラー画像の明るさの補正
照明色の補正を行ったカラー画像を幾何モデルが持つ濃 淡情報に従わせることで，カラー画像の明るさを補正し，カ ラー画像中のハイライト・陰影の除去を行う．
5.2.1 幾何モデルとカラー画像とのレジストレーション 幾何モデルが持つ濃淡情報をカラー画像へ反映させるた めに，まず，両者の相対的な位置関係を求めるレジストレー ション処理を行う．本論文では文献(2)の手法を適用する．本 手法は，カラー画像平面に投影された幾何モデルとカラー画 像との重複する領域内でオプティカルフローの拘束が近似 的に満たされると仮定し，反復演算によってレジストレーシ ョンに必要なカメラパラメータを算出する．
文献(2)では断片的な幾何モデルのみ考慮されていたが，本 論文では全方位の幾何モデルに対応出来るように拡張して 利用する．
5.2.2 補正係数の算出とカラー画像への適用
明るさを補正するための補正係数を算出するため，まず，
幾何モデルの各点を5.2.1で求めた投影パラメータを用いて カラー画像平面へ投影する．このとき，投影した幾何モデル の各点(以下対応点と呼ぶ)は一般に整数値にはならず，カラ ー画像の画素位置とは一致しないため，対応点におけるカラ ー画像の輝度値を周辺画素の輝度値から共一次内挿法によ り算出する．各対応点において幾何モデルが持つ濃淡値 Iri と内挿処理により求めたカラー画像の輝度値 Ic の比 c=Iri/Ic
を計算し，これを対応点における補正係数とする．補正係数 の算出には，距離画像センサの光源の色に最も近いチャンネ ルの画像を利用する．
− +
= 22
exp 2
1 σ
k α I
I d
続いて，カラー画像各画素における補正係数を，対応点に おける補正係数を補間することで算出する．カラー画像平面 の高さ方向に補正係数cをとった三次元空間を定義する．こ のとき，カラー画像のある画素 P(up,vp)における補正係数cp は，点Pを内包する三次元空間上の三つの対応点(u1,v1,c1)， (u2,v2,c2)，(u3,v3,c3)より次式で求められる．
本処理をカラー画像の全画素に対して行い，カラー画像各画 素の補正係数を算出する．またこのとき，平均化フィルタを 用いて補正係数配列を滑らかにすることで，距離濃淡画像の ノイズの影響を低減し，滑らかな補正を実現する．求めた補 正係数をRGB各チャンネルに乗算し，カラー画像の明るさ の補正を行う．
6．三次元モデル生成実験
提案手法を実験により検証した．モデル化する対象物体は
Fig.4 の円筒形の茶筒(φ70mm×h105mm)である．距離画像，
距離濃淡画像の取得には，ShapeGrabber製のレーザレンジフ
ァインダSG-102と走査レールPLM300からなるシステムを
用い，約45°ずつ回転させて側面8枚，上面1枚の計9枚取 得した．カラー画像はNikon製のデジタルカメラD70を用い，
約90°ずつ回転させて側面4枚，上面 1枚の計5枚取得した．
また，3章で述べた式(1)を本システムに実装するにあたり，
センサの幾何構成や測定原理などを考慮し，式(1)を次式のよ うに変更して適用した．
ここで，cosθcは視線方向ベクトルと法線ベクトルとのなす 角の余弦，lp lcはそれぞれ測定点とプロジェクタおよびCCD カメラとの距離である．また，γ値は0.45とし，ki(lc)はレー ザ光のばらつきを補正する二次関数である．
6.1 距離濃淡画像の輝度補正
距離濃淡画像の輝度補正結果の一例をFig.4に示す．(a)が 補正前の距離濃淡画像，(b)が補正後の結果である．式(2)に おけるkとσの値は実験的に求め，取得した距離濃淡画像全 てにおいてk=0.178，σ=0.154とした．これを見ると，陰影の 除去された一様な濃淡分布が得られ，対象物体の中央付近に 生じていた鏡面反射成分も除去されていることがわかる．式 (2)のモデル式は仮定を多く含む近似的なものであったが，比 較的良好な結果が得られている．
6.2 輝度情報を持つ全方位幾何モデル生成
Fig.5 に複数枚の距離画像および補正後の距離濃淡画像を
統 合 し た 結 果 を 示 す ． 本 処 理 は InnovMETRIC 社 製 の
PolyWorksを用いて行った．Fig.5より，物体の全体形状が生
成出来ていることが分かる．また，補正を行った場合と行っ
(a)Original image (b)After correction Fig.4 Correction of range intensity image
Fig.5 Integration result
(a)Original image (b)Without correction (c)With correction Fig.6 Integration result (magnified)
(a) (b) (c) Fig.7 Correction of color image：(a) Original image， (b) With color correction，(c) With color and intensity correction
ていない場合での距離濃淡画像の統合結果の比較をFig.6に 示す．補正を行っていない(b)では統合部に明るさの継ぎ目が 見られるが，補正後の(c)では滑らかな濃淡情報が得られてお り，補正の効果が見て取れる．
6.3 カラー画像補正
カラー画像の補正結果の一例をFig.7に示す．照明環境に
はgretagmacbeth社製の標準照明装置JudgeIIを用い，色温度
2850[k]の白熱灯(INC A)下で取得した．照明色補正後の(b)を
見ると，照明色の影響である赤味が除去されていることがわ かる．また，照明色・明るさ補正後の(c)をみると，カラー画 像の明るさが幾何モデルが持つ濃淡情報に従うように補正 され，また左側面部に生じていた陰影が除去されていること から，明るさの補正の効果が見て取れる．
( ) ( )
+
− +
−
=
−
−
−
−
−
= −
−
3 3 2 3 1
3 1 3 3 2 3 1
3 2 3 1
c t c c s c c c
v v
u u v v v v
u u u u t s
p
p p
( ) ( )
+ +
=
=
i c i c i c i
c p
c c
i obs
c l b l a l k
l I l l k I
2
45 . 0
cosθ
(3)
(4)
(a)Without correction
(b)With correction
Fig.8 3D model with color texture images
6.4 テクスチャ付三次元モデル生成
Fig.8 にテクスチャマッピングにより生成した三次元モデ
ルを示す．補正を行っていない(a)では，照明色の影響による 赤味やテクスチャ間の継ぎ目が生じているが，補正後の(b) では赤味，継ぎ目共に低減されていることがわかる．
また，継ぎ目部の拡大図をFig.9に，継ぎ目部におけるカ ラー画像同士の画素値の差分のヒストグラムを Fig.10 に示
す．Fig.9 より，補正前に生じていた明るさの継ぎ目が，補
正後には滑らかに繋がっていることがわかる．またFig.10を 見ると，RチャンネルとGチャンネルにおいては補正後の画 素値の差が0に見られ，テクスチャ間の輝度値の連続性が得 られていることがわかる．しかし，Bチャンネルにおいては さほど効果は得られなかった．これは，元画像の照明光の色 温度が低いこと，また，明るさの補正の際に，Rチャンネル で算出した補正係数を用いてカラー画像のRGB全てのチャ ンネルを同じ比率で補正していることなどが原因として考 えられる．今後の課題のひとつである．
7．結論
本論文では，距離濃淡画像の特徴を利用した実物体の三次 元モデル生成手法を提案した．実物体を用いた実験により，
本手法の有効性を検証した．今後の課題として，テクスチャ の連続性の更なる向上や色情報の正確な再現，補正結果の定 量的評価が挙げられる．
参考文献
(1)M.Levoy, K.Pulli, B.Curless, S.Rusinkiewicz, D.Koller, L.Pereira, M.Ginzton, S.Anderson, J.davis, J.Ginsberg, J.Shade, and D.Fulk,”The digital Michelangelo project:3D scanning of large statues,” SIGGRAPH2000, pp.131-144, 2000.
(a) Original image (b)Without correction (c)With correction Fig.9 Texture mapping result (magnified)
(a)Without correction：R (b)With correction：R
(a)Without correction：G (b)With correction：G
(a)Without correction：B (b)With correction：B Fig.10 Histograms of differences of textures at overlap region
(2)梅田和昇，ギー・ゴダン，マーク・リュウ, “こう配拘束と 距離濃淡画像を用いた距離画像とカラー画像のレジスト レーション”，電子情報通信学会論文誌，vol.J88-D-II, no.8, pp.1469-1479, 2005.
(3)運天弘樹，池内克史, “テクスチャマッピングにおける擬似
albedoに基づく色調補正手法ー点光源下の画像及び一般光
源環境での画像への拡張ー”，電子情報通信学会論文誌，
vol.J87-D-II, no.12, pp.2156-2164, 2004.
(4)篠崎めぐみ，梅田和昇，ギー・ゴダン，マーク・リュウ, “実 物体の三次元モデリングのためのカラー画像補正”，動的 画像処理実利用化ワークショップ DIA2007 講演論文集，
pp.55-60, 2007.
(5)R.Sagawa, K.Nishino, and K.Ikeuchi, “Adaptively merging large-scale range data with reflectance properties,” IEEE Trans.
PAMI, vol.27, no.3, pp.392-405, 2005.
(6)T.M.Lehmann and C.Palm, “Color line search for illuminant estimation in real-world scenes,” Journal of the Optical Society of America A, vol.18, no.11, pp.2679-2691, 2001.
