実物体の三次元モデリングのためのカラー画像補正
Correction of color images for 3D modeling of real-world objects精密工学専攻
25号 篠﨑 めぐみ
Megumi Shinozaki1． 序論
現在，コンピュータビジョンの分野では，実物体をモデリ ングする試みが広く行われている．現実に存在する物体を観 察することにより物体の三次元モデルを自動的に獲得する という本手法は，従来のような手作業でのモデリングが不要 であるという点から非常に注目されている．中でも，距離画 像など物体の三次元幾何形状を表すモデルの表面に，実写画 像をテクスチャとして貼り付けるテクスチャマッピングは，
写実性の高い三次元モデルを迅速かつ容易に生成できると いう利点をもつ．
しかし，このとき生成される三次元モデルの色情報は，物 体本来の色とは異なりカラー画像撮影時の照明の影響を受 けたものとなっているため，レンダリングを行う際に正確な 出力結果が得られないという問題がある．これを解決するた めに，画像中に観察された物体表面の明るさをもとに物体の 反射特性や画像撮影時の光源環境などの各パラメータを推 定し，対象物の物体色を忠実に再現しようとする研究が広く 行われている．しかしこれらの研究は色が単一または色の領 域分割が可能で均質な物体に対象が限定されたり(1)，照明を 固定して物体を回転，あるいは物体を固定して照明を回転さ せながら撮影した多数の入力画像が必要であるなど(2)，複雑 な色やテクスチャをもつ物体を一般の照明環境下で任意の 位置から撮影した一枚のカラー画像に対しては適用するこ とができなかった．
本論文では，このようなカラー画像を対象とした新たな色 補正手法を提案する．カラー画像撮影時の照明環境を陽に推 定するのではなく，距離画像取得時に同時に得られる計測点 の濃淡値で構成される距離濃淡画像のもつ特性を利用して カラー画像の明るさの補正を行う．また色恒常性を実現する 手法を導入することで，明るさに加え色合いを補正するよう に手法を拡張する．
2． 色補正手法の概要
本論文では，まず距離濃淡画像の輝度値を光の反射モデル を用いて補正し，その補正された距離濃淡画像の輝度値を用 いてカラー画像の明るさを補正する．カラー画像の撮影時の 照明環境が一般に未知であるのに対し，距離濃淡画像は計測 時に光源として用いるレーザ光の入射角や強度が制御され ているため，これと既知の三次元形状をもとに，観察された 画像の濃淡値から物体表面の反射特性を推定することがで きる．こうして推定された反射特性の分布にカラー画像の明 るさを従わせることで，カラー画像の明るさを補正する．
また観察される物体表面の色合いは光源の色により変化
する．一方人間の視覚は光源の変化に順応し，同じ色を認識 できる能力が備わっている．この能力を色恒常性といい，コ ンピュータビジョンの分野ではこれを実現する様々な手法 が提案されている．本論文ではカラー画像中に現れる鏡面反 射成分に注目したカラー画像撮影時の照明色推定手法を適 用することで，照明色の影響をキャンセルする．
3． カラー画像の明るさの補正
3.1 距離濃淡画像の明るさの補正
能動型距離画像センサにより観測された距離濃淡画像は，
センサ特性に由来する以下のような要因により，その輝度値 に影響を受ける．
・ センサと各測定点との距離
・ 測定点における表面法線ベクトル
・ センサに固有の特性
対象物体の表面を完全拡散面と仮定すると，計測点の輝度値 は光源と計測点との距離lの二乗に反比例した値で観測され る．また，物体表面の法線ベクトルNと光源ベクトルLとの なす角をθとすると，画像中の測定点で観測される輝度値は，
cosθ に比例して低下する．これらの要因を考慮すると，セ ンサにより観測される輝度値Iobsは次式のように表現できる．
( ) θ ⎥⎦⎤γ
⎢⎣⎡
= I
l l k Iobs i
2
cos (1)
ここで，γ はセンサに用いられるCCDカメラのガンマ値であ り，ki(l)はセンサ感度のばらつきを補正する関数である．こ れらセンサに固有の特性の補正については，5章で本論文で 使用したセンサに特化して触れる．式(1)をIについて解くこ とにより，これらセンサ特性の影響を取り除いた輝度値Iが 求められる．
また，距離濃淡画像中の物体表面には表面のつやによりハ イライト成分が生じるため，これを除去する必要がある．反 射光におけるハイライト成分の記述には，二色性反射モデル がよく用いられる．これは物体からの反射光が，拡散反射 (diffuse reflection)と鏡面反射(specular reflection)との二つ の反射成分の線形和で記述できることを仮定している．拡散 反射は，物体表面に入射した光が物体内部に入り着色層で多 重に反射したのち外部に放射されるもので，物体の色が現れ る．一方鏡面反射は，物体表面での直接反射によるもので，
光源の色がそのまま現れる．画像中のハイライト成分はこの 鏡面反射により生じる．
本論文では，この鏡面反射成分の除去にあたって，代表的 な二色性反射モデルのひとつであるTorrance-Sparrowモデ ル(3)にいくつかの仮定を設け簡単化したものを用いる．Fig.1
にTorrance-Spparowモデルの概念図を示す．ここで，Lは光 源方向ベクトル，Vは視線方向ベクトルであり，HはLとVと の二等分ベクトルである．また，面法線ベクトルNとHとの なす角をαとする．α = 0のとき，ベクトルHとNは等しくな るため，観測される鏡面反射成分の割合は最大となる．本来 のTorrance-Sparrowモデルは，鏡面反射成分の記述におい て，物体表面を微小平面の集まりとし，微小面どうしの遮蔽 による光の減衰などを考慮しているが，本論文ではこのよう な遮蔽は起こらないほど物体表面は滑らかであると仮定す る．また，反射光における鏡面反射の割合は拡散反射光強度 によらず，常に一定の値を取るとする．以上の仮定により，
物体表面の反射光Iは式(2)のように記述できる．
⎥⎥
⎦
⎤
⎢⎢
⎣
⎡
⎟⎟⎠
⎞
⎜⎜⎝
⎛− +
= 22
exp 2
1 σ
k α I
I d (2)
ここで，Idは拡散反射成分，kは反射光における鏡面反射成分 の割合を表す定数，σは物体表面の粗さを示す．このときk とσを求めることができれば，式(2)をIdについて解くことで 鏡面反射成分を取り除いた拡散反射成分のみを抽出するこ とができる．
Fig. 1 Torrance-Sparrow model
3.2 距離濃淡画像とカラー画像とのレジストレーション 距離濃淡画像に対して行った補正結果をカラー画像へ反 映させるには，まず両画像のレジストレーションを行い，距 離濃淡画像の各点に対応するカラー画像の色を求める必要 がある．距離濃淡画像とカラー画像とのレジストレーション は，距離画像を記述している座標系でのカラー画像を取得し たカメラの内部パラメータと外部パラメータを求めること に相当する．これらのパラメータを得るために，本論文では 距離濃淡画像を効果的に用いた梅田ら(4)の手法を適用する．
これは，カラー画像平面に投影された距離濃淡画像とカラー 画像とで重複する領域内で近似的に満たされる，オプティカ ルフローの拘束を利用した反復演算により各パラメータを 算出するものである．このとき，カラー画像は通常RGBの三 つのチャンネルからなるので，レジストレーションには距離 画像センサで用いられる光源の色に最も近いチャンネルの 画像を利用する．
3.3 明るさ補正係数の算出と適用
距離濃淡画像の各点を3.2節で求めた投影パラメータを用 いてカラー画像平面へ投影したとき，Fig. 2のようにカラー 画像平面における各点の座標値は整数値にはならない．よっ て，投影された距離濃淡画像の各点の座標値におけるカラー 画像の輝度値を，その周辺に存在する画素の輝度値から，共 一次内挿法を用いて内挿して求めることにする．Fig. 2に示
Fig. 2 Projection of a range intensity image
すように，投影した距離濃淡画像の座標値に対応するカラー 画像の輝度値Pを，その周囲の格子点の輝度値を用いて式(3) により算出する．
( )
[ ] ( )
[( ) ][( ) ] [( ) ][ ] [ ][( ) ] 1, [ ][ ] 1, 1
1 , ,
1 , 1 1 ,
, 1 ,
1
1 1
1 1 1
+ + +
+ +
+ +
+
−
− +
− +
− +
−
− + +
− +
− +
=
⎥⎦
⎢ ⎤
⎣
⎡
−
−
⎥ +
⎦
⎢ ⎤
⎣
− ⎡
− +
=
j i j
i
j i j
i
j i j i
j i j i
P j v i u P v j i u
P j v u i P v j u i
i u
u i P
P
P j P
v v j P
(3)
次に，各点について，距離濃淡画像の輝度値Iriと内挿処理に より求めたカラー画像の輝度値Icとの比c = Iri/Icを計算する．
一般に距離濃淡画像の解像度はカラー画像の解像度よりも 低いため，求めた両画像の輝度比の配列をもとに，カラー画 像各画素に対する明るさ補正係数配列を算出する．
本論文では，もとの係数配列に適当な曲面を当てはめるこ とによって，点間のデータを補間する．本論文では，パラメ トリック曲面のひとつであるBスプライン曲面(5)を用いる．
Fig. 2 における画像平面の高さ方向に補正係数値cをとった
三次元空間を定義し，空間上の補正係数データ点列に対して Bスプライン曲面を当てはめる．各画素の座標値に位置する 曲面の高さの値を代入することで，カラー画像の各画素に対 する補正係数配列を算出する．算出した補正係数配列をカラ ー画像のRGBの各チャンネルの各画素に乗算することで，カ ラー画像の明るさを補正する．
4． カラー画像の色合いの補正
4.1 照明色推定原理
二色性反射モデルを用いてRGB画像の色ベクトルを表現 すると式(4)のようになる．
⎟⎟
⎟
⎜ ⎠
⎜⎜
⎝
⎟+
⎟⎟
⎜ ⎠
⎜⎜
⎝
⎟=
⎟⎟
⎜ ⎠
⎜⎜
⎝ B
G s s B B d
G G d d
d
s s w s s w B
G β
β β
⎞
⎛
⎞
⎞ ⎛
⎛R βRsR sR
(4)
ここで，第一項が拡散反射成分を表し，第二項が鏡面反射成 分を表す．またwdとwsはそれぞれ拡散反射と鏡面反射の物体 の幾何形状に依存する重み，βdとβsはそれぞれ拡散反射と鏡 面反射の反射特性，(sR,sG,sB)Tは入射光のRGB成分である．
照明色の推定は，式(4)における(sR,sG,sB)Tの値を推定するこ とに相当する．
Lehmannら(6)は，鏡面反射を含むある色領域をRGB各成 分の和で正規化したrg色度空間へプロットすると直線を成
し，さらに複数の色領域をプロットすることで得られる色直 線群が照明色の色度を表す点で交差することに着目した照 明色推定手法を提案している．RGB表色系における色度を式 (5)のように定義する．
B G R g G B G R r R
+
= + +
= + , (5)
式(5)に式(4)を代入すると式(6)のような直線の式が得られる．
( )
( )
( )
( ) ( )
( dR)
G d G
R d B d B
R d G d G
R d B d B
R d G d R
d d
s b s s
s s s a
β β
β β β
β β β
β β
− + −
′=
− + −
− −
−
′=
1 , 1
1 1
G B B
b r a g
β β − + ′
= ′ ,
(6)
このとき，直線の傾きa’と切片b’は入射光と拡散反射特性の みに依存する関数となる．よって画像中で異なる色をもつ領 域はrg色度空間においてそれぞれ異なる色直線群を成す．こ こで照明色が物体色と異なると仮定すると，色直線群は(r,g)
= (pr, pg)となるある一点で交わる．ここで，
B G R
G
B g G R
R
r s s s
p s s s s p s
+
= + +
= + , (7)
であることから照明色のRGB成分が求められる．
4.2 色直線候補の抽出
色直線決定の精度を上げるために，rg色度図へのプロット は画像全体ではなく，色が拡散反射から鏡面反射へ遷移する 小領域について行う．このような色変化は画像中の鏡面反射 成分の周囲で生じるため，まずカラー画像をグレイスケール 変換し，明るさに対するしきい値処理により鏡面反射領域を 抽出する．次に抽出された各鏡面反射領域のエッジ部分から 伸びる直線状の領域を色直線決定のための候補画像とする．
以上の処理の流れをFig. 3に示す．
4.3 照明色の決定
候補画像の各画素に対し式(5)を用いて色度を算出し，rg 色度空間にプロットする．次にプロットされた点群に対し最 小二乗法を用いて直線の式を求める．この手順を4.2節で求 めた各候補画像に対してそれぞれ行い，複数本の色直線を求 めたら，色直線群の交点を最小二乗法により決定する．この 交点の値がそれぞれ照明の色度(pr, pg)となる．
最後に，pr+pg+pb = 1となることを利用して式(7)により照 明色のRGB値を算出し，カラー画像の各チャンネルの画素を これで割ることで照明色の影響をキャンセルする．このと
Fig. 3 Flow of selection of candidates
き，明るさに最も寄与するGチャンネルの値は固定のままR チャンネルとBチャンネルのみを調整する．
5． 実験
以上で提案した手法を用いて，実際に撮像した距離濃淡画 像とカラー画像を使用して色の補正実験を行った．距離濃淡 画像の取得には ShapeGrabber 製のレーザレンジファイン ダSG-102を走査レールPLM300に搭載したシステムを用 いた．本システムはレーザスリット光を照射するプロジェク タとCCDカメラからなり，対象物へ照射されたレーザスリ ット光をCCDカメラでとらえ，三角測量の原理を用いて距 離を計測し，同時に反射光を濃淡値として取得する．ライン 毎の計測点数は1280点である．カラー画像の取得にはNikon 製デジタルカメラ D70を用い，色温度4200Kの蛍光灯のも とで撮影を行った．
また，3.1節で述べた明るさ補正手法を本システムに実装 するにあたり，センサの幾何構成や測定原理などを考慮し，
式(1)を次式のように書き換えて適用した．
( )
( )c i c i c i i
c p
c c i obs
c l b l a l k
l I l l k I
+ +
=
⎥⎥
⎦
⎤
⎢⎢
⎣
=⎡
2
cosθ γ
(8)
ここで，γ= 0.45はCCDカメラのガンマ値，ki(lc)は測定点ご
との感度のばらつきを補正する関数であり，cosθcは視線ベク トルと表面法線ベクトルとのなす角の余弦，lp,lcはそれぞれ 測定点とプロジェクタおよび測定点とCCDカメラとの距離 である．
5.1 カラー画像の明るさ補正
Fig. 4(a)に陶製の鳥の置物(W150×H130×D70mm)を撮影 した距離濃淡画像を，Fig. 4(b)に入力画像に対しセンサ特性 を補正した結果を示す．これを見ると， 補正により陰影の 除去された一様な濃淡分布が得られていることがわかる．ま
たFig. 4 (c)に鏡面反射成分を除去した結果を示す．このとき，
反射特性を表す各パラメータの推定値は実験的に求め，それ
ぞれk=0.71，σ=0.068とした．補正に用いたモデル式は仮定
を多く含んだ簡易的なものであったが，鳥の頭部のハイライ トが除去できており良好な結果が得られていることがわか る．
対象物を同様の視点から撮影したカラー画像を Fig. 5(a) に，また距離濃淡画像の明るさ補正結果をもとにカラー画像 の明るさ補正を行った結果をFig. 5(b)に示す．このとき，距 離濃淡画像を12×12の小領域に分割し，データ欠損のない領 域にのみ補間処理を行った．これを見ると，カラー画像の明 るさが距離濃淡画像の明るさに従うよう補正されているこ とがわかる．
5.2 カラー画像の色合いの補正
Fig. 5(b)に対し，色合いの補正結果を行った結果をFig. 6 に示す．これを見ると，画像中のハイライト部分の色が灰色 に近付き，画像全体の色合いも補正されていることがわかる．
このときの照明の推定色度が(r,g)=(0.444,0.327)で，測定値
(a) Original image
(b) After sensor specific correction
(c) After specular remove Fig. 4 Range intensity image
(0.439,0.324)との誤差はそれぞれ(∆0.005, ∆0.004)であった．
6． 結論
本論文では，三次元モデルのテクスチャとして用いられる カラー画像の色補正手法を提案し，実験によりこの手法の有 効性を示した．距離濃淡画像を効果的に用いることでカラー 画像撮影時の光源配置を推定することなく物体表面の明る さの補正を行い，また照明色による色合いの影響をキャンセ ルすることができることを検証した．
今後の課題としては補正結果の定量的評価，また色味の失 われた鏡面反射部分の色味の復元などが挙げられる．
参考文献
(1) 原健二，西野恒，池内克史，透視投影と点光源下の鏡面 反射からの光源位置と反射特性の推定，情報処理学会論 文誌：コンピュータビジョンと イメージメディア，43-
(a) Original image
(b) After intensity correction Fig. 5 Color image
Fig. 6 After color correction
SIG 11(CVIM 5)(2002)pp. 121-129.
(2) 町田貴史，竹村治雄，横矢直和，複数の照明条件の組み あわせによる物体の表面反射特性の密な推定，電子情報 通信学会論文誌，J84-D-8(2001)pp. 1873-1881.
(3) Torrance K. E. and Sparrow E. M., Theory of off-specular reflection from roughened surfaces, J.
Opt. Soc. Amer., 57(1967)pp. 1105-1114.
(4) 梅田和昇，ギー・ゴダン，マーク・リュウ，こう配拘束 と距離濃淡画像を用いた距離画像とカラー画像のレジ ス ト レ ー シ ョ ン ， 電 子 情 報 通 信 学 会 論 文 誌 D-II，
J88-D-II-8(2005) pp. 1469-1479.
(5) Piegl L., On NURBS:A Survey, IEEE CGA, 11-1(1991)pp. 55-71.
(6) Lehmann T. M. and Palm C., Color line search for illuminant estimation in real-world scenes, J. Opt.
Soc. Amer., 18-11(2001)pp. 2679-2691.
