機械視覚に基づいたボリュームデータの画像生成法

(1)

機械視覚に基づいたボリュームデータの画像生成法

A Rendering Method of Volume Data Based on Machine Vision

田中法博

Norihiro Tanaka

本稿では、コンピュータグラフィックスにおいて複雑な表面構造を持つ物体の高品質な映像生成のための機械視覚に基づいたボリュームデータの画像生成手法を提案する。本研究では、まずデジタルカメラの幾何特性や色応答特性を述べる。そして、複雑な表面構造を持つ物体表面のボリュームモデル化手法を述べる。次に、カメラ系を用いて実シーン中の物体の表面反射特性をボリュームモデルに対して獲得する方法を述べる。ここで獲得した各種情報から、ボリュームデータの画像生成法を提案する。ここでは特に人物のコンビユータグラフィックス映像の生成を対象とする。カメラ系で計測したデジタル画像から映像化に必要な情報の獲得方法を提案し、獲得情報に基づいて映像化を行う。今回は、実際の人物画像からではなく、シミュレーション画像から得られたデータからボリュームモデルを用いて人の肌やドレイプなどの映像化を行う。射特性をモデル化してコンピュータ上で3次元 1．はじめにシーンをシミュレートして物体を映像化するD。近年の映画やゲームなどの分野で用いられていこのため高品質な映像を生成するためには、高る高品質な映像は、コンピュータグラフィックスい精度のモデルと実シーンの精密な計測データが（CG）技術に大きく依存してきている。しかし必要となる。一般的にこういった情報は、カメラながら、現在のCG映像は、個人の感性や経験に系を用いた画計計測から得ることが有効である。基づいて制作されていることが多く、その品質はこの方法の最大の特徴は、計測データが2次元的制作者の経験や能力に大きく依存している。このであり、空間解像度が高い情報が得られる。このことは高品質なCG映像を安定して生成できないことは、通常の光センサのような一次元情報と比という問題につながる。こういった背景から計測較して圧倒的に有利な点である2ト‘）。データからCG生成に必要な情報を獲i得し、その計測データはカメラ系のセンサアレイから得ら情報に基づいて客観的で安定な映像生成法が注目れた2次元画像として得られる。これまで、このされている。計測データに基づいて物体を映像化画像情報を用いてシーン内の3次元空間から有効できれば、物体を精密にしかも安定に映像化するな情報を得るために画像理解や画像認識に関することができる。研究が数多くなされてきた2ト5）。こういった研究本研究では、特に3次元コンピュータグラフィ分野の本来の目的は、コンピュータに視覚を持たックス（3DCG）を用いて物体の映像生成を行せること、つまり機械視覚を実現することであう。3DCGは、光源、物体、視覚系の三者の幾る6）。何的な関係や光源の分光特性、また物体表面の反しかしながら、2次元の画像情報から、3次元＊産業社会学部助教授

(2)

空間内のシーンを推定するためには、まだ一次元 2．2大域照明モデルの未知変数が残るため、数学的にモデル解を決定大域照明モデルとして、本研究ではK句iyaのすることができない。これに対して、これまでゴレンダリング方程式’）を用いる。K句iyaは、熱力ニオメトリックに画像を計測して物体表面の光反学の理論に基づいて3次元シーン全体を映像化す射を計測する方法や陰影情報から物体形状を推定るための光反射をレンダリング方程式として記述し、3次元情報を復元する方法が提案されていした。このモデルは（1）式のように記述されている7）。る。しかしながら、これらの研究では物体表面は滑らかな曲面を仮定しており、複雑な表面構造の解 1（皿，め＝9（x，x’）［ε（m，め

難よ鄭窯繋糖蓉騰象ご誓＋∠・幅鋸鋸］（1）

れらに光反射解析手法を適用することは難しい。狙，∬’，ゴ’：サンプル点の位置パラメータそこで、本稿では機械視覚に基づき、光反射解 ’（記，め：・じ’からコじへのエネルギー析から物体表面反射特性情報を獲得し、その情報 g伽，め：幾何的条件を与える項を基にボリュームモデルの映像生成手法を提案す ε（餌，の：ゴから∬へのエネルギーる。 ρ（ ’ 〃x，露，∬）：ゴでの反射率本稿では、まず3次元シーンの光反射を大域照明モデルと局所照明モデルで記述し、それを撮影理論的には、（1）式を解けば、3次元空間内のするカメラ系の光に対する応答をモデル化する。全ての物体を映像化することができる。しかしなその後、ボリュームモデルの構築方法を述べ、そがら、この式は解析的に解くことができないたれをカメラ系から得られた情報に基づいて映像化め、本研究では後述するレイトレーシングアルゴする方法を述べる。そして、獲得したデータに基リズムを用いて近似解を得る。ついてCG生成を行い本手法の妥当性を検証する。 2．3 局所照明モデル2．シーンの映像化モデル大域照明モデルに対して、物体表面上の任意点 2．1 シーンの映像化プロセスでの光反射モデルを述べる。物体表面の色は、局太陽や電球などの光源から出た光は、物体上で所的な光反射により決まる12）・B）。この光反射を数反射されて目に届き、それが脳で解釈されて色と学的にモデル化したものを光反射モデルと呼して認識する。シーンの映像化は、このプロセスぶ’4）、17）。物体表面は2色性反射の特性を持つと仮をコンピュータ上でシミュレートして、最終的に定する18）’19）。2色性反射モデルは、次式のようには画像上の画素の色を決定することである。拡散反射と鏡面反射の線形結合で表すことができこの色決定のために3次元シーンの光と物体間る。の関係をモデル化したものを照明モデルと呼ぶ。この照明モデルは大きく分けて、2種類あり、こム（∬）；ωdCb＋ω、e （2）れらを用いて3次元空間上の物体を画像解析したり、映像再現したりする。まず1つめは、3次元ここでωd、ω，は、それぞれ拡散反射成分量、鏡空間内で光源や物体間の光反射の3次元的な関係面反射成分量となる。またCb、 eは、それぞれ3 を記述したものを大域照明モデルと呼ぶ。そして ×1の拡散反射成分の色ベクトル、鏡面反射成分次に、2つめは、物体表面の局所的な反射特性をの色ベクトルである。記述した局所照明モデルを局所照明モデルと呼本論文では3次元光反射モデルとしてTonlance一ぶ。 Sparrowモデル14）を採用した。筆者らのこれまでの研究で、Torrance−Sparrowモデルは複雑で多くの未知パラメータを含むものの、非常に高い精度

(3)

で光反射を記述していることを検証した5＞。このただしg2＝η2＋COS（θQ）−1である。さらに、 G モデルでは物体表面は、完全鏡面の微小面で構成は物体表面の微小面が互いを遮蔽する割合を決定されており、ハイライトの広がりは、この微小面する関数である。隣i接する微小面は、互いに他をの向の分布であると仮定している。ここで位置パマスクしたり、光の当たらない陰ができると考えラメータ記に対して次のベクトルが与えられることができる。この遮蔽の割合は次式で示す。る。Vは視線ベクトル、 Qは微小鏡面の沫線べクトルでVとLの2等分ベクトルとして与えら G（N，V，L）＝れ、さらにψはNとQのなす角であり、ハイラ Cト位相角と呼ぶ。Torrance−Sparrowモデルに基 …｛1，2c°ll／191，ei°s研，2c°…害、考sθ’｝（6）ついて輝度値ムを記述すると次式のようになる。 @ 3．カメラモデルム＠）茸ωdCb＋ω、e ここではカメラによる撮像系をモデル化する。＝αcos（θi）Cb＋（3）カメラのモデル化は幾何モデルと色応答モデルの βD（望），ツ）F（θ・，〃）G（NV，L）e 2つの立場から行う。 COS（θ，） 3．1幾何モデルここで右辺第1項と第2項は、それぞれ、拡散反 3次元物体は、カメラにより画像平面に透視変射成分と鏡面反射成分を表わす。αとβは、拡散換され射影される6脚）。この射影をモデル化した反射成分、鏡面反射成分の重み係数である。ものが、カメラ系の幾何モデル21ト23＞であり、本研さらに第2項の鏡面反射成分はいくつかの関数究では、この撮像系の幾何モデルに基づいて画像から構成されている。まず、Dは物体表面の表から対象物体の法線情報などの幾何情報を得る。面粗さを示す関数で、Qの方向を向く微小面の図1は、3次元空間上の物体がカメラにより画像割合を表現する。この分布関数としてグローバル上に射影されている様子を示す。3次元空間な面法線Nを中心とする次式のガウス関数を仮［X，γ，Z］上にある物体は、射影変換行列Mで画定した。像上の2次元座標＠，切上に射影される。 D（（ρ，ッ）＝exp｛−ln（2）（ρ2／ッ2｝（4） 5 ｱこで7は表面の粗さを表わす指標となる。次 X 戟n−M互（7） 1 に、FはFresnel反射率である。本来、 Fresnel反またカメラ系は理想的なピンホールカメラであ射率は、屈折率η（λ）、吸収係数ん（λ）といった波り、レンズ系の歪みがないと仮定すると、この変長関数をパラメータとして持つ関数であるが、本換行列Mは、カメラの焦点距離（α。，αy）と画像研究で仮定する不均質誘電体では、η（λ）＝const、上の光軸点（鞠，〃o）より記述できる（図2）。こた＝0とおくことができる。この場合、入射角θg れらのパラメータは、カメラ固有のパラメータでと屈折率ηの関数として次式のように記述できある。カメラの射影行列Mは、これらのパラる16）。メータから次式のように記述できる。 F（θ・，・）−lil乖器iilli；；（5） _αxO瓢00 l＝ 0αyン00 （8）｛［c・s，（θQ）（9＋c・s（θQ））−1］21十［cos（θQ）（9−cos（θQ））十1］2｝ 0 0 00 ｱれを（7）式に代入して、最終的には次式が得られる。

(4)

射影＼1／・一〇−

@ x ／1＼

o 顧．．蟹層・一 ■ 9 ■ @ y ｨ体 ’ 1 光源E（λ）図1 3次元物体の画像への射影 α 凹圏・ ■ ■ ．・幽魔・謄．・腫 ■ ．魍謄・圃・瞠． ■ 匿 ■ 匿謄・圏・ ■ 9 幽．・・ y （x・，y・） _{z 図3 カメラの色応答モデル}

／カ・ラ＼1／

（、票誌）一〇一

@ ／1＼図2 カメラパラメータと射影の関係光源 x E［引一翻i互（9） 1 物体 γ 3．2色応答モデル Z x 図3は、反射光に対するカメラの色応答をモデル化したものである。光源から発せられた光は、視スクリーン物体表面で反射した反胱がカメラ系に入力す図4 物体の映像化手法（レイトレーシングアルゴリズム）表面で反射され、カメラ系のセンサにより感知され感度特性の影響を受ける。最終的にカメラ系に入射した光はRGBの色信号へと変換される。こドレイプの映像化を行うが、ここでは肌や布の物の変換の過程を分光的にモデル化する4認。カメ理的なモデリングは行わず、単純な密度空間の集ラ系の色応答伽Gβを数学的にモデル化すると次合であると仮定する。式のようになる。 4．2 ボリュームモデル 700

舳一

∫（λ）E（λ）隔（λ）4λ （1・）物体表面の複雑な表面離は・先行研究で行った手法を用いる24）。ボリューム空間は、三次元空ここで物体表面の分光反射率は、∫（λ）、カメラの間［X，γ，Z］’内の部分空間＠，〃，zγとして存在す分光感度は各R、G、 Bセンサに対してRR，G」（λ）る。物体形状は、ボリューム空間内では仮想微粒と記述する。子の密度分布として表現される81。ボリューム空間の映像化は、図4のように視線探索法により行4．複雑な表面構造のモデル化、つ。 4．1 カメラデータに基づいた映像化これまで述べた視覚系モデルに基づいて、物体 4．3ボリューム空間の実装表面の映像化を行う。ただし、人の肌や布によるこのときボリューム空間は、離散化し3次元配一40一

(5)

朧臨鶴謄撚瓢濃嘉ζ ∋÷伍源1 ⊃占二光源・ 11、れたボリューム空間をボリュームボックスと呼び、ボリュームボックス内に格納されたデータをボリュームデータと呼ぶ。物体表面の微細構造は、このボリュームデータにより記述する。甕，1，視線 ∫far 、・ ’繍・r 4．4 ボリューム空間内の輝度計算 ∫near _灘 Tンプリング点t

密熱課襟響鞭麟課ム

註視点は、任意の点で密度ρ＠，〃，のが与えられていボリュームボックスる。この密度によって・光源からの光は減衰す図5 ボリュ＿ムボックス内での輝度計算る。光線はそのボリューム空間内の経路51∼∫2 （長野大学紀要論文第26巻3号より引用）において、経路に沿って各点の密度ρ（￠，〃，のによって非線型に減衰させられる。このとき、光線 5．シミュレーション実験の経路上のボリューム空間の透過率ノは次式で与えられる。ボリューム空間を通過して視点に到カメラデータから物体表面の反射特性データを達する光の輝度1は次式のように求める。獲得し、コンピュータグラフィックス映像を生成する。カメラ系から得られた色信号より物体表面 ’far f mー

ﾎ［蜘乱ρ伽融ω）ぬ）雲懲鷺繁鷺1瀞ご；㌶

・∬，（x（t），〃（の，ze））ミュレーションにより生成した。画像解析は、こ・ρ（x（t），g（∫），z（の）］4∫ （11）のシミュレーション結果に基づいて行った。この画像解析結果に基づいて、ボリュームデー 4．5ボリューム空間内に視線方向ベクトルタを用いた物体の映像化を行った。ここでは、天ボリューム空間内で視線探索を行うためには、使と修道女をイメージしたオブジェクトを生成ボリューム空間内の3次元情報を獲得する必要がし、羽、ドレイプ、肌の部分をそれぞれボリューある。これは2次元空間の情報から3次元空間のムモデルで記述する。情報を推定することを意味するが、未知変数が一映像化の条件として、照明環境は白色の点光源つ残るため、完全な推定ができない。そのため、一絶対的な3次元座標ではなく方向ベクトルのみを推定する。ここではボリューム空間を貫く視線ベクトルを算出する。この視線ベクトルv＝［”。，％帽は、鱈揺熈壁臨カメラ系の射影行列を逆変換して求める。歪％＠一”。）／α皿・一％一（・。一〃）／α㌢（12） ηz l．0 ただし、Ivl；1として正規化する。図6 ドレイプや羽の質感の映像化

(6)

を3灯配置し、カメラ系は、シミュレーション @ 馨灘、データ作成用に用いたデジタルカメラ（Canon 灘 EOS Kiss Digital！＝55mmレンズ）のカメラパラメータを用いた。物体表面材質は、ランダムに生成したボリュー@ ．’警1 ムデータにより構成されている。ただし、人の肌 ’ は粒子状物質、布は円筒形状物質で構成されてい翼驍ﾆ仮定している。それ以外の面は、通常の不均嘉，聖質魏体を仮定した・図6・7・8は・本手法で君生成したCG映像である。識 1

6．おわりに

本論文では、ボリュームモデルに対して機械視覚に基づいた映像化手法を提案した。本手法の特図8 全体の映像化例徴は、複雑な表面構造を持つ物体に対して計測データに基づいて安定した品質の映像が生成できルについて述べた。さらに、微細で複雑な表面構ることである。造を持つ物体表面のモデル化技術について述べ、まず照明光と物体間の光反射のモデル化技術にそれを機械視覚から得られた情報に基づいて映像ついて述べ、カメラ系の幾何モデルと色応答モデ化する方法を述べた。贈ラメータ決定は、計測データに基づいてできるようになった。このことは、複雑な表面構造を持つ物体に対しても安定で高品質な映像化ができるようになったことを意味する。耳ヒ舜 D，@，しかしながら、今回はボリュームデータの幾何情報に関してのモデル化が不十分であるため映像 1 生成時の形状設定に対して多くの仮定条件を含んムデータに対しての幾何データ推定アルゴリズム 1 また実験データも実際の撮影データではなくシミユレーションデータを用いている。今後、実際の撮影環境での実験を行う必要がある。参考文献 1）J．T． K句iya：The rendering equation， roughened sur一 faces， Co用ρ曜8r G雌ρ痂c5，pp．143−150 （1985）． 2）H，Haneishi， T、 Iwanami， N． Tsumur鉱and Y． Miyake： Goniospectrahmaging of 3 D objects， Proc．6疏Coloグ伽一 α8ゴη8Coηプ．， PP．173−176 （1998）． 3）Y．Sato， M．D． Wheeler and K． Ikeuchi：Oblect shape and renectance modeling fo㎜observation， Proc．〔ガ∫ノG一 GRAP1／97， pp．379−387 （1997）．図7 肌の質感の映像化 4）N．Tanak亀S． Tom孟naga and T． Kawai：Amethod for

(7)

estimating parameters of a 3 D spectral reflection model， specular reflection fをom roughened su㎡aces，∫げρμたαZ ．Pアoc．乃π8ηη加ηα15y那ρ05伽灘oηルノκ〃’5ρ6c∫酒α1〃η08− 50c忽y（ゾA配6r’cαA， Vol．57， No．9， pp．1105−1114 ∫η8αη4Color R畠pノ・04配c”oηノ∂r D’8’孟α’Aroぬ’v85， pp．127 （1967）．一130，（1999）． 15）B．T． Phong：Illumination薮）r computer−generated pic一 5）田中法博，富永昌治：3次元反射モデルの解析と tures， Co配配． ACM， Vol．18， No．6， pp．311−317 推定，情処学論：コンピュータビジョンとイメージ（1975）．メディア，Vol．41， No． SIG10（CVIM 1）， pp．1−11 16）R．L． Cook and K，E。 Torrance：Areflection model for （2000）． computer graphics， Co脚ρ厩εrα卯痂c5， Vol．15， pp．307 6）徐剛，辻三郎：3次元空間ビジョン，共立出版一315（1981）．（1998）． 17）J．F． Blinn：Model of light renection fbr computer syn一 7）NTanaka， S． Tominaga and T． Kawai：Estimation of thesized pictures， Co澱ρ配’εr Gr￠ρ痂c5， Vol．11， No．2， the Torrance−Sparrow reflection model from a single multi− pp．192−198（1977）． band image， Proc．15th Intemational Conference on Pattern 18）S．Tominaga：Su㎡ace reflectance estimation by the di一 Recognition， Vol．3， pp．600−603，（2000）． chromatic model， Color 、Rε56αrc乃侃4 、4ρρ〃cα加η， 8）J．T． K勾iya and T． L Kay；Rendering fUr with three di− Vol．21， No．2， pp．104−ll4（1996）． mensional textures， ACル1 Co〃zρ鷹r Gr召助’c， VoL 23， 19）S． A． Shafer， G． J KIinker and T．Kanade：AphysicaI No．3， pp．271−280（1989）． approach to color image understanding，3PIE Proc6ε4∼π85， 9）F．Nayret：Ageneral and mulUscale model for volumet− Vol．1250， pp．222−235（1990）． ric textures， Porα｛ゾ1π∫8吻cε95， pp．83−91（1995）． 20）金谷健一：画像の3次元解釈の統計的信頼性，画 10）立野玲子，山口裕美，藤代一成，東多恵子，櫻庭像の認識理解シンポジウム（MIRU92）， pp． II 207一均：Voxel Stuf且ng：3方向の平行粗断像列を用いた 214（1992）．高品質ボリューム補間，画像電子学会論文誌， 21）R．Y． Tsai：An ef行cient and accurate camera calibration VoL 29， No．4， pp．292−301（2000）． technique for 3 D machine vision， Proc． CVPR，pp．364一 11）中村浩子，竹島由里子，藤代一成，奥田洋司：形 374（1986）．状／色分布特徴を考慮した区間型ボリュームの半自 22）R．Y． Tsai：Aversatile camera calibration technique fbr 動詳細度制御，情報処理学会論文誌，VoL 42， high−accuracy 3 D machine vision metrology using off−the一 No．5， pp． l ll5−1123，（2001）． shelf TV cameras and lenses，」（ヅRA， Vol．3， pp．323一 12）H．C． Lee， E．J． Breneman and C． Schulte：Modeling 344（1987）． light re且ection fbr computer color vision， IEEE Trans． on 23）1． W． Faig：Calibration of close−range photogrammetric PAMI， Vol．12， No．4， pp．402−409，（1990）． systems：Mathmatical formulation， Photometric Eng． and 13）E．P． Lafortune， S． Foo， K E Torrance and D． P． Green− Remote Sensing， Vol．41， pp．1479−1486（1975）． berg：Non−1inear approximation of re且ectance hlnctions， 24）田中法博：画像生成のための物体表面のボリュー Proc．げ31GGRAPH 97， pp．117−126（1997）．ムモデリング，長野大学紀要論文， Vol．26， No．3， 14）K．ETorrance and E． M． Sparrow：Theory for of卜 pp．27−35（2004）．

機械視覚に基づいたボリュームデータの画像生成法