ウェーブレット変換を用いた非写実的画像生成

全文

(1)2005−CG−118 （10） 2005／2／7. 社団法人情報処理学会研究報告 IPSJ SIG Technical Report. ウェーブレット変換を用いた非写実的画像生成塚越貴之斎藤隆文宮村 (中村) 浩子瀬川大勝東京農工大学大学院生物システム応用科学教育部本稿では，多重スケール解析としてウェーブレット変換を用いた非写実的画像生成手法を提案する．分散の異なるガウス関数の差分(Difference of Gaussian; DoG)による多重スケール解析を用いた非写実的画像生成手法が提案されている．本研究では，演算量がスケール数に比例する離散 2 進ウェーブレット変換を用い，従来手法に類似した画像を，より高速に生成する手法の実現を目指す．従来手法と同様に，分解した各成分の詳細度を考慮した重みを乗じ合成することで，エッジのような局所的な情報や，テクスチャのような大域的な情報を得ることができる．提案手法は，インタラクティブな処理を行うアプリケーションや動画像への応用が期待できる．. Non-Photorealistic Rendering based on Wavelet Transform Takayuki TSUKAGOSHI, Takafumi SAITO Hiroko Nakamura MIYAMURA, and Hirokatsu SEGAWA Graduate School of Bio-Applications and Systems Engineering, Tokyo University of Agriculture and Technology This study is focused on non-photorealistic rendering (NPR) based on multi scale analysis. In the previous studies, difference of Gaussian (DoG) functions has been mainly used for multi scale analysis. Although wavelet transform is a technique for multi scale analysis, it has not been used for NPR. In this paper, therefore we propose a method of NPR with wavelet transform instead of DoG functions. Proposed method is expected interactive application and applying to video image.. 1 はじめに絵画やイラストのような非写実的画像は，必要な視覚情報が取捨選択され描画されている．そのため，実写画像に比べ抽象的であり，実写画像より効果的な情報伝達が可能である．例えば，教科書や説明書などの図では，実写画像よりイラストの方がわかりやすいことがある．また，個人の顔を描画の対象とした場合，個人情報保護の点で実写画像より優れている．さらに，非写実的画像は人間味があり，親和性の向上やアミューズメント性の付加などの効果も持つ．これらの利点から，計算機により非写実的画像を生成する手法が数多く提案されている．特に，実写画像を基に自動的に非写実的画像を生成する手法は，絵画やイラストに関する専門的な知識や技術の無い人でも，簡単に非写実的画像の生成が可能であり，幅広い普及が見込まれる．計算機による実写画像に基づく非写実的画像生成 (Non-Photorealistric Rendering; NPR)手法は，大きく次の四つに分類できる． 1．領域分割による手法 2．描画の例示を用いる手法 3．ストロークの配置による手法 4．多重スケール解析による手法. 領域分割による手法[1]は，自動的に NPR 画像を生成できるが，領域分割に計算時間を要する欠点がある．描画の例示を用いる手法[2]は，画像 A と A の N PR 画像 A'，入力画像 B を用意し，A と A'の関係に等しくなるような NPR 画像 B'を B から生成する手法である．この手法では，原画像と NPR 画像を対応付けて例示するためのサンプルを集めなければならない．また，計算時間を要する．ストロークの配置による手法[3]は，ストロークの属性などを選択する必要があり，手間や計算時間を要する．一方，多重スケール解析による手法[4,5]は，単純なフィルタリングで実現できる．そのため，他手法と比較して計算時間が短い．特に文献[4]では，簡単なパラメータの設定で表現を変えられるなどの利点がある．そこで本研究では，多重スケール解析による手法に着目し，多重スケール解析にウェーブレット変換を用いる非写実的画像生成手法を提案する．. 2 既存研究と研究方針既存研究[4,5]のガウス関数を用いた多重スケール解析は，分散を変えた複数のガウス関数で原画像を平滑化し，隣接する平滑化画像列の差分を求め，多重スケールのバンドパス成分を作成している．これは，分散を変えたガウス関数の差分(Difference of Ga. −55−.

(2) ussian; DoG)で作った関数でバンドパスフィルタを定義し，原画像と畳み込むことと等価である．瀬川らの手法では，この多重スケール解析を用い，各スケールのバンドパス成分を重み付き加算し，適切なバイアスを付け，非写実的画像を生成する[4]．このとき，ガウス関数の分散，重み，バイアス値の決め方を本質的に自由とし，様々な表現への応用を可能としている．次にその生成式を示す．ただし， f ( x , y ) は入力画像，G i (σ i , x , y ) はガウス関数列，. より実現できる離散 2 進ウェーブレット変換を用いる．離散 2 進ウェーブレット変換は，計算量がスケール数に比例し，比較的少ない演算量で実現できる． 1 次元信号に対する離散 2 進ウェーブレット変換のブロック図を図 1 に示す． f (n ) W1 f ( n ) W 2 f (n ). D i ( x , y ) はバンドパス成分， wi は重み， b はバイアス値である．また，∗ は畳み込み演算を意味する． F i ( x , y ) = G i (σ i , x , y ) ∗ f ( x , y ) ・・・(1) D i ( x , y ) = F i +1 ( x , y ) − Fi ( x , y ). ・・・(2). ⎛ ⎞ ⎜ ∑ w i D i ( x , y ) + 128 ⎟ + b ⎝ i ⎠. ・・・(3). W3 f (n ) S 3 f (n ). 図 1: 離散 2 進ウェーブレット変換のブロック図. Gooch らの手法では，人間の視覚特性を考慮した Blommaert モデルに従い分散を定め，多重スケール解析結果のバンドパス成分を平滑化成分で正規化し，各スケールの総和を求め，閾値処理することで非写実的画像を生成する[5]．バンドパス成分を平滑化成分で正規化する点や，重み付け，バイアスの考えは異なるが，Gooch らの手法と瀬川らの手法は類似の処理をしている．一方，デノイジングや異常点の検出，JPEG2000 の符号化などに用いられるウェーブレット変換も多重スケール解析手法の一種である．しかしながら，ウェーブレット変換による多重スケール解析を用い，文献[4,5]のように非写実的画像を生成する手法の研究例は調べた限りない．そこで本研究では，様々な表現への応用が期待できる瀬川らの手法を基に，ウェーブレット変換による多重スケール解析を用いた非写実的画像生成手法を提案する．ウェーブレット変換による多重スケール解析は，DoG による多重スケール解析に比べ高速である．そのため，インタラクティブな処理を行うアプリケーションや動画への応用が期待できる．. 離散 2 進ウェーブレット変換は，図 1 のようにハイパスフィルタとローパスフィルタの組み合わせで実現できる．ハイパスフィルタはマザーウェーブレット関数，ローパスフィルタはスケーリング関数とも呼ばれる．図 1 では，ローパスフィルタを通した結果にハイパスフィルタを通すことで，バンドパスフィルタを実現し，バンドパス成分W j f ( x , y ) を生成している．これは，穴の空いたマザーウェーブレット関数をスケーリング関数で平滑化し，ウェーブレット関数(バンドパスフィルタ)を作っていると表現できる(図 2)．穴の空いたマザーウェーブレット関数. スケーリング関数による平滑化. スケール2のウェーブレット関数. 図 2: バンドパスフィルタの生成. 3.1 離散 2 進ウェーブレット変換. そのため，各スケールのウェーブレット係数は，バンドパスフィルタを通した結果と等価になる．離散 2 進ウェーブレット変換におけるバンドパスフィルタの係数は，全スケールにおいてマザーウェーブレット関数と相似で，係数の総和は 0 になる．また，図1 における｢x｣はフィルタ係数への0 挿入アップサンプリングを意味し，スケールが 1 上がるごとにフィルタ係数の間に 1 サンプルずつ 0 を挿入してフィルタリングしている．したがって，スケール j にお. ウェーブレット変換は，画像を複数の帯域の周波数(スケール)に分解する周波数解析法として考えることができる．この観点から見たとき，変換後の画像は複数のバンドパスフィルタを通した結果となる．ウェーブレット変換と呼ばれる変換は複数あるが，本研究では高速性を考え，Trous(穴)アルゴリズムに. けるフィルタ係数間への 0 挿入数は 2 j −1 − 1 個となる．本稿の実験では，ハイパスフィルタとローパスフィルタの係数として， H = {− 0 . 25 , 0 . 5 , − 0 . 25 }, L = {0 . 25 , 0 . 5 , 0 . 25 } を用いた．. 3 提案手法本節では，本研究で用いる離散 2 進ウェーブレット変換について説明し，多重スケール解析に離散 2 進ウェーブレット変換を用いた非写実的画像生成手法を提案する．. −56−.

(3) 次に 2 次元画像への適用法を説明する．2 次元画像では，水平方向と垂直方向に分けてフィルタリングすることで，水平，垂直，対角方向の各成分を抽出できる．そのブロック図を図 3 に示す．本稿では， 3 方向の成分の和を一つのバンドパス成分とする．水平方向. S j f (x , y ). H(2 ω) j. 垂直方向. L(2 j ω). W j +1 f ( x , y. ). H(2 j ω) 垂直成分. H(2 j ω). H(2 j ω). L(2 j ω). L(2 j ω). 対角成分. S j +1 f ( x , y ). 図 3: 2 次元画像での処理. 3.2 ウェーブレット変換による非写実表現. 原画像を f (x, y ) ，3.1 項のアルゴリズムにより分解されたスケール j のバンドパス成分をW j f ( x , y ) とする．各スケールのバンドパス成分に乗じる重みを w j ，バイアス値を b ，最大スケールを J とすると，非写実的画像は以下の式で生成できる．. ⎛ J ⎞ ⎜⎜ ∑ w jW j f ( x, y ) + 128 ⎟⎟ + b ･･･(4) ⎝ j =1 ⎠ 4 実験本節では，提案手法と瀬川らの手法を比較する．まず，エッジを持つテスト画像を入力画像とし，各スケールのバンドパス成分とNPR 表現を1 次元信号としてグラフに示すことで比較する．これにより， NPR 画像生成の過程を明らかにする．次に自然画像を入力画像としたときの画像を比較する．また，定量的な比較として，ウェーブレット変換の解析結果が，分散いくつといくつの DoG に相当するかを調べる．本節の実験におけるパラメータは，提案手法では，スケール数： J = 7. j =1 ⎧0 J− j j ≠1 ⎩2 バイアス： b = 128 重み： w j = ⎨. を用い，瀬川らの手法では，スケール数： J = 13 2 j −3 分散： σ j = 2. ⎩ 2 バイアス： b = 128. 1≤ j ≤ 3 J− j. j≥4. を用いた．重みは，高周波を除去し，雑音を抑制するパラメータである．また，これらのパラメータは，ペン画調に近い画像を生成する設定である．. 4.1 エッジに対する出力. 水平成分. L(2 j ω). ⎧0. 重み： w j = ⎨. DoG による多重スケール解析とウェーブレット変換による多重スケール解析の解析結果を比較する．そこで，急峻なエッジと平滑化されたエッジを持つ画像を入力画像とし，ウェーブレット変換と DoG による多重スケール解析結果の横 1 列を抽出し，1 次元信号として図 4(b)(c)に示す．また，参考に原信号を図 4(a)に示す．これらのバンドパス成分に適切な係数を乗じ，総和を求め，バイアスを加えた結果を図 4(d)に示す．また，図 4(d)を 8bit 整数に制限した結果を図 4(e)に示す．図 4(b)，(c)より，ウェーブレット変換と DoG による多重スケール解析は，解析の細かさが異なることがわかる．提案手法のスケール数は 7 に，DoG のスケール数は 13 に設定したが，最大スケールの波形を比較すると，設定が概ね適切であることがわかる．図 4(d)より，ラプラシアン型のバンドパスフィルタの特徴であるピーク位置のずれを利用し，重み付き加算することで，エッジ付近に大きな上下の跳ね上がりを生成していることがわかる．図 4(e)では，図 4(d)の合成結果にバイアスを加え 8bit 整数に制限することで，上方向(白)の跳ね上がりを除去するとともに，テクスチャ部分を白くし，下方向(黒)の線を描画している．また，提案手法の方が瀬川らの手法よりエッジに対する応答のピークが大きい．そのため，実写画像では，強調が大きく，エッジが描画される反面，ノイズも大きくなると考えられる．. 4.2 画像への適用例自然画像への適用例を示す．自然画像として，顔画像，建築物画像，風景画像を用いた．それらの原画像，提案法による NPR 画像，瀬川らの手法による NPR 画像を図 5-7 に示す．図 5 の顔画像では，提案法では，髪の描写が鋭く，顔に部分的な黒い点が描画されている．4.1 項で述べたように，提案手法では高域を強く強調していることが確認できる．図 6 の建築物画像では，顔画像ほどの違いはなく，ほとんど同じに見える．図 7 の風景画像では，原画像にエッジが少なく，特に雲の部分で水墨画調の表現を出力していることがわかる．. −57−.

(4) 140. 250. 提案手法. 130. 瀬川ら. 200. 120 110. 150. 100. 100. 90 80. 50. 70. 0. 60 0. 20. 50. 100. 150. (a)原信号. 200. 250. 0. 50. 100. 150. (e)出力値. 200. 250. スケール1. 15. スケール2. 10. スケール3 スケール4. 5. スケール5. 0. スケール6. -5 0. スケール7. 50. 100. 150. 200. 250. 200. 250. 200. 250. -10 -15 -20 -25. (b)提案法のエッジに対する解析結果 10 5 0 0 -5. スケール1. スケール2. スケール3. スケール4. スケール5. スケール6. スケール7. スケール8. スケール9. スケール10. スケール11. 50 スケール12. 100. 150. スケール13. -10. (c)瀬川らの手法の解析結果 1000. 提案手法瀬川ら. 800 600 400 200 0 0. 50. 100. 150. -200 -400. (d)合成結果図 4: エッジに対する出力. −58−.

(5) (a). (a). (a). (b) (c) 図 5: 人物画像への適用例 (a)原画像，(b)提案手法，(c)瀬川らの手法. (b) (c) 図 6: 建築物画像への適用例 (a)原画像，(b)提案手法，(c)瀬川らの手法. (b) 図 7: 自然画像への適用例 (a)原画像，(b)提案手法，(c)瀬川らの手法. (c). (a) (b) (c) 図 8: 提案手法を瀬川らの手法へ最適化した画像 (a)人物画像，(b)建築物画像，(c)風景画像. −59−.

(6) 4.3 分散の算出. ドパス成分 W j f ( x , y ) を生成していると仮定す. ける計算時間は，480×480pixel の画像を入力画像としたとき，提案手法では約 1 秒で，瀬川らの手法では約 8 秒である．これにより，動画への適用が現実的であることを確認できる．実験で用いた提案手法の重みは，経験的に得られたパラメータである．しかし，提案法を瀬川らの手法に平均二乗誤差の意味で最適な重みも導出可能である．その重みを用いた提案手法による NPR 画像を図 8 に示す．図 8(a)では，図 5(b)に比べ，髪や顔の描写が滑らかになり，瀬川らの手法に近づいていることが確認できる．図 8(c)においても，雲や山の部分で同様のことがわかる．図 8 (b)では，目立った変化は確認できない．. る((5)式)． S j −1 f ( x , y ) − L j f ( x , y ) = W j f ( x , y ) ･･･(5). 6. おわりに. ウェーブレット変換では，ローパスフィルタを通過してきた成分に，ハイパスフィルタを通過させることでバンドパス成分を生成している．ローパスフィルタ通過してきた成分は，近似的に分散を求めることができる．しかしながら，この成分にハイパスフィルタを通して，バンドパス成分を生成しているため，もう一つのローパスフィルタは存在しない．そこで，ローパスフィルタを通過してきた成分 S j − 1 f ( x , y ) と，未知のローパスフィルタを通過した成分 L j f ( x , y ) の差分で，バン. (5)式において， S j − 1 f ( x , y ) と W j f ( x , y ) は既. 知であるため， L j f ( x , y ) について解くことで，未知のローパスフィルタ係数を求めることができる．以上の計算で求めたローパスフィルタ係数は，ガウス関数をサンプリング後，正規化して作られたとし，その分散を求める．分散の初期値を定め，初期値に小さい値を加算していき，ガウス関数列を作成する．このガウス関数列をサンプリング後，正規化して作ったフィルタ係数と，ローパスフィルタ係数との間で最小の平均二乗誤差をとる分散が，ローパスフィルタの分散である．求めた分散と瀬川らの手法の分散を表 1 に示す．表 1 より，提案法のスケール j における分散は，瀬川らの手法のスケール 2j における分散に近いことがわかる．したがって，瀬川らの手法に習うため，提案法の最大スケールを 7 としたのは妥当である．. 5. 考察提案手法では，瀬川らの手法と同様の過程により，NPR 画像を生成している．そのため，瀬川らが用いたパラメータを参考にでき，類似の画像を得ることができる． PentiumIV 1.6GHz Windows2000 の環境下にお. 提案手法. 瀬川ら. ウェーブレット変換による多重スケール解析を用いることで，非写実的画像を生成する手法を提案した．本稿では，エッジに対する出力を 1 次元信号としてグラフにすることで，NPR 画像生成の過程を明らかにした．また，提案手法を，顔画像，建築物画像，風景画像に適用し，良好な結果を得た．今後の課題として，ウェーブレット変換の基底関数の変更や，実際の動画像への適用，カラー化などが挙げられる．参考文献 [1] Doug DeCarlo et al. :“Stylization and Abstraction of Photographs, ” Proc. SIGGRAPH 2002,pp. 769776 (July 2002). [2] Aaron Hertzmann et al. :“Image Analogies, ” Proc. SIGGRAPH 96, pp. 327-340 (August 2001). [3] Paul Haeberli, “Paint By Numbers: Abstract Image Representations, ”Proc. SIGGRAPH '90, pp. 207-2 14(August 1990). [4] 瀬川大勝ら: “多重スケール分解を用いた非写実的画像生成, “ FIT 2004 pp. 251-254 (September 200 4). [5] Bruce Gooch et al. :“Human Facial Illustrations: Creation and Psychophysical Evaluation, ” ACM Trans. on Graphics, Vol. 23, No. 1, pp. 27-44 (January 2004).. スケール. 1. 2. 3. 表 1: 分散の比較 4 5 6. σ. 2 1. 原画像. 0.7. 3.3. 13.1 52.1 207. σ. 2 2. 0.3. 2.1. 11.3 47.8 193. 773 3089. σ. 2 1. 0.5. 1.0. 2.0. 4.0. σ. 2 2. 1.0. 2.0. 4.0. 8.0. 原画像 0.25 0.25. 0.5. −60−. 7 825. 8. 9. 10. 11. 12. 13. 8.0. 16.0 32.0 64.0 128. 256. 512. 16.0. 32.0 64.0 128. 512 1024. 256.

(7)