Microsoft PowerPoint - Lec18 [互換モード]

(1)

吉澤信

[email protected], 非常勤講師大妻女子大学社会情報学部

画像情報処理論及び演習II

第7回講義

水曜日１限

教室6218

情報デザイン専攻

-フィルタ処理・エッジ強調-特徴保存フィルタ

Shin Yoshizawa: [email protected]

今日の授業内容

1. 特徴保存フィルタの基礎. 2. 非線形拡散(エッジ保存)、Bilateral(エッジ保存)フィルタ、 Non-Local Means (パターン保存)フィルタ. 3. 演習：エッジ保存フィルタ. www.riken.jp/brict/Yoshizawa/Lectures/index.html www.riken.jp/brict/Yoshizawa/Lectures/Lec18.pdf 今日の演習は第２回のレポートで出すので、みなさん頑張ってくださいねーp(^^)q

復習：拡散方程式の離散計算

) , , ( ) , , ( t y x I t t y x I _ _  

)

,

(

)

,

(

)

,

(

1

_i

_j

_I

_i

_j

_I

_i

_j

I

n

_

n

_

_

_

n ) , ( 4 ) 1 , ( ) 1 , ( ) , 1 ( ) , 1 (x y I x y Ixy Ix y I xy I I          )) 1 , 1 ( ) 1 , 1 ( ) 1 , 1 ( ) 1 , 1 ( ( 5 . 0 ) , ( 6 ) 1 , ( ) 1 , ( ) , 1 ( ) , 1 (                        y x I y x I y x I y x I y x I y x I y x I y x I y x I I  時間は、前進１次差分近似：epsilonは微小時間. 4連結８連結  空間は(Laplace作用素の)中心2次差分近似:

＝





} ; ); ( ){ iteration ( tmp I I Filtering tmp for   Shin Yoshizawa: [email protected]

今日は特徴(エッジ・パターン)保存フィルタ

単純な平滑化特徴保存平滑化

 畳み込みと平滑化：  拡散方程式(偏微分方程式)と平滑化: 拡散方程式はフーリエ変換を用いると(ある境界条件の場合に)形式解が導ける！ . 0 ) ( ), ( , ), ( , , ) ( ) ( *      



f t gx tdt f g C x f x g x g f Normalized Convolution: . ) ( / ) ( ) (



f t gxtdt g xt dt . ) ( ₍_b_/_a₎2 ab e G _  ). ( ) 0 , ( , 0 , ))), , ( ( grad ( div hxt x t hx f x h t h__ _ __ _ _   拡散方程式のフーリエ解は基本解と初期値の畳み込み: Convolution Kernel: g

まず平滑化(Smoothing)とは何か？



    y x y y y x y y x f G d t d t g f t h ₍₄ ₎n ( ) _t(| |) 1 ) , ( ) ( ) , ( _ /2 ₄ 拡散の時間変化＝Gaussianフィルタの標準偏差パラメータ変化  変分問題と平滑化：ディリクレエネルギーの最小化：  周波数領域での平滑化: . 0 ,       h t h t h

with appropriate boundary condition. Dirichletエネルギー最小化問題：

_

h2min. . ) , ( , , 0 ) , ( ) , 0 ( , 0 ), ( ) 0 , ( ,           t x u x t l u t u l x x h x u u t u





     l k k k ydy l k y h l b x l k t l k b t x u 0 1 2 2 2 . sin ) ( 2 , sin ) exp( ) , (    Fourier解：   t 高周波ほど急激に減少.

Gaussian フィルタ = Laplacian Smoothing =拡散・熱伝導方程式の解=Dirichletエネルギーの最小化~高モードFourier係数の0への置き

換え=Low Pass Filter. Shin Yoshizawa: [email protected]

(2)

標準偏差と時間変化











_I

_t

t

I

),

,

(

)

,

(

x

   

_



) ( ) ( ) , , (x g x y I y dy I 2 2 2 2 2 1 ) ( a r a r e g    拡散度合＝時間経過＝ Gaussianフィルタの標準偏差

エッジ保存フィルタ：非線形拡散

 GradientのDivergenceはLaplacian:

 非線形(異方性)フィルタ(Nonlinear Diffusion): 拡散係数c を異方的に考える＋エッジの大きさ(勾配強度)が大きい方向には平滑化しない.







div

))

,

(

)

,

(

div

c

I

t

I

t

,t)

I(

x

_

_



:

div

(c



I)

cは拡散係数(普通は位置(u,v)や輝度値I(u,v)に依存しない定数). 均一な拡散適応的拡散小:たくさん平滑化したい. 大:平滑化したくない (少ない平滑化). 小: Shin Yoshizawa: [email protected]

非線形拡散フィルタ2

 局所的に異方な拡散→全体で適応的拡散になる:

勾配：小: 大きく平滑化したい. 勾配：大: 平滑化したくない. 勾配：小: ©CG-ARTS協会

I



勾配：大: 勾配：小: Shin Yoshizawa: [email protected]

非線形拡散フィルタ３

 非線形拡散係数(関数)は例えば、

) σ x ( c(x) ₂ 2 2 exp   ₂ 1 1 αx c(x)   やをよく使う.

))

,

(

)

,

(

div

c

I

t

I

t

,t)

I(

x

_

_

_x

_

_x



alphaの変化

非線形拡散フィルタ３

 非線形(異方性)フィルタの離散化: 最も簡単な

前進差分の陽解法では…

2 1 1 I clm    

 

       _ _ 1 _ _ _ 1 1 1 1₍_, ₎ ₍_, ₎ 1 l ₍ ₍ _, ₎ ₍_, ₎₎ l m m n n lm n n _c _I _i _l _j _m _I _i _j C j i I j i I  ) , ( ) , (i l j m I i j I I      1  lm c もし又は(輝度値に依存しない)定数なら普通の拡散方程式.

 

       1 1 1 1 l l m m lm c C

))

,

(

)

,

(

div

c

I

t

I

t

,t)

I(

x

_

_



非線形拡散フィルタ４

入力画像非線形拡散alpha=0.1 非線形拡散alpha=0.005

(3)

非線形拡散フィルタ5

       t t I t I c t t I )), , ( ) ) , ( ( div( ) , ( x x x 非線形拡散alpha=0.1 非線形拡散alpha=0.005

 Anisotropic (Nonlinear) Diffusion: P. Perona and J. Malik, IEEE PAMI, 1990.

)), , ( ) ) , ( ( ( ) , ( 2 t I t I g div t t I x _ _ _x _ _x    ), , ( ) , ( _I _t t t Ix __ _x   2 2 2 2 2 1 ) ( a r a r e g    , ) ( |) (| ) ( new



   x y y y x g I d I 

 Total Variation: L. Rudin, S. Osher, and E. Fatemi, Physica D, 1992.



    Inew x dx g Inew x I x dx Inew 2 | ) ( ) ( * | 2 1 |) ) ( (| min arg    ) ( * )) ( ) ( * ( )) ( ) ( ) ) ( ( div( x x x x x x            I g I I g I I _new _new new new

 Linear Diffusion (Gaussianフィルタ): Gabor 1960.

画像処理での平滑化

Bilateralフィルタとは？

Input Bilateral Filter Gaussian Filter ) ( ) ) ( ) ( ( ) , (xy g Ix Iy g xy Z h , ) , ( / ) ( ) , ( ) ( new



 xy y y xy y x Z I d Z d I

Spatial-Tonal Normalized Convolution: ) ( ) , (xy g xy Z . ) ( 2 2 a r a r e g   _{Intensity (Tonal)}

Kernel Spatial _Kernel

エッジ特徴を保存する！ Shin Yoshizawa: [email protected]

Edge Intensity Kernelは、エッジの境界を跨いでの輝度値の平滑化を抑制する. ) ) ( ) ( ( ) , (xy g I x I y Z  _h  Intensity Kernel ) ( ) ) ( ) ( ( ) , (xy g I x I y g xy Z _h Spatial Kernel Intensity Kernel Spatial Kernelは、平滑化の影響を局所化する. 1 y x xy2 ) (x I ) (y2 I ) (y1 I ) , ( vu I v u, ) ( ) (xy1 I ) ( ) (xy2 I , ) , ( ) ( ) , ( ) ( new    y y x y y y x x d Z d I Z I () 2. 2 a r ar e g  

なぜエッジを保存するのか？

 目的に応じて二つのパラメータを調節: sigmaはGaussianフィルタや拡散方程式(微小時間×繰り返し回数)と同じ影響. ｈは保存したいエッジの大きさに依存.

Bilateralフィルタのパラメータ

Intensity parameter Spat ial par amet er ) ( ) ) ( ) ( ( ) , (xy g I xIy g xy Z h h / 

_h



Bilateral Gaussian

Input

Bilateralフィルタ

©CG-ARTS協会

 数回適用が

良い結果：

hは平滑化したい部分の輝度値の標準偏差の0.5～2.0倍程度をよく使う. ) ( ) ) ( ) ( ( ) , (xy g IxIy g xy Z h

(4)

Bilateralフィルタ2

Bilateralフィルタ3

Color Bleeding

多次元(Color)のフィルタで、RGB各色チェンネル毎に異なるパラメータで処理すると、カラーが混ざってしまう. - RGB毎に同じパラメータでフィルタを適用する. - カラーの勾配を用いる＝距離をカラー空間で測る. ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( y x y x y x y x B B G G R R I I      ) ( ) ( ) ( ) ( x x x x B G R I      入力画像カラー非線形拡散 RGBチェンネル毎非線形拡散 RGBチャンネル毎 Bilateralフィルタカラー Bilateralフィルタ ↓色が混ざって緑が出現. v u, ) (x I I(y2) ) , ( vu I ) (y1 I )) , ( (Distance ) , ( g X Y Z xy  h Similarity Kernel X 1 Y 2 Y Similarity Kernelは、パターンの境界を跨いでの輝度値の平滑を抑制する. 1 y 2 y 1 y x Pattern Pattern Pattern 1 Y X 2 Y x 1 y 2 y 3 y , ) , ( ) ( ) , ( ) ( new    y y x y y y x x d Z d I Z I . ) ( 2 2 a r ar e g   Non-Local (NL-) Meansフィルタ: A. Buades, B. Coll, and J.-M. Morel, 2004.



     l d I I g D(x,y) (t) (x t) (y t)2 t 相互相関(Gaussian Cross-Correlation) ), ) , ( ( )) , ( (Distance ) , ( 2 1 y x D g Y X g Zxy  h  h 重みは局所画像の相似度：Similarity Kernel

パターン保存フィルタ(NL-Means)

相似度？: Bilateral vs. NL-Mean

) (x I ) (y2 I ) (y1 I ) , ( vu I v u, 1 y x xy2 ) ( ) (xy1 I ) ( ) (xy2 I Non-Local Meansフィルタ ), ( )) , ( ( ) , (xy g Dxy g xy Z h Bilateralフィルタ ), ) , ( ( ) , ( 2 1 y x y x g D Z  h ) ( ) ( ) , (xy I x Iy D   D₍x_,y₎

_

g ₍t₎I₍xt₎I₍yt₎2dt 

二つの画素の

輝度値間(距離)

テクスチャーの距離

) (x I ) (y2 I ) , ( vu I v u, t ) (y1 I

E. Bennett and L.McMillan, 2005. Video Enhancement (3D Image): A. Buades et al. 2004～. S. Yoshizawa et al. 2006. 3D Mesh Smoothing: 2D Image Denoising: O. Schall et al. 2006. Time-Varying Range Images Filter:

ビデオや３次元形状(Mesh)への拡張

(5)

計測・観察によって得られるデータは通常ノイズを含む. 加算性白色ガウスノイズは自然界の雑音を良く近似する. 最小二乗的に最適なノイズ除去法はWiener Filter. 理想フィルタは原信号のパワースペクトルが必要… 複雑な計測・観察データでは実用上「平滑化法」.

復習：ノイズ

Signal-to-Noise Ratio (SN比)



ノイズと元信号の比：

-

小さい＝ノイズが多い.

-

大きい=ノイズが少ない.

n

f

g

I

 *



Statistical Analysis of Signal-to-Noise Ratio

)

(

)

(

_x

noisy

_I

smoothed

_x

I



 Method Noise:入力から出力を引いた画像. 特徴が出ていれば使ったFilterがノイズのみでなく，入力画像の特徴を消している．Signal-to-Noise Ratioの空間表現.

Gaussian Median Yaroslavsky Bilateral NL-Means Input

Method Noise

様々なノイズ除去法の比較



Wiener Filters, Wavelet thresholds.



Gaussian, Anisotropic, Total Variations.

NL-Mean

NL-Mean Noisy Input Gaussian Anisotropic TV1 TV2 TV3

Fourier-Wiener

DCT-Wiener Wavelet Hard Wavelet Soft

Translation invariant Wavelet hard Noisy Input



Method Noise:

I

(

x

)



I

new

(

x

)

NL-Mean Original Gaussian Anisotropic TV1 TV2 TV3

Neighborhood Wavelet _Soft Wavelet _Hard _Wiener DCT-Shin Yoshizawa: [email protected]

様々なノイズ除去法の比較２

演習: エッジ保存フィルタ

www.riken.jp/brict/Yoshizawa/Lectures/index.html www.riken.jp/brict/Yoshizawa/Lectures/Lec18.pdf

www.riken.jp/brict/Yoshizawa/Lectures/Ex12.zip

↑はReport06の内容です。

前回・前々回(Lec16.pdf, Lec17.pdf)の演

習が出来ていない人はそちらを先にやりま

しょう！

演習18-1: 非線形拡散方程式によるエッジ保存フィルタの作成. 演習18-2: Bilateralフィルタの作成.

(6)

演習１8－1

非線形拡散方程式によるエッジ保存平滑化フィルタの作成: Ex12.zip内のNonlinearDiffusionColor.cxxの中にあるコメントに従ってフィルタを作成しましょう. 微小時間epsilon=0.25、エッジの重みalphaは0.1と0.01で繰り返し10,50,100で実行してみましょう(6種類). 2 1 1 c I     非線形拡散alpha=0.1, 100回非線形拡散alpha=0.01, 100回

演習１8－2

Bilateralフィルタの作成: Ex12.zip内ColorBilateralFilter.cxx の中にあるコメントに従ってフィルタを作成しましょう. Spatial Kernelの標準偏差sigma=10.0、25.0、Intensity Kernelの標準偏差h=1.0×(画像全体のグレースケールの標準偏差)を0.1、0.2、0.5と、畳み込み半径10で実行してみましょう(6種類). sigma=10.0 h=0.15 sigma=10.0 h=0.5

来週の予定