05空間フィルタリングpdf 映像メディア工学2017 ヒューマンコンピュータインタラクション研究室 05空間フィルタリング

(1)

空間フィルタリング

（ ₂₀₁₇ 年 ₁₁ 月 ₂₀ 日）

浅井紀久夫

1

(2)

本日のポイント

• ^平滑化

• ^{エッジの保存}

• ^{エッジ抽出}

• ^鮮鋭化

教科書

空間フィルタリング

2

(3)

空間フィルタリング

• ^{画素ごとの濃淡変換}

– 出力画像の画素の値を計算するために、入力画像の対応する画素の値のみを用いる

• ^{領域に基づく濃淡変換}

– 出力画像の画素の値を計算するために、入力画

像の対応する画素とその周囲の画素を含めた領域内の画素を用いる

3

(4)

線形フィルタの計算

• ^出力画像(i, j)^{の位置の画素値}

50^×(-1)+50^×(-1)+50^×(-1)+50^×(-1)+100^×9 +100^×(-1)+120^×(-1)+120^×(-1)+120^×(-1)

=240

-1 -1 -1 積和演算 -1 9 -1 -1 -1 -1

50 50 50 50 100 100 120 120 120

240

フィルタ

入力画像

出力画像

(i, j)

4

(5)

線形フィルタ

• ^{入力画像を}f(i, j)^{、出力画像を}g(i, j)^{とするとき、} 次式により計算される

ただし、_{h(m, n)}はフィルタ係数を表す配列、

フィルタの大きさは_(2w+1)×_(2w+1)

∑ ∑

₌₋ ₌₋ ⁺ ⁺

= ^w

w n

w

w m

n m h n j

m i

f j

i

g( , ) ( , ) ( , )

5

(6)

平滑化

• ^{単純な平滑化}

• ^{重み付き平滑化}

• ^{特定方向の平滑化}

6

(7)

平滑化

• フィルタによって覆われる領域内の画素値の平均を求める

• 3^×3^画素、5^×5^画素

3^×3^画素

5^×5^画素

9 1

25 1

原画像

3^×3^画素

5^×5^画素

7

(8)

重み付き平滑化

• ^{加重平均フィルタ}

– 単純な平均ではなく、フィルタの原点（通常は中央）に近いほど大きな重みを付ける

3^×3^画素

5^×5^画素

16 1

16 2

16 1

16 2

16 4

16 2

16 1

16 2

16 1

256 1

256 4

256 6

256 4

256 1

256 4

256 16

256 24

256 16

256 4

256 6

256 24

256 36

256 24

256 4

256 16

256 24

256 16

256 4

256 1

256 4

256 6

256 4

256 1

8

(9)

ガウシアン・フィルタ

• 重みを、ガウス分布にする

– 平均化フィルタに比べ、見た目にあまり大きな違いはないものの、なめらかで自然な平滑化効果



−

= ²₂

exp 2 2

) 1

( _π_σ σ

x x h_g



₋ ₊

= ₂ ² ₂ ²

exp 2 2

) 1 ,

( _π_σ σ

y y x

x h_g

9

(10)

ガウス分布

• ^平均m^、分散_σ²が与えられれば、決まる分布

( )

 

  ₋

−

=

₂ ²

exp 2

2 ) 1

( _π _σ σ

m

x x

h

_g

前ページでは、_m=0だった 10

(11)

特定方向の平滑化

• 平滑化を特定の方向に限って行うフィルタ

– 一方向に流れるような効果

0 0 0 0

5 1

11

原画像フィルタ適用結果

(12)

単純な平滑化の問題点

• 平滑化により、画像に含まれるノイズなどの不要な濃淡変動を軽減

• 画像にもともとあるエッジも滑らかにする

• 画像中のエッジは保ちつつ、ノイズなどの細かな変動を平滑化したい

12

(13)

エッジを保存した平滑化

• ^{局所領域の選択}

• k^{最近隣平滑化フィルタ}

• バイラテラル・フィルタ

• ^{メディアン・フィルタ}

13

(14)

局所領域の選択

• 平滑化を行う領域を選択し、エッジを含まな

い領域のみ平均を行う

9通りの局所領域の中から、画素値

の分散が最小になる領域を選び、その領域の平均値を出力とする。

欠点：計算量が多い

フィルタの原点

（エッジが含まれる領域では、分散が大きくなる）

14

(15)

k ^{最近隣平滑化フィルタ}

• 注目画素の画素値に対し、注目画素の近傍領域中で近い値を持つ画素を、一定個数選び出し、その選ばれた画素の画素値の平均値を出力とする

– N^×N^{画素の中から、}k^{個選び出す}

– 局所領域の選択と似ているが、直接的にエッジを考慮しているわけではない

フィルタの原点 ₁₅

(16)

バイラテラル・フィルタ

• 二つの重みを付けた平滑化

– 注目画素からの距離による重み（ガウシアン・フィルタ）

– 注目画素との画素値の差に応じて、ガウス分布に従う重み（差が大きければ、異なるものと判定）

原画像 ^{平滑化フィルタ}1^回 ^{平滑化フィルタ}²^回バイラテラル・フィルタ

16

(17)

メディアン・フィルタ

• 領域内の中央値（メディアン）を、出力とする

– n^×nの局所領域における画素値を小さい順に並べ、中央の画素値を注目画素に割り当てる

– ゴマ塩ノイズのようなスパイク状のノイズは軽減される

原画像（ごま塩ノイズ入り）平均化フィルタメディアンフィルタ

17

(18)

エッジ抽出

• 画像中で、明るさが急に変化するエッジ部分を取り出す

– ^{微分フィルタ}

– プリューウィット・フィルタ – ^{ソーベル・フィルタ}

– 2^{次微分フィルタ}

– ラプラシアン・フィルタ

18

(19)

微分フィルタ

• ^関数f(t)^の微分f’(t)^{は、以下のように定義}

• ^{ディジタル画像}

– 右辺は、注目画素とその隣接画素との差分で置き換えられる

h

t f h

t t f

f

h

) ( )

) ( (

'

_lim

0

−

= +

→

19

(20)

差分

• x^{方向の差分}

_f

_x

_′ ₌ _f ₍ _i ₊ ₁ _, _j ₎ ₋ _f ₍ _i _, _j ₎

) , 1 (

) ,

(i j f i j

f

f_x_′ ₌ ₋ ₋

0 0 0

0 -1 1

0 0 0

-1 1 0

0 0 0

0

0 0 0

2

− 1

2 1

注目画素と

右隣の画素との差 ^{左隣の画素との差}

半分ずれた位置の微分値を求めている

両方の微分値の平均を取る

20

(21)

微分フィルタの結果

横方向の微分（差分）を求めているため、画像の縦方向のエッジが強く出ている

縦方向の微分（差分）を求めているため、画像の横方向のエッジが強く出ている

原画像

21

(22)

勾配の大きさ

• 各画素における横方向の差分を_Δ

x^{f(i, j)}^、

縦方向の差分を_Δ

y^{f(i, j)}^{としたとき}

(_Δ_xf(i, j), _Δ_yf(i, j))

は、画素値の勾配を表す。勾配の大きさ

勾配の方向

2

2 ( ( , ))

)) ,

(

(_∆_x f i j ₊ _∆_y f i j )

, (

) , tan ¹ (

j i f

x y

∆

− ∆

方向に依存しないエッジの抽出が可能

22

(23)

微分フィルタの問題点

• 濃淡が急激に変化するエッジ部分を検出

• ノイズに対しても敏感に反応

• ノイズを抑えながら、エッジを抽出したい

横方向微分縦方向平滑化

入力画像出力画像

縦方向のエッジを検出

縦方向のエッジ

を残して、ノイズ低減

23

(24)

プリューウィット・フィルタ

• ^{微分と平滑化の組合せ}

– ^＞1つのフィルタを施すことと等価

0 0 0

-1 0 1

0 0 0

0 1 0

微分縦平滑化

-1 0 1

プリューウィット・フィルタ

24

(25)

ソーベル・フィルタ

• 縦方向の平滑化のときに、中央に重みをつける

0 0 0

-1 0 1

0 0 0

0 1 0

0 2 0

0 1 0

微分縦平滑化（重み付き）

-1 0 1

-2 0 2

-1 0 1

ソーベル・フィルタ

横方向のエッジ抽出（縦方向の微分）の場合も同様

25

(26)

微分フィルタとソーベル・フィルタ

の比較

原画像

微分フィルタ

ソーベル・フィルタ

26

(27)

ソーベル・フィルタの結果は、微分フィルタに比べて

ノイズが抑えられ、なめらかなエッジが抽出される傾向がある

27

(28)

キルシュ法

• エッジの方向別にテンプレートを用意

• 画像とそれぞれのテンプレートとの積和演算

• 最大値が得られたテンプレートの方向を、エッジの濃度が変化する方向とみなす

• その出力値をエッジの強度とする

5 5 5

-3 0 -3

-3 -3 -3

5 5 -3

5 0 -3

-3 -3 -3

5 -3 -3

5 0 -3

5 -3 -3

-3 -3 -3

5 0 -3

5 5 -3

-3 -3 -3

-3 0 -3

5 5 5

-3 -3 -3

-3 0 5

-3 5 5

-3 -3 5

-3 0 5

-3 -3 5

-3 5 5

-3 0 5

-3 -3 -3

28

(29)

キルシュ法の結果

原画像キルシュ法適用後

29

(30)

2 ^次微分

• 2^{次微分は、微分を}2^{回繰り返すこと}

• ディジタル画像：差分を₂回繰り返す

• 微分は、注目画素の右と左に半画素ずれた位置の差分値を求めている

• フィルタ出力の差を求めれば、注目画素位置の₂次微分を求めることになる

30

(31)

2 ^{次微分フィルタ}

• ^{差分の差分}

– ^＞１つの2次微分フィルタを施すことと等価

0 0 0

0 -1 1

0 0 0

-1 1 0

0 0 0

1^{次微分フィルタ} 1^{次微分フィルタ}

0 0 0

1 -2 1

0 0 0

２次微分フィルタ

31

(32)

差分の差分

• x^{方向の差分の差分}

• y^{方向の差分の差分}

{ } { }

) , 1 (

) , ( 2 )

, 1 (

) , 1 (

) , ( )

, ( )

, 1 (

j i

f j

i f j

i f

j i

f j

i f j

i f f_x

+ +

−

=

−

− +

′′=

{ } { }

) 1 ,

( )

, ( 2 )

1 ,

(

) 1 ,

( )

, ( )

1 ,

(

+ +

−

=

−

− +

′′ =

j i f j

i f j

i f

j i f j

i f j

i f f_y

32

(33)

ラプラシアン

• ^関数f(x,y)のラプラシアンは、次式で定義され

る

) , ( )

, ( )

,

( ₂

2 2

2

2 f x y

y y x x f

j i

f ⁼ ∂^∂ ⁺ ∂^∂

∇

横方向の₂次微分の結果と縦方向の₂次微分の結果を足し合わせる

33

(34)

ラプラシアン・フィルタ

0 0 0

1 -2 1

0 0 0

0 1 0

0 -2 0

0 1 0

横方向の₂次微分縦方向の₂次微分

0 1 0

1 -4 1

0 1 0

ラプラシアン・フィルタ

) 1 ,

( )

, 1 (

) , ( 4 )

, 1 (

) 1 ,

(

) ,

2 (

+ +

−

− +

−

=

+ ′′

= ′′

∇

j i f j

i f j

i f

f f

j i

f _x _y

34

(35)

エッジの ₂ 次微分

• エッジの位置をはさんで、プラスとマイナスの値が対になって現れる

エッジ位置の両側に、プラスの値とマイナスの値が対になっている

画素値

入力画像

1^次微分

2^次微分

35

(36)

ラプラシアン・フィルタの結果

• 方向に依存しないエッジが直接得られる

ラプラシアンは微分を繰り返すことになるため、

ノイズを強調してしまう ₃₆

(37)

ガウス分布関数のラプラシアン

• ガウシアン・フィルタをかけて平滑化を行った後、ラプラシアン・フィルタを施す

– ^{ノイズの低減}

• LOG^{フィルタ（}Laplacian Of Gaussian^）



₋ ₊

−

= ² + ² ₆ ² ² ₂ ²

log 2 ^exp 2

) 2 ,

( πσ ^σ σ

y x

y y x

x h

37

(38)

LOG ^{フィルタの近似結果}

σの値を適当に調整することにより、画像から抽出する対象の構造の細かさを選択することができる ³⁸

(39)

鮮鋭化

• 元の画像の濃淡を残したまま、エッジを強調する

– ^{鮮鋭化フィルタ}

– ^{鮮鋭化の程度の制御}

39

(40)

鮮鋭化

• ^鮮鋭化

– エッジが強調された画像

– エッジ部分の両側で、明るい（画素値が大きい）

部分はより明るく、暗い（画素値が小さい）部分はより暗くなり、かつエッジの傾斜が急になる

40

(41)

鮮鋭化フィルタ

• 入力画像をそのまま出力する（何もしない）フィルタから、ラプラシアン・フィルタを引き算する

0 0 0

0 1 0

0 0 0

0 1 0

1 -4 1

0 1 0

何もしないフィルタラプラシアン・フィルタ

0 -1 0 -1 5 -1

0 -1 0

鮮鋭化フィルタ

41

(42)

鮮鋭化フィルタ（変形版）

• ラプラシアン・フィルタ（変形版）を引き算する

0 0 0

0 1 0

0 0 0

0 1 0

1 -8 1

0 1 0

何もしないフィルタラプラシアン・フィルタ（変形版）

0 -1 0 -1 9 -1

0 -1 0 鮮鋭化フィルタ

原画像鮮鋭化フィルタ

42

(43)

鮮鋭化の程度の制御

• ^鮮鋭化

– 入力画像からラプラシアン・フィルタの出力画像を引く

• ^{鮮鋭化の程度を変える}

– ^{定数培する倍率を}k (k>0)

– kの値が大きくなると、鮮鋭化の度合いが増す

0 -k 0

-k 1+4k -k

0 -k 0

-k -k -k

-k 1+8k -k

-k -k -k ⁴³

(44)

オペレータ

• このような格子状の数値の並び

– ^{オペレータ、マスク}

• このフィルタ処理は、畳み込みによるフィルタ処理と本質的に同じ

– オペレータはインパルス応答に対応する

– インパルス応答とオペレータは、互いに行列を 180^{°回転させた関係}

44

(45)

課題の予定

• 11^月20^日 ^通常授業

• 11^月21^日 ^補講

• 12^月18^日 ^{課題の提案}

– どんな作品、あるいは機能とするのか、概要を一枚物レポートとして提出

– ^必要事項

^{名前、学籍番号}

^タイトル

概要（ポイントは何か、面白いところはどこか、どの手法を使って、どういう手順で進めるのか）

• 1^月22^日 ^{課題の提出}

45

(46)

課題例

• ^{写真と実物との合成}

• ^{立体写真でも}OK

– でも、ディスプレイがない

名前：高専太郎番号：₀₀₀₀

タイトル：た、立った！概要

ポイント：₁つのカメラで撮影した写真に、画像処理を施す

面白いところ：フィギュア（本物）と実写（パソコンに提示）の融合において、照明効果を考慮する

手法：デジカメを使って素材を取得し、画像処理ツールで輝度や色を修正する。実写と実物が違和感なく見えるようにする。手順：フィギュアを用意、背景画像を設定、デジカメで撮影、画像処理ツールで編集、調整

原理図など

SD^ガンダム

(47)

講義ノート

• ^以下のURL^{から取得できる}

– https://sites.google.com/site/asaizlaboratory/ imagemedia2017

47

05空間フィルタリングpdf 映像メディア工学2017 ヒューマンコンピュータインタラクション研究室 05空間フィルタリング

空間フィルタリング

（ 2017 年 11 月 20 日）

本日のポイント

空間フィルタリング

線形フィルタの計算

線形フィルタ

∑ ∑

平滑化

平滑化

重み付き平滑化

ガウシアン・フィルタ

ガウス分布

( )

 

  −

−

=

exp 2

2

) 1

( π σ σ

m

x x

h

特定方向の平滑化

単純な平滑化の問題点

エッジを保存した平滑化

局所領域の選択

k 最近隣平滑化フィルタ

バイラテラル・フィルタ

メディアン・フィルタ

エッジ抽出

微分フィルタ

lim

差分

f

′ = f ( i + 1 , j ) − f ( i , j )

微分フィルタの結果

勾配の大きさ

微分フィルタの問題点

プリューウィット・フィルタ

ソーベル・フィルタ

微分フィルタとソーベル・フィルタ

の比較

キルシュ法

キルシュ法の結果

2 次微分

2 次微分フィルタ

差分の差分

{ } { }

{ } { }

ラプラシアン

ラプラシアン・フィルタ

エッジの 2 次微分

ラプラシアン・フィルタの結果

ガウス分布関数のラプラシアン

LOG フィルタの近似結果

鮮鋭化

鮮鋭化

鮮鋭化フィルタ

鮮鋭化フィルタ（変形版）

鮮鋭化の程度の制御

オペレータ

課題の予定

課題例

講義ノート

（ ₂₀₁₇ 年 ₁₁ 月 ₂₀ 日）

  ₋

( _π _σ σ

k ^{最近隣平滑化フィルタ}

_lim

_f

_′ ₌ _f ₍ _i ₊ ₁ _, _j ₎ ₋ _f ₍ _i _, _j ₎

2 ^次微分

2 ^{次微分フィルタ}

エッジの ₂ 次微分

LOG ^{フィルタの近似結果}