フーリエ変換　３

画像のフィルタリング処理

講義内容

実空間フィルタリング

平滑化(LPF)

エッジ強調(HPF)

Laplacian of Gaussian (LOG)フィルタ(BPF)

周波数空間フィルタリング ＬＰＦ，ＨＰＦ，ＢＰＦ 周波数選択的フィルタ 線形シフトインバリアントシステムと劣化画像復元 線形システム 劣化画像の復元

ノイズ除去（１）平滑化処理

－１次元－

・ノイズは減少 ・波形はなまる ５つの値の平均値で置き換えていく 1/5 1/5 1/5 1/5 1/5 * ・・・ ５点の平滑化の場合 ) (x g 35 15 21 12 27 42 29 45 49 19 処理後 x 処理前 ノイズフリーの 連続信号 45 38 15 ₁₄ 12 17 50 19 46 49 ) (x f x Kernel

∑

− = + + + − − + + + + = = 2 2 2 1 1 2 5 1 ) ( 5 1 i i n n n n n n n f f f f f f g

デジタル画像に対するコンボリューション処理

k1 原画像 １画素ずつずら しながら処理 コンボリューショ ン核 (kernel) k2 k3 k4 k5 k6 k7 k8 k9 f1 f2 f3 f4 f5 f6 f7 f8 f9 9 9 2 2 1 1 5 k f k f k f g = + ++ 処理画像 対応する画素ごとに積をとり， 最後に和をとって処理画像の 対応する位置に入れていく

ノイズ除去（１）平滑化処理 － ２次元－

コンボリューション核 (kernel) k1 k2 k3 k4 k5 k6 k7 k8 k9 × 9 1 1 1 1 1 1 1 1 1 1 このエリアの平均値を用いる ３×３の平滑化の場合

エッジ強調 －１次元－

エッジやノイズを強調 処理後 ノイズフリーの 連続信号 31 26 -21 5 28 -1 ) (x g x -1 0 1 1 -1 * 1 1 − + − = _{n n} n f f g 差分フィルタ：近傍領域の差分値で置き換えていく方法 処理前 ノイズフリーの 連続信号 45 38 15 ₁₄ 12 17 50 19 46 49 ) (x f x Kernel

エッジ強調 －１次元－

差分フィルタ：近傍領域の差分値で置き換えていく方法 エッジやノイズを強調 処理後 5 3 3 26 -1 ) (x g x -1 1 0 -4 3 * 1 − − = _{n n} n f f g 23 -24 2 処理前 ノイズフリーの 連続信号 45 38 15 ₁₄ 12 17 50 19 46 49 ) (x f x Kernel

エッジ強調 －１次元－

差分フィルタ：近傍領域の差分値で置き換えていく方法 エッジやノイズを強調 処理後 5 3 3 26 -1 ) (x g x -1 1 0 -4 3 * 1 − − = _{n n} n f f g 23 -24 2 処理前 ノイズフリーの 連続信号 45 38 15 ₁₄ 12 17 50 19 46 49 ) (x f x Kernel

エッジ強調－１次元－ ラプラシアンフィルタ

差分フィルタ：近傍領域の２階微分（ラプラシアン）で置き換えていく方法 処理後 ) (x g x 処理前 ノイズフリーの 連続信号 45 38 15 ₁₄ 12 17 50 19 46 49 ) (x f x n n n n n n n n f f f f f f f g 2 ) ( ) ( 1 1 1 1 − + = − − − = − + − + Kernelは？

ノイズ除去－１次元－ メディアンフィルタ

差分フィルタ：近傍領域の中央値(メディアン）で置き換えていく方法 処理後 ) (x g x } , , , , { _{−2 −1 +1 +2} = _{n n n n n} n median f f f f f g 処理前 ノイズフリーの 連続信号 45 38 15 ₁₄ 12 17 50 19 46 49 ) (x f x 注：この処理は線形演算ではなく，コンボリューション処理とは呼ばない

ノイズ除去－１次元－ メディアンフィルタ

差分フィルタ：近傍領域の中央値(メディアン）で置き換えていく方法 処理後 ) (x g x } , , , , { _{−2 −1 +1 +2} = _{n n n n n} n median f f f f f g 処理前 ノイズフリーの 連続信号 45 38 15 ₁₄ 12 17 50 19 46 49 ) (x f x 注：この処理は線形演算ではなく，コンボリューション処理とは呼ばない 15 17 19 19 45 46

0 1 0 1 -4 1 0 1 0

エッジ強調フィルタ －２次元－

Sobel filter Laplacian filter -1 0 1 -2 0 2 -1 0 1 中央と周辺との差分 f1 f2 f3 f4 f5 f6 f7 f8 f9 ) ( ) ( f₈ − f₅ − f₅ − f₂ y方向の2回差分 x方向の2回差分 ( f6 − f5) −( f5 − f4) x y x y ｘ方向には差分 ｙ方向には平滑化

Laplacian of Gaussian (LoG) フィルタ

１次元信号に対するLOG処理の 模式的説明 原信号 Gaussianを コンボシュー ション 1次微分 さらに微分 （計２次微分） ぼかし処理により ノイズが低減する エッジの立上がり， や立下りが，山や 谷になる． エッジの山や谷 が０近辺の値に なる． ⇒ ゼロクロス法を使って検出すればよい 1 -1 1 -1 1 -2 1 参考：ラプラシ アン演算子

3x3 kernel 5x5 kernel 7x7 kernel Kernel:           1 1 1 1 1 2      n n n オリジナル画像

0 5 10 15 0 5 10 15 0 0.02 0.04 0.06 0.08 0.1 0.12 0.14 0.16 Sigma = 1 オリジナル画像 フィルタ処理画像

0 5 10 15 0 5 10 15 0 0.002 0.004 0.006 0.008 0.01 0.012 0.014 0.016 0.018 0.02 0 5 10 15 0 5 10 15 0 0.005 0.01 0.015 0.02 0.025 0.03 0.035 0.04 Sigma = 2 Sigma = 3 _{フィルタ処理画像} フィルタ処理画像

Laplacianフィルタ

オリジナル画像 フィルタ処理画像

（フィルタ処理の後，負の値も発生する． 画像として表示するために，値が０から２５５ の範囲になるような階調変換を行っている）

Gaussian Kernel size: 7x7 ＬＯＧフィルタ後画像 オリジナル画像 エッジ画像（ゼロクロス法） オリジナル画像＋エッジ画像（赤）

Gaussian Kernel size:

13x13

ＬＯＧフィルタ後画像

0 5 10 15 20 0 5 10 15 20 -4 -3.5 -3 -2.5 -2 -1.5 -1 -0.5 0 0.5 1 x 10-3 Gaussian Kernel size: 19x19 ＬＯＧフィルタ後画像 エッジ画像（ゼロクロス法） オリジナル画像＋エッジ画像（赤）

-1 -1 -1 0 0 0 1 1 1 y -1 0 1 -1 0 1 -1 0 1 y オリジナル画像 水平方向のエッジ強調画像 垂直方向のエッジ強調画像 ２方向強調画像を用いたエッジ抽出

２次元フーリエ変換 講義内容

空間周波数の概念

２次元フーリエ変換

代表的な２次元フーリエ変換対

２次元離散フーリエ変換

画像のフィルタリング処理

講義内容 実空間フィルタリング 平滑化(LPF) エッジ強調(HPF) Laplacian of Gaussian(LOG)フィルタ(BPF) 周波数空間フィルタリング ＬＰＦ，ＨＰＦ，ＢＰＦ 周波数選択的フィルタ 線形シフトインバリアントシステムと劣化画像復元 線形システム 劣化画像の復元 ＭＡＴＬＡＢを用いたデモ

フーリエ面での処理

周波数成分に対する自在なフィルタリングが可能 LPF，BPF,HPF, 部分的なフィルタ （特定周波数成分の除去，周期構造をもつノイズの除去） Wiener フィルタ （周波数ごとのSN比を考慮した復元フィルタ） 処理の流れ 特徴 フーリエ変換 フーリエ スペクトル フィルタ 演算 処理画像 原画像 フーリエ逆変換 ) , (x y f F( vu, ) ) , ( ) , ( ) , ( v u H v u F v u G = ) , (x y g 例

コンボリューション定理

) , ( * ) , ( ) , (x y f x y h x y g = G(u,v) = F(u,v)⋅ H(u,v) 実空間 フーリエ空間 コンボリューション 積 ) , (x y f ) , (x y h ) , (x y g ) , ( ) , ( ) , (x y f x y h x y g = ⋅ G(u,v) = F(u,v)*H(u,v) 積 コンボリューション ) , ( vu F ) , ( vu H ) , ( vu G

処理の等価性

Fourier Transform pair _フーリエ

スペクトル F(u,v) フィルタ H(u,v) 処理画像 g(x,y) フィルタ 演算 G(u,v) 原画像 f(x,y) コンボリュ ーション核 h(x,y)

Fourier Transform pair

平滑化フィルタ

× 9 1 1 1 1 1 1 1 1 1 1 実空間でのフィルタ （コンボリューション核） 空間周波数フィルタ u v （フィルタ特性の絶対値をとって表示） u v

0 10 20 30 40 50 60 70 -0.4 -0.2 0 0.2 0.4 0.6 0.8 1

Width = 3 Width = 5 Width = 7

Frequency M od ul at ion Averaging filter

平滑化フィルタの周波数特性

Low pass filter

Width=3 Width=5

Laplacianフィルタ

空間周波数フィルタ u v 0 − α 0 − α 4 − α 0 −α 0 実空間でのフィルタ （コンボリューション核） 1 = α u v

ラプラシアンフィルタの周波数特性

0 10 20 30 40 50 60 0 0.5 1 1.5 2 2.5 3 3.5 4 alpha = 1 alpha = 0.5 alpha = 0.25 Frequency M od ul at ion Laplacian filter

Sobel フィルタ

空間周波数フィルタ u v -1 0 1 -2 0 2 -1 0 1 実空間でのフィルタ （コンボリューション核） x y u v

0 10 20 30 40 50 60 70 0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1

sigma = 1 sigma = 2 sigma = 3

Frequency M od ul at ion

Laplacian of Gaussian filter

LOGフィルタの周波数特性

Band pass filter

空間周波数フィルタとコンボリューション核の例

空間周波数フィルタ Sharp-cut LPF フーリエ空間 コンボリューション核 実空間 u v x y

周期性のあるノイズの低減

周波数空間の一部にノイ ズのパワーが集中してい るようなとき オリジナル画像 スペクトル画像 ノイズパターン 処理画像 Digital Image Processing, R. C. Gonzalez and R. E. Woodsから引用 ) , (x y f F( vu, ) )} , ( ) , ( { ) , (x y 1 H u v G u v p = ℑ− _fˆ_{(x,y) = g(x,y)−w(x,y)p(x,y)} 重みw(x,y)は(x,y)の近 傍で推定画像の分散が 最小になるように決定．

画像のフィルタリング処理

講義内容 実空間フィルタリング 平滑化(LPF) エッジ強調(HPF) Laplacian of Gaussian(LOG)フィルタ(BPF) 周波数空間フィルタリング ＬＰＦ，ＨＰＦ，ＢＰＦ 周波数選択的フィルタ 線形シフトインバリアントシステムと劣化画像復元 線形システム 劣化画像の復元 ＭＡＴＬＡＢを用いたデモ

x x Linear, time-invariant system In Out ディラックのデルタ関数 ：インパルス関数 デルタ関数入力に対する応答：_{インパルス応答} x 入力信号 x 出力信号 τ _x 0 0 出力信号は入力信号と インパルス応答との コンボリューションで 表される．

線形時不変システム

また線形シフトインバリアントシステム ) (x h ) (x δ ) (x f g(x) x ) ( * ) ( ) ( ) ( ) ( x f x h d f x h x g = − =

∫

∞ ∞ − τ τ τ

シフトインバリアント：インパルス応答が，シフトによらないこと． x 0 ) (x h x 0 ) (x h

シフトインバリアントシステム

) (x a h − a ) (x a h − ≠ a シフトインバリアント シフトバリアント ２次元（画像）の場合 インパルス応答＝点光源に対するレンズによる像

（点像分布関数point spread functionとよぶ） レンズ 物体面 _像面 f x y( , ) = δ( , )x y g x y( , ) = h x y( , ) シフトインバリアント シフトバリアント レンズ 物体面 _像面 PSFが場所によって 異なる場合

線形システム：重ね合わせの原理が成り立つこと )} ( { )} ( { )} ( ) ( { ) ( )} ( { ) ( ) ( ) ( 2 2 1 1 2 2 1 1 x f S a x f S a x f a x f a S x g x f S x g x g x f + = = + = ことである． 以下の関係が成り立つ あるとは， このシステムが線形で に定義する． システムを以下のよう を出力する に対して， 入力

線形システム

x 入力信号 ) (x f x 出力信号 τ x ) (x g  + − + − + = ( ) ( ) ( 2 ) ) (x f₀ x f₁ x d f₂ x d f δ δ δ  ) 2 ( )} 2 ( { ) ( )} ( { ) ( )} ( { 2 2 1 1 0 0 d x h f d x f S d x h f d x f S x h f x f S − = −− = − = δδ δ  + − + − + = ( ) ( ) ( 2 ) ) (x f₀h x f₁h x d f₂h x d g 入力関数： 出力関数： 0 … 0 f 1 f 2 f

入力信号のスペクトル： 出力信号のスペクトル： ：伝達関数 Transfer function コンボリューション 掛け算 F u( ) u H u( ) u G u( ) u × 実空間 フーリエ空間 G u( ) = H u F u( ) ( ) H u G u F u ( ) ( ) ( ) = = output Input ) ( * ) ( ) ( ) ( ) ( x f x h d f x h x g = − =

∫

∞ ∞ − τ τ τ

周波数空間で考える

∫

−∞∞ − = f x j ux dx u F( ) ( )exp( 2π )

[

]

) ( ) ( ) 2 exp( ) ( ) ( ) 2 exp( ) ( ) ( u F u H dx ux j d f x h dx ux j x g u G = − − = − =

∫ ∫

∫

∞ ∞ − ∞ ∞ − ∞ ∞ − π τ τ τ π ∗ ) (x h x x x ) (x f ) (x g インパル ス応答

Wiener Filter

劣化画像の復元などに用いられる ) , (x y f ) , ( ) , ( ) , ( ) , (u v F u v H u v N u v G = + ) , ( ) , ( ) , ( ) , (x y f x y h x y n x y g = ∗ + ) , (x y h 理想画像： 劣化の点像分布関数： 劣化画像： ) , ( 1 v u H ) , ( / ) , ( ) , ( 1 v u P v u P v u H + _{N S} u ) (u H u ) (u F Inverse filter: Wiener filter: u u × ノイズパワー 信号パワー 0 0 フーリエ変換は： ) , ( / ) , ( ) , ( ) , ( / ) , ( v u H v u N v u F v u H v u G + = 左辺（取得データ）GをHで割ると、