参考書 (1) 中村, 山本, 吉田 : ウェーブレットによる信号処理と画像処理, 共立出版 応用の紹介とプログラムリストが中心, 理論的背景はほとんどなし 意味不明の比喩を多用 各時代 各国別に美女を探すのが窓フーリエ変換である 応用テーマ : 不連続信号検出, 相関の検出, ノイズ除去, 画像デ

1

Wavelet 変換

伊藤　彰則

2

参考書 (1)

● 中村，山本，吉田：「ウェーブレットによる信号 処理と画像処理」，共立出版 ● 応用の紹介とプログラムリストが中心，理論的背景はほとんどなし ● 意味不明の比喩を多用「各時代・各国別に美女を探すのが窓フーリ エ変換である」 ● 応用テーマ：不連続信号検出，相関の検出，ノイズ除去，画像デー タ圧縮，劣化画像復元 ● 芦野，山本：「ウェーブレット解析－誕生・発 展・応用」，共立出版 ● 理論編と応用編に分かれている．比較的わかりやすい ● Daubechies と Meyer のウェーブレットが中心，その他の紹介はあ まりない ● 応用テーマ：不連続信号検出，相関の検出，データ操作

3

参考書 (2)

● 新井：「ウェーブレット解析の基礎理論」森北出 版 ● 前半が理論，後半が応用だが理論的背景は薄い ● 理論を飛ばして読む目的には良いが，理論をこれだけで理解する のは難しい ● 対象ウェーブレットを幅広く扱っている ● 応用編はプログラムリストつき ● 応用テーマ：エッジ抽出，データ圧縮，積分方程式の数値解法 ● C.K.Chui, 桜井・新井訳：「ウェーブレット入 門」，東京電機大学出版局 ● 理論のみ，応用事例なし ● 理論を概観する章がある．証明抜きで全体像をつかむには良い ● 扱うのはほとんどスプラインウェーブレット．

4

参考書 (3)

● 前田，佐野，貴家，原：「ウェーブレット変換と その応用」，朝倉書店 ● 前半が理論，後半が応用 ● 厳密な理論展開は省略，最小限の証明 ● 積分 Wavelet 変換についてちょっと詳しい

● 扱う Wavelet は Haar ， MexicanHat,Poisson など ● 応用テーマ：レーダー，システム同定，雑音抑圧 ● B.B.Hubbard, 山田・西野訳：「ウェーブレット 入門」，朝倉書店 ● インタビューにもとづくウェーブレット発見の物語 ● 誰がどういう経緯で何を発見したのかが書いてある ● 著者は数学者ではない ● 数学的記述を全く見ないで読むことも可能

5

Wavelet の仲間たち

Fourier 変換 窓 Fourier 変換 窓関 数 窓関数の一般化 時間－周波数依存性 連続 Wavelet 変換 関 数 展 開 Fourier 展開 関 数 展 開 離散 Wavelet 変換 多重解像度解析 スケーリング関数 高速 Wavelet 変換 (Mallat アルゴリズム） ツースケール関係 Gabor Wavelet Daubechies Wavelet 共役ミラーフィルタ (QMF) 離散入力 z 変換 離散入力

6

フーリエ変換

● 無限に長い波形からスペクトルを計算する – フーリエ変換 – フーリエ逆変換

f =

∫

−∞ ∞

f

_{ xe}

−i  x

dx

f

_{ x=}

∫

−∞ ∞

f xe

i_{ x}

d

_

7

時系列の解析

● 時間とともにスペクトルが変化する場合？ – 上記の例ではだんだん周波数が上がっている ● 全体を解析したのでは「だんだん上がる」という 分析は不可能

8

窓フーリエ変換

● 信号に窓関数をかけてフーリエ変換 – 窓関数をずらすことで時間変化を調べる F _{t ,=}

∫

−∞ ∞ f _{ x w x−t e}−i  x dx =

∫

−∞ ∞ f _{ x ,t xdx}

9

時間ー周波数分析

● 窓関数をずらすことでスペクトルの時間変化

10

スペクトログラム

● スペクトルの強度を濃淡で表示

t

11

窓関数

● 信号を時間的に切り取る関数 – 時間 t が大きいところ、小さいところでは０に なるのが望ましい（コンパクト台） w_{ x =e} −t2 2 wx=

{

1 −1t1 0 otherwise wx=

{

121cost −1t1 0 otherwise wx=

{

0.540.46cos t −1t1 0 otherwise

12

窓関数

● 窓関数の条件 ● 窓関数の中心と幅

∫

−∞ ∞ ∣x w  x∣dx∞ ∣∣w∣∣2=

∫

_−∞∞ ∣w x∣2dx x∗₌ 1 ∣∣w∣∣2

∫

−∞ ∞ x_{∣w  x∣}2dx 1 ∣∣w∣∣2∫−∞ ∞  x− x∗2lline w  x  w=¿2dx ¿

13

窓フーリエ変換の不確定性

● 窓が長いほうがスペクトルの解像度が上がる – 接近した 2 つの周波数成分の区別が可能に ● 窓が短いほうが時間の解像度が上がる – 周波数の細かい時間変化を捉えることができる ● 窓関数の時間幅 × 周波数幅＜定数 （デモプログラム）

14

窓関数で信号を解析する

● 窓関数 ψ を使った解析をしているとみなせる ● ガウス窓＋指数関数→ガボール (Gabor) 変換

F

_{t , =}

∫

_−∞∞

f

_{ x w  x−t e}

−i  x

dx

=

∫

_−∞∞

f

_{ x }

_{ ,t}

_{ x dx}

15

連続 Wavelet 変換

● 窓関数 (Wavelet) を使った変換 – a: 周波数の逆数に相当（ダイレーション） – b: 時間に相当（シフト） – p: アナライジングウェーブレット W _ f _{b ,a=} 1



a

∫

−∞ ∞ f _{ x}



x−b a



dx

16

Wavelet の条件

● 直流信号を解析してもバイアスがないこと ● 逆変換が存在すること

∫

−∞ ∞

 xdx=0

∫

−∞ ∞

∣

x

_∣

2 ∣x∣ dx= 1 2 C∞

17

連続 Wavelet 逆変換

● 次の式により逆変換が可能 – ただし f(x) は次の条件を満たす f _x= 2 C_

∫

0 ∞

[

∫

−∞ ∞ W _ f _{b ,a} 1



a 



x_−b a



db

]

da a2 f _{x∈L R}2_ すなわち

∫

−∞ ∞ ∣f _x∣2 dx_∞

18

アナライジングウェーブレットの例

● Haar wavelet

● Mexican hat wavelet

 x=

{

0 x_0 1 0_{≤ x0.5} −1 0.5≤ x1 0 1_x

 x=1− x

2

e

− x2 2

19

演習

● cos(kx) を Haar で Wavelet 変換してみよう ● こんな風になるはず

– 下の図では a は対数スケールであることに注意

20

連続 Wavelet 変換の特徴

● 低い周波数では窓幅が広く、高い周波数では 窓幅が狭い – 低い周波数に対しては高い周波数分解能 – 高い周波数に対しては高い時間分解能 （対数周波数領域での分解能が一定）

21

離散 Wavelet 変換

● 連続 Wavelet 変換 :1 変数→ 2 変数 ● 離散点の係数の総和で元の関数を表現 →離散 Wavelet 変換（ Wavelet 展開 ) W _ f _{b ,a=} 1



a

∫

−∞ ∞ f _x



x−b a



dx f _x=

∑

j=−∞ ∞

∑

k=−∞ ∞ W _ f _



k 2j , 1 2j



2 j/ 2 2 j x_−k =

∑

j=−∞ ∞

∑

k=−∞ ∞ W _ f _



k 2 j , 1 2j



 jkx ここは定数

22

Wavelet 展開係数

● 前式の定数の部分 ● 係数は連続 Wavelet 変換の離散点での値 c _{jk=W } f _



k 2j , 1 2j



f _x=

∑

j=−∞ ∞

∑

k=−∞ ∞ c _{jkjk x} とおくと

Wavelet

_展開係数

23

Wavelet 展開係数について注意

● a は周波数の逆数に比例 – a と b でのサンプル点 – 周波数 f=1/a と b でのサンプル点 低周波では 時間方向に粗く 周波数方向に細かい 高周波では 時間方向に細かく 周波数方向に粗い

24

Wavelet 基底関数 (1)

● Wavelet 展開は２次元の関数展開 ● 参考： – Taylor-McLaurin 展開 – Fourier 展開 ● は、 Wavelet 展開の基底関数 f _x=

∑

j=−∞ ∞

∑

k=−∞ ∞ c _{jkjk  x} f _x=

∑

k_=−∞ ∞ a_k xk f _{ x=}

∑

k=−∞ ∞ a_k e−ikx



jk

 x

25

Wavelet 基底関数 (2)

● 基底関数 – 「基底関数の無限和で（ある条件下の）任意の関数が表せる」 – これだけでは係数の一意性は保証されない ● 正規直交基底 – 正規直交基底を使うと関数を一意に展開できる – Haar 関数に基づく ψ_jkは最も簡単な正規直交基底 – 演習：上のことを証明せよ。

∫

−∞ ∞



jk

 x

j ' k '

 x dx=

jj '



kk '

∫

−∞ ∞ 2j/ 2_{H 2} j x_{−k 2} j '/ 2_{H 2} j ' x_{−k  dx= jj 'kk '}

26

多重解像度解析

27

多重解像度解析

● 各帯域幅で表される関数の集合間の関係 ● V 0 の正規直交基底 : スケーリング関数 ● 最も簡単なスケーリング関数 – 演習：上記のスケーリング関数が正規直交基底 であることを示せ。

⊂V

₋₂

⊂V

₋₁

⊂V

₀

⊂V

₁

⊂V

₂

⊂

f

_∈V

₀ f _x=

∑

k =−∞ ∞ c_{k  x−k} 



H

x=

{

1

0

≤x1

0 otherwise

O 1 1

28

スケーリング関数による関数の分

解

● 前述の　　　で表現される関数は？ – 任意の整数 について、 　　　ならば 「整数点でサンプリングされた関数」 k

k

_{≤ xk 1}

f

 x = f  k 



H

x

29

注意

● しばらくは、このスケーリング関数 (Haar の スケーリング関数 ) を使って話を進める – 簡単だから – ほかにもスケーリング関数はある – Wavelet との関係は？ Wavelet 関数 多重解像度解析 スケーリング関数 高速 Wavelet 変換 ＝特殊な条件での離散 Wavelet 変換 ツースケール関係 離散入力

30

スケーリング関数による

関数の分解

● この関数をスケーリング関数により分解 ●各時間の値だけを持つ関 数の重ねあわせで関数を 表現する ●もっと細かい関数を表現し たい場合は？ c_{−6H x6} c_{−5H x5} c_{−4 H  x4} c_{−3Hx3}

⋮

31

いろいろな細かさの

スケーリング関数

O 1 1 O 1 1 O 1 1



H

x



H

0.5x



H

2x

f

_x∈V

₋₁

f

_x∈V

₀

f

_x∈V

₁

32

スケーリング関数の合成

● 細かいスケーリング関数から粗いスケーリン グ関数を作ることができる ● Haar のスケーリング関数の場合  x=

∑

k=−∞ ∞ p_{k2x−k } H x=H2xH 2x−1 O 1 1

=

O 1 1 O 1 1

+

p_{0=1, p1=1 pk=0 k≠0, k≠1}

33

スケーリング関数の分解 (1)

● 　　と　　を合わせて　　　　を表現できる 　　　　　　　　　は作れるか？

 x  x

2x

 x∈V

1−V 0  x=

∑

−∞ ∞ q_{k2x−k}

V

₁

V

₀

W

₀

基底関数

_{2x−k}

基底関数 _{ x−k} 基底関数 _{x−k}

34

スケーリング関数の分解 (2)

●  x ,  x , 2x 　　　　　　　　 の関係式  x=

∑

−∞ ∞ q_{k2x−k}  x=

∑

−∞ ∞ p_{k  2x−k  ツースケール関係} (two-scale relation) Haar のスケーリング関数の場合  x =2x2x−1  x=2x −2x−1

 x

は Haar ウェーブレット関数

q

_k

_=−1

k

p

_1−k ただし これでいい事を証明してみよう

35

スケーリング関数の分解 (3)

● スケーリング関数　　　 を で表す ● Haar のスケーリング関数の場合

2x

 x ,  x 2x−l =1 2

{

_k

∑

_=−∞ ∞ g_{2k−l x−kh2k−l  x−k}

}

g

_−k

_{= p}

_k

h

_−k

_=q

_k _H 2x = 1 2

{

H xH  x

}

_H 2x−1 = 1 2

{

H x−H  x

}

36

注意点

● W 0の正規直交基底だけでは Wavelet とは言えな い – Wavelet になるためには他の条件も必要，例えば – スケーリング関数の分解･合成は離散 wavelet 変換と 深い関係がある！ – これからスケーリング関数を使った信号の分解･合 成について説明する

∫

−∞ ∞

∣

x

_∣

2 ∣x∣ dx= 1 2 C∞

37

信号の分解と再構成 (1)

● 信号（関数）

f

N

x∈V

N

f

_N

_{ x=}

∑

k_=−∞ ∞

c

_kN

_2

N

x

_−k

これを次のように分解する

f

_N−1

_{ x=}

∑

k_=−∞ ∞

c

_kN −1

_2

N−1

x

_{−k }

g

_N−1

_{ x=}

∑

k_=−∞ ∞

d

_kN−1

_{ 2}

N −1

x

_−k

f

_N

_{x= f}

_N−1

_xg

_N−1

_x

38

信号の分解と再構成 (2)

● の関係 – 分解 – 再合成

c

_N

, c

_N−1

, d

_N−1 c_kN−1₌1 2

∑

_l cl N g_2k−l d _kN−1₌ 1 2

∑

_l cl N h_2k−l c_kN₌

∑

l

{

c_lN−1 p_k−2ldlN−1q_k−2l

}

演習 _{: 上記の関係を導出せよ．}

39

信号の分解と再構成 (3)

● Haar のスケーリング関数の場合 – 分解 – 再構成 c_kN−1₌1 2 c2k N c_2kN _1 d _kN−1₌1 2 c2k N −c_2k1N  c_2kN−1_=ckN−1_dkN−1 c_2kN−1_1=ckN−1_−dkN−1 f _{N x=}∑ k c_kN _H2N x_−k 連続する _{2 点} の平均 連続する _{2 点} の差の半分 f _{N−1 x=}∑ k c_kN−1_{H 2}N−1 x_{−k } f N−1 x=∑ k d_kN−1_H2N−1 x_−k

40

離散 Wavelet 変換との関係 (1)

● 信号の分解を繰り返すと ... f _{N x= gN−1 x f N−1x} =g _N−1xg_N−2x f _N−2x =g N₋₁xg N₋₂xg N₋₃x f N₋₃ x

...

=g_N−1xg_N−2x⋯ g _{N− M} x f _N−M  x f_Nがバイアス（直流成分）を含まなければ f _{N x=}

∑

j_=−∞ N−1 g _jx=

∑

j_=−∞ N−1

∑

k d _kj _2 j x_−k

41

離散 Wavelet 変換との関係 (2)

信号の分解 離散 _{Wavelet 変換} f _{N x=}

∑

j=−∞ N−1

∑

k d_kj _2j x_−k f _{N x=}

∑

j_=−∞ N₋₁

∑

k



W _ f _N





k 2 j , 1 2 j



2 j_/2 2j x_−k 正規直交 Wavelet による展開係数は一意に決まるので d _kj₌



W _ f _N





k 2 j , 1 2 j



2 j_{/ 2} つまり f_Nに対しては 　　　スケーリング関数による分解＝離散 Wavelet 変換

42

高速 Wavelet 変換

● f Nについての離散 Wavelet 変換 ...f Nって？ – Haar のスケーリング関数の場合 : 「整数の 2-N倍の区間で定常な関数」 ● 離散点でサンプリングされた信号の場合 : その点を f Nとみなすことで分解が可能 ⇒高速 Wavelet 変換 　 (Mallat アルゴリズム ) （本当はそれではマズイ場合もあることには注意しておこう )

43

周波数領域で見た Wavelet

● ツースケール関係：時間領域 ● 周波数領域で見ると ? – 高次の φ_N ：広い周波数帯域⇔狭い台 – 低次の φ_N ：狭い周波数帯域⇔広い台 – ψ_N ： φ_N を補完する周波数特性 φ_N φ_{N+1 ψ} N

44

準備

● ツースケール関係 ● これらをフーリエ変換すると  x=

∑

−∞ ∞ q_{k2x−k}  x=

∑

−∞ ∞ p_{k  2x−k } =

_∑

k=−∞ ∞ ₁ 2 pk e −i  k 2 



 2



=m0



 2







 2



=

∑

k=−∞ ∞ ₁ 2 qk e −i  k 2 



 2



=m1



 2







 2



m_0=

∑

k=−∞ ∞ ₁ 2 pk e −i  k _m 1=

∑

k=−∞ ∞ ₁ 2 qk e −i k

45

Wavelet の周波数特性 (1)

=m₀



 2







 2



0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1 -15 -10 -5 0 5 10 15

∣

__H



 2



∣

2 =

∣

1−e_i −i /2 /2

∣

2

46

Wavelet の周波数特性 (2)

=m₀



 2







 2



0 0.2 0.4 0.6 0.8 1 -15 -10 -5 0 5 10 15

∣

m₀



 2



∣

2 =

∣

1e−i /2 2

∣

2

47

Wavelet の周波数特性 (3)

0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1 -15 -10 -5 0 5 10 15 ∣__{H∣}2 =m₀



 2







 2



∣

__H



 2



∣

2

48

Wavelet の周波数特性 (4)

=m₁



 2







 2



0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1 -15 -10 -5 0 5 10 15 m₁



 2



= 1_−e−i/2 2

49

Wavelet の周波数特性 (5)

=m₁



 2







 2



0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1 -15 -10 -5 0 5 10 15 ∣__{H ∣}2

∣

__H



 2



∣

2

50

フィルタとしての Wavelet

● m 0はローパスフィルタ， m1はハイパスフィルタ 0 0.2 0.4 0.6 0.8 1 0 0.5 1 1.5 2 2.5 3  m_1 m_0 共役ミラー フィルタ (QMF)

51

Haar 以外の Wavelet

● Wavelet 解析では Haar 以外にもさまざまな

Wavelet が用いられる

– 連続 Wavelet 変換では Gabor, Maxican hat, ...

– 離散 Wavelet 変換では Spline, Daubechies, Meyer,...

● 工学的に重要な Daubechies の Wavelet につ

52

Daubechies の Wavelet （２次）

● ツースケール関係 ● φ と ϕ は既存の関数では表せない  x=1₈3 2x3₈3 2x−1 3−₈3 2x−21−₈3 2x−3  x=1−₈3 2x−3−₈3 2x−13₈3 2x−2−1₈3 2x−3  x  x

53

Daubechies の Wavelet の

周波数特性

● 周波数領域での表現 m_0=13 8  3_3 8 e −i  3−₈3 e−2i _1−3 8 e −3i  0 0.2 0.4 0.6 0.8 1 0 0.5 1 1.5 2 2.5 3  Haar Daubechies(2) Daubechies は Haar よりも急峻なフィルタ 特性

54

Wavelet の応用 (1)

● いくつかの Wavelet の応用について見てみよう – 波形中の不連続点の検出 ● 機械の破壊による振動の検知など – ノイズ除去 ● ノイズについての知識を使わずにノイズを除去する ● 信号圧縮にも有効 – 画像処理 ● 画像を細かい部分と大まかな部分に分ける ● ピラミッドアルゴリズム

55

Wavelet の応用：不連続点の検出

● この波形で不連続なのはどこでしょう ?

56

不連続点の検出

● 現波形に対して Haar と Daubechies(2)

57

不連続点の検出

● 正弦波重畳波形に対して Haar と Daubechies

Haar Daubechies Daubechies の方が周波数分離能力が高いことがわかる

58

Wavelet の応用：ノイズ除去

● 処理手順 – Wavelet 展開係数を 求める – 閾値を決め，それよ り小さい係数を０に する – 元の信号を再構成 先ほどの波形にノイズを載せ てみました

59

ノイズ除去結果

Haar

60

Wavelet の応用 : 画像処理

● ２次元 Wavelet の例 (Haar)

X,Y 方向にそれぞれ Wavelet 変換を適用

61

画像処理

● 分析してどうするのか ? – 高周波部分の量子化ビット数を落とす⇒圧縮 – 高周波部分を０に⇒平滑化･ノイズ除去 – 再帰的な分解