基底関数ネットワーク

６．基底関数ネットワーク（Basis Function Network）

６－１ 基底関数ネットワーク研究の背景 （１）（階層型）ニューラルネットワークの問題点の回避 ・設計性の悪さ ・ローカルミニマム問題 （２）級数展開の利用 基底関数が周期関数 フーリエ級数

×

×

×

×

＋

信 号 Ｆ１ Ｆ２ Ｆ３ Ｆ４

フーリエ級数

フーリエ係数

・・・・

_{スペクトル}

Ｆ１ Ｆ２ Ｆ３ Ｆ４ Ｆ１ Ｆ２ Ｆ３ スペ ク ト ル

・・・・

それぞれの波の成分が どれぐらいふくまれるか Ｆ４ 信号の特徴が分かる １Ｈｚ ２Ｈｚ ８Ｈｚ 周波数 フーリエ係数の意味

フーリエ係数

信号がどのような成分から成り立っているか いつ，その成分が現れているのか

×

○

ウェーブレット理論

○

いつ，その成分が現れているのか

ウェーブレット関数

（例） Harr ウェーブレット 一部に局在する関数

ψ

ab ：基底関数

ａ

ｂ

：基底の幅を決める ：基底の位置を決める

ψ

００

ψ

１０

ψ

１１

ψ

２０

ψ

２１

ψ

３０

ψ

-１０

Ｗ

-１ ０

Ｗ００

Ｗ１１

Ｗ１０

Ｗ２０

Ｗ２１

Ｗ２２

Ｗ２３

・

・

×

＋

×

×

×

×

×

×

×

信 号

ウェーブレット級数

・

・

信号解析

時間 周波数 （関数の幅） スペクトル値

・

・

・

“

W

ij” ウェーブレット係数

ウェーブレット解析例

加速時 減速時

（縦軸：周波数，横軸：ステップ数（サンプリングレート22050 /sec））

（ＪＰＥＧ，１／９６圧縮） （ＪＰＥＧ２０００，１／９６圧縮）

出典：http://www.zdnet.co.jp/news/0012/04/jpeg2000.html

６．基底関数ネットワーク（Basis Function Network）

６－１ 基底関数ネットワーク研究の背景 （１）（階層型）ニューラルネットワークの問題点の回避 ・設計性の悪さ ・ローカルミニマム問題 （２）級数展開の利用 基底関数が周期関数 フーリエ級数

６_{−２ 基底関数ネットワークの基礎} （１）基本構造 さっきのフーリエ級数展開の図

∑

⋅

=

i i i

g

x

F

x

f

(

)

(

)

（２）基底関数の種類 ・ガウス関数

ＲＢＦ（Radial Basis Function）ネットワーク ・ウェーブレット関数 詳しくはのちほど．．．． ・ファジィメンバーシップ関数 前件部：相補型メンバーシップ関数 後件部：シングルトン ・その他

（３）特徴 ・ローカルミニマム問題の回避 ・設計性の向上 ・汎化能力の低下 （４）演算方法 ・学習 ・最小二乗法（逆行列計算） ウェーブレットネットワーク （５）応用例

“

wavelet

” ってなに？

“wavelet” ってなに？

ウェーブレット理論（Wavelet Theory）

“wavelet” ってなに？

小波，さざなみ

ウェーブレット理論（Wavelet Theory）

“wavelet” ってなに？

小波，さざなみ

ウェーブレット理論（Wavelet Theory）

“

さざなみ

”を利用した理論

“wavelet” ってなに？

小波，さざなみ

ウェーブレット理論（Wavelet Theory）

“さざなみ”を利用した理論

ウェーブレットニューロン（_{Wavelet Neuron}）

∑

1 w 2 w n w 1 x 2 x n x y θ ニューロンの数式モデル θ ：閾値

ウェーブレットニューロン（_{Wavelet Neuron}）

∑

1 f 2 f n f 1 x 2 x y ) ( 0 , 0 xk Ψ ) ( 0 , 1 xk Ψ ) ( ,m k m x Ψ 0 , 0 k w 0 , 1 k w

∑

k x fk (xk ) Weight Wavelet Basis m m k w _,

∑

1 w 2 w n w 1 x 2 x n x y θ ニューロンの数式モデル 非線形シナプスニューロン k f n x 非線形シナプス θ ：閾値 ・局所的な非線形性の記述 ・ローカルミニマム問題の回避 期待される効果 ・設計性の向上

Approximation of a Function by a Nonlinear Synapse

Leaning Data

(101 points, sampling interval 0.01)

Piecewise Linear Part

) 0 , 0 ( ψ ) 0 , 1 ( ψ ψ(1,1) ) 0 , 2 ( ψ ψ(2,1) ψ(2,2) ) 0 , 3 ( ψ ψ(3,1) ψ(3,2) ψ(3,3) ) 0 , (M ψ ψ(M,1) ψ(M,M) 1 0 -1/2 1/2

(

)

⎪⎩ ⎪ ⎨ ⎧ ⎟ ⎠ ⎞ ⎜ ⎝ ⎛ ≤ = otherwise x x x 0 2 1 cos ) (

π

ψ

) ( ) ( ) , (a b x =

ψ

ax − b

ψ

∑∑

∞ = = = 0 0 ) , ( ) , ( ( ) ) ( a a b b a b a x W x f

ψ

Convergent series (1996) Convex wavelet Non-Orthogonal Convex Compactly Supported Smooth

Approximation of a Function by a Nonlinear Synapse

Compactly Supported Convex Wavelet

(M=15, 136 weights ) _{Leaning Time:100 times}

Generalization Set Learning Data

Approximation of a Function by a Nonlinear Synapse Harr Wavelet

Leaning Time:100 times

Generalization Set Learning Data

Approximation of a Function by a Nonlinear Synapse Non-convex Wavelet

Leaning Time:100 times

Generalization Set Learning Data

R.M.S.Error vs. Number of Bases

Application to System Modeling

Modeling of Nonlinear Dynamical System

Modeling(Learning) Prediction 2 1 2 1 0.5 0.5 0.5 1 5 − − + = ₊ − t − t + t t t t x x x x x x ) 0 . 1 , 3 . 0 , 2 . 0 (x₀ = x₁ = x₂ =

∑

1 f 2 f n f t x

Leaning Phase (Modeling)

The Wavelet Neuron Achieving Modeling and Prediction

D D D 1 − t x 2 − t x n t x ₋ t xˆ t t x x error _{= −} ˆ

∑

1 f 2 f n f t t x x ₌ ˆ D D D 1 − t x 2 − t x n t x ₋ t xˆ Iterated Prediction Phase

R.M.S.Error vs. Number of Synapses

Number of Synapses

The 3 synapses (delay elements) are employed here.

Mapping Functions Obtained by Leaning

∑

1 f 2 f 3 f t x D D D 1 − t x 2 − t x n t x ₋ t xˆ 1 f x f₁(x) x f2 f2(x) x f3 f3(x) Real

Results of Iterated Prediction

Wavelet Neuron 4-Layerd Neural Network

Solving differential equation Differential equation 0 , , , , , ₂ 2 = ⎟⎟⎠ ⎞ ⎜⎜⎝ ⎛ _{⋅ ⋅⋅} n n dx y d dx y d dx dy y x f

Solving differential equation

∑

= i i i W y

ψ

Differential equation 0 , , , , , ₂ 2 = ⎟⎟⎠ ⎞ ⎜⎜⎝ ⎛ _{⋅ ⋅⋅} n n dx y d dx y d dx dy y x f

Solving differential equation

∑

= i i i W y

ψ

∑

= i i i dx d W dx dy

ψ

∑

= i i i dx d W dx y d 2 2 2 2

ψ

∑

= i n i n i n n dx d W dx y d

ψ

… known Differential equation 0 , , , , , ₂ 2 = ⎟⎟⎠ ⎞ ⎜⎜⎝ ⎛ _{⋅ ⋅⋅} n n dx y d dx y d dx dy y x f

Solving differential equation

∑

= i i i W y

ψ

∑

= i i i dx d W dx dy

ψ

∑

= i i i dx d W dx y d 2 2 2 2

ψ

∑

= i n i n i n n dx d W dx y d

ψ

… known Differential equation 0 , , , , , ₂ 2 = ⎟⎟⎠ ⎞ ⎜⎜⎝ ⎛ _{⋅ ⋅⋅} n n dx y d dx y d dx dy y x f 入出力関係 _Wi y 学習で を求める

x ) 0 , 0 ( ψ ) 0 , 1 ( ψ ) , (M M ψ W(M,M) ) 0 , 1 ( W ) 0 , 0 ( W Σ y( x) x dx dψ_(0,0) dx dψ_(1,0) dx dψ_(M,M) ) , (MM W ) 0 , 1 ( W ) 0 , 0 ( W Σ dy )_dx(x dx dy ) ( 1 x P ) ( 2 x P y

x

_{f ( x)} ×

+

× ) , ( ba W :common y y

Riccati differential equation (nonlinear differential equation)

1 ) 0 ( , 0 ) ( ) ( ) ( = + P₁ x y + P₂ x y2 = y = dx dy x f 1 2 / 1 − 1/2 dx dψ π / 2 π / 1 2 / 1 − 1/2 ψ

Solution of Riccati differential equation

Conclusions ウェーブレット (wavelet) 時間－周波数解析 高い圧縮能力 ウェーブレットニューロン (wavelet neuron) 局所的な非線形性の記述 ローカルミニマム問題の回避 設計性の向上 高い汎化能力