非線形モデリングの基礎

機械学習論

非線形モデリングの基礎

非線形データ例（衝突実験データ）

10 20 30 40 50

−100−50050

Head Acceleration

非線形モデリングの例

線形モデル

10 20 30 40 50

−100−50050

Time after Collision [ms]

Head Acceleration

非線形モデリングの例

非線形モデル

10 20 30 40 50

−100−50050

Head Acceleration

非線形モデリングは難しいか

▶

１次元データ

の非線形モデリング：簡単

▶

多次元データ

の非線形モデリング：困難

2

つのプローチ

▶

アプローチ

基底関数モデリング

▶

アプローチ

局所構造モデリング

２つのタイプの非線形モデル

▶

タイプ

：パラメータに対して線形

▶ y=w0+w1logx

▶ y=w0+w1

√x+w2exp(−x²)

▶ y=w0+w1cos(2πx) +w2sin(2πx) +w31 x

▶

タイプ

▶ y= log(w₀+w₁x)

▶ y=_exp(^w₋^0+x_w

1x²)

▶ y= sin(2π(w0+w1x)) + cos(2π(w2+w3x))

基底関数モデリング（

の場合）

▶

基底関数

hk :R→R, k= 1, . . . , q

▶

基底関数モデリング

y=

∑q

k=1

wkhk(x)

▶

例

y=w0+w1sin(2πx) +w2cos(2πx) +w3

√x

▶

基底関数

h1(x) = 1, h2(x) = sin(2πx), h3(x) = cos(2πx), h4(x) =√ x

▶

基底関数モデル

∑q

w h (x) =w +w sin(2πx) +w cos(2πx) +w √ x

基底関数モデルの学習

▶

ステップ

nX×1

=





 x1

x₂ ... xn





 7→







h1(x1) h2(x1) · · · hq(x1) h₁(x₂) h₂(x₂) · · · h_q(x₂)

... ... . .. ... h1(xn) h2(xn) · · · hq(xn)





:= Z

n×q

▶

ステップ

： （最小二乗法などにより）線形モデルを学習

w= (Z^⊤Z)⁻¹Z^⊤y

▶

基底関数モデル

y=w^⊤h(x) =

∑q k=1

wkhk(x)

ここで

h(x) = [h₁(x), . . . , h_q(x)]^⊤∈R^q

多項式回帰

▶ 1

次多項式回帰

y=w0+w1x

▶ 2

次多項式回帰

y=w0+w1x+w2x²

▶ 3

次多項式回帰

y=w₀+w₁x+w₂x²+w₃x³

▶

基底関数（

次多項式回帰の場合，

）

h1(x) = 1, h2(x) =x, h3(x) =x², . . . , hq(x) =x^m

多項式回帰の例

10 20 30 40 50

−100−50050

Time after Collision [ms]

Head Acceleration

1

次多項式（

線形モデル）

多項式回帰の例

10 20 30 40 50

−100−50050

Time after Collision [ms]

Head Acceleration

2

次多項式

多項式回帰の例

10 20 30 40 50

−100−50050

Time after Collision [ms]

Head Acceleration

3

次多項式

多項式回帰の例

10 20 30 40 50

−100−50050

Time after Collision [ms]

Head Acceleration

4

次多項式

多項式回帰の例

10 20 30 40 50

−100−50050

Time after Collision [ms]

Head Acceleration

10

次多項式

多項式回帰の例（再掲）

10 20 30 40 50

−100−50050

Time after Collision [ms]

Head Acceleration

10 20 30 40 50

−100−50050

Time after Collision [ms]

Head Acceleration

10 20 30 40 50

−100−50050

Time after Collision [ms]

Head Acceleration

10 20 30 40 50

−100−50050

Time after Collision [ms]

Head Acceleration

区分多項式モデリング

▶

全体でなく一部に多項式をあてはめてはどうか

“https://web.stanford.edu/~hastie/ElemStatLearn/printings/ESLII_print12.pdf”より転載

区分

次多項式=区分定数モデル

区分多項式モデリング

▶

全体でなく一部に多項式をあてはめてはどうか

“https://web.stanford.edu/~hastie/ElemStatLearn/printings/ESLII_print12.pdf”より転載

区分

次多項式=区分線形モデル

区分多項式モデリング

▶

全体でなく一部に多項式をあてはめてはどうか

“https://web.stanford.edu/~hastie/ElemStatLearn/printings/ESLII_print12.pdf”より転載

区分

次多項式

境界での連続性（区分線形モデル）

▶

境界で関数が連続であるとよい

“https://web.stanford.edu/~hastie/ElemStatLearn/printings/ESLII_print12.pdf”より転載 “https://web.stanford.edu/~hastie/ElemStatLearn/printings/ESLII_print12.pdf”より転載

不連続区分線形モデル 連続区分線形モデル

境界での連続性（区分多項式モデル）

“https://web.stanford.edu/~hastie/ElemStatLearn/printings/ESLII_print12.pdf”より転載 “https://web.stanford.edu/~hastie/ElemStatLearn/printings/ESLII_print12.pdf”より転載

不連続区分

次多項式

次連続区分

次多項式

“https://web.stanford.edu/~hastie/ElemStatLearn/printings/ESLII_print12.pdf”より転載 “https://web.stanford.edu/~hastie/ElemStatLearn/printings/ESLII_print12.pdf”より転載

回帰スプラインモデル

▶

境界で

次連続な

次区分多項式モデルを「回帰スプライン モデル」と呼ぶ．

10 20 30 40 50

−100−50050

Time after Collision [ms]

Head Acceleration

回帰スプラインモデルの学習（

次回帰スプライン）

▶ 1

個の境界（ξ）を持つ

次回帰スプライン

▶ x≤ξ

のモデル

y=w₀^L+w^L₁x

▶ x > ξ

のモデル

y=w^R₀ +w^R₁x

▶

制約付き最適化

( ˆw^L₀,wˆ^L₁,wˆ₀^R,wˆ^R₁) = arg min

w^L₀,w₁^L,w^R₀,w^R₁

∑

i:xi≤ξ

(yi−(w^L₀ +w^L₁xi))²

+ ∑

i:x_i>ξ

(yi−(w^R₀ +w^R₁xi))² subject to w₀^L+w₁^Lξ=w^R₀ +w^R₁ξ

制約付き最適化と自由度

▶

自由度

「未知変数の数」

「等式制約の数」

▶

等式制約付き最適化問題の例

zmin₁,z₂ −z1z2

s.t. z1+z2= 4

▶

自由度

の等式制約付き問題

変数の制約なし最適化問題

▶ ℓ

個の境界（ℓ

個の部分領域）を持つ

次回帰スプラインの自 由度は

4(ℓ+ 1)−3ℓ=ℓ+ 4

回帰スプラインの基底関数

▶

次数

）の回帰スプライン

▶

基底関数

hk(x) =x^k−1, k= 1, . . . , m+ 1

hk(x) = (x−ξ_k−(m+1))^m₊, k=m+ 1, . . . , m+ℓ+ 1

ただし

z+=

{ z ifz >0, 0 otherwise.

▶ 2

つの境界を持つ

次回帰スプラインの場合の例

h5(x) = (x−ξ1)³₊, h6(x) = (x−ξ2)³₊

演習問題１

▶ x=ξ

に

つの境界を持つ

次回帰スプラインの基底関数

を定義にしたがって書け．

▶ x=ξ

に

つの境界を持つ

次回帰スプラインが

∑3 k=1

w_kh_k(x)

と表わされているとし，境界

とパラメータ

が

ξ= 1, w1= 3, w2=−2, w3= 5

であったとする．このスプライン関数を図示せよ．また，境界

において，2 つの部分領域の関数がつながっていることを確

認せよ．

演習問題１の解答

2

つのプローチ

▶

アプローチ

基底関数モデリング

▶

アプローチ

局所構造モデリング

最近傍回帰分析の例

10 20 30 40 50

−100−50050

Time after Collision [ms]

Head Acceleration

k= 1

近傍回帰分析

最近傍回帰分析の例

10 20 30 40 50

−100−50050

Time after Collision [ms]

Head Acceleration

k= 2

近傍回帰分析

最近傍回帰分析の例

10 20 30 40 50

−100−50050

Time after Collision [ms]

Head Acceleration

k= 5

近傍回帰分析

最近傍回帰分析の例

10 20 30 40 50

−100−50050

Time after Collision [ms]

Head Acceleration

k= 10

近傍回帰分析

演習問題２

▶

以下のデータを

を横軸，

を縦軸とする

次元グラフにプロッ トせよ

x y

1 2

4 4

5 5

7 8

8 5

10 4 14 3 16 3

▶ k= 1,2

のときの

最近傍回帰分析の結果を同グラフ上にプロッ

トせよ．

演習問題２の解答

最近傍回帰分析の例（再掲）

10 20 30 40 50

−100−50050

Time after Collision [ms]

Head Acceleration

10 20 30 40 50

−100−50050

Time after Collision [ms]

Head Acceleration

k= 1

近傍回帰分析

近傍回帰分析

10 20 30 40 50

−100−50050

Time after Collision [ms]

Head Acceleration

10 20 30 40 50

−100−50050

Time after Collision [ms]

Head Acceleration

k= 5

近傍回帰分析

近傍回帰分析

重み関数の導入

▶

三角形重み関数

x

Weight

▶

釣鐘型重み関数

x

Weight

局所定数回帰分析（

法）

▶

重み関数=カーネル関数

（例）

−(x−c)² 2s²

)

▶

局所定数回帰分析（テスト入力

に対する予測値） ：

y0=

∑n

i=1k(x₀;x_i, s)y_i

∑n

i=1k(x₀;x_i, s)

局所定数回帰分析の例

10 20 30 40 50

−100−50050

Time after Collision [ms]

Head Acceleration

演習問題３の解答

ここまでのまとめ

▶

基底関数モデリング

▶

多項式回帰分析

▶

回帰スプライン

▶

局所構造モデリング

▶ k

最近傍回帰分析

▶

局所定数回帰分析，局所線形回帰分析

演習問題３

▶ x=ξ

において

つの境界を持つ

次回帰スプラインの基底関数を

h1(x) = 1, h2(x) =x, h3(x) =x², h4(x) =x³, h5(x) = (x−ξ)³₊

とするのが適切であることを示せ．具体的には，以下を示せ．

▶ x≤ξ

における

次関数と

における

次関数を，それぞれ，

fL(x) =aL+bLx+cLx²+dLx³, f_R(x) =a_R+b_Rx+c_Rx²+d_Rx³

としたとき，

と

を回帰スプライン基 底関数の係数

を使って表わせ．

▶

境界

において関数値が等しい，すなわち，

である ことを示せ．

▶

境界

において

次導関数値が等しい，すなわち，f

であることを示せ．

▶

境界

において

次導関数値が等しい，すなわち，f

演習問題３の解答