線形モデルにおける相関構造の分析

Lec06

線形モデルにおける相関構造の分析

最小二乗法

▶

最小二乗推定量

ˆ

w= (X^⊤X)⁻¹X^⊤y

▶

最小二乗推定量が計算できる条件

行列

の逆行列

が存在する

入力変数行列

▶

入力変数行列

X =







x₁₁ x₁₂ · · · x_1d x₂₁ x₂₂ · · · x_2d ... ... . .. ... xn1 xn2 · · · xnd







▶

正規化

標準化

√∑n

i=1(xij−x¯j)², yi← yi−y¯

√∑n

i=1(yi−y)¯ ²

相関係数

▶ 2

つの入力変数の相関係数

∑n

i=1(xi,j₁−x¯j₁)(xi,j₂−x¯j₂)

√∑n

i=1(xi,j₁−x¯j₁)²∑n

i=1(xi,j₂−x¯j₂)², j₁̸=j₂∈ {1, . . . , d}

▶

入力と出力の相関係数

∑n

i=1(x_ij−x¯_j)(y_i−y)¯

√∑n

i=1(xij−x¯j)²∑n

i=1(yi−y)¯², j = 1, . . . , d.

相関行列

▶ Unit-length scaling

のもと，行列

は相関行列

X^⊤X=







1 r12 · · · r1d

r12 1 · · · r2d

... ... . .. ... r1d r2d · · · 1







▶ Unit-length scaling

のもと，ベクトル

は各入力変数と出力変 数の相関係数を並べたベクトル

X^⊤y=





 r1y

r2y

... r_dy







演習問題１（２変数の場合）

▶

入力変数が

変数の場合，

X^⊤X=

[ 1 r12

r12 1 ]

, X^⊤y= [ r1y

r2y

]

となる．

▶

行列

の逆行列が

(X^⊤X)⁻¹= [ ₁

1−r²₁₂ −r₁₂ 1−r₁₂²

−r12

1−r²₁₂ 1 1−r₁₂²

]

となることを示せ．

▶

最小二乗推定量が

w1= r1y−r12r2y

1−r₁₂² , wˆ2= r2y−r12r1y

1−r₁₂²

と表されることを示せ．

演習問題１の解答

線形従属性

▶

ある

に対して，定数

を用 いて，すべての

に対して，

x_ij =c₁x_i1+. . .+c_j−1x_i,j−1+c_j+1x_i,j+1+. . .+c_dx_id,

と表せるとき，ベクトル

を線形従属という

−3 −2 −1 0 1 2 3

−3−2−10123

X1

X2

−3 −2 −1 0 1 2 3

−3−2−10123

X1

X2

(a)

線形従属でない場合

線形従属な場合

線形従属の例

以下のモデルはすべて等価で一意に定まらない

▶

例１（x

の場合）

▶ yˆi= 1xi1+ 1xi2+ 1xi3

▶ yˆ_i= 0x_i1+ 3x_i2+ 1x_i3

▶ yˆ_i=−50x_i1+ 103x_i2+ 1x_i3

▶

例２（x

の場合）

▶ yˆi= 1xi1+ 1xi2+ 1xi3

▶ yˆi= 0xi1+ 0xi2+ 2xi3

▶ yˆi= 100xi1+ 100xi2−98xi3

最小二乗法の分散共分散行列

▶

最小二乗解の分散共分散行列

Cov[ ˆw] =







V[ ˆw1] Cov( ˆw1,wˆ2) · · · Cov( ˆw1,wˆd) Cov( ˆw2,wˆ1) V[ ˆw2] · · · Cov( ˆw2,wˆd)

... ... . .. ...

Cov( ˆw_d,wˆ₁) Cov( ˆw_d,wˆ₂) · · · V[ ˆw_d]





=σ²(X^⊤X)⁻¹

▶

最小二乗解の各モデル変数の分散

V[ ˆw_j] =σ²(X^⊤X)⁻_jj¹, j= 1, . . . , d

最小二乗解の性質

▶ (X^⊤X)⁻¹

が存在しなければ最小二乗解が存在しない 解釈：X

“0” ⇒

存在しない

▶ (X^⊤X)⁻¹

の性質が悪ければ最小二乗解が不安定 解釈：X

ほぼ

ほぼ

分散が大

固有値分解

▶

行列

の固有値と固有ベクトルを

ρ_j ∈R, v_j∈R^d, j= 1, . . . , d

とする．ただし，固有ベクトルの長さは１（

▶

以下の行列

と

を導入

V =



 | | |

v₁ v₂ · · · v_d

| | |



∈R^d×d, diag(ρ_j) =



 ρ₁

. .. ρd



∈R^d×d

▶

固有値分解（eigenvalue decomposition）

X^⊤X =Vdiag(ρj)V^⊤

演習問題２

▶

各列が正規直交である行列

を考える：

v_j^⊤₁vj₂ =

{ 1 ifj1=j2, 0 ifj₁̸=j₂.

上記の行列

とある対角行列

を用いて，

X^⊤X =Vdiag(ρj)V^⊤

と表されるとき，V の各列ベクトル

と対応する実数

が固有ベクトルと固有値の関係

(X^⊤X)vj=vjρj, j= 1, . . . , d

を満たすことを示せ．

▶

行列

の固有値分解が上のように表されるとき，

(X^⊤X)⁻¹=Vdiag(ρ⁻¹)V^⊤

演習問題２の解答

固有値分解による逆行列の表現

▶ X^⊤X

の固有値分解

X^⊤X =Vdiag(ρj)V^⊤

▶ X^⊤X

の逆行列

(X^⊤X)⁻¹= (Vdiag(1 ρj

)V^⊤)⁻¹

数値例

線形従属な行列

X =









1 2 3 2 1 3 3 2 5 2 2 4 1 3 4









固有値

1.64,1.36,0.00

ほぼ線形従属な行列

X =









1 2 3.01 2 1 3.01 3 2 5.01 2 2 4.01 1 3 4.01









固有値

1.64,1.36,−4.44×10⁻¹⁶

最小二乗解の存在性と安定性

▶

分散共分散行列

Cov( ˆw) =σ²(X^⊤X)⁻¹=σ²Vdiag(1 ρ_j)V^⊤

▶

パラメータの分散

V[ ˆwj] =σ²(X^⊤X)⁻_jj¹=σ²

∑d

k=1

v_jk² ρ_k







v₁₁ · · · v_1j · · · v_1d

.. .

... .. .

... .. .

v_j1 · · · v_jj · · · v_jd

.. .

.. .

.. .

.. .

.. .

v_d1 · · · v_dj · · · v_dd















ρ⁻¹₁ ...

ρ⁻¹_j ...

ρ⁻¹_d















v₁₁ · · · v_j1 · · · v_d1

.. .

... .. .

... .. .

v_1j · · · v_jj · · · v_dj

.. .

.. .

.. .

.. .

.. .

v_1d · · · v_jd · · · v_dd







▶

最小二乗解の存在性と安定性

発展問題１（提出不要）

▶ Unit length scaling

のもと，d

における

は

[ 1 r12

r12 1 ]

と表される

▶

このとき，X

の固有値分解が以下のように表されることを示せ

[ 1/√

2 1/√ 2 1/√

2 −1/√ 2

] [ 1 +r₁₂

1−r₁₂

] [ 1/√

2 1/√ 2 1/√

2 −1/√ 2

]

▶

このとき，最小二乗解

の分散が

V[ ˆw_j] =σ²

∑2 k=1

v²_jk ρk

=σ² 1

1−r₁₂² , j= 1,2

となることを確認せよ．

発展問題１の解答

数値例：化学反応データ

▶ d= 9

の線形モデル

y=w₁T +w₂H+w₃C+w₄T H+w₅T C+w₆HC+w₇T²+w₈H²+w₉C²

T(温度) H(材料) C(時間) y(生産量)

13 7.5 0.0120 49.0

13 9.0 0.0120 50.2

13 11.0 0.0115 50.5

13 13.5 0.0130 48.5

13 17.0 0.0135 47.5

13 23.0 0.0120 44.5

12 5.3 0.0400 28.0

12 7.5 0.0380 31.5

12 11.0 0.0320 34.5

12 13.5 0.0260 35.0

12 17.0 0.0340 38.0

12 23.0 0.0410 38.5

11 5.3 0.0840 15.0

11 7.5 0.0980 17.0

11 11.0 0.0920 20.5

11 17.0 0.0860 29.5

数値例（最小二乗法）

最小二乗推定値とそのバラツキ

w_j √

V[ ˆw_j]

36.0 33.0

9.1 2.0

36.6 27.7

-8.5 1.9

-30.0 23.3

-0.6 0.3

-31.4 30.9

-0.4 0.1

-3.3 2.2

X^⊤X

の固有値

固有値

多重共線性

▶ X^⊤X

の固有値の一部がほぼ０になる現象を多重共線性という

▶

多重共線性に対処するための方法

▶

特徴選択：一部の入力変数のみを利用

（例）逐次特徴選択

▶

特徴抽出：多重共線性が起こらないように特徴を変換

（例）主成分分析

▶

正則化：最小二乗解を安定化するための制約を導入

（例）リッジ回帰分析

主成分分析

▶ X^⊤X

の固有ベクトルを主成分という

−3 −2 −1 0 1 2 3

−3−2−10123

X1

X2

−3 −2 −1 0 1 2 3

−3−2−10123

X1

X2

▶

第

主成分へのデータの射影

z_j=Xv_·j

▶

主成分回帰分析：

個の主成分に対する回帰モデル

▶

主成分回帰分析の結果を元の変数に対するモデルに変換可能

リッジ回帰分析

▶

リッジ回帰分析（スカラー表現）

( ˆw₁^R, . . . ,wˆ^R_d) = arg min

w₁,...,w_d

∑n i=1



y_i−

∑d j=1

w_jx_ij





2

+λ

∑d

j=1

w_j²

ただし，λ >

は正則化パラメータ（しばらくは定数と仮定）

▶

リッジ回帰分析（行列・ベクトル表現）

ˆ

w^R= arg min

w (y−Xw)^⊤(y−Xw)+λw^⊤w

▶

正規方程式（もどき）

(X^⊤X+λI) ˆw^R=X^⊤y

▶

リッジ回帰推定量

w^R= (X^⊤X+λI)⁻¹X^⊤y

演習課題３（リッジ回帰推定量）

▶

リッジ回帰分析による重回帰モデルのパラメータ推定量が

w^R= (X^⊤X+λI)⁻¹X^⊤y

と表されることを示せ．

演習問題３の解答

最小二乗推定量とリッジ回帰推定量の比較

▶

最小二乗推定量の分散共分散行列

Cov[ ˆw] =σ²(X^⊤X)⁻¹=σ²Vdiag(1 ρ_j)V^⊤

▶

最小二乗推定量の分散

V[ ˆwj] =σ²(X^⊤X)⁻_jj¹=σ²

∑d

k=1

v_jk² ρk

▶

リッジ回帰推定量の分散共分散行列

Cov[ ˆw^R] =σ²(X^⊤X+λI)⁻¹(X^⊤X)(X^⊤X+λI)⁻¹=σ²VDiag ( ρj

(ρj+λ)² )

V^⊤

▶

リッジ回帰推定量の分散

( ) ∑^d ρ

数値例（リッジ回帰分析）

リッジ回帰推定値とそのバラツキ

λ= 10⁻⁶

のとき

のとき

のとき

w^R_j

√V[ ˆw_j^R] wˆ^R_j

√V[ ˆw^R_j] wˆ_j^R

√V[ ˆw^R_j]

1.885 3.516 0.344 0.097 0.175 0.004

8.791 1.992 0.465 0.119 0.057 0.004

7.681 3.257 -0.291 0.136 -0.138 0.003

-8.247 1.887 -0.354 0.128 0.065 0.004

-5.700 2.604 -0.586 0.181 -0.143 0.003

-0.616 0.293 0.585 0.055 -0.011 0.006

0.501 3.372 0.518 0.083 0.179 0.004

-0.359 0.151 -0.278 0.124 0.021 0.005

-1.038 0.492 0.272 0.158 -0.105 0.005