線形重回帰分析

Lec04

線形重回帰分析

復習：線形単回帰分析

事例番号 入力変数 出力変数

x y

1 x 1 y 1

2 x 2 y 2

.. . .. . .. .

n x _n y _n

（nは事例数）

0 1000 2000 3000 4000 5000 6000

020004000600080001000012000

Advertisement

Sales

▶

線形単回帰モデル

y i = w 0 + w 1 x i1 + ε i , E [ε i ] = 0, V [ε i ] = σ ²

▶

最小二乗法

( ˆ w 0 , w ˆ 1 ) = arg min

w

0

,w

1

∑ n i=1

(y i − (w 0 + w 1 x i1 )) ²

線形重回帰分析の訓練データ

事例番号 入力変数 出力変数

x ₁ x ₂ · · · x _d y 1 x 11 x 12 · · · x 1d y 1

2 x 21 x 22 · · · x 2d y 2

.. . .. . .. . . . . .. . .. .

n x _n1 x _n2 · · · x _nd y _n

（nは事例数／

d

は特徴数）

線形重回帰分析の定式化

▶

線形重回帰モデル

y i = w 0 +

∑ d

j=1

w j x ij + ε i , E [ε i ] = 0, V [ε i ] = σ ²

▶

最小二乗法

( ˆ w 0 , w ˆ 1 , . . . , w ˆ d ) = arg min

w

0

,w

1

,...,w

d

∑ n

i=1

(y i − (w 0 +

∑ d

j=1

w j x ij )) ²

線形重回帰分析のプロット（ d = 2 ）

0 2 4 6 8 10

0 2 4 6 810

0 2

4 6

8 100

x1

x2 E[y]

特徴の次元 モデルの形式

d = 1

直線 （line）

d = 2

平面 （plane）

d ≥ 3

超平面（hyperplane）

線形重回帰分析のプロット（ d = 2 ）

0 2 4 6 8 10

0 2 4 6 810

0 2

4 6

8 1000

x1

x2 E[y]

特徴の次元 モデルの形式

d = 1

直線 （

line

）

d = 2

平面 （plane）

d ≥ 3

超平面（hyperplane）

データの正規化

▶

特徴のスケールを揃えるとよい

（例）

mm, cm, m

などの計測単位の違い

▶

正規化（normalization），標準化（standardization）

▶ オプション１（平均，分散を用いた正規化）

x ij ← √ x ij − x ¯ j 1

n − 1

∑ n

i=1 (x ij − x ¯ j ) ²

, y i ← y i − y ¯

√ 1 n − 1

∑ n

i=1 (y i − y) ¯ ²

（ただし，

x ¯ j = _n ¹ ∑ n

i=1 x ij , y ¯ = _n ¹ ∑ n i=1 y i

）

▶ オプション２（最小値，最大値を用いた正規化）

x ij ← x ij − min j

max j − min j

（ただし，max

_j = max _i=1,...,n x _ij , min _j = min _i=1,...,n x _ij

）

データの正規化と定数項

▶

訓練データを

x _ij ← x _ij − x ¯ _j

√ 1 n − 1

∑ n

i=1 (x ij − x ¯ j ) ²

, y _i ← y _i − y ¯

√ 1 n − 1

∑ n

i=1 (y i − y) ¯ ²

と正規化した後に定数項を含む重回帰分析を行うと，定数項の最 小二乗推定値は

w ˆ ₀ = 0

▶

各変数の平均が零となるような正規化（例：平均・分散に基づく 正規化）が行われている訓練データに対して最小二乗回帰分析を 行う場合は定数項を省略可能

（定数項あり）

y i = w 0 +

∑ d j=1

w j x ij + ε i

（定数項なし）

y i =

∑ d j=1

w j x ij + ε i

最小二乗法と最適性条件

▶

二乗誤差和

S =

∑ n i=1

(y _i −

∑ d j=1

w _j x _ij ) ²

▶

最適性条件

∂S

∂w _{1 w}

1

= ˆ w

₁

,...,w

_j

= ˆ w

_j

,...,w

_d

= ˆ w

_d

= 0, .. .

∂S

∂w j

_w

₁

_{= ˆ w}

₁

_,...,w

_j

_{= ˆ w}

_j

_,...,w

_d

_{= ˆ w}

_d

= 0, .. .

∂S

∂w _{d w}

1

= ˆ w

₁

,...,w

_j

= ˆ w

_j

,...,w

_d

= ˆ w

_d

= 0.

線形重回帰分析の最適性条件

(

_n

∑

i=1

x

²_i1

)

ˆ w

1

+ . . . +

(

_n

∑

i=1

x

i1

x

ij

) ˆ w

j

+ . . . +

(

_n

∑

i=1

x

i1

x

id

) ˆ w

d

=

∑

n i=1

x

i1

y

i

,

. . (

_n

.

∑

i=1

x

i1

x

ij

) ˆ w

1

+ . . . +

(

_n

∑

i=1

x

²_ij

)

ˆ w

j

+ . . . +

(

_n

∑

i=1

x

ij

x

_id

)

ˆ w

_d

=

∑

n i=1

x

ij

y

i

,

. . (

_n

.

∑

i=1

x

i1

x

id

) ˆ w

1

+ . . . +

(

_n

∑

i=1

x

ij

x

id

) ˆ w

j

+ . . . +

(

_n

∑

i=1

x

²_id

)

ˆ w

d

=

∑

n i=1

x

id

y

i

.

演習問題１

▶

最小二乗法による重回帰分析の最適性条件

∂S

∂w

j

^w1= ˆw₁,...,w_j= ˆw_j,...,w_d= ˆw_d

= 0

が以下のように表されることを示せ

(

_n

∑

i=1

x

i1

x

ij

) ˆ w

1

+ . . . +

(

_n

∑

i=1

x

²_ij

)

ˆ w

j

+ . . . +

(

_n

∑

i=1

x

ij

x

id

) ˆ w

d

=

∑

n i=1

x

ij

y

i

,

演習問題１の解

データの行列とベクトル表現

▶

訓練データ

X =



 

 

x 11 x 12 · · · x 1d

x 21 x 22 · · · x 2d

.. . .. . . . . .. . x n1 x n2 · · · x nd



 

  ∈ R ^{n × d} , y =



 

  y 1

y 2

.. . y n



 

  ∈ R ⁿ .

モデルの行列とベクトル表現

▶

線形重回帰モデル

y = X w + ε

ただし，

w =



 

  w ₁ w 2

.. . w d



 

  ∈ R ^d , ε =



 

  ε ₁ ε 2

.. . ε n



 

  ∈ R ⁿ

正規化と定数項についての注意

▶

定数項なしの場合

▶ データ

X =



 

 

x

11

x

12

· · · x

1d

x

21

x

22

· · · x

2d

. . .

. .

. . . . . . . x

n1

x

n2

· · · x

nd



 

  ∈ R

^n×d

, y =



 

  y

1

y

2

. . . y

n



 

  ∈ R

ⁿ

, w =



 

  w

1

w

2

. . . w

d



 

  ∈ R

^d

.

▶ モデル

y = X w + ε

▶

定数項ありの場合

▶ データ

X =



 

 

1 x

11

x

12

· · · x

1d

1 x

21

x

22

· · · x

2d

. . .

. .

. . . . . . . 1 x

n1

x

n2

· · · x

_nd



 

  ∈ R

^n×(d+1)

, y =



 

  y

1

y

2

. . . y

n



 

  ∈ R

ⁿ

, w =



 

 

  1 w

1

w

2

. . . w

d



 

 

  ∈ R

^d+1

.

▶ モデル

y = X w + ε

最小二乗法の行列・ベクトル表現

▶

二乗誤差和

S = (y − X w) ^⊤ (y − X w)

（同一ベクトルの内積は各要素の二乗和となることに注意）

▶

最適性条件

∂S

∂w | w= ˆ w =



 

 



∂S

∂w

₁

w

₁

= ˆ w

₁

,...,w

_d

= ˆ w

_d

∂S

∂w

₂

w

₁

= ˆ w

₁

,...,w

_d

= ˆ w

_d

.. .

∂S

∂w

_d

w

₁

= ˆ w

₁

,...,w

_d

= ˆ w

_d



 

 

 =



 

  0 0 .. . 0



 

  = 0

行列やベクトルに関する微分

▶

行列

A ∈ R ^{k × k} ,

ベクトル

b ∈ R ^k , z ∈ R ^k

を考え，二次形式

1

2 z ^⊤ Az + b ^⊤ z + c

（cは定数）

の

z

に関する微分を検討する

▶

一次の項（内積）の微分規則

∂b ^⊤ z

∂z = b, ∂z ^⊤ b

∂z = b, ∂b ^⊤ z

∂z ^⊤ = b ^⊤ , ∂z ^⊤ b

∂z ^⊤ = b ^⊤

▶

二次の項（二次形式）の微分規則

∂(z ^⊤ Az)

∂z = (A + A ^⊤ )z

特に，Aが対称行列の場合，A

= A ^⊤

なので，

∂(z ^⊤ Az)

∂z = 2Az

正規方程式と最小二乗解

▶

最適性条件

∂S

∂w | w= ˆ w = 0

▶

正規方程式（演習問題２）

X ^⊤ X w ˆ = X ^⊤ y

▶

最小二乗解

ˆ

w = (X ^⊤ X) ^{− 1} X ^⊤ y

線形重回帰分析における最小二乗解の存在条件

▶

唯一の最小二乗解が存在

⇔

行列

X ^⊤ X

の逆行列が存在

▶

行列

X ^⊤ X ∈ R ^{d × d}

の性質

▶ 半正定置性：X

^⊤ X ⪰ 0

v ^⊤ (X ^⊤ X )v ≥ 0 for all v ∈ R ^d

▶ 正定値性：X

^⊤ X ≻ 0

v ^⊤ (X ^⊤ X )v > 0 for all v ∈ R ^d such that v ̸ = 0

▶

入力行列（デザイン行列）Xの各列が線形独立であればよい

x _· j ̸ = ∑

j

^′

̸ =j

a j

′

x _· j

′

for any a j

′

∈ R , j ^′ ̸ = j, j = 1, . . . , d

演習問題２

▶

線形重回帰分析

w ˆ = arg min

w ∈R

^d

(y − Xw) ^⊤ (y − X w)

の解が以下の正規方程式（

Normal Equation

）を満たすことを示せ

(X ^⊤ X) ˆ w = X ^⊤ y

演習問題２の回答

単回帰モデルの係数と重回帰モデルの係数

▶

単回帰分析

y i = s j x ij + ε i

▶

単回帰分析の最小二乗解

ˆ

s _j = x ^⊤ _{· j} y x ^⊤ _{· j} x _· j

▶

重回帰分析

y i = w 1 x i1 + · · · + w j x ij + · · · + w d x id + ε i

▶

重回帰分析の最小二乗解

ˆ

w j =???

直交する特徴の場合

▶

入力ベクトル

x _· 1 , . . . , x _· d

が直交している，すなわち，

x ^⊤ _{· j}

1

x _{· j}

₂

= 0, ∀ j ₁ ̸ = j ₂

の場合，最小二乗解は

ˆ w =



 

 

x ^⊤ _{· 1} x _· 1 x ^⊤ _{· 1} x _· 2 · · · x ^⊤ _{· 1} x _· d

x ^⊤ _{· 2} x _· 1 x ^⊤ _{· 2} x _· 2 · · · x ^⊤ _{· 2} x _· d

.. . .. . . . . .. . x ^⊤ _{· d} x _{· 1} x ^⊤ _{· d} x _{· 2} · · · x ^⊤ _{· d} x _{· d}



 

 

− 1 

 

  x ^⊤ _{· 1} y x ^⊤ _{· 2} y

.. . x ^⊤ _{· d} y



 

 

=



 

  x ^⊤ _{· 1} x _{· 1}

x ^⊤ _{· 2} x _{· 2} . . .

x ^⊤ _{· d} x _· d



 

 

− 1 

 

  x ^⊤ _{· 1} y x ^⊤ _{· 2} y .. . x ^⊤ _{· d} y



 

  =



 

 

 



x

^⊤_·1

y x

^⊤_·1

x

_·1

x

^⊤_·2

y x

^⊤_·2

x

_·2

.. .

x

^⊤_·d

y x

^⊤_·d

x

_·d



 

 

 



特徴ベクトルの直交変換

▶

直交変換

(a)

u _{· 1} = x _{· 1} , u _{· 2} = x _{· 2} − u ^⊤ _{· 1} x _{· 2}

u ^⊤ _{· 1} u _{· 1} u _{· 1} = x _{· 2} − x ^⊤ _{· 1} x _{· 2} x ^⊤ _{· 1} x _{· 1} x _{· 1}

▶

直交変換

(b)

v _· 2 = x _· 2 , v _· 1 = x _· 1 − v _· ^⊤ ₂ x _· 1

v _· ^⊤ ₂ v _{· 2} v _· 2 = x _· 1 − x ^⊤ _{· 2} x _· 1

x ^⊤ _{· 2} x _{· 2} x _· 2

(a) (b)

直交変換後の線形モデル（その１）

▶

直交変換

(a)

の線形モデル

u ^⊤ _{· 1} y

u ^⊤ _{· 1} u _· 1

u _· 1 + u ^⊤ _{· 2} y u ^⊤ _{· 2} u _· 2

u _· 2 = u ^⊤ _{· 1} y u ^⊤ _{· 1} u _· 1

x _· 1 + u ^⊤ _{· 2} y u ^⊤ _{· 2} u _· 2

(

x _· 2 − u ^⊤ _{· 1} x _· 2

u ^⊤ _{· 1} u _· 1

x _· 1

)

=

( u ^⊤ _{· 1} y

u ^⊤ _{· 1} u _{· 1} − u ^⊤ _{· 2} y u ^⊤ _{· 2} u _{· 2}

u ^⊤ _{· 1} x _· 2

u ^⊤ _{· 1} u _{· 1} )

x _· 1 + u ^⊤ _{· 2} y u ^⊤ _{· 2} u _{· 2} x _· 2 ,

▶

直交変換

(b)

の線形モデル

v ^⊤ _{· 1} y

v ^⊤ _{· 1} v _· 1

v _· 1 + v _· ^⊤ ₂ y v _· ^⊤ ₂ v _· 2

v _· 2 = v _· ^⊤ ₁ y v _· ^⊤ ₁ v _· 1

(

x _· 1 − v ^⊤ _{· 2} x _· 1

v _· ^⊤ ₂ v _· 2

x _· 2

)

+ v _· ^⊤ ₂ y v ^⊤ _{· 2} v _· 2

x _· 2

= v _· ^⊤ ₁ y v _· ^⊤ ₁ v _· 1

x _{· 1} + ( v ^⊤ _{· 2} y

v _· ^⊤ ₂ v _· 2 − v ^⊤ _{· 1} y v ^⊤ _{· 1} v _· 1

v _· ^⊤ ₂ x _{· 1} v ^⊤ _{· 2} v _· 2

) x _{· 2}

▶

両者を合わせると

v _· ^⊤ ₁ y v ^⊤ _{· 1} v _· 1

| {z }

ˆ w

₁

x _· 1 + u ^⊤ _{· 2} y u ^⊤ _{· 2} u _· 2

| {z }

ˆ w

₂

x _· 2

直交変換と重回帰分析（その２）

▶ d = 2

の重回帰分析の最小二乗解

ˆ

w 1 = v _· ^⊤ ₁ y

v _· ^⊤ ₁ v _{· 1} ,

ただし，

v 1 = x _· 1 − x ^⊤ _{· 2} x _{· 1} x ^⊤ _{· 2} x _{· 2} x _· 2

| {z }

x

_·2に直交する

x

_·1の成分

ˆ

w 2 = u ^⊤ _{· 2} y u ^⊤ _{· 2} u _· 2

ただし，

u 2 = x _· 2 − x ^⊤ _{· 1} x _· 2

x ^⊤ _{· 1} x _· 1

x _· 1

| {z }

x

_·1に直交する

x

_·2の成分

(a) (b)

重回帰分析と交絡因子

▶

最小二乗解

w ˆ j

は

「x

_{· 1} , . . . , x _{· j − 1} , x _{· j+1} , . . . , x _{· d}

に直行する

x _{· j}

の成分」

に対する線形単回帰分析の最小二乗解

ˆ

w _j = v ^⊤ _{· j} y v _· ^⊤ _j v _· j

, v _{· j} := x _{· j} − ∑

j ̸ =j

^′

x ^⊤ _{· j}

_′

x _{· j} x ^⊤ _{· j}

_′

x _· j

^′

x _{· j}

′

▶

交絡因子

y i = w 0 + w | {z } 1 x i1

主効果

+ w | 2 x i2 {z + w 3 x i3 }

交絡効果

▶

（例）肥満度，性別の影響を調整した血圧のコレステロール値へ の影響

コレステロール値

= w 0 + w 1 ×

血圧

+ w 2 ×

肥満度

+ w 3 ×

性別

単回帰分析と重回帰分析の比較例

▶

コレステロール

y

を血圧

x ₁

，肥満度

x ₂

，性別

x ₃

で予測

BP

−2−10 1 2 −1.00.01.0

−2012

−2−1012

BMI

SEX

0.00.40.8

−2 012

−1.00.01.0

0.0 0.4 0.8

DRUG

▶

単回帰モデル

y = (+0.41)x 1 , y = (+0.31)x 2 , y = (+0.13)x 3

▶

重回帰モデル

y = (+0.90)x 1 + ( − 0.48)x 2 + (+0.21)x 3

演習問題３

データ

X =



 



1 2 2 2 2 2 2 3 2 1 2 1



 

 , y =



 

 1 2 3 4



 



に対して切片のない線形重回帰モデル

y

i

= w

1

x

i1

+ w

2

x

i2

+ w

3

x

i3

+ ε

i

を考える．入力ベクトル

x

_·1

,x

_·2

, x

_·3の直交変換

u

_·1

= x

_·1

,

u

_·2

= x

_·2

− u

^⊤_·1

x

_·2

u

^⊤_·1

u

_·1

u

_·1

,

u

_·3

= x

_·3

− u

^⊤_·1

x

_·3

u

^⊤_·1

u

_·1

u

_·1

− u

^⊤_·2

x

_·3

u

^⊤_·2

u

_·2

u

_·2

と表されることを利用して，最小二乗解

w ˆ

3 の値を求めよ．

演習問題３の回答