講義内容

(1)

判別分析

２つ以上の群（クラスとも呼ぶ）が存在し，それぞれの

判別分析とは？

群の観測値の統計的性質（平均や共分散）がわかってい

るとする．

この条件のもとで，あるテストサンプルの観測値から，

そのサンプルがどちらの群に属するか，判別したい．

例）男子学生の身長体重女子学生の身長体重の統計的分布が例）男子学生の身長，体重，女子学生の身長，体重の統計的分布がわかっているとする．このとき，あるテスト学生の身長，体重からその学生の性別を推定したい．

男子

体重

？

_男子

身長

女子

2

講義内容

マハラノビス距離

１ １変数の場合

１．１変数の場合

２．相関のない２変数の場合

３．相関のある２変数の場合

４．一般的な表現

判別分析

１．１変数の場合

２ ２変数の場合

２．２変数の場合

(2)

マハラノビス距離

－１変数の場合－

p x

( )

確率密度関数平均ｍ，分散σ２_{の正規母集団} N(ｍ，σ２_{)からサンプルを1つ取り出し，} その値がｘであったとするその値がｘであったとする．このとき，このサンプルと，母集団平均ｍとの“基準化した距離”は，基準化後の変数， x

m

196 

基準化後の変数，

v



(

x



m

) /



の絶対値，

m

 196



x



m

x

m

 196

.



d

_M

   /

u

x

m



で与えられるまた平方距離は

m

 196

.



x



m



σで基準化した距離

x

d

_M2



(

x



m

) /

2



2 で与えられる．また，平方距離は 0 1.96 -1.96



ｖで定義される．このように，標準偏差σで補正した中心からの距離d_Mをマハラノビス距離という Mahalanobis：インドの数学者 4

マハラノビス距離と正規分布

１次元正規分布：１次元正規分布： _{確率密度関数}

_{p x}

_{( )}

)

(

1

2

m

x



2 M

d

)]

(

)

)(

(

2

1 exp[

)

(

)

2 (

]

)

(

2

1 exp[

2

1 )

(

1 2 2 / 1 2 2 / 1 2

m

x

m

x

m

x

p









  

_







)

(

x

₁

p

)

(

x

₂

p

2 M

d

２次元正規分布：２次元正規分布： x

m

)]

(

)

)(

(

2 p[

)

(

)

(

1

x

2

x

M

)]

(

)

(

2

1 exp[

)

2 (

)

(

1 ₂1 1

m

x

C

m

x

C

x



 



T 



p



等確率楕円：マハラノビス距離が等しい

2

_x 2 m₂ 2 M

d

₂ M

d

が等しい多次元正規分布：多次元正規分布：

1

1 d m₂

)]

(

)

(

2

1 exp[

)

2 (

)

(

_x



2

_C

₂



_x



_m

T

_C

1

_x



_m

p



_m 1 x₁ 2 M

d

(3)

１変数による判別

群を考確率密度関数２群の判別を考える．仮定：分散σ２_{の値は同じ}

)}

(

)

(

2 {

1 }

)

(

)

{(

1

2 2 2 2 2 1 2 2 2 2 1

D

x

m

x

m

D









確率密度関数 G1 G2

₎

2 )(

(

2 )}

(

)

(

2 {

1

2 1 2 1 2 2 2 2 1 2 1 2

m

x

m

















D₁ D₂

2 

0

x

定数

によらない

x

m

₁ x

m

₂

x

m

2

(

)

(

x

m

)

2

m



m

の場合であるから，たとえば x0

定数

母平均からの距離によって判別を行う

D

₁2



(

x



m

₂1

)



D

x

m

2 2 2 2



(



)



m

₁



m

₂

if x



x

₀



m

1



m

2

then x



G

₂

2 ,

の場合母平均からの距離によって判別を行う．すなわち，

if x



x

₀



m

1



m

2

then x



G

₁

2

2 ,









2 2 2 1 2

if

D

G

x

すなわち，２つの母平均の中点のどちら側にｘがあるかで，属する群が決まる．









2 2 2 1 1 2 1 2

if

D

G

x

6

１変数による判別（分散が異なる場合）

平均と分散の異なる２つのグループの判別を考える．確率密度関数 G₁

2 ,

0

1 ,

₂

4

1 2 2 2 1



m



m

平均：

分散：



G₂ 1

m

2

x

課題１：マハラノビス距離を用いて，グループ分けの境界となる点（ｘ座標）を求めなさい．課題２：データの母集団は与えられた平均，分散をもつ正規確率分布に従うものとする．確率密度関数の大小によって，判別の境界を求めた場従うものとする．確率密度関数の大小によって，判別の境界を求めた場合，マハラノビス距離を用いた場合と比べて，どのようになるか考えなさい．

(4)

２変数による判別

共分散行列が等しく，平均ベクトルが異なる２つの群,G1,G2を判別する式を求めたい．

x

₂

_p

2

( )

x

：群G2のサンプルに対する観測ベクトルｘの生起確率 G1 G2

m

₂₁

m

₂₂ G 21

p

₁

( )

x

：群G１のサンプルに対する観測ベクトルｘの生起確率

x

₁

m

₁₁

m

₁₂ 観測ベクトルｘの生起確率添え字約束 12 11

x

1 「２番目のグルプの１番目の変数についての平均」の意

m

_{variable group}_, 添え字の約束：「２番目のグループの，１番目の変数についての平均」の意変数番号群番号 8

２変数による判別

－１変数のみによる判別での問題点－仮にいずれか一方の変数のみで判別すると．．． x1を使うとG1に分類され，

x

₂ どちらの変数でも G2に分類される領域 x2を使うとG2に分類される領域． G1 G2

m

₂₁

m

₂₂ どちらの変数でも G1に分類される領域 G 21

x

₁ 類領 x1を使うとG2に分類され， x2を使うとG1に分類される領域．

m

₁₁

m

₁₂

_x

₁ の領域では分類に矛盾が生じる 11 12

(5)

２変数による判別

－単純なユークリッド距離では？－単純なユークリッド距離で判別することにすると．．．母平均を結ぶ線分の _{図において} _{観測値ベクトルの点は}

x

₂ 母平均を結ぶ線分の垂直２等分線図において，観測値ベクトルxの点は_{ユークリッド距離では}

D



D

_{E 1}

D

_{E 2}

D

E1



D

E2 となり，より近いG1に分類される．しかし，実際の生起確率は

x

p

₂

( )

x



p

₁

( )

x

であり G2に分類すべきである

x

であり，G2に分類すべきである．このように，単純なユークリッド距離では望ましい判別ができない．

x

₁ 10

２変数による判別

－マハラノビス距離による判別－そこで，等生起確率を与えるマハラノビス距離で判別する直線の方程式は

x

₂ マハラノビス距離で等距離になる軌跡は直線を描く



1 11 21 2 12 22









m

x

m

₁

m

11

m

12

2 



として

m

₂

m

21

m

22

2 



として，

f x x

( , ) (

₁ ₂



 

_{11 1}



 

₁₂ ₂

)(

x

₁



m

₁

)

x

₁



₍

 

_{21 1}



 

₂₂ ₂

₎₍

_x

₂



_m

₂

₎



₀

と書ける．

)]

(

)

(

2

1 exp[

)

2 (

)

(

1 ₁ 1 2 1 1 1

x



C



x



m

C

x



m

   T

p



2 )]

(

)

(

2

1 exp[

)

2 (

)

(

1 ₂ 2 2 1 1 2

x



C



x



m

C

x



m

   T

p



(6)

生起確率の大小とマハラノビス距離の関係

２つの群を仮定したときの確率の大小を比較する

y

２つの群を仮定したときの確率の大小を比較する．

)]

(

)

(

2

1 exp[

)

2 (

)

(

1 ₁ 1 2 1 1 1

x



C



x



m

C

x



m

   T

p



1

1 a b '

x

y

)]

(

)

(

2

1 exp[

)

2 (

)

(

1 ₂ 2 2 1 1 2

x



C



x



m

C

x



m

   T

p



1

1 比をとって比較 a' b' a  b a' b'

x

)]

(

)

(

1 exp[

)

2 (

)]

(

)

(

2

1 exp[

)

2 (

)

(

)

(

1 2 1 1 1 1 1 2 1 1 2 1

m

x

C

m

x

C

m

x

C

m

x

C

x

_



      T T

p



1 1 2 1

1 )

(

1 )

(

)

(

G

p

G

p

_

_

_

x

)}]

(

)

(

)

(

)

{(

2

1 exp[

)]

(

)

(

2 exp[

)

2 (

)

(

2 1 2 1 1 1 2 2 2 2

m

x

C

m

x

m

x

C

m

x

m

x

C

m

x

C







  T T

p

_

2 2 1

₁

)

(

)

(

G

p

_

_

_

x

2 )

(

)

{(

2

1 )

(

)

(

log

1 ₁ 1 1 T

p

_

_



_

m

x

C

m

x

2 2 1

(

)

1 ₍

₎

₀

l

p

x

D



G

対数をとって比較

)

(

1 )}

(

)

(

)

(

)

{(

2 )

(

g

2 2 2 1 2 1 1 2 T

D

p



m

x

C

m

x

2 2 2 , 2 1 , 1 1 2 2 , 2 1 , 2 1

0 )

(

2

1 )

(

)

(

log

0 )

(

2 )

(

)

(

log

G

D

p

G

D

p

M M M M





















x

)

(

2 D

M,1



D

M,2





, , 2

(

)

2 p x

生起確率の大小がマハラノビス距離の大小に対応づけられた． 12

判別関数の表現

判別関数を２つの群の平均までのマハラノビス距離の差で定義する

D

₁2

( ) (

x



x



m

₁

)

T

C

1

(

x



m

₁

)

T 2 1

f

( )

x



D

₂2

( )

x



D

₁2

( )

x

判別関数を２つの群の平均までのマハラノビス距離の差で定義する．ただし

D

₂2

( ) (

x



x



m

₂

)

T

C

1

(

x



m

₂

)

f

( ) (

x



x



m

)

T

C

1

(

x



m

) (



x



m

)

T

C

1

(

x



m

)

f(x)をC,m₁,m₂を使って表すと

f

T T T T T T T T

( ) (

)

(

) (

)

(

)

{

}

x

m

C

x

m

x

m

C

x

m

x C x

x C m

m C x

m C m

x C x

x C m

m C x

m C m







        2 2 1 1 1 1 2 2 1 2 1 2 1 1 1 1 すべて展開線部消える T T T T

{

}

(

) (

)

(

)

x C x

x C m

m C x

m C m

x C

m

C x

C













   1 1 1 1 1 1 2 1 2 1 1 1

_{・下線部消える} ・xでくくる T T T T

(

)

(

)

m C m

x C

m







1 1 1 2 1 2 1 1 2 1

2

1 T 第１項：Cが対称行列のとき aT_Cb=bT_{Ca を利用} 第２項：テクニック T

{(

m

)

C m





 1 2 1 1









 

(

)

}

(

)

m

C m

x C

m

1 2 1 2 1 1 2

2

T T 第２項：テクニック











 

(

)

(

)

(

)

(

)

m

C

m

x

m

C

m

1 2 1 1 2 1 1 2

2

T T

ただし，

m



m

1



m

2

(7)

判別関数の表現

)

(

)

(

2 )

(

1 ₁ ₂

m

C

m

x





T 



f































  11 12 12 22 1 1 22 12 12 11



C

　とおくと，

)

(

)

(

2 )

(

_

_

1 ₁

_

₂

f

x

m

T

C

m

)

(

)

(

2 , 2 1 , 2 2 , 1 1 , 1 11 12 12 22 1 2 1 2 1









































































m

x

_T

C

)

(

1 2 1 11 12 12 22 1 2 1 2 1





























































m

x

_T

C

)]

)(

(

)

)(

[(

₁ ₁ ₂₂ ₁ ₁₂ ₂ ₂ ₂ ₁₂ ₁ ₁₁ ₂ 1

_

_

_

_

_

_

_

_

_

_

_

_

_



C



x

m

x

m

14

マハラノビス距離

－2変数の場合－

(I) ２変数が互いに無相関の場合右図のような無相関な２次元正規母集団からサンプルが発生する場合を考える． x₂ (I) ２変数が互いに無相関の場合 m₂ A B からサンプルが発生する場合を考える．平均：共分散行列： x₁ m₁ 等確率楕円















12 ₂

0

0 C

















m

1

m

このサンプルの観測値ｘ=[x1,x2]Tを以下のように基準化する

v

₂ １ A B 行列：

v









0 

22









m

2 以下のように基準化する．

v

x

m

v

x

m

1



1



1 1





(

) /

(

) /



v

₁ １

v

₁

v

₂

v

₂



(

x

₂



m

₂

) /



₂ このとき，平方距離は

D

2 2 2

x

1

m

1

x

m

2 2 2 2



(

)

(

)

（注）もとの観測値空間での単純なユークリッド(Euclid)距離では

D

2

v

₁2

v

₂2 1 1 1 2 2 2 2 2







(

)



(

)



Dをマハラノビス距離とよぶ．ユクリッド(Euclid)距離ではこのとき，図から明らかなように

D

_E2



(

x

₁



m

₁

)

2



(

x

₂



m

₂

)

2 特徴：マハラノビス距離が等しい２点は同じ生起確率をもつ

D

_{E A}2_,



D

_{E B}2_,

(8)

マハラノビス距離

－2変数の場合（つづき）－

(II) ２変数に相関がある場合右図のような相関のある２次元正規母集団からサンプルが発生する場合を考える． (II) ２変数に相関がある場合 x₂ k₁ k₂



₂

_

2 発す場．統計量： m2



₁



₁ 2





















12 2 1 1



C

m

m1 分布の主成分分析を行い，第１主成分および第２主成分を求める x₁



₁





















₂ 2 12 2

,



C

m

および第２主成分を求める．次に，各主成分方向を新しい座標系にとる．このとき平方距離は k₁ k₂



₂















12 ₂

0

0 



k

C

u



₁ 2 2 2 2 2 1 2 1 2 2 2 1 2



k

u

D













0 

2

v

₁



k

₁

/



₁ Dをマハラノビス距離とよぶ． u₂

v

₂



k

₂

/



₂ u1 16

マハラノビス距離

－一般的表現－

x ’ 一般に，２変数のマハラノビス距離は以下のステップで変換した座標系におけるユークリッド距離で与えられる． x₂ m₂ x₁’ x₂ １．平均を０にする． x₁ m1 2 1

x' x

 

m

２．座標系を回転して（Hotelling変換）主成分の方向を新しい軸とする x₂ k₁ k₂

x



x

m

u

主成分の方向を新しい軸とする． 1 m2 k₁

k



Ux'

u

1 2

u

T

]

[

u

₁

u

₂

U



３．各主成分を，それぞれの標準偏差で割って正規化する（白色化：whitening)． x1 m₁ x₂ v₂ ４新しい座標系でのユークリッド距離を m₂ v₁

v



C

_k1 2/

k

４．新しい座標系でのユークリッド距離を算出する． x₁ m₁

D

2



v

2



v v

T

(9)

マハラノビス距離

－一般的表現（つづき）－

D2_を書き _すと目標：D2_{を母集団の平均ベクトルと共分}

'

１．平均を０にする． D2_{を書き下すと}

D

T T 2 1 2 1 2

 v v

/ / 目標：D2_{を母集団の平均ベクトルと共分} 散行列で表す．２．回転する．

x' x

 

m

k



Ux'

ただし

_C

_UCU

k T



k T k k T k 1 2 1 2 1 2 1 2





   

C

k

C

k

C

U x

m

C

U x

m

(

)

(

))

(

)

/ / / /

k



Ux

_T _T k T k T T k 1 2 1 2 1









  

x

m

U

C

U x

m

x

m

U C U x

m

(

)

(

)

(

)

(

)

(

)

/ /















₂ 2 2 1

0

0 



k

C

３．各主成分を正規化する． T T T T 1 1









 

x

m

U

UC U

U x

m

x

m

C

x

m

(

)

(

) (

)

(

)

(

)

















1/2 1/2 1

/

1

0

0 /

1 



k k

k

C

v

ただし

(

)

(

)

ただし，以下を用いた．

U

T

U

1









0

1 /



2 k k

























1 /



1

0 k

1

k

1

/



1

要素で書けば

４．新しい座標系でのユークリッド距離を算

C

UCU

U

C U

k T T     



1 1 1 1 1

(

)

(

)

U

T



U

1



























0

1 /



2

k

2

k

2

/



2 算出する．

D

2



v

2



v v

T

U

C U

UC U

 T



1

(

)

18