判別分析２
講義内容
講義内容
１．数値例
２．ベイズ則(Bayes Decision Rule)を用いた判別分析
2
マハラノビス距離の計算例
－サンプル分布と等距離線－
35
40
Mahalanobis distance
25
30
15
20
x2
0
5
10
10 5 0 5 10 15 20 25 30 35 40
-10
-5
0
-10 -5 0 5 10 15 20 25 30 35 40
x1
34 1644 33 5256
平均ベクトル：
共分散行列
9 3659
34.1644 33.5256
33.5256 81.1758
共分散行列：
9.3659
14.5690
計算例
－マハラノビス距離－
鳥瞰図による表示
4
実際の手順
１．グループ分けが既知のサンプルを集め，各グループで
母集団の共分散行列と平均を推定する．（準備段階）
２．入力されたテストサンプルについて，各グループからの
マハラノビス距離を計算し，近い方に分類する．
x
2 p
2
( )
x
：群G2のサンプルに対する
G2
m
22
観測ベクトルｘの生起確率
G1
m
21
22
( )
：群G１のサンプルに対する
p
1( )
x
：群G１のサンプルに対する
観測ベクトルｘの生起確率
x
1
m
11
m
12
判別分析例１
共分散行列が等しい場合
50 50
20
30
40
20
30
40
0
10
20
x2
0
10
20
x2
30
-20
-10
30
-20
-10
グループ１のサンプル（２００個）と グループ２のサンプル（２００個）と
-25 -20 -15 -10 -5 0 5 10 15 20 25
-30
x1
-25 -20 -15 -10 -5 0 5 10 15 20 25
-30
x1
グル プ１のサンプル（２００個）と
マハラノビス等距離曲線
グループ２のサンプル（２００個）と
マハラノビス等距離曲線
6
判別分析例１（つづき）
50
Samples and border
20
30
40
0
10
x2
-25 -20 -15 -10 -5 0 5 10 15 20 25
-30
-20
-10
25 20 15 10 5 0 5 10 15 20 25
x1
判別関数 ２グループのサンプルと
判別の境界
判別分析例２
共分散行列が異なる場合
50
50
30
40
30
40
10
20
x2
0
10
20
x2
-10
0
-20
-10
グループ１のサンプル（２００個）と グループ２のサンプル（２００個）と
-25 -20 -15 -10 -5 0 5 10 15 20 25
-20
x1
-25 -20 -15 -10 -5 0 5 10 15 20 25
-30
x1
グル プ１のサンプル（２００個）と
マハラノビス等距離曲線
グループ２のサンプル（２００個）と
マハラノビス等距離曲線
8
判別分析例２（つづき）
Samples and border
30
40
50
10
20
30
x2
-10
0
10
-25 -20 -15 -10 -5 0 5 10 15 20 25
-20
x1
判別関数 ２グループのサンプルと
判別の境界
ベイズ則を用いた判別分析
ω
step1:入力された観測ベクトルに対して
各判別関数{gi}を計算する．
g
1
x
1
x
2
ω
1
ω
2
step2: {gi}の中で最大のものを探し
そのグループに属すると判断する．
最大値
検出
観測ベクトル
g
2
ω
j
x
1
g
c
x
m
ω
c x
x
j
i i
j
g
|
arg max{ ( )}
x
2
x
g
1(x)
g (x)
判別関数
計算部
x
m
（ｍ:多変量ベクトル
の次元数）
x
m
g
2(x)
（C:グループ数）
の次元数）
1に分類される領域
10
ベイズの決定則
p
(
x
)
p
(
) ( |
p
x
)
p
( ) (
x
p
| )
x
( )
1
グループω
1からサンプルが発生して，かつ，
そのときの観測ベクトルがｘである確率は
p
(
1, )
x
p
(
1) ( |
p
x
1)
p
( ) (
x
p
1| )
x
( )
1
(
) ( |
)
と書ける．（１）式より，事後確率は
p
p
p
p
( | )
(
) ( |
)
( )
1 x
1
x
1
x
２つの事後確率の大小で
p
(
| )
p
(
) ( |
p
)
( )
2 x
2
x
2
グループG2についても同様に グループ分けを決定する
のに使う．
p( )
2
x
両者の分母は共通なので，分子で比較する．
g
1(x)
g (x)
g
1( )
x
p
(
1) ( |
p
x
1)
( )
(
) ( |
)
g
2(x)
g
2( )
x
p
(
2) ( |
p
x
2)
1に分類される領域
ベイズ則（つづき）
p( |
x
1
)
( )
( ) ( | )
条件付き確率のみによる判別：
p( |
x
2)
g
1
( )
x
p
( ) ( | )
1
p
x
1
g
22( )
x
p
(
22) ( |
p
x
22)
以下の式の大小で判別する
x
判別の境界
p
( ) ( | )
1 p
x
1
以下の式の大小で判別する
f
( )
x
g
1( )
x
g
2( )
x
事後確率による判別：
p
(
2) ( |
p
x
2)
f
then the sample belongs to
f
then the sample belongs to
( )
( )
x
x
0
0
1
f
( )
x
0
then the sample belongs to
2
(
) 0 9
判別の境界
x
例：
p
p
(
)
.
(
)
.
1
2
0 9
01
判別の境界
12
ベイズ則とマハラノビスによる決定則との関係
プ
各グループの生起確率が正規分布に従うものとする．
高次元正規分布の一般式：
)]
(
)
(
2
1
exp[
)
2
(
)
(
2 21 1
m
x
C
m
x
C
x
T
d
p
事後確率の比較に際し，対数関数の単調増加性を利用して，
対数事後確率による比較を行う．
g
p
p
p
p
g
p
p
p
p
1 1 1 1 1
2 2 2 2 2
( ) log[ (
) ( |
)] log (
) log ( |
)
( ) log[ (
) ( |
)] log (
) log ( |
)
x
x
x
x
x
x
p
(
) ( |
p
x
)
g
i( ) log[ ( ) ( | )]
x
p
i p
x
i
p
(
1) ( |
p
x
1)
p
(
2) ( |
p
x
2)
p
( ) ( | )
i p
x
i
a
b
a'
x
p
( ) ( | )
i p
i
a
b'
a
b
a
'
b
'
対数事後確率の大小で判別する
g
i( ) log[ ( ) ( | )] log ( ) log ( | )
x
p
i p
x
i
p
i
p
x
i
i番目の判別関数：
ここで，正規分布の場合の条件付き確率は
)]
(
)
(
2
1
exp[
)
2
(
)
|
(
2 21 1
i
i
T
i
i
d
i
p
x
C
x
m
C
x
m
判別関数を書き下すと
g
p
p
p
i i i
i
( ) log ( ) log ( | )
log ( )
x
x
d
i
T
i i i
(
x
m
)
C
(
x
m
)
log
log
C
1
2
2
2
1
2
1
14
共分散行列が共通の場合
グループ数が２で，共分散行列が同一の場合を考える
f
( )
x
g
1( )
x
g
2( )
x
f
g
g
p
T d
( )
( )
( )
log (
)
(
x
m
)
C
(
x
m
)
log
log
C
1 2
1 1
1
1
1
2
2
2
1
2
p
T d
log (
)
(
)
(
)
log
log
(
)
x
m
C
x
m
C
2 2
1
2
1
2
2
2
1
2
1
1
p
p
T T
log
(
)
(
)
(
x
m
)
C
(
x
m
)
(
x
m
)
C
(
x
m
)
1
2
2
1
2 1
1
1
1
2
1
2
マハラノビス距離の差
ならば マハラノビス距離で判別する場合に等しい
p
(
)
p
(
)
マハラノビス距離の差
ならば，マハラノビス距離で判別する場合に等しい
p
(
1)
p
(
2)
p
(
1)
p
(
2)
ならば，f(x)=0の境界が動く
