11 Recent site activity KANEMURA Atsunori | AIST

2ごさす年度前期 パターン認識

第ささ回 決定木

兼村厚範

決定木

デ  特徴空間を 再帰的 さ次元 閾値処理を 分割

デ  次元を 閾値 切 いう情報をノー し 持つ2分木 し 表

–  理論 用語：

デ  ノー ン

デ  根 葉 終端 ターミ デ  親 子 祖先 子孫 パ デ  部分木

デ  汎化誤差 分散 大 い

2

記号

デ  ータ　　　　　　

デ   c  パターン N_c  個あ

デ  あ ノー  j 番目 次元を閾値 θ  切 領 域 R_さ   R₂  分割

デ  ノー 番号を付与 根 ご番 t 番

ノー 左右 子 番号を t_L t_R 書く

4

(x^{n, y}₁), n = 1, . . . , N x_{n ∈ R}^D_{, y}

1 ^{∈ {ω}1, . . . , ω^C_}

R_{1 = {x|xj ≥ θ}, R2 = {x|xj} < θ_}

確率

デ  ノー  t  割 当 パターン 数を Nがtき、 その かでクラス c  識別さ パターン数を

N_cがtき

デ  ノー  t   c  事後確率

–  同時確率 –  周辺確率

p_{(Cj|t) =} ^{p(ωc, t)} p_(t) ⁼

N_c(t) N_(t) p_(ωc, t_{) = p(ωc)p(t|ωc) =} ^Nc

N

N_c(t) N_j ⁼

N_c(t) N

p_{(t) =}

XC

p_(ωc, t_{) =}

XC _Nc(t)

N ⁼

N_(t) N

判別

デ  ノー  t  所属確率 最大 判別

–  t  根 ータを見 特徴空間を分割 学習 ータ中 各 割合 けを見

ず

b

yⁿ _{= arg max}

c

p_(ω^c_|t)

分割

デ  あ ノー  t  次元を 閾値 分割 を決め 基準：次 い 一番小 く さ.  誤 率 を選ぶ

2.  エン ロ ー 3.  係数

1 − max

c

p_(ω^c_|t)

−

XC c=1

p_(ωc|t) log p(ω^c|t) X

c_6=c⁰

p_(ωc_|t)p(ωc0_{|t) =}

XC c=1

p_(ωc|t)(1 − p(ω^c|t)) = 1 −

XC c=1

p²_(ωc_|t)

R 例示

。