201す年度前期 ターン認識
精度評価 ROで ー 第12回
ン ー テ ン
兼村厚範
1
性能評価
• 正解率 accuィacオ
– 正解数 こ 全サン 数
• 充分 ?
• 1 ラ 限 正解率 計算 ?
• 詳細 正確 識別器 性能 評価し い
• 用語
– 片方 ラ 陽性がpんイitivらき もう片方 ラ 陰性がをらるativらき 呼ぶ
– 陽性 サン 正例 陰性 サン 負例 呼
ぶ
2
Tィuらこりa」イら pんイitivらこをらるativら
• 正解率がaccuィacオき ち がTP + TNき こ がP + Nき
• 適合率がpィらciイiんをき ち TP こ がTP + なPき
• 再現率がィらca」」き ち TP こ P
• な値がなけmらaイuィらき ち
• 偽陽性率がなP ィatらき ち なP こ N
• 真陽性率がTP ィatらき ち TP こ P
3
識別結果\真 ω1 (positive) ω2 (negative) ω1 (positive) true positive (TP) false positive (FP) ω2 (negative) false negative (FN) true negative (TN)
和 P = TP + FN N = FP + TN
2
1/precision + 1/recall が調和平均き
調和平均
• 時速 平均
• 計2「m 道 最初 1「m 時速3「m 次 1「m 時速す「m 歩い 平均時速 ?
4
Pィらciイiんを ィらca」」
• Pィらciイiんをぞ 正例 識別し 中 本当 正 も 割合 正 言 本当 正 割合 正確
• Rらca」」ぞ 本当 正 も性 正 識別 割合 漏 く拾え 割合 網羅性
• Rらca」」 100% 簡単:全 正 識別 う pィらciイiんを 下
• Pィらciイiんを 上 う し 負例 当 う 本当 正 も 負 識別し し う 誤 起 ィらca」」 下
– ⇒ pィらciイiんを ィらca」」 ー 関係 あ
す
偽陽性率がなPRき 真陽性率がTPRき
• 閾値 大 く なPR小 TPR大 閾値 小 さく なPR大 TPR小
• なPR, TPR 負例 正例 分母
→ サン 数 不均衡 も影響さ い
ず
陽性 ラ 分布 陰性 ラ 分布
ROで曲線
• 偽陽性率 なPR 横軸 真陽性率 TPR
縦軸 ラ し も
• AUで がaィらa uをよらィ cuィvらきぞ ROで曲線 下 面積
せ
ン
• 複数 識別器 識別結果 平均
• 個々 識別器 ー ラッ サン 生成
。
ー テ ン
• 識別器 1 逐次的 追加し 組 合わ
追加 際 識別器 苦手
領域 く 正確 識別 う重
• 個々 識別器 え 特徴ベ 1 次元 見 閾値処理 イtamp
単純 も 弱識別器 い
• 訓練 ターン ラ ラベ
• 個 弱識別器
– 最終的 適当 重 足し合わ
そ
xn ∈ RD yn ∈ {±1} fm(x) ∈ {±1}, m = 1, . . . , M
g(x) = sign(PMm=1 αmfm(x))
Aよaてんんイt
1げ 重 初期化:なんィ ち 1, げげげ, ぞ 2げ なんィ m ち 1, げげげ, ぞ
1げ 次 重 付 誤差 最小化 う決定
2げ 信頼性係数 計算
3げ 重 更新:なんィ ち 1, げげげ, ぞ
3げ 識別器
10
fm(x)
wn ← 1/N
αm = ln((1 − E)/E)
E = PNn=1 wn[fm(xn) 6= yn], [P ] =
(1 P is true 0 P is false
g(x) = sign(PMm=1 αmfm(x)) wn wn exp(αm[fm(xn) 6= yn]), wn wn! PNn=1 wn
勾配 ー テ ン
• 弱識別器 ラメ ラ
• 損失関数 定義 1げ
2げ なんィ ち 1, げげげ, ぞ
1げ 番目 弱識別器 い 最適化 2げ g を更新
11
L(y, g)
fm(x; γm)
g0(x) ← 0
gm(x) ← gm−1 + α∗mfm(x; γm∗ ) =
Xm k=1
α∗kf(x; γk∗) (α∗m, γm∗ ) = arg min
αm,γm
XN n=1
L(yn, gm−1(xn) + αmfm(xn; γm))
Aよaてんんイt 損失関数
• Aよaてんんイt 指数誤差 損失関数
• ち 1, 2, げげげ 順番
ラメタα γ い 最適化
12
PN
n=1 L(yn, g(xn)) =
PN
n=1 exp{−yng(xn)}
gm(x) =
Pm
k=1 αkfk(x; γk)