SNB（superposed naive Bayes）

前節のナイーブベイズ・アンサンブル（NBE）は、元のナイーブベイズと⽐較して 予測精度の向上が期待できる⼀⽅、そのトレードオフとして解釈可能性は低下する。

そこで、本博⼠論⽂では、NBEを線形近似して単⼀のナイーブベイズに変換する⽅法、

superposed naive Bayes（SNB）を提案する。すなわち、SNBの構築は、NBEを構築す

る第１のステップと、NBEを線形近似して単⼀のナイーブベイズに変換する第２のス テップからなる２段階アプローチとなる。第１のステップは主に予測精度の向上に寄 与し、第２のステップは主に解釈可能性の向上に寄与する。ナイーブベイズは⼀種の 線形加法モデルであるため、線形近似されたNBEからナイーブベイズへの変換はWoE

図 6.5：WoE の重ね合わせによる SNB の⽣成

（出典：Mori and Uchihira 2019 に加筆）

（weight of evidence）の重ね合わせとして表現できる。図 6.5に、WoEの重ね合わせ によるSNB⽣成のイメージを⽰す。

WoE の重ね合わせを⾏うには、まず、NBEの⾮線形項を線形近似する必要がある。

式（3）と式（4）から、NBEの予測結果は以下にように表される。

𝑃 𝑋 ∑ 𝛽 𝑃 𝑋

∑^, 𝛽

∑ 𝛽 𝑠𝑖𝑔𝑚𝑜𝑖𝑑 𝑐 𝑐 𝑊 𝑋

∑^, 𝛽

∑ 𝛽 𝑠𝑖𝑔𝑚𝑜𝑖𝑑 𝑐 𝑐 ∑ 𝑊 𝑋

∑ 𝛽 6

ここで、線形近似として 𝑠𝑖𝑔𝑚𝑜𝑖𝑑 𝑐 𝑐 𝑊 𝑋 ≅ 𝑎 𝑏 𝑊 𝑋 を仮定すると、

式（6）は SNB の予測結果を表す以下の式に変換できる。

𝑃 𝑋 𝑊 𝑊 7

6.3⾼精度かつ解釈容易な機械学習モデルの構築 117

ただし、

𝑊 ∑^, 𝛽 𝑎 𝑏 𝑊 𝑋

∑ 𝛽 , 𝑊 ∑^, 𝛽 𝑏 𝑊 𝑋

∑ 𝛽

上記シグモイド関数の線形近似においては、テイラー近似を使⽤する。すなわち、

𝑠𝑖𝑔𝑚𝑜𝑖𝑑 𝑐 𝑐 𝑊 𝑋 の１次近似は、𝑐 の周りのテイラー展開として以下のよ

うに導出される。

𝑠𝑖𝑔𝑚𝑜𝑖𝑑 𝑐 𝑐 𝑊 𝑋 𝑠𝑖𝑔𝑚𝑜𝑖𝑑 𝑐

𝑛! 𝑐 𝑊 𝑋 ≅ 𝑎 𝑏 𝑊 𝑋 8

ただし、

𝑎 1

1 𝑒𝑥𝑝 𝑐 , 𝑏 𝑐 𝑒𝑥𝑝 𝑐

1 𝑒𝑥𝑝 𝑐

式（3）と式（7）の⽐較からわかるように、SNBはナイーブベイズと同じ構造をもっ ている。すなわち、SNB は重ね合わせた WoE である𝑊 𝑖 1, 2, ⋯ , 𝑑 をもつ単⼀の ナイーブベイズとみなすことができる。ただし、SNB の WoE は元のナイーブベイズ のWoEよりもかなり複雑な形状をしており、その複雑さの中に NBEのモデル構造の 特徴が反映されていると考えられる。

図 6.6 は、ナイーブベイズのWoE（上側）と SNBのWoE（下側）を⽐較したもの で あ る 。 そ れ ぞ れ の グ ラ フ を 解 釈 す る と 、 ナ イ ー ブ ベ イ ズ （ 上 側 ） で は 、 LOC_EXECUTABLE < 70ではリスクを低減する⽅向（WoE = -0.5）に作⽤するが、70 付 近を上回ると⼀転、急激なリスク増加因⼦（WoE = 1.5）に切り換わる。⼀⽅、SNB（下 側）では、WoEの値の変化がスムージングされており、LOC_EXECUTABLE > 10辺り から徐々にリスクが上昇していく。そして、WoE = 0の直線と交差する値、すなわち、

LOC_EXECUTABLE = 40付近において、リスク低減傾向（WoE < 0）からリスク増加傾

向（WoE > 0）に緩やかに切り換わる。

図 6.6：ナイーブベイズの WoE と SNB の WoE の⽐較

提案⼿法（SNB）におけるナイーブベイズの集団学習モデルに対するテイラー近似 のアイデアは、Ridgeway et al.（1998）に触発されたものである。主な違いとして、

Ridgeway et al.（1998）はブースティングの結果を集約する結合関数に対してテイラー 近似を適⽤しているが、SNBでは個々のナイーブベイズの予測結果に対するシグモイ ド補正の部分にテイラー近似を適⽤している。また、Ridgeway et al.（1998）はオリジ

ナルの AdaBoost を使⽤しているが、SNB では確率的勾配降下法などを使⽤した拡張

AdaBoostを採⽤することで、さらなる予測精度の向上を実現している。