解釈可能性の評価結果

6.5実験・評価結果 131

図 6.10：２回⽬の Scott-Knott 検定の結果（出典：Mori and Uchihira 2019）

対して Weka が⽣成した J48 モデルは、それぞれ 241 ノードと 245ノードをも つ）、モデルレベルでは常に透明性があるとは限らない。

 NBTreeは、J48と⽐べてモデル全体がコンパクトであるため、モデルレベルで

は透明性がある。しかしながら、⼊⼒と出⼒の間の処理は直感的な理解が難し いため、コンポーネントレベルの透明性は不⼗分と評価した。

 RLRは線形回帰モデルの⼀種であり、モデル、コンポーネント、アルゴリズム の３つのレベルにおいて透明性があると考えられる。

 SVMとMLPは、アルゴリズムの内部パラメータの調整に乱数を使⽤しており、

モデル、コンポーネント、アルゴリズムの３つのレベルにおいてブラックボッ クス（透明性がない）とみなした。

 NBcとNBdは、モデル、コンポーネント、アルゴリズムの３つのレベルにおい て透明性があると考えられる。両者の違いは、仮定した確率分布の違いのみで あり、NBcは正規分布を使⽤し、NBdはステップ関数を使⽤している。

 TAN はモデル全体がコンパクトであるため、モデルレベルでは透明性がある。

しかしながら、⼊⼒と出⼒の間の処理は直感的な理解が難しいため、コンポー ネントレベルの透明性は不⼗分と評価した。

 AODE および HNB は、モデルおよびコンポーネントレベルではほぼブラック ボックスだが、アルゴリズムレベルでは透明性がある。AODE はベイジアン集 団学習モデルだが、アルゴリズム⾃体は乱数を使⽤せず確定的である。

 AdaBstと RF は、モデル、コンポーネント、アルゴリズムの３つのレベルにお

いてブラックボックス（透明性がない）とみなした。ただし、部分従属プロッ ト（PDP）などのツールは使⽤しないことを前提としている。

 NBd2はNBdの異なる実装（JavaとR）であり、評価結果はNBdと同じとなる。

すなわち、モデル、コンポーネント、アルゴリズムの３つのレベルにおいて透 明性があると評価した。

 TAN2 は TAN の異なる実装（Javaと R）であり、評価結果は TAN と同じとな る。すなわち、モデルおよびアルゴリズムレベルにおいて透過性がある。

 NBEとNBE2は、AdaBstやRFと同様に、モデル、コンポーネント、アルゴリ ズムの３つのレベルにおいてブラックボックス（透明性がない）とみなした。

 SNBはNBd2 とモデル構造上は同じであるため、モデルとコンポーネントの透

6.5実験・評価結果 133

明性は NBd2から継承される。しかしながら、SNBは乱数を使⽤する集団学習 モデルの⼀種であるため、アルゴリズムの透明性は低くなる。

 SNB2 は TAN2 とモデル構造上は同じであるため、モデルとコンポーネントの 透過性はTAN2 から継承される。しかしながら、SNB2は乱数を使⽤する集団学 習モデルの⼀種であるため、アルゴリズムの透明性は低くなる。

表 6.6：解釈可能性の評価結果（出典：Mori and Uchihira 2019）

なお、上記アセスメントに加えて、付録A3では、RLR、SNB、RF+PDPの解釈可能性 に関する詳細な⽐較分析を実施している。必要に応じて、参照して頂きたい。

Model Transparency (Simulatability)

Component Transparency (Decomposability)

Algorithmic Transparency

Q1. Is the entire model simple enough to be fully understood by a

user?

Q2. Is each part of the model (each input,

parameter, and calculation) intuitively

explainable?

Q3. Is the algorithm deterministic (non-stochastic) without using any random

numbers?

OneR Yes Yes Yes 3 0.875

JRip Yes Yes Yes 3 0.875

J48 Yes Yes 2 0.6

NBTree Yes Yes 2 0.6

RLR Yes Yes Yes 3 0.875

SVM 0 0.18

MLP 0 0.18

NBc Yes Yes Yes 3 0.875

NBd Yes Yes Yes 3 0.875

TAN Yes Yes 2 0.6

AODE Yes 1 0.4

HNB Yes 1 0.4

AdaBst 0 0.175

RF 0 0.175

NBd2 Yes Yes Yes 3 0.875

NBE 0 0.175

SNB Yes Yes 2 0.6

TAN2 Yes Yes 2 0.6

NBE2 0 0.175

SNB2 Yes 1 0.4

# of Yes RFR