第 4 章 実験
4.1 ゴルフ場を対象とした地物認識実験
4.1.8 CNN の出力するクラス確率の調査
実験目的
4.1.4項から4.1.7項の実験ではCNNで二値分類を行う際は，CNNの出力する対象地 物のクラス確率が0.5以上の時に推定クラスを対象地物としている．しかし，そのクラス
0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1
1000 10000 100000 1000000
F-value
負例の数
14x14（切り出し有り）
16x16（切り出し無し）
図 4.6: 前処理における切り出しの有無の比較.切り出しの有無による大きな差異は見ら れなかった．
確率から推定クラスを求める際に閾値を設定することができ，その閾値は超パラメータ である．そのため，CNNの出力する分類クラスごとのクラス確率の分布を観察し，出力 に対する閾値処理を検討する．
実験方法
データセットとしては，4.1.2項のGCD-16を用いる．DtrainおよびDvalとして，4.1.2 項のGCD-16のKT80kを用いる．Dtestとしては，GCD-16のKGを用いる．
CNNのモデルとしては，3.3.1項のcifar10-11pctを用いる．CNNモデルの実装とし てはcuda-convnet (A.1.1項)を，実験環境はA.2.2項のPCを用いる．
上記の環境で学習を１回行い，その学習済みモデルでKGを認識した際に出力される クラス確率を観察する．
実験結果と考察
KGを認識した際の confusion matrix を表4.10に示す．また，その際のCNNの出力 した正例と負例のクラス確率のヒストグラムを図4.7に示す．加えて，KGの認識結果の false negative の例を図4.8に示す．
正例のセルについては，正のクラス確率が0.9から1.0の範囲と0.0から0.1の範囲にな
表 4.10: KGを認識した際の confusion matrix． 正解ラベル
正例 負例 推定 正例 175 69
ラベル 負例 84 151125
クラス確率
セルの数
20 0 40 60 80 100 120
0.0 0.2 0.4 0.6 0.8 1.0 (a)正例のヒストグラム
クラス確率
セルの数
0.0 0.2 0.4 0.6 0.8 1.0 1
10 100 1000 10000 100000 1000000
(b)負例のヒストグラム
図 4.7: KGを認識した際にCNNの出力するクラス確率のヒストグラム．正例のセルに
ついては正のクラス確率が0.9から1.0の範囲と0.0から0.1の範囲になるものが多く，負 例のセルについてはほとんどが正のクラス確率が0.0から0.1の範囲になっていた．
0.1の範囲になっていた．負例全体でみると，0.1から1.0の範囲で正のクラス確率を取る 負例は少ないが，正例のセル数と比べると無視できない数の負例のセルが0.5から1.0の 範囲の正のクラス確率を取っていることが分かる．これより，クラス確率に対して閾値 処理を行うことで性能の向上を図るのは難しいと考えられる．
○：ゴルフ場と正解付したセル (a)正解データの例
○：False Negative のセル
(b) False negativeの例
○：False Negative のセル
(c) 正例のクラス確率が0.1より小さいfalse negative の例
図 4.8: KGの認識結果の例．(a)は鹿児島周辺の一部に対する正解付けの例である．(b)
は同一地点について認識した際のfalse positiveの例であり，(c)は正例のクラス確率が0.1 より小さいfalse positiveの例である．(c)を見ると正例であってもクラス確率が0.1以下 になっているセルが存在することが分かる．