4.2.8 3 層の CNN についてモデルの構成要素を変更した場合の認識結 果の比較
4.2.10 修正したデータセットを用いて CNN の層の数を変更した場合の 認識結果の比較認識結果の比較
実験目的
4.2.9項の実験ではCNNの層を増やすとともに，その実験結果の false positiveについ て解析を行った．その結果，教師データの負例にも多くのメガソーラーが含まれているこ とが判明した．そのため，可能な限り教師データの負例からメガソーラーを除いた4.2.2 項のデータセットMSD-16-v4を作成した．そして，修正前のデータセットMSD-16-v3と 実験結果を比較し，その違いを検証する．
実験方法
データセットとしては，4.2.2項のMSD-16-v4を用いる．Dtrainとして，4.2.2項の MSD-16-v4のPOSKv4, NOSK80Kv4を用いる．Dtestとしては，MSD-16-v4のDKSv4を用いる．
CNNのモデルとしては，3.3.3項の提案モデルを用い，畳込み層の数は3, 4層（CNN 全体では4, 5層）の場合を検証する．CNNモデルの実装としては torch7 (A.1.4項)を，
実験環境はA.2.2項のPCを用いる．学習の epoch 数は 1000である．このうち，後半の
500 epochsはハードネガティブマイニングを行い，その行う前後の性能も比較する．
0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1
Precision
平均
CNNの層の数 4 5 6 7
DA の有無 × × × × × × × ×
NM の有無 × ○ × ○ × ○ × ○
(a) Precision による評価
0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1
Recall 平均
CNNの層の数 4 5 6 7
DA の有無 × × × × × × × ×
NM の有無 × ○ × ○ × ○ × ○
(b) Recallによる評価
0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1
F-value
平均
CNNの層の数 4 5 6 7
DA の有無 × × × × × × × ×
NM の有無 × ○ × ○ × ○ × ○
(c) F-valueによる評価
図 4.19: Data augmentation なしでハードネガティブマイニングの有無による性能の検 証結果．図中のエラーバーは標準偏差を表している．DA は data augmentation のこと であり，NM は ハードネガティブマイニングのことである．層の数については4層の場 合が比較的良い結果であった．また，ハードネガティブマイニングについてはどの場合 も行うことによって性能が悪化していた．
0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1
Precision
平均
CNNの層の数 4 5 6 7
DA の有無 ○ ○ ○ ○ ○ ○ ○ ○
NM の有無 × ○ × ○ × ○ × ○
(a) Precision による評価
0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1
Recall
平均
CNNの層の数 4 5 6 7
DA の有無 ○ ○ ○ ○ ○ ○ ○ ○
NM の有無 × ○ × ○ × ○ × ○
(b) Recallによる評価
0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1
F-value
平均
CNNの層の数 4 5 6 7
DA の有無 ○ ○ ○ ○ ○ ○ ○ ○
NM の有無 × ○ × ○ × ○ × ○
(c) F-valueによる評価
図 4.20: Data augmentation ありでハードネガティブマイニングの有無による性能の検 証結果．図中のエラーバーは標準偏差を表している．DA は data augmentation のこと であり，NM は ハードネガティブマイニングのことである．data augmentation を行っ た場合は5層でも4層と同程度の性能が出ていた．また，ハードネガティブマイニングに
0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1
Precision
平均
CNNの層の数 4 5 6 7
DA の有無 × ○ × ○ × ○ × ○
NM の有無 × × × × × × × ×
(a) Precision による評価
0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1
Recall
平均
CNNの層の数 4 5 6 7
DA の有無 × ○ × ○ × ○ × ○
NM の有無 × × × × × × × ×
(b) Recallによる評価
0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1
F-value
平均
CNNの層の数 4 5 6 7
DA の有無 × ○ × ○ × ○ × ○
NM の有無 × × × × × × × ×
(c) F-valueによる評価
図 4.21: ハードネガティブマイニングなしで data augmentation の有無よる性能の検証 結果．図中のエラーバーは標準偏差を表している．DA は data augmentation のことで あり，NM は ハードネガティブマイニングのことである．層の数については4層の場合 が良く，data augmentation を行った場合は5層でも同程度の性能が出ていた．
また，本実験では入力画像のバンドはバンド1から7までの7バンドを用いる．そし て，各データセットによる実験を2回ずつ行い，評価指標について平均と標準偏差を観 察する．
実験結果と考察
実験を precision, recall, F-value で評価した結果を図4.22に示す．修正後の認識結果
のF-valueを見ると，4層より5層の方が性能がよくなっていることが分かる．修正前と
比べると，修正後は雲がかかった正例を除いたことで recall が上昇し、ほぼ１に近い値 となったことが分かる．また，precision も上がりはしたが、負例を修正した効果はあま り大きくなかった．これの理由の１つとしては，完全には負例からメガソーラーを除外 できていないことが考えられる．
4.2.11 ミニバッチ内のクラス比率を変更した場合の認識結果の比較
実験目的
4.2.10項までの実験ではCNNの学習を行う際のミニバッチ内のクラスの分布を考慮し
ておらず，ミニバッチは負例が極端に多く含まれ，正例が全く含まれない場合も存在した．
そのため，ミニバッチ内のクラス比率を調整することによる性能への影響を調査する．
実験方法
データセットとしては，4.2.2項のMSD-16-J-v1を用いる．Dtrainとして，4.2.2項のシー ン1から15を用いる．Dtrainの負例は各シーンから8000セルずつランダムに選択して用 いる．Dtestとしては，4.2.2項のシーン18を用いる．
CNNのモデルとしては，3.3.3項の提案モデルを用い，畳込み層の数は3層（CNN全 体では4層）の場合を検証する．CNNモデルの実装としてはtorch7 (A.1.4項)を，実験 環境はA.2.2項のPCを用いる．学習の epoch数は 10000 行ったうえで，DtestのIOUの 性能が最も良かった時点の epoch 数のモデルで比較する．
ミニバッチ内のクラス比率については 1:1, 1:2, 1:3の場合と未調整の場合の4通りを行 う．また，本実験では入力画像のバンドはバンド1から7までの7バンドを用いる．そし て，各データセットによる実験を1回ずつ行う．
0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1
Precision
平均
CNNの層の数 4 5 4
𝐷train v4 v4 v4 v4 v3 v3
𝐷test v4 v4 v4 v4 v3 v4
NM の有無 × ○ × ○ × ×
(a) Precision による評価
0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1
Recall
平均
CNNの層の数 4 5 4
𝐷train v4 v4 v4 v4 v3 v3
𝐷test v4 v4 v4 v4 v3 v4
NM の有無 × ○ × ○ × ×
(b) Recallによる評価
0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1
F-value
平均
CNNの層の数 4 5 4
𝐷train v4 v4 v4 v4 v3 v3
𝐷test v4 v4 v4 v4 v3 v4
NM の有無 × ○ × ○ × ×
(c) F-valueによる評価
図 4.22: 修正したデータセットMSD-16-v4(v4)による認識結果と修正前(v3)との比較.
修正前(v3)の結果としては，4.2.9の実験でF-valueの性能が最も良かったモデルの結果を 載せている．修正後の認識結果のF-valueを見ると，4層より5層の方が性能がよくなっ ていることが分かる．
0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1
1:1 1:2 1:3 1:30くらい
評価指標
Precision Recall F-value IOU
クラス間比率 1:1 1:2 1:3 調整なし
Epoch 数 9000 9600 7880 500
図 4.23: ミニバッチ内のクラス比率を調整した場合の実験結果.クラス間比率は正例:負例
の比率を表している．ミニバッチ内の負例の比率を減らすと，recallは上がるがprecision は下がり，IOUも下がってしまうことが分かった．
実験結果と考察
実験を precision, recall, F-value, IOU で評価した結果を図4.23に示す．これより，ミ ニバッチ内の負例の比率を減らすと，recallは上がるがprecisionは下がり，IOUも下がっ てしまうことが分かった．これより，負例の比率を極端に減らさずに，性能が良くなる ような比率を探すことが必要であると考えられる．