4.2.8 3 層の CNN についてモデルの構成要素を変更した場合の認識結 果の比較
4.2.12 日本全体のデータセットを用いて CNN の層の数を変更した場合 の認識結果の比較
0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1
1:1 1:2 1:3 1:30くらい
評価指標
Precision Recall F-value IOU
クラス間比率 1:1 1:2 1:3 調整なし
Epoch 数 9000 9600 7880 500
図 4.23: ミニバッチ内のクラス比率を調整した場合の実験結果.クラス間比率は正例:負例
の比率を表している．ミニバッチ内の負例の比率を減らすと，recallは上がるがprecision は下がり，IOUも下がってしまうことが分かった．
実験結果と考察
実験を precision, recall, F-value, IOU で評価した結果を図4.23に示す．これより，ミ ニバッチ内の負例の比率を減らすと，recallは上がるがprecisionは下がり，IOUも下がっ てしまうことが分かった．これより，負例の比率を極端に減らさずに，性能が良くなる ような比率を探すことが必要であると考えられる．
4.2.12 日本全体のデータセットを用いて CNN の層の数を変更した場合
実験方法
データセットとしては，4.2.2項のMSD-16-J-v2を用いる．Dtrainとして，offset(Ptrain) とundersampling(Ntrain)を用いる．DvalとDtestは，4.2.2項のものを用いる．
CNNのモデルとしては，3.3.3項の提案モデルを用い，畳込み層の数は3から6層（CNN 全体では4から7層）の場合を検証する．CNNモデルの実装としては torch7 (A.1.4項) を，実験環境はA.2.2項のPCを用いる．学習の epoch 数は 5000まで行い，DvalのIOU の認識性能が最も良かった epoch 数でのモデルでDtestを評価する．
ミニバッチ内のクラス比率については 1:15 とする．また，本実験では入力画像のバン ドはバンド1から7までの7バンドを用いる．そして，各データセットによる実験を1回 ずつ行う．
実験結果と考察
実験を precision, recall, F-value, IOU で評価した結果を図4.24, 4.25に示す．検証用 データに対する認識結果は3層から5層にかけては少しずつIOUが上がっており，6層の 段階で下がっていることが分かった．テスト用データに対する認識結果は3層から5層 にかけてIOUはほぼ同じであり，僅差で4層が良い結果となった．層の数を増やすほど パラメータの数が増えるため，性能が変わらないのであれば，なるべく層の数が少ない モデルを使用するのが良いと考えられる．
4.2.13 CNN のソフトマックスの閾値を変更した場合の認識結果の比較
実験目的
4.2.12項の実験まではCNNの出力する正例のクラス確率が0.5以上である場合にその
ときの入力画像を正例と判断していた．しかし，その閾値も超パラメータであり，その 閾値を変更することで，性能が向上することが考えられる．そのため，CNNの出力する クラス確率に対する閾値を変更することでどの程度性能への影響があるか検証する．
実験方法
データセットとしては，4.2.2項のMSD-16-J-v2を用いる．Dtrainとして，4.2.2項の offset(Ptrain)とundersampling(Ntrain)を用いる．offset(Ptrain)はセルを切り出す際にグリ ッドにオフセットを加えることでPtrainの数を増やしたものである．undersampling(Ntrain)
0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1
conv2 conv3 conv4 conv5 conv6
評価指標
Precison Recall F-value IOU
CNNの層の数 3 4 5 6 7
Epoch数 4500 1930 1840 5000 2720
図 4.24: 検証データに対する実験結果.3層から5層にかけては少しずつIOUが上がって
おり，6層の段階で下がっていることが分かった．
0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1
conv2 conv3 conv4 conv5 conv6
評価指標
Precison Recall F-value IOU
CNNの層の数 3 4 5 6 7
Epoch数 4500 1930 1840 5000 2720
図 4.25: テストデータに対する実験結果.3層から5層にかけてIOUはほぼ同じであり，
僅差で4層が良い結果となった．
は Ntrain をランダムアンダーサンプリングしたものである．DvalとDtestは，4.2.2項の
ものを用いる．
CNNのモデルとしては，3.3.3項の提案モデルを用い，畳込み層の数は3層（CNN全 体では4層）の場合を検証する．CNNモデルの実装としてはtorch7 (A.1.4項)を，実験 環境はA.2.2項のPCを用いる．学習の epoch 数は 5000 まで行い，DvalのIOUの認識 性能が最も良かった epoch数でのモデルでDtestを評価する．最も良いモデルはクラス確
表 4.23: 閾値が0.999の場合の認識結果の confusion matrix． 正解ラベル
正例 負例 推定 正例 81 50
ラベル 負例 24 802619
率の閾値をこれまでと同様に0.5の場合で決定し，そのモデルで閾値を変更した際の認識 性能の変化を観察する．
ミニバッチ内のクラス比率については正例と負例の比率を 1:15 とする．また，本実験 では入力画像のバンドはバンド1から7までの7バンドを用いる．そして，各データセッ トによる実験を1回ずつ行う．
実験結果と考察
クラス確率の閾値を変更した場合の結果を図4.26, 4.27に示す．これより，Dvalでは閾 値が0.999の時が最もIOUが良く，同じ閾値でDtestを評価すると，Dtestでは最適でない ものの，閾値が0.5の時よりIOUが0.3以上良い結果であった．これより，クラス確率の 閾値を超パラメータとして調査することで，より性能が良くなることが確認できた．
また，閾値が0.999の場合のDtestの認識結果のConfusion matrix は表4.23に示す．こ の 50個の false positive について解析を行った．その解析結果の例を図4.28に示す．31 個のセルについては教師ラベル作成時に参照したエレクトリカル・ジャパンに存在しな いものの，Web上のメガソーラーの設置情報やGoogle Earthなどのより高解像度の衛星 画像で参照したところ，実際にはメガソーラーであることが判明した．これより，CNN は不完全な教師データでも学習できていると考えられ，また，実際の評価指標の値より も実際の性能としては優れていると考えられる．
4.2.14 日本全体のデータセットを用いた既存の認識手法と CNN との
比較
実験目的
4.2.13項までの実験で，CNNのモデルを改良することにより，CNNによる地物認識手
法でメガソーラーをある程度認識できることが分かった．そこで，メガソーラーを対象
0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1
0.5 0.6 0.7 0.8 0.9 1
評価指標
閾値
Precision Recall F-value IOU
(a)ソフトマックスの閾値を横軸に取ったグラフ.
0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1
0.0001 0.001 0.01 0.1 1
評価指標
閾値の負の対数 Precision
Recall F-value IOU
(b)ソフトマックスの閾値の負の対数を横軸に取ったグラフ.
図 4.26: 検証データに対する実験結果.閾値が0.999の時が最もIOUが良いことが分かっ た．
とした地物認識において既存の他手法ではどのくらい認識性能が出るのか検証し，CNN による実験結果と比較する．
実験方法
データセットとしては，4.2.2項のMSD-16-J-v2を用いる．Dtrainとして，4.2.2項の offset(Ptrain)とundersampling(Ntrain)を用いる．DvalとDtestは，4.2.2項のものを用いる．
0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1
0.5 0.6 0.7 0.8 0.9 1
評価指標
閾値
Precision Recall F-value IOU
(a)ソフトマックスの閾値を横軸に取ったグラフ.
0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1
0.0001 0.001 0.01 0.1 1
評価指標
閾値の負の対数 Precision
Recall F-value IOU
(b)ソフトマックスの閾値の負の対数を横軸に取ったグラフ.
図 4.27: テスト用データに対する実験結果.検証用データで最適であった0.999を閾値と
してDtestを評価すると，Dtestでは最適でないものの，閾値が0.5の時よりIOUが0.3以 上良い結果であった．
地物認識手法としては以下の手法を用いる．
• ７バンドの画像をベクトル化+線形SVM （RI+SVM–L）
• ７バンドの画像をベクトル化+RBFカーネルのSVM （RI+SVM–R）
• メガソーラーの分光指標＋RBFカーネルのSVM （SI+SVM–R）
• メガソーラーの分光指標＋閾値処理 （SI+THN）
(a) メガソーラーの例1 (b)メガソーラーの例2
(c)メガソーラーの例3 (d)メガソーラーでない例
図 4.28: 閾値を0.999にした際の認識結果の false positive の例．赤いセルはDtestに含ま れている16×16ピクセルの false positive のセルである．表示している画像は擬似的に 解像度を2倍にした Landsat 8 衛星画像のパンシャープン画像である．(a), (b), (c) は 解析した結果，実際にはメガソーラーであったセルの例であり，(d)は明らかにメガソー ラーではなかったセルの例である．
• 4.2.13項の実験で学習したCNNモデル （CNN） 以下に各手法の詳細を述べる．
メガソーラーの分光指標＋閾値処理 まず，Landsat 8 衛星画像のバンド3, 4, 5, 6, 7か
に相当するメガソーラーマップを作成する．そのメガソーラーマップから16×16ピクセ ルのセルを切り出して，セル内部について，ある閾値以上のピクセル数N を計算する．
そして，そのピクセル数N について以下の2通りの方法でセルがメガソーラーかどうか を判定する．
• N ≥1: 1つでも閾値以上のピクセルを含む （TH1）
• N ≥52: セルの20%以上に閾値以上のピクセルを含む （TH52）
画像のベクトル化 各バンドの16ピクセルのセルについてピクセル値を一列に並べた256 次元のベクトルに変換し，各バンドのベクトルを更に一列に並べた1792次元ベクトルと する．また，分光指標をSVMで認識する場合は256次元のベクトルとなる．
SVM 線形SVMとRBFカーネルによるSVMで実験を行う．線形SVMの実装として はA.1.6項のLIBLINEARを用いる．RBFカーネルによるSVMの実装としてはA.1.5項 のLIBSVMを用いる．
実験結果と考察
実験をprecision, recall, F-value, IOUで評価した結果を図4.29に示す．提案するCNN モデルによる認識結果は既存手法と比べて recall, F-value, IOU で最も良い結果となっ た．Precision はSI+TH52 が最も良い結果であったが，IOU が最も厳しい評価指標であ り，CNNの性能が最も良いと考えられる．
0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1
CNN SI+TH1 SI+TH52 SI+SVM-R RI+SVM-R RI+SVM-L
評価指標
Precision Recall F-value IOU
(a)検証結果の比較
0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1
CNN SI+TH1 SI+TH52 SI+SVM-R RI+SVM-R
評価指標
Precision Recall F-value IOU
(b)テスト結果の比較
図4.29: 各認識手法による実験結果の比較.線形SVMによる認識結果は検証用データセッ
トの認識がほとんどできなかったため，テスト用データセットの認識実験は行わなかっ た．全体的にテスト用データセットに対する認識性能は検証用データセットに対する性 能より下がっていた．結果として，提案する CNN モデルによる認識結果は既存手法と 比べて recall, F-value, IOU で最も良い性能であった．