• 検索結果がありません。

評価方法

ドキュメント内 i iv vi (ページ 68-71)

第 4 章 実験

4.2 メガソーラーを対象とした地物認識実験

4.2.3 評価方法

表 4.16: Mega Solar Dataset 16 ver.4の詳細.DOSKv4は図4.13aを,DKSv4は図4.13bを 分割して作成したデータセットである.offset(POSKv4)はセルを切り出す際にグリッドに オフセットを加えることで POSKv4 の数を増やしたものである.NOSK80Kv4NOSK40Kv4

NOSK8Kv4はそれぞれNOSKv4をランダムアンダーサンプリングしたものである.

データセット セルの数

POSKv4 54

offset(POSKv4) 858

DOSKv4 NOSKv4 159205

(training) NOSK80Kv4 80000 NOSK40Kv4 40000

NOSK8Kv4 8000

DKSv4 PKSv4 41

(test) NKSv4 159523

Mega Solar Dataset 16 Japan ver.2 (MSD-16-J-v2)

表4.12の20枚のLandsat 8 衛星画像をセルサイズ16×16で分割する.教師付けでは

3.2.4項に従ってセル内にメガソーラーを20%以上含むセルを正例とし,負例からは除外

領域を除いている.その際,MSD-16-J-v1 ではシーンごとに正例と負例に分割していた が,このデータセットではポリゴンのあるメガソーラーを学習データ,検証データ,テ ストデータにそれぞれ70 : 5 : 25の比でランダムに分割し,学習データについてのみ,セ ルを切り出すグリッドにオフセットを加えてデータ数を増やす処理を行っている.その 結果をその結果を表4.18に示す.

表 4.17: Mega Solar Dataset 16 Japan ver.1 の詳細.Ps, Ns はそれぞれ正例と負例であ る.offset(Ps) はセルを切り出す際にグリッドにオフセットを加えることでPs の数を増 やしたものである.

シーン番号s |Ps| |Ns| |offset(Ps)|

1 1 161892 17

2 11 161582 154

3 9 161204 128

4 3 161391 63

5 12 160929 208

6 48 160457 721

7 7 161185 118

8 53 158327 840

9 12 159775 198

10 7 161435 104

11 3 160871 34

12 33 159925 539

13 54 159204 860

14 22 159949 369

15 9 161145 132

16 8 161366 132

17 37 160265 615

18 41 159565 703

19 21 160165 339

20 2 161315 47

実験方法

データセットとしては,4.2.2項のMSD-16-v1と4.2.2項のMSD-16-v2を用いる.Dtrain として,4.2.2項のMSD-16-v1のPOSKv1, NOSK80Kv1と4.2.2項のMSD-16-v2のPOSKv2, NOSK80Kv2をそれぞれ用いる.Dtestとしては,MSD-16-v1のDKSv1を用いる.

CNNのモデルとしては,3.3.1項のcifar10-11pctを用いる.CNNモデルの実装とし てはcuda-convnet2 (A.1.2項)を,実験環境はA.2.2項のPCを用いる.学習のepoch 数 は 300-10-10 である.

また,本実験では入力画像のバンドの組み合わせを2, 3, 4と5, 6, 7の場合の2通り行 う.各データセットによる実験を5回ずつ行い,評価指標について平均と標準偏差を観 察する.

表4.18: Mega Solar Dataset 16 Japan ver.2 の詳細.P, N はそれぞれ正例と負例である.

offset(Ptrain)はセルを切り出す際にグリッドにオフセットを加えることでPtrain の数を増 やしたものである.undersampling(Ntrain)は Ntrain をランダムアンダーサンプリングし たものである.

データセット セルの数

Ptrain 300

Dtrain Ntrain 2247428

(training) offset(Ptrain) 4851 undersampling(Ntrain) 320000

Dval Pval 21

(validation) Nval 160533

Dtest Ptest 105

(test) Ntest 802666

表 4.19: バンド5, 6, 7を用いた場合の実験結果.

データラベル precision recall F-value 平均 標準偏差 平均 標準偏差 平均 標準偏差 MSD-16-v1 0.265 0.0445 0.240 0.0196 0.249 0.0179 MSD-16-v2 0.323 0.0625 0.092 0.0084 0.142 0.0107 実験結果と考察

実験を precision, recall, F-valueで評価した結果を表4.19に示す.なお,バンド2, 3, 4 を用いた場合はMSD-16-v1とMSD-16-v2のどちらで学習した場合もDKSv1でテストを 行うと全てが負例と認識されてしまったため,表4.19には示していない.

実験結果より,バンド2, 3, 4ではメガソーラーをまったく認識できなかったが,これ

はバンド2, 3, 4ではメガソーラーと判断するための情報が不足しているためと考えられ

る.対して,バンド5, 6, 7では認識できたことから,メガソーラーは近赤外に特徴があ ることが確認できたといえる.

4.2.5 近赤外バンドによる認識結果の比較

実験目的

4.2.4項の実験より,メガソーラーを対象とした地物認識では近赤外のバンドを用いる

ことで認識が可能であることが判明した.それを踏まえて,バンド5, 6, 7についてデー

表 4.20: バンド5, 6, 7を用いた場合の実験結果.

学習に使用した負例 precision recall F-value 平均 標準偏差 平均 標準偏差 平均 標準偏差

NOSK80Kv1 0.265 0.0445 0.240 0.0196 0.249 0.0179

NOSK40Kv1 0.209 0.0183 0.308 0.0115 0.248 0.0124

NOS8Kv1 0.112 0.0200 0.479 0.0135 0.181 0.0260

NOSK80Kv2 0.323 0.0625 0.092 0.0084 0.142 0.0107

NOSK40Kv2 0.290 0.0303 0.153 0.0135 0.199 0.0121

NOSK8Kv2 0.170 0.0256 0.238 0.0084 0.197 0.0185

実験方法

データセットとしては,4.2.2項のMSD-16-v1と4.2.2項のMSD-16-v2を用いる.Dtrain として,4.2.2項のMSD-16-v1のPOSKv1, NOSK80Kv1, NOSK40Kv1, NOSK8Kv1と4.2.2項の MSD-16-v2のPOSKv2, NOSK80Kv2, NOSK40Kv2, NOSK8Kv2をそれぞれ用いる.Dtestとして は,MSD-16-v1のDKSv1を用いる.

CNNのモデルとしては,3.3.1項のcifar10-11pctを用いる.CNNモデルの実装とし てはcuda-convnet2 (A.1.2項) を,実験環境はA.2.2項のPCを用いる.学習のエポック 数は300-10-10 である.

また,本実験では入力画像のバンドの組み合わせが5, 6, 7の場合について行う.各デー タセットによる実験を5回ずつ行い,評価指標について平均と標準偏差を観察する.

実験結果と考察

実験を precision, recall, F-valueで評価した結果を表4.20および図4.15に示す.

アンダーサンプリングした際の結果は基本的には4.1.4項のゴルフ場の実験と同様に precisionが下がり,recallが上がるものであった.しかし,MSD-16-v2に関してF-value を見ると,負例が80000個の時が40000個の時よりも低い結果となっていた.

ドキュメント内 i iv vi (ページ 68-71)