提案する CNN モデル

本研究で新たに提案するCNNのモデルについて述べる．

表 3.7: cifar10-fullのバイアスの更新式のパラメータ 層番号 ε α

conv1 0.002 0.9 conv2 0.002 0.9 conv3 0.002 0.9 fc4 0.002 0.9

1^st layer

入力 𝑥 : 𝟏𝟔 × 𝟏𝟔

の画像

softmax:2

2^nd layer 𝑁^thlayer

出力 𝑦 : クラス

確率 データの

標準化 𝑥 − 𝜇 /𝜎

conv1 bnorm1

𝑁 − 1 ^th layer

conv2 bnorm2

⋯

図 3.8: 提案するCNNのネットワーク構造.

ネットワーク構造

図3.8に示すCNNのネットワーク構造を提案する．畳込み層の数は2層から6層まで の間で変更し，3層の場合のパラメータの例を表3.8に示す．提案するモデルは2層から6 層の畳込み層と 1層の全結合層で構成され，各畳込み層のあとでは batch normalization を行う．畳込み層の活性化関数は正規化線形関数 (ReL) を用いる．Landsat 8 衛星画像 の入力を想定して入力層のチャンネル数は7チャンネルとする．また，一般的なCNN と 異なりプーリングは用いない．これは入力サイズが 16×16ピクセルと小さいため，プー リングは不要と判断した．全結合層の出力は softmax 関数に入力し，最終的にクラス確 率を得る．

表 3.8: 提案する4層のCNNのネットワーク構造．

層種 パッチ ストライド パディング 出力マップサイズ 関数 パラメータ

data - - - 16×16×7 -

-conv1 3×3 1 - 14×14×32 ReL 2,016

conv2 3×3 1 - 12×12×32 ReL 9,216

conv3 3×3 1 - 10×10×32 ReL 9,216

fc4 - - - 1×1×2 softmax 6,400

前処理

学習時には画像をCNNに入力する際に上下反転と左右反転をランダムに行う．また，

入力画像については標準化を行う．具体的には，バンドごとに平均値との差分を取って 標準偏差で割る．テスト時に上下反転および左右反転は行わない．

表 3.9: 提案するモデルの重みの更新式のパラメータ 層番号 ε α λ

conv1 0.001 0.9 0 conv2 0.001 0.9 0 conv3 0.001 0.9 0 fc4 0.001 0.9 0 学習規則

学習規則は3.3.1項と同じである．提案するモデルにおける更新式の各パラメータにつ いては表3.9に示す．

学習手順

まず，学習用データセットD_train，検証用データセットD_val，評価用データセットD_test の３つのデータセットを用意する．そして，これらを用いて以下のように学習を行う．

1. CNN の重みの初期値として, 平均0, 分散σ² の正規分布に従う乱数を与える

W₀ = (w^k_i,j), w_i,j^k ∼ N(0, σ²). (3.9)

2. Dtrain を使用して N1 epochs の学習を行う．

W1 = train(W0, ε, Dtrain). (3.10)

3. W₁の重みの CNN の認識性能をD_val を用いて評価する．

4. 超パラメータを変更して 1から 3を繰り返す．

5. D_valに対して最も性能の良い重みのCNNの認識性能を D_testを用いて評価をする．

本研究ではN₁はあらかじめ固定したepoch数の場合と，それ以上の回数を行ったうえで その中で最も性能の良かったepoch数の場合があり，それについては各実験で述べる．