実験結果

学習したCNNに対して，平行移動や回転，スケール変化を与えたときの実験結果につ いて述べる．まず，本実験で行った幾何変化についてまとめたものを表3.1に示す．ここ で，平行移動の - が左方向， + が右方向を示す．

3.4. CNNの幾何変換に対する不変性の実験

表 3.1: 実験で識別サンプルに与えた幾何変化 与えた幾何変化

平行移動 -5 〜 +5

回転 0〜5，10，15，20，25，30 拡大 ×1.1 〜 ×1.5 縮小 ×0.5 〜 ×0.9

まず，それぞれの幾何変化を与えたときの誤識別率を図3.8(a)〜図3.8(c)に示す．ここ で，CNNの幾何変化に対する不変性を比較するため，多層パーセプトロン(MLP)を用い て比較実験する．図3.8(a)〜図3.8(c)より，多層パーセプトロンよりCNNのほうが幾何 変化に対する不変性が高い結果となった．

ここで，識別サンプルに幾何変化を与えたときの特徴マップを図3.9に示す．図3.9で

は，図3.8(a)〜図3.8(c)の誤識別率が10%未満のときの特徴マップを可視化結果を示し

ている．また，図3.9では1層目と2層目の各プーリング層の特徴マップの可視化結果を 示している．図3.9より，1層目のプーリング処理では微小な変化を吸収し，2層目のプー リング処理では1層目で吸収できなかった変化を吸収し，不変性を獲得していることがわ かる．

0 10 20 30 40 50 60 70 80 90 100

-10 -5 -4 -3 -2 -1 0 +1 +2 +3 +4 +5 +10

[%]

[pixel]

MLP CNN

0 5 10 15 20 25 30

0 1 2 3 4 5 10 15 20 25 30

[%]

[°]

MLP CNN

0 10 20 30 40 50 60 70 80

0.6 0.7 0.8 0.9 1.0 1.1 1.2 1.3 1.4 1.5

[%]

スケールの変化率 

MLP CNN

(a) 平行移動に対する誤識別率の変化

(b) 回転に対する誤識別率の変化

(c) スケール変化に対する誤識別率の変化 図 3.8: 幾何変化に対する誤識別率の変化

3.4. CNNの幾何変換に対する不変性の実験

2 3

1

10 15 20

1.2 1.1

0.8 0.9

スケール変化1.3 Pool1

Pool2 Pool1

Pool2

回転

Pool1 Pool2 Pool1 Pool2

幾何変化無し

Pool1

Pool2

平行移動+1 +2

-1 -2

Pool1 Pool2

Pool1 Pool2

図 3.9: 幾何変化を与えたときの特徴マップ

次に，学習サンプルにランダムな平行移動をしたときのCNNの重みフィルタを図3.10 に示す．図3.10では，1段目にランダム学習無しの場合のCNNの重みフィルタを示し，

2段目にランダムな平行移動を与えた場合と，ランダムな回転を与えた場合の重みフィル タをそれぞれ示している．図3.10より，ランダム学習無しのCNNのほうがフィルタの濃 淡の差が大きい結果となった．

1 層目

２層目

1 層目

２層目

ランダム学習無し

平行移動のランダム学習あり 回転のランダム学習あり

図 3.10: ランダム学習を導入したときの重みフィルタ

次に，図3.11にランダム学習したCNNの各層の特徴マップの可視化結果を示す．図 3.11では，1段目では，平行移動のランダム学習をしたCNNに，5pixel左に平行移動さ

3.4. CNNの幾何変換に対する不変性の実験

せた識別サンプルを入力した場合に得られた特徴マップを示している．また，図3.11の2 段目では回転のランダム学習をしたCNNに，20^◦回転させた識別サンプルを入力した場 合に得られた特徴マップを示している．

(c) 回転無しの特徴マップ (d) 回転ありの特徴マップ

(a) 平行移動無しの特徴マップ (b) 平行移動ありの特徴マップ

Conv

Pool

Conv

Pool

Conv

Pool

Conv

Pool 1 層目

1 層目 2 層目

2 層目

図 3.11: ランダム学習を導入したときの特徴マップ

図3.13(a)にランダム学習をしたCNNの学習誤差の推移を示し，図3.13(b)に誤識別率 の推移を示す．ここで，図3.13(b)の誤識別率では，識別サンプルに幾何変化を与えてい ないものとする．図3.13(a)と図3.13(b)より，回転のランダム学習をしたCNNは学習誤 差，誤識別率ともに誤差が振動しつつ減少していることが確認できる．しかし，平行移動 のランダム学習の場合，誤識別率は振動しつつ減少はしているが，誤識別率はランダム学 習していないCNNよりも高い結果となった．学習誤差に関しては，誤差の減少が見られ なかった．

表3.2に，各幾何変化に対する最小誤識別率を示す．比較する手法は，多層パーセプト ロン，ランダム学習無しのCNN，ランダム学習ありのCNNで比較を行う．表3.2より，

CNNにランダム学習を導入することによって幾何変化により頑健な特徴抽出が可能であ ることがわかった．

表 3.2: 実験で識別サンプルに与えた幾何変化

比較する手法 左に2pixel 右に2pixel 20^◦回転

MLP 25.79 23.63 11.41

ランダム学習無しのCNN 3.98 4.80 6.27 ランダム学習ありのCNN 2.11 1.80 4.38

■ 考察

ランダム学習により得られた重みフィルタは，濃淡の差が少なく従来のCNNよりもラ ンダムなパターンのフィルターが得られた．そこで，各epochの重みフィルタの変化を 確認し，ランダム学習について考察する．図3.13に，ランダム学習によって重みフィル

タを各epochで表したものを示す．図3.13より，ランダム学習ありのCNNはランダム学

習なしのCNNに比べてフィルタの更新のペースが遅いことがわかる．そのため，ランダ ム学習の場合はepoch数を増やして重みフィルタの傾向を調査する必要がある．しかし，

表3.2でランダム学習無しのCNNよりも幾何変化に対して不変性を向上できたことから，

epoch数の増加により更なる不変性の獲得に期待できると思われる．

3.4. CNNの幾何変換に対する不変性の実験

1e-006 1e-005 0.0001 0.001 0.01 0.1 1 10 100

20 40 60 80 100

Cross entropy

epoch

Parallel Shift Learning CNN Rotation Learning CNN No Random Learning CNN

0.1 1 10 100

10 20 30 40 50 60 70 80 90 100

Miss rate[%]

epoch

Parallel Shift Learning CNN Rotation Learning CNN No Random Learning CNN

(a) ランダム学習による CNN の学習誤差の推移

(b) ランダム学習による CNN の誤識別率の推移 ₃₆

初期状態 1epoch 2epoch 3epoch 4epoch 5epoch 100epoch

ランダム学習無し

50epoch

平行移動ランダム学習

回転ランダム学習

図 3.13: 各epochの重みフィルタの推移

おわりに

本論文では，Convolutional Neural Networkにおける特徴抽出の不変性の調査を行った．

各章について以下にまとめる．

1章では，従来のパーセプトロンモデルである単純パーセプトロンと多層パーセプトロ ンについて述べた．また，多層パーセプトロンの学習方法である誤差逆伝播法を用いた勾 配降下最適化法について述べた．多層パーセプトロンは多クラスの非線形識別が可能であ り，パーセプトロンの構造次第では大きな性能を出すことが可能なため，今現在でも研究 が進められている．

2章では，Deep Learningの一種である，Convolutional Neural Networkについて述べ た．Convolutional Neural NetworkをはじめとするDeep Learningでは，機械学習により 特徴量を自動生成するという新しいアプローチを持つ手法である．Convolutional Neural

Networkでは，中間層の畳み込み処理とプーリング処理の繰り返しにより特徴量を自動生

成している．また，従来の多層パーセプトロンは中間層の層数を複数用いて学習をするの が難しいが，Convolutional Neural Networkではユニット間の重みの過疎性を利用して，

中間層を複数用いて学習できるために高い性能を出すことができる．

3章では，Convolutional Neural Networkを対象として，特徴量の学習が識別に対して 有効性を調査するために，特徴量の自動生成の過程を調査し，自動生成された特徴量の有 効性を調査した．実験の結果，自動生成された特徴量は，学習によって識別に有効な特徴 量に変化しており，自動生成された特徴量は微小な変化に対して不変性を獲得しているこ とが確認できた．Convolutional Neural Networkの場合，学習過程にプーリング処理が行 われているため，不変性が獲得できたと考えられる．また，従来の学習方法であるランダ ム学習をConvolutional Neural Networkに取り入れた場合に，自動生成される特徴量が幾 何変化に対する不変性を向上できる特徴に変化していることが確認できた．

Convolutional Neural Networkが，従来の多層パーセプトロンと比べて高い精度と不変 性を持っていることを確認できた．しかし，特徴量の自動取得することで識別時間が多

Network