計算機科学実験及演習
4
：画像認識
–
ニューラルネットワークによる画像認識
–
担当：飯山将晃 (TA: 高橋龍平, 渡部岳志)
2018 年度版 (Ver2.2)
目 次
1 はじめに 2 2 演習にあたって 3 3 Python 4 3.1 学生実験室環境でのPython利用 . . . . 4 3.1.1 anacondaの利用 . . . . 4 3.1.2 hello world . . . . 4 3.1.3 pipによる外部ライブラリのインストール . . . . 4 3.1.4 PyCharm . . . . 5 3.2 Pythonチュートリアル. . . . 6 3.3 NumPyチュートリアル . . . . 6 4 3層ニューラルネットワークを用いたMNIST手書き数字データ認識 6 4.1 MNIST手書き数字データ . . . . 6 4.2 3層ニューラルネットワークを用いた多クラス識別 . . . . 8 4.2.1 3層ニューラルネットワーク . . . . 8 4.2.2 [課題1] 3層ニューラルネットワークの構築（順伝播） . . . 10 4.3 ニューラルネットワークの学習 . . . 10 4.3.1 損失関数. . . 11 4.3.2 ミニバッチ . . . 11 4.3.3 [課題2]ミニバッチ対応＆クロスエントロピー誤差の計算 . . . 11 4.3.4 誤差逆伝播法による損失関数の勾配の計算 . . . 12 4.3.5 [課題3]誤差逆伝播法による3層ニューラルネットワークの学習 . . 14 4.3.6 [課題4]手書き数字画像識別器の構築 . . . 145 発展課題A 14
5.1 [発展課題A1]活性化関数 . . . 15
5.2 [発展課題A2] Dropout . . . 15
5.3 [発展課題A3] Batch Normalization . . . 15
5.4 [発展課題A4]最適化手法の改良 . . . 16 5.5 [発展課題A5]カラー画像への拡張 . . . 18 5.5.1 CIFAR-10一般画像物体認識用画像データ . . . 18 5.6 [発展課題A6]畳み込み層 . . . 19 5.6.1 入力層 . . . 19 5.6.2 画像の畳み込み . . . 19 5.6.3 多チャンネル画像の畳み込み . . . 20 5.6.4 畳み込み層の出力の変換 . . . 21 5.6.5 畳み込み層の計算（順伝播）と実装 . . . 21 5.6.6 畳み込み層の計算（逆伝播） . . . 22 5.7 [発展課題A7]プーリング層 . . . 23 6 [発展課題B] 第2部 Kerasの利用 23 6.1 はじめに . . . 23 6.2 GPGPUサーバの利用 . . . 23 6.3 Keras入門 . . . 24 6.4 [発展課題B1] MNIST手書き数字認識 . . . 28 6.5 [発展課題B2]顔画像認識. . . 29 6.6 [発展課題B3]画像生成（他の発展課題に飽きた人向け） . . . 30
改訂履歴
ver 2.2 誤植訂正，python3の情報・GANの説明を追加
ver 2.0 第2部の情報を追加
ver 1.1 pythonのインストール方法を変更（システム標準⇒anaconda） ver 1.0 初稿
1
はじめに
本演習では，計算機によるパターン情報処理の一例として，画像に対する認識技術，特 にニューラルネットワークを用いた 画像認識技術をプログラミング演習を通して学習す る．具体的には，手書き数字の認識・物体認識を題材とし， データの取り扱い，ニュー ラルネットワークによる多クラス識別器の学習と利用に必要な基礎技術を習得することを 目標とする．さらに余力がある場合は，画像生成など画像処理に関する他の課題にも取り 組む．2
演習にあたって
本演習は，必修課題を含むニューラルネットを一から構築する課題と，深層学習フレー
ムワークを用いた課題の2部構成である．
本演習の第一部では，MNISTの手書き数字データ[1]（図1(a)）とCIFAR-10画像データ
[2]（図1(b)）を題材に，画像を入力として受け取り，その画像に対応するラベル（MNIST
の場合は「0」∼「9」の数字，CIFAR10の場合は「bird」や「ship」といった10種類の
物体名称）を出力する多クラス識別器を構築することがゴールである．画像とその画像に 対応するラベルからなる教師データを用いた教師付学習により識別器を構築する．識別器 を構築する方法として，サポートベクターマシンや決定木（やその拡張版であるRandom Forests）などがあるが，本演習ではクラス識別を行う代表的手法のひとつであるニューラ ルネットワークを題材として用いる． 第二部では，GPGPUサーバ上で深層学習フレームワークを用いた実装を行う．なお， 第二部については第一部の必修課題をクリアしたものを対象とし，すべて発展課題とする．
(a) MNIST (b) CIFAR-10
図1: MNISTとCIFAR-10データセット
ニューラルネットワークについては，caffeやtensorflow，chainer，kerasなど整備され
たフレームワークが存在し，多層のニューラルネットワークを用いた学習（深層学習）に ついても比較的短い学習コストで利用することができるようになっている．しかしながら，
本演習の前半ではあえてそれらのフレームワークを用いず，1からニューラルネットワー
クを実装することで，その仕組みを学ぶ．とはいえ，行列演算などのローレベルの処理ま
で1から実装することは限られた演習時間では困難であるので，基本的な演算については
既存のライブラリ(numpy)を利用することとする．後述するone hot vector表記やクロ
スエントロピー誤差算出については機械学習ライブラリ（scikit-learnなど）で用意されて
いるが，あえて機械学習のライブラリは使わずに実装して頂きたい．
実装には，近年機械学習・パターン認識で主流となっているPythonを用いる．それ以外
のプログラミング言語を用いて実装することを妨げることはないが，以降の説明はPython
外の言語での実装はat your own riskで行って頂きたい． 第一部の演習は必修課題4つと，発展課題からなる．第二部は発展課題のみである．〆 切・提出方法についてはWebサイト上でアナウンスするが，早めの提出を強く薦める．
3
Python
3.1
学生実験室環境での Python 利用
3.1.1 anacondaの利用本演習ではPython環境としてanacondaを利用する．anacondaのwebサイト(https:
//www.anaconda.com/download/)より，Python2 version（もしくはPython3 version)を
ダウンロードする．以降の説明ではpython2での利用を前提として説明するが，python3
を用いても構わない．（本手順書の範囲では，python2とpython3との違いは，print命令
に括弧が必要か否かだけである．） 次に，「端末」を開いて，以下のコマンドを順に実行する． anacondaインストール cd ~/ダウンロード sh Anaconda2-5.3.0-Linux-x86_64.sh もしくは， sh Anaconda3-5.3.0-Linux-x86_64.sh 途中，Licenseに関する質問，環境変数に関する質問，VSCode関係の質問がでるが，順 にyes, yes, noと入力する． 3.1.2 hello world 以下のようなファイルを適当なテキストエディタで作成し，python helloworld.pyで実 行する． helloworld.py
print "Hello World"
print ("Hello World") ※python3の場合
3.1.3 pipによる外部ライブラリのインストール
次に，pipコマンドを用いて外部ライブラリをインストールする．
pipでインストールするライブラリ
pip install python-mnist
3.1.4 PyCharm
PythonのIDE（統合開発環境）として，PyCharmを用いることもできる．https:// www.jetbrains.com/pycharm/より“’Community’版をダウンロードすると，「ダウンロー ド」フォルダにpycharm-community-2018.2.4.tar.gzがダウンロードされているはずなの で，端末で以下のコマンドを順に実行しインストールする． PyCharmのインストール cd ~/ダウンロード tar zxf pycharm-community-2018.2.4.tar.gz rm pycharm-community-2018.2.4.tar.gz cd pycharm-community-2018.2.4/bin ./pycharm.sh すると，インストールウィザードが開くのであとはそのままOK押していけばインストー ルが完了し，PyCharmが起動する．次回以降は，アプリケーション一覧から起動できる ようになる．
PyCharmでHello worldを表示させるまで
1. ”Create New Project”もしくは”File⇒New Project”でプロジェクトを作成する．
2. File -¿ Settingsから、Project -¿ Project Interpreter 歯車マークをクリックして、
Add...
3. Existing environmentからanacondaを含むものを選ぶ．
4. ”File⇒New⇒Python File”で新たにPythonファイルを作成する．
5. 適当にコードを書いたあと，”Run⇒Run...”を選んで，実行したいソースコードを
選択して実行．
なお，ひとつのプロジェクト内で複数のソースコードを編集できる．実行の際は，”Run
⇒Run...”で実行するファイルを選択すること．
[おまけ] PyCharmでJupyter Notebook Jupyter Notebookはインタラクティブな
Python実行環境である．逐次実行しながら結果を確認できるので，Pythonの学習やコード
の動作確認に役に立つ．PyCharm上でもJupyter Notebookを利用することができ，”File
⇒New⇒Jupyter Notebook”で新たなNotebookを作成できる．セル内にコードを記述
し，実行ボタン（横向き緑の三角形）かもしくはShift-Enterでセル内のコードを実行する
ことができる．実行時に”Please, enter your Jupyter Notebook URL and authentication
token”との表示がでた場合は，一旦「Cancel」ボタンを押して，直後に吹き出しで表示
される”Cannot connect to Jupyter Notebook. Run Jupyter Notebook”をクリックして
3.2
Python チュートリアル
Pythonを用いたプログラミングについては，以下のチュートリアル[3]を利用して自習 して頂きたい．チュートリアルの全てを学習する必要は無く，一通り目次に目を通して機 能を把握し，残りは必要に応じて参照すれば本演習の範囲を実装するには十分である． Pythonチュートリアル https://docs.python.jp/2.7/tutorial/index.html3.3
NumPy チュートリアル
NumPyは科学計算用のPythonライブラリで，N次元配列（行列）や行列演算，乱数 生成など基本的な科学計算用のメソッドが用意されている．本演習ではNumPyのN次元 配列(numpy.ndarray)を多用してニューラルネットワークを構築する． NumPyの使い方については，以下のチュートリアル[4]を参照のこと．NumPy Quickstart Tutorial https://docs.scipy.org/doc/numpy-1.15.1/user/quickstart. html
4
3
層ニューラルネットワークを用いた
MNIST
手書き数字データ
認識
本演習の必修課題（最低ライン）は，MNISTの手書き数字データを学習データとして， 10クラス識別器を3層ニューラルネットワークを用いて構築することである．本章では， これを構築するために必要な知識と基本的な方針を解説する．4.1
MNIST 手書き数字データ
MNIST手書き数字データセットは，60000枚の教師用画像と10000枚のテスト用画像 からなる手書き数字認識用のデータセットである．画像はすべて28× 28画素の1チャン ネル画像であり，各画素には0∼255までの整数値が格納されている．各画像には「0」∼ 「9」までの数字のうちいずれか1つが描かれている． データの準備 http://yann.lecun.com/exdb/mnist/より，4つのファイルをダウンロー ドする． データのダウンロード mkdir -p ~/le4nn cd ~/le4nn wget http://yann.lecun.com/exdb/mnist/train-images-idx3-ubyte.gz wget http://yann.lecun.com/exdb/mnist/train-labels-idx1-ubyte.gz wget http://yann.lecun.com/exdb/mnist/t10k-images-idx3-ubyte.gz wget http://yann.lecun.com/exdb/mnist/t10k-labels-idx1-ubyte.gz これらのファイルはgzip形式で圧縮されているので，gunzipコマンドで解凍する．cd ~/le4nn gunzip *.gz Pythonでのデータの読み込み sample1.py import numpy as np from mnist import MNIST
mndata = MNIST("/export/home/*****/le4nn/") # ""の中はtrain-images-idx3-ubyteとtrain-labels-idx1-ubyteを置いたディ レクトリ名とすること X, Y = mndata.load_training() X = np.array(X) X = X.reshape((X.shape[0],28,28)) Y = np.array(Y) 上のサンプルコードにおいて，変数XにはMNISTの画像データ全てが格納されてお り，Xは60000× 28 × 28のnumpy.ndarrayの3次元配列である．i番目の画像はX[i]で 取り出すことができる．画像1枚はnumpyの2次元配列で表現されており，画像の左上 を原点として，左から右をx軸，上から下をy軸としている．また，各画像に描かれてい る数字については変数Y に格納されており，i番目の画像に描かれている数字はY [i]で取
り出すことができる．なお，mndata.load training()の代わりにmndata.load testing()を
呼び出すことにより，テスト用の画像データを読み込むことができる．
[練習] 画像の表示 sample1.pyに続けて以下のコードを実行すると，idx番目の画像とそ
sample1.pyの続き
import matplotlib.pyplot as plt from pylab import cm
idx = 100 plt.imshow(X[idx], cmap=cm.gray) plt.show() print Y[idx]
4.2
3 層ニューラルネットワークを用いた多クラス識別
1枚の画像をd次元ベクトルxで表す．MNIST画像は28× 28の2次元配列であるがこ れを左上からx軸，y軸の順に一列に並びかえることによりd = 784次元のベクトルとす る．画像xを入力として，xに対応する数字y ∈ {0, . . . , 9}を出力する関数y = f (x)を 構築する．関数fの構築にあたり，xとyとのペアの集合{(xi, yi)} (i = 1, . . . , N)を教師 データとして用い，関数fとして，課題1，課題2では3層のニューラルネットワークを 用いる． 4.2.1 3層ニューラルネットワーク 3層ニューラルネットワークの模式図を図2に示す．（多クラス識別における）3層ニュー ラルネットワークは，入力次元数dと同じ数のノードからなる入力層，クラス数（MNIST の場合は0∼9までの10クラス）と同じ数のノードからなる出力層，および入力層と出力 層の間にある中間層の3層で構成される． 入力層の各ノードは入力xの各要素xi (i = 1, . . . , d)に対応し，xiを入力としてxiを そのまま出力する． 中間層はM 個のノードからなり，中間層の各ノードj (j = 1, . . . , M )は入力層の線形 和を入力として受け取り次式で表される出力yj(1)を返す． yj(1) = a ( d ∑ i=1 wji(1)xi+ b(1)j ) (1) ここで，関数a(t)は活性化関数と呼ばれ，シグモイド関数 a(t) = 1 1 + exp(−t) (2)図2: 3層ニューラルネットワーク が良く用いられている．線形和の重みをw(1)j = (w(1)1j , . . . , wdj(1))T とすれば式1はwj(1)と xとの内積を用いて以下のようにシンプルに書ける． yj(1)= a(wj(1)· x + b(1)j ) (3) さらに，線形和の重みwj(1)をj行目の成分とするM行d列の行列W(1)とM 次元ベク トルb(1) = (b(1)1 , . . . , b(1)d )T を用いて中間層へのM個の入力をW(1)x + b(1) と書くこと ができる． 出力層はC個（Cはクラス数）のノードからなり，中間層の出力y(1)j の線形和を入力 とする． ak= w(2)k · y(1)+ b(2)k (4) ここで，y(1) = (y(1) 1 , . . . , y (1) M)T である．また，C個の入力a = (a1, . . . , aC)T を，線形 和の重みwk(2)をk行目の成分とするC行M 列の行列W(2) とC次元ベクトルb(2) = (b(2)1 , . . . , b(2)d )T を用いて，a = W(2)y(1)+ b(2)と書くことができる． 出力層における活性化関数としてソフトマックス関数が用いられる．C個の入力をai (i = 1, . . . , C)とし，ソフトマックス関数を用いて出力層の出力yi(2) (i = 1, . . . , C)を次式で得 る1． y(2)i = ∑Cexp(ai− α) j=1exp(aj− α) (5) α = max ai (6) 出力層の出力y(2)i (i = 1, . . . , C)は入力xがクラスiに属する尤度を表し，yi(2)が最大 となるiを認識結果yとして出力する． 1ソフトマックス関数の定義では αは存在しませんが，数値計算時のオーバーフローに対処するためαを 導入しています．
4.2.2 [課題1] 3層ニューラルネットワークの構築（順伝播） MNISTの画像1枚を入力とし，3層ニューラルネットワークを用いて，0∼9の値のう ち1つを出力するプログラムを作成せよ． • キーボードから0∼9999の整数を入力iとして受け取り，0∼9の整数を標準出力に 出力すること． • MNISTのテストデータ10000枚の画像のうちi番目の画像を入力画像として用いる． • MNISTの画像サイズ（28× 28），画像枚数（10000枚），クラス数（C = 10）は既 知とする．ただし，後々の改良のため変更可能な仕様にしておくことを薦める． • 中間層のノード数Mは自由に決めて良い． • 重みW(1), W(2), b(1), b(2)については乱数で決定すること．ここでは，手前の層の ノード数をNとして1/Nを分散とする平均0の正規分布で与えることとする．適切 な重みを設定しないため，課題1の段階では入力に対してデタラメな認識結果を返 す．ただし，実行する度に同じ結果を出力するよう乱数のシードを固定すること2． （参考）実装の方針 後の課題のために，処理を，前処理・入力層・中間層への入力を計 算する層（全結合層）・シグモイド関数・出力層への入力を計算する層（全結合層）・ソフ トマックス関数・後処理，に分割して実装することをお勧めする． • 「入力層」ではMNISTの画像を784次元のベクトルに変換する • 「中間層への入力を計算する層」と「出力層への入力を計算する層」はパラメータは 違えど処理は同じ（全結合層）．多次元の入力を受け取ってその線形和を出力する． • 「シグモイド関数」の実装にあたっては，多次元ベクトルを入力とできるようにす
ること．pythonではfor文を用いると極端に処理速度が遅くなるので，for文を使わ
ずに済む工夫をすること．
4.3
ニューラルネットワークの学習
教師データを用いて，重みW(1), W(2), b(1), b(2)を学習する手法を解説する． 基本的な学習アルゴリズムを以下に示す． 1. 適当な値で重みを初期化（課題1で実装済み） 2. 定められた繰り返し回数に達するまで3∼5を繰り返す 3. 教師データに対する出力を計算（課題1で実装済み） 4. 3の結果と正解との誤差を計算（損失関数） 5. 誤差逆伝播法により重みを修正 2乱数生成前にnumpy.random.seed(好きな数字)を実行すれば良い．4.3.1 損失関数 one-hot vector 教師データにおいてxに対する正解yはクラスラベル（0∼9までの 値）なのに対し，ニューラルネットワークの出力層の出力はC次元のベクトルy(2)であ る．そこで，教師データの正解を正解ラベルを1，残りを0としたC次元ベクトルで表記 することを考える．例えば，ある入力に対する正解がy = 3である場合，これを10次元 ベクトル(0, 0, 0, 1, 0, 0, 0, 0, 0, 0)で表記する．この表記法をone-hot vector表記と呼ぶ． クロスエントロピー誤差 多クラス識別における損失関数として，次式で表されるクロス エントロピー誤差がよく用いられる． E = C ∑ k=1 −yklog yk(2) (7) ここで，ykはone-hot vector表記における正解のk番目の要素，y (2) k は出力層におけるk 番目の要素の出力である． 4.3.2 ミニバッチ 教師データを用いて学習を行う際，全ての教師データに対して損失関数の値を計算する のは計算量の観点から効率的ではない．そこで，教師データの中からランダムに一部の データを取り出し，そのデータに対してクロスエントロピー誤差を計算してその平均を全 ての教師データに対する誤差の近似として用いる方法がとられる．これをミニバッチ学習 と呼び，一度に取り出すデータの個数をバッチサイズと呼ぶ． En= 1 B ∑ i∈ ミニバッチ C ∑ k=1
−yi,klog y(2)i,k (8)
Bはバッチサイズ，yi,kとy(2)i,k はそれぞれi番目のデータにおけるyk，yk(2)である． 4.3.3 [課題2] ミニバッチ対応＆クロスエントロピー誤差の計算 [課題1]のコードをベースに，ミニバッチ（＝複数枚の画像）を入力可能とするように 改良し，さらにクロスエントロピー誤差を計算するプログラムを作成せよ． • MNISTの学習画像60000枚の中からランダムにB枚をミニバッチとして取り出す こと． • クロスエントロピー誤差の平均を標準出力に出力すること． • ニューラルネットワークの構造，重みは課題1と同じでよい． • バッチサイズBは自由に決めて良い（100程度がちょうどよい）． • ミニバッチを取り出す処理はランダムに行う3． 3numpy.random.choise()関数を利用すれば比較的簡単に実現できる．
4.3.4 誤差逆伝播法による損失関数の勾配の計算 重みW(1), W(2), b(1), b(2)を修正するために，損失関数E nの勾配（∂W∂E(1)n など）を誤差 逆伝播法により計算する．勾配が計算できれば，手順5における重みの修正を W(1)← W(1)− η ∂En ∂W(1) (9) のように更新することができる．（ηは後述する学習率である） 連鎖律 ある合成関数f (g(x))が与えられた場合，xに対するfの偏微分∂f /∂xは， ∂f ∂x = ∂f ∂g ∂g ∂x (10) によって与えられる． 3層ニューラルネットワークにおいて，入力から出力までの処理は順に，入力信号⇒全 結合層W(1), b(1)⇒シグモイド関数⇒全結合層W(2), b(2)⇒Softmax関数⇒損失関数En の順に処理される．この一連の処理を合成関数であると考えれば，勾配∂En/∂W(1)や
∂En/∂W(2)の計算を，Softmax関数の出力に対する損失関数の偏微分，Softmax関数の
偏微分，全結合層の偏微分，...を順に計算することによって実現することができる． Softmax関数+クロスエントロピー誤差の逆伝播 Softmax関数層はC個の入力a = (a1, . . . , aC)T を受け取り，C個の出力yk(2) (k = 1, . . . , C)を返し，クロスエントロピー誤 差Eはy(2)k を受け取り，誤差Eを出力する関数である．勾配∂E/∂akは，次式で与えら れる（証明は割愛）． ∂E ∂ak = y(2)k − yk (11) また，EnはEの平均であるため，∂En/∂E = 1/B（Bはバッチサイズ）となり，勾配 ∂En/∂akは， ∂En ∂ak = y (2) k − yk B (12) となる． 全結合層の逆伝播 ベクトルxを入力とし，行列W，ベクトルbをパラメータとして，線 形和y = W x + bを出力する関数を考える．∂En/∂yを用いて， ∂En ∂x = W T∂En ∂y (13) ∂En ∂W = ∂En ∂y x T (14) ∂En ∂b = ∂En ∂y (15) となる（証明は割愛）．ミニバッチの場合，すなわちB個のベクトルx1, . . . , xBとそれに 対する出力y1, . . . , yB，および出力に対する損失関数の勾配∂EN/∂yi (i = 1, . . . , B)が
与えられた場合，W やbに対する損失関数の勾配は，B個のベクトルx1, . . . , xBを各列
に持つ行列をX，∂EN/∂yiを各列として持つ行列を∂EN/∂Y として，
∂En ∂X = W T∂En ∂Y (16) ∂En ∂W = ∂En ∂Y X T (17) ∂En ∂b = rowSum ( ∂En ∂Y ) ※行列∂En ∂Y の行ごとの和 (18) で与えられる． シグモイド関数の逆伝播 シグモイド関数a(t) = 1/(1 + exp(−t))の微分は， a(t)′= (1− a(t))a(t) (19) で与えられる． 処理手順 これまでの説明を踏まえて，ニューラルネットワークの学習の手続き3∼5を まとめる 1. ミニバッチを作成 2. ミニバッチに対する出力を順伝播によって計算． 3. 損失関数の値Enを算出 4. 式12を用いて∂En ∂ak を計算． ∂En ∂ak は全部でB× C個得られる． 5. 式60，61，62を用いて∂En ∂X， ∂En ∂W ， ∂En ∂b を計算．式60，61，62内の ∂En ∂Y として，前 の手順で得られた ∂En ∂ak を用いる．ここで計算した， ∂En ∂W ， ∂En ∂b が，それぞれ ∂En ∂W(2)， ∂En ∂b(2) となる． 6. 式19を∂En ∂X の各要素に適用． 7. 式60，61，62を用いて ∂En ∂X， ∂En ∂W， ∂En ∂b を計算．式60，61，62内の ∂En ∂Y として， 前の手順で得られたシグモイド関数の微分値を用いる．ここで計算した，∂En ∂W， ∂En ∂b が，それぞれ ∂En ∂W(1)， ∂En ∂b(1) となる． 8. 学習率ηを用いて，パラメータを更新． W(1) ← W(1)− η ∂En ∂W(1) (20) W(2) ← W(2)− η ∂En ∂W(2) (21) b(1) ← b(1)− η ∂En ∂b(1) (22) b(2) ← b(2)− η ∂En ∂b(2) (23)
4.3.5 [課題3] 誤差逆伝播法による3層ニューラルネットワークの学習 [課題2]のコードをベースに，3層ニューラルネットワークのパラメータW(1), W(2), b(1), b(2) を学習するプログラムを作成せよ． • ネットワークの構造，バッチサイズは課題2と同じで良い． • 学習にはMNISTの学習データ60000枚を用いること． • 繰り返し回数は自由に決めて良い．教師データの数をN，ミニバッチのサイズをB としたとき，N/B回の繰り返しを1エポックと呼び，通常はエポック数とミニバッ チサイズで繰り返し回数を指定する． • 学習率ηは自由に決めて良い（0.01あたりが経験的に良さそう） • 各エポックの処理が終了する毎に，クロスエントロピー誤差を標準出力に出力する こと．（これにより学習がうまく進んでいるかどうかを確認することができる） • 学習終了時に学習したパラメータをファイルに保存する機能を用意すること．フ ォーマットは自由．パラメータをnumpyの配列(ndarray)で実装している場合は numpy.save()やnumpy.savez()関数が利用できる． • ファイルに保存したパラメータを読み込み，再利用できる機能を用意すること．（numpy.load() 関数が利用できる） 4.3.6 [課題4] 手書き数字画像識別器の構築 MNISTのテスト画像1枚を入力とし，3層ニューラルネットワークを用いて，0∼9の 値のうち1つを出力するプログラムを作成せよ． • 重みパラメータW(1), W(2), b(1), b(2)が 課題3で計算された重みであること以外は 課題1と同じ仕様である．重みパラメータについてはファイルから読み込むように すること．
5
発展課題
A
[発展課題A]以下の追加機能を実装せよ．どの順番で取り組んでも良い．必修課題すべ てを完了しているもののみが発展課題に取り組むことができる．なお，発展課題Aをス キップして発展課題Bに取り組んでも良い．ただし，その場合でも発展課題Aの処理内 容を理解しておくことをお勧めする．5.1
[発展課題 A1] 活性化関数
活性化関数としてシグモイド関数の他に次式で挙げるReLUもよく用いられる． a(t) = t (t > 0) 0 (t≤ 0) (24) ReLUの微分は， a(t)′= 1 (t > 0) 0 (t≤ 0) (25) で与えられる．5.2
[発展課題 A2] Dropout
Dropoutは学習時に中間層のノードをランダムに選び，その出力を無視（出力= 0）し て学習する手法である．無視するノードの選択は学習データ毎にランダムに行い，中間層 全体のノード数×ρ個のノードの出力を無視する． テスト時は，全てのノードの出力を無視せず，代わりに元の出力に(1− ρ)倍したもの を出力として用いる．このように，Dropoutは学習時とテスト時でふるまいが異なるので， 学習時かテスト時かを判定するフラグを用意しておく必要がある． Dropoutを活性化関数の一種と考えると， a(t) = t (ノードが無視されない場合) 0 (ノードが無視された場合) (26) となり，Dropoutの微分は， a(t)′ = 1 (ノードが無視されない場合) 0 (ノードが無視された場合 ) (27) で与えられる．5.3
[発展課題 A3] Batch Normalization
Batch Normalizationはミニバッチに対する各ノードの出力が分散1，平均0となるよ
るノードの出力をxi (i = 1, . . . , B)とした場合，以下の式によりxiをyiに変換する． µB ← 1 B B ∑ i=1 xi ※ミニバッチの平均 (28) σB2 ← 1 B B ∑ i=1e (xi− µB)2 ※ミニバッチの分散 (29) ˆ xi ← xi− µB √ σ2 B+ ϵ ※xiの正規化 (30) yi ← γ ˆxi+ β (31) ここで，γとβの初期値はそれぞれ1，0であり，学習が進むについれて適切な値に学習 されていく． Batch Normalizationにおける逆伝播は以下の式を用いて計算できる． ∂En ∂ ˆxi = ∂En ∂yi · γ (32) ∂En ∂σB2 = B ∑ i=1 ∂En ∂ ˆxi · (xi− µB )·−1 2 (σ 2 B+ ϵ)−3/2 (33) ∂En ∂µB = ∑B i=1 ∂En ∂ ˆxi · −1 √ σ2 B+ ϵ + ∂En ∂σB2 · ∑B i=1−2(xi− µB) B (34) ∂En ∂xi = ∂En ∂ ˆxi · 1 √ σ2 B+ ϵ +∂En ∂σ2 B ·2(xi− µB) m + ∂En ∂µB · 1 B (35) ∂En ∂γ = B ∑ i=1 ∂En ∂yi · ˆ xi (36) ∂En ∂β = B ∑ i=1 ∂En ∂yi (37) µB，σB2 はミニバッチ毎に計算されるが，十分な数のミニバッチを用いてµBとσB2 の 期待値をそれぞれ求め，E[xi]，V ar[xi]とする． テスト時には， yi← γ √ V ar[xi] + ϵ · xi+ ( β−√ γE[xi] V ar[xi] + ϵ ) (38) を入力xiに対する出力として用いる．
5.4
[発展課題 A4] 最適化手法の改良
4.3節で述べた手法では重みの修正を学習率ηを用いて W ← W − η∂En ∂W (39)で実現していた．この手法は確率的勾配降下法(SGD: Stochastic Gradient Descent) と呼ばれている．これに対し，いくつかの最適化手法が提案されている． 慣性項(Momentum)付きSGD 慣性項(Momentum)付きSGDでは，パラメータW の更新量に前回の更新量のα倍を加算する手法である．事前に設定する必要のあるパラ メータは学習率ηとαである．（η = 0.01，α = 0.9くらいがおすすめ） ∆W ← α∆W − η∂En ∂W (40) W ← W + ∆W (41) なお，∆W の初期値は0とする． AdaGrad AdaGradでは，学習率を繰り返し毎に自動で調整する．最初は大きめの学習 率からスタートし，学習が進むにつれて小さな学習率を用いるようになる． h← h +∂En ∂W ◦ ∂En ∂W (42) W ← W − η√1 h ∂En ∂W (43) ここで，◦はアダマール積（2つの行列の要素毎の積）を表す．事前に設定する必要のあ るパラメータは学習率の初期値ηとhの初期値h0である．（η = 0.001，h0 = 10−8くらい がおすすめ）
RMSProp RMSPropはAdaGradの改良版で，AdaGradが学習開始時から現在までの
勾配の二乗和をhとして用いていたのに対し，RMSPropでは勾配の二乗の指数移動平均 をhとして用いる． h← ρh + (1 − ρ)∂En ∂W ◦ ∂En ∂W (44) W ← W − η√ 1 h + ϵ ∂En ∂W (45) hの初期値は0である．事前に設定する必要のあるパラメータは学習率の初期値η，ρ，ϵ である．（η = 0.001，ρ = 0.9，ϵ = 10−8くらいがおすすめ）
AdaDelta AdaDeltaはRMSPropやAdaGradの改良版で，学習率の初期値が設定不要
となっている． h← ρh + (1 − ρ)∂En ∂W ◦ ∂En ∂W (46) ∆W ← − √ s + ϵ √ h + ϵ ∂En ∂W (47) s← ρs + (1 − ρ)∆W ◦ ∆W (48) W ← W + ∆W (49) hとsの初期値は0，事前に設定する必要のあるパラメータはρとϵの2つである．（AdaDelta の論文中ではρ = 0.95，ϵ = 10−6を推奨）
Adam AdamはAdaDeltaの改良版で2つの慣性項を用いる． t← t + 1 (50) m← β1m + (1− β1) ∂En ∂W (51) v← β2v + (1− β2) ∂En ∂W ◦ ∂En ∂W (52) ˆ m← m/(1 − β1t) (53) ˆ v← v/(1 − β2t) (54) W ← W − α ˆm/(√ˆv + ϵ) (55) t, m, vの初期値は0，事前に設定する必要のあるパラメータはα, β1, β2, ϵである．（Adam の論文中での推奨値はα = 0.001, β1= 0.9, β2 = 0.999, ϵ = 10−8）
5.5
[発展課題 A5] カラー画像への拡張
MNISTの画像は1チャンネル（モノクロ）の画像であった，これをカラー画像に拡張 する．カラー画像はR（赤），G（緑），B（青）の3チャンネルの画像で構成され，3次 元配列3× dx× dyの形式をとる． 5.5.1 CIFAR-10 一般画像物体認識用画像データ CIFAR-10は物体認識用のデータセットで，10クラス60,000枚（1クラスあたり6000 枚）の32× 32カラー画像からなる．そのうち50000枚を教師データ，残り10000枚をテストデータとして用いる．10個のクラスは{ airplane, automobile, bird, cat , deer, dog,
frog, horse, ship, truck }からなり，順番に0∼9の番号で表されている．
CIFAR-10のWebサイトhttps://www.cs.toronto.edu/~kriz/cifar.htmlより， CIFAR-10 python version（https://www.cs.toronto.edu/~kriz/cifar-10-python.tar.gz） をダウンロードすること． ダウンロードしたファイル（cifar-10-python.tar.gz）を以下のコマンドで展開し，学習・ テストに用いる． CIFAR-10の準備 cd ~/ダウンロード tar zxf cifar-10-python.tar.gz mv cifar-10-batches-py ~/
cifar-10-batches-pyの下のdata batch 1∼data batch 5にそれぞれ10000枚の訓練用画像 が，test batchに10000枚のテスト用画像がある．
CIFAR-10の訓練用画像10000枚を読み込んで，1枚表示する．サンプルコード
import numpy as np
import cPickle # python2の場合 import pickle # python3の場合
def unpickle(file):
with open(file, ’rb’) as fo:
dict = cPickle.load(fo) # python2の場合
dict = pickle.load(fo,encoding=’bytes’) # python3の場合 X = np.array(dict[’data’]) X = X.reshape((X.shape[0],3,32,32)) Y = np.array(dict[’labels’]) return X,Y X,Y = unpickle("./data_batch_1") import matplotlib.pyplot as plt idx = 1000 plt.imshow(X[idx].transpose(((1,2,0)) # X[idx]が(3*32*32)になっている のを(32*32*3)に変更する． plt.show() # トラックの画像が表示されるはず print Y[idx] # 9番（truck）が表示されるはず
5.6
[発展課題 A6] 畳み込み層
ここまではニューラルネットワークへの入力をベクトルxとしてきたが，本来入力は画 像（2次元配列）であり，画像が持つ形状をうまく扱うことができていない．畳み込み層 は画像の形状をうまく扱うための層である． 5.6.1 入力層 これまでの入力層はd次元ベクトルを入力として受け取りそれをそのまま出力していた が，これをdx× dyの2次元配列を入力として受け取り，それをそのまま出力するように 変更する．MNISTの場合dx = dy = 28である． 5.6.2 画像の畳み込み 2次元配列I(i, j) (i = 1, . . . , dx)(j = 1, . . . , dy)に対し，フィルタと呼ばれる2次元配列f (i, j) (i, j = 1, . . . , R)を畳み込むことで2次元配列I′(i, j)を得る． I′(i, j) = R ∑ s=1 R ∑ t=1 I(i + s− ⌈R/2⌉, j + t − ⌈R/2⌉)f(s, t) (56)
ここで，Iの範囲外（i < 1またはi > dx, j < 1またはj > dy）についてはI(i, j) = 0と する（パディング）．I′(i, j)のサイズを元の画像サイズI(x, y)と同一にしたい場合は，画 像の上下左右にそれぞれ幅⌊R/2⌋だけの0で埋められた画素を追加すればよい． これにさらにバイアスbを加えた， I′(i, j) = R ∑ s=1 R ∑ t=1 I(i + s− ⌈R/2⌉, j + t − ⌈R/2⌉) + b (57) を畳み込み層における処理とする．学習すべきパラメータはフィルタf (i, j)とバイアスb である．フィルタのサイズRをフィルタサイズと呼ぶ． また，畳み込みを行う際，全てのI′(i, j)を計算するのではなく，s個おきにI′(i, j)を 計算することもある．このsをストライドと呼び，例えばs = 2の時は元の入力の半分の サイズ（dx s × dy s）の2次元配列が出力される． 5.6.3 多チャンネル画像の畳み込み カラー画像のように複数のチャンネルからなる画像は，チャンネル数をchとすると3 次元配列 I(k, i, j) (k = 1, . . . , ch)で表現できる．これに対するフィルタも3次元配列 f (k, i, j) (k = 1, . . . , ch)となり，畳み込み処理は， I′(i, j) = c=ch∑ c=1 R ∑ s=1 R ∑ t=1 I(i + s− ⌈R/2⌉, j + t − ⌈R/2⌉) + b (58) で計算される．多チャンネルの場合も出力は1チャンネルの2次元配列となることに注意 すること． 通常畳み込み層では1つのフィルタだけを学習するのではなく，複数の（同じフィルタ サイズの）フィルタを学習する．1つのフィルタに対して畳み込みにより1チャンネルの 2次元配列が出力されるので，複数のフィルタを用いる場合，畳み込み層の出力は3次元 配列となる．例えばchチャンネルの画像（dx× dy）を入力とし，フィルタサイズ3× 3 のフィルタK枚をパディングp =⌊3/2⌋ = 1, ストライドs = 2で畳み込む場合，学習す べきパラメータはK∗ (3 ∗ 3 ∗ ch + 1)個，畳み込み層の出力はK×dx 2 × dy 2 の3次元配列 となる． 図3: 畳み込み層（バイアス項b無しの例）
5.6.4 畳み込み層の出力の変換 上で述べたように，畳み込み層の出力は3次元配列となる．この出力結果を全結合層の 入力として用いる場合は，単に3次元配列を1次元配列に並び替えればよい．これは後述 するプーリング層の出力を全結合層の入力として用いる場合も同様である． 5.6.5 畳み込み層の計算（順伝播）と実装 畳み込み層の計算は，式58の計算に3重ループ，式58の計算を出力画像4の各チャン ネル，画素毎に行うのでさらに外側に3重ループ，さらに畳み込み層の計算をミニバッチ 単位で行うともうさらに外側に1重ループとなり，素直に実装すると7重ループの計算に なる．pythonでfor文を用いた繰り返し処理を多用すると処理が遅くなるため，畳み込み 層の計算を以下の方法[5]により行列演算に変換する． まず（バイアス項bを除く）フィルタを，図4のようにひとつの行列Wで表す．フィルタ サイズR×R，チャンネル数ch，フィルタ枚数Kのフィルタ群の重みを，K行R×R ×ch 列の行列W で表す．各行が1枚のフィルタに対応し，フィルタを構成するR× R × ch個 の要素をベクトルで表現する． 図4: フィルタから行列W への変換 次に，多チャンネルの入力画像に対しパディング処理を行う．パディング済みの多チャン ネル画像を，図5のようにひとつの行列Xで表す．元の画像サイズをdx× dyとしたとき， XはR× R × ch行，dx× dy列の大きな行列となる．Xの各列が，出力画像の1画素で の畳み込み演算に必要な入力画像の画素に対応する．例えば，図5の1列目は，出力画像 の一番左上の画素の出力を計算するために必要な画素に対応し，行列W の1行目とXの 1列目との内積を計算することで，出力画像の一番左上の画素の出力が得られる． 4正確に書くと出力は 2次元配列なのですが，画像と書いた方が分かりやすいので以降画像と表記してい ます．
図 5: 画像から行列Xへの変換 以上の処理によって得られた行列WとXとの行列積を計算することにより，K行dx×dy 列の行列Y が得られる．行列Y の各行が1枚のフィルタによる畳み込み結果に対応する． ミニバッチ処理でB個の入力を一度に処理する場合，各入力画像に対して得られたXを 横に並べて，R× R × ch行，dx× dy× B列の巨大な行列を作成し，これをXとして用 いることで一度の行列積により畳み込み演算を実行することができる． K枚のフィルタの各バイアスbi(i = 1, . . . , K)については，W とXとの行列積を計算 した後に，得られた行列のi行目の全てに要素にbiを加算していくことで計算できる． Y = W X + B (59) ここで，BはK行dx× dy × B列の行列で，Bのi行目の要素が全てbiとなるような行 列である． なお，畳み込み層についても出力Y に対して活性化関数を適用する．具体的にはY の 各要素に対してシグモイド関数aやReLU関数を適用し，その結果を最終的な出力とする． 5.6.6 畳み込み層の計算（逆伝播） 畳み込み層の逆伝播は，上で述べた行列W，X，B，Y を利用すれば，全結合層の逆伝 播と同様にして計算することができる．
∂En ∂X = W T∂En ∂Y (60) ∂En ∂W = ∂En ∂Y X T (61) ∂En ∂b = rowSum ( ∂En ∂Y ) ※行列∂En ∂Y の行ごとの和 (62)
5.7
[発展課題 A7] プーリング層
プーリング層は多チャンネルの畳み込み層の出力を入力として受け取り，多チャンネル の画像を出力する層である． 具体的にはchチャンネルdx× dyの多チャンネル画像（3次元配列）を入力として受け 取り，chチャンネルdx/d× dy/dの多チャンネル画像を出力する．ここでdはプーリング 層のサイズである． ここでは，プーリング層のなかでも最も良く用いられているmaxプーリングについて 説明する．入力を3次元配列X[c, i, j] (c = 1, . . . , ch, i = 1, . . . , dx, j = 1, . . . , dy)とし， 出力を3次元配列Y [c, i, j] (c = 1, . . . , ch, i = 1, . . . ,⌊dx/d⌋, j = 1, . . . , ⌊dy/d⌋)とする． 出力Y は， Y [c, i, j] = max X[c, id + k, jd + l] where 0≤ k < d, 0 ≤ l < d (63) によって得られる． プーリング層におけて学習されるパラメータは存在しない．逆伝播は， ∂En ∂X[c, id + k, jd + l] = ∂En ∂Y [c,i,j] if Y [c, i, j] = X[c, id + k, jd + l] 0 otherwise (64) によって得ることができる．6
[
発展課題
B]
第
2
部
Keras
の利用
6.1
はじめに
以降では，GPGPUサーバを利用した画像認識器の作成について取りかかる．必修課題 すべてが完了しているもののみが着手できる．なお，発展課題Aの内容についても（実装 は不要であるが）処理の中身については理解していることを前提とする．6.2
GPGPU サーバの利用
履修者のうち第2部に進む者については，GPGPUサーバログイン用のログインIDと 初期パスワードを配布する．希望者は担当教員（飯山）まで連絡すること．GPGPUサー バへのログイン方法，利用方法についてはID配布時に同時に配布する資料を参照のこと．6.3
Keras 入門
Kerasとはpythonで書かれたニューラルネットワーク用のAPIで，バックエンドとし
てTensorFlowやTheanoを利用する．本演習第2部ではKerasを用いて画像認識プログ
ラムを作成する．TensorFlowなど他のフレームワークを利用しても良いが，TAのサポー トは得られないので各自の責任で用いること． Kerasの詳細なリファレンスおよび使用例については，Keras本家のサイト（https: //keras.io）からアクセスできるが，ここでは，MNISTの手書き数字認識を例にして使 用例を示す． KerasでMNIST import numpy as np # Keras関係のimport import keras
from keras import datasets, models, layers
# GPGPUリソースを全消費してしてしまう問題の回避 import tensorflow as tf
from keras.backend import set_session, tensorflow_backend
## 動的に必要なメモリだけを確保（allow_growth=True) ## デバイス「0」だけを利用 (visible_device_list="0") ※"0"の部分は，"0" ∼"3"の中から空いているものを選んでください config = tf.ConfigProto(gpu_options=tf.GPUOptions(allow_growth=True, visible_device_list="0")) set_session(tf.Session(config=config)) 注意 Kerasの仕様(?)で，コードを実行するとサーバに搭載されている全てのGPGPU の全メモリを確保してしまう．今回の演習は，GPGPUサーバ（4枚のGPGPU）を履修 者で共有するため，上記のコードを参考に，必要最低限のGPGPUリソースを使うよう に設定してください．なお，現時点でのGPGPUリソースの使用状況は，サーバー上で nvidia-smi コマンドを利用すると確認できる（詳細は別途マニュアル参照）．
KerasでMNIST (つづき(1))
# MNISTデータの準備
img_rows, img_cols = 28, 28 # 画像サイズは28x28 num_classes = 10 # クラス数
(X, Y), (Xtest, Ytest) = keras.datasets.mnist.load_data() # 訓 練 用 と
テスト（兼validation）用のデータを取得 X = X.reshape(X.shape[0],img_rows,img_cols,1) # X を (画 像 ID， 28, 28, 1) の4次元配列に変換 Xtest = Xtest.reshape(Xtest.shape[0],img_rows,img_cols,1) X = X.astype(’float32’) / 255.0 # 各画素の値を0∼1に正規化 Xtest = Xtest.astype(’float32’) /255.0
input_shape = (img_rows, img_cols, 1)
Y = keras.utils.to_categorical(Y, num_classes) # one-hot-vectorへ変換 Ytest1 = keras.utils.to_categorical(Ytest, num_classes)
KerasでMNIST (つづき(2))
# モデルの定義
model = models.Sequential()
# 3x3の畳み込み層．出力は32チャンネル．活性化関数にReLU．入力データのサイ
ズはinput_shapeで指定．入出力のサイズ（rowとcol）が同じになるように設定． model.add(layers.Conv2D(32, kernel_size=(3,3), activation=’relu’,
input_shape=input_shape, padding=’same’)) # 3x3の畳み込み層．出力は64チャンネル．活性化関数にReLU．入力データのサイ ズは自動的に決まるので設定不要． model.add(layers.Conv2D(64,(3,3),activation=’relu’,padding=’same’)) # 2x2の最大値プーリング model.add(layers.MaxPooling2D(pool_size=(2,2))) # 入力を1次元配列に並び替える model.add(layers.Flatten()) # 全結合層．出力ノード数は128．活性化関数にReLU． model.add(layers.Dense(128,activation=’relu’)) # 全結合層．出力ノード数はnum_classes（クラス数）．活性化関数にsoftmax． model.add(layers.Dense(num_classes, activation=’softmax’)) # 作成したモデルの概要を表示 print (model.summary()) このように，Sequentialモデルのインスタンスを作成して，入力層から順にaddメソッド で層を追加していく．（この他にも，Functional APIを使う方法があるが割愛） モデルの定義後，損失関数や最適化手法を設定し，その後，fitメソッドを用いて学習 する．
KerasでMNIST（つづき(3)） # モデルのコンパイル．損失関数や最適化手法を指定する． # ここでは，損失関数にクロスエントロピー誤差，最適化手法にAdadeltaを指定し ている． model.compile( loss=keras.losses.categorical_crossentropy, optimizer=keras.optimizers.Adadelta(), metrics=[’acc’]) # 学習．とりあえずここでは10エポックだけ学習． １バッチあたり32枚の画像を 利用 epochs = 10 batch_size = 32
result = model.fit(X,Y, batch_size=batch_size,
epochs=epochs, validation_data=(Xtest,Ytest1)) history = result.history 学習途中の損失関数の値の履歴等はfitメソッドの戻り値として取得することができる． KerasでMNIST（つづき(4)） # 学習済みのモデルをファイルに保存したい場合 model.save("my_model.h5") # ファイルに保存したモデルを読み込みたい場合 #model = models.load_model("my_model.h5") # 学習履歴をファイルに保存したい場合 import pickle with open("my_model_history.dump", "wb") as f: pickle.dump(history, f) # 学習履歴をファイルから読み込みたい場合 #with open("my_model_history.dump", "rb") as f: # history = pickle.load(f) 次に，10000枚のテスト用画像Xtestに対してクラス識別を行い，正答率を評価する．
KerasでMNIST（つづき(5)）
# Xtestに対してクラス識別．
pred = model.predict_classes(Xtest)
from sklearn.metrics import confusion_matrix, accuracy_score
# 混同行列 各行が正解のクラス，各列が推定されたクラスに対応
print (confusion_matrix(Ytest, pred, labels=np.arange(10)))
# 正答率の算出
print (accuracy_score(Ytest, pred))
KerasでMNIST（つづき(6)） # 損失関数と精度のグラフを表示．縦軸が損失関数の値（or精度)，横軸がエポック 数 import matplotlib.pyplot as plt fig = plt.figure() plt.plot(history[’loss’], label=’loss’) # 教師データの損失 plt.plot(history[’val_loss’], label=’val_loss’) # テストデータの損失 plt.legend() plt.savefig("loss_history.png") fig = plt.figure() plt.plot(history[’acc’], label=’acc’) # 教師データでの精度 plt.plot(history[’val_acc’], label=’val_acc’) # テストデータでの精度 plt.legend() plt.savefig("loss_acc.png")
6.4
[発展課題 B1] MNIST 手書き数字認識
前節のサンプルコードを参考に，MNIST手書き数字認識器を作成し，認識精度を評価 せよ．レポートには，構築したモデルの概要，エポック数を横軸，{教師データの損失関 数の値，テストデータの損失関数の値，教師データでの精度，テストデータでの精度}を 縦軸にとったグラフを添付すること．課題B1については，以下の2つについて報告する こと． B1-(1) （わざと）過学習 モデルによっては過学習，すなわち，学習データでの精度は 高いものの，テストデータでの精度が非常に低くなる現象が生じる．構築するモデルを工 夫して（わざと）過学習が生じさせ，そのときの振る舞いをレポートにまとめること． B1-(2) 認識器の構築 できるだけ精度が高くなるような認識器を構築せよ．その認識器 の構築に至るまでの試行錯誤の内容についてもレポートで報告すること．6.5
[発展課題 B2] 顔画像認識
人間によって，「笑顔」もしくは「笑顔でない」のいずれかがラベル付けされた顔画像を 用意している．これらを教師データとして，入力された顔画像に対して，「笑顔」or「笑顔 でない」の2クラス識別を行う認識器を構築せよ． GPGPUサーバ上の，/home/iiyama/face/train/smile に笑顔画像， /home/iiyama/face/train/nonsmileに非笑顔画像があり，これを教師データとして用いる． また，/home/iiyama/face/test/smile に笑顔画像，/home/iiyama/face/test/nonsmile に非笑顔画像があり，これを検証用データとして用いる． これらの画像を（MNISTのときのように）一度にメモリ上に読み込むことはできない ため，以下のように逐次ファイルから読み込むようにする． 顔画像データ読み込み # 「KerasでMNIST（つづき(1)）」と差し替えることfrom keras.preprocessing.image import ImageDataGenerator train_datagen = ImageDataGenerator(rescale=1.0/255) test_datagen = ImageDataGenerator(rescale=1.0/255) input_shape = (218, 178, 3) num_classes = 2 batch_size = 32 train_generator = train_datagen.flow_from_directory(’/home/iiyama/face/train/’, target_size=(218,178), batch_size=batch_size, class_mode=’categorical’) test_generator = test_datagen.flow_from_directory(’/home/iiyama/face/test/’, target_size=(218,178), batch_size=batch_size, class_mode=’categorical’)
学習時．fitメソッドではなく，fit generatorメソッドを使う # 「KerasでMNIST（つづき(3)）」と差し替えること model.compile( loss=keras.losses.categorical_crossentropy, optimizer=keras.optimizers.Adadelta(), metrics=[’acc’]) # 学習． epochs = 10 spe = 100 # 1エポックあたりのバッチ数
result = model.fit_generator(train_generator, steps_per_epoch = spe, epochs=epochs, validation_data=test_generator, validation_steps=30) history = result.history
精度評価
# 「KerasでMNIST（つづき(5)）」と差し替えること
loss, acc = model.evaluate_generator(test_generator, steps = 30) print ("loss:", loss)
print ("accuracy:", acc)
手書き数字認識と比べて，クラス数は2クラスに減ったものの，画像サイズは大きくな り，また，タスクも難しくなっている．モデル構造，学習率などをチューニングする必要 があるので注意すること． レポートには，発展課題B-1(2)と同じく，認識器の構築に至るまでの試行錯誤の内容 についてもレポートで報告すること．
6.6
[発展課題 B3] 画像生成（他の発展課題に飽きた人向け）
画像データを訓練データとして，訓練データには無い（本物らしい）画像を生成するネッ トワークを構築せよ．画像データとしては，MNISTもしくはcifer10のデータを用いるこ と．（発展課題B2の顔画像データを用いてもよいが難易度は高い） 画像の生成モデルを構築する方法はいくつかあるが，以下では，敵対的生成ネットワーク （Generative Adversarial Network, GAN）およびGANを用いた画像生成手法DCGAN[6]について説明する．
GANでは，generator（生成器）とdiscriminator（識別器）と呼ばれる2つのネットワー
クを用意し，それぞれを交互に学習させる．generatorの目的は訓練データとよく似た画 像を生成することであり，一方ではdiscriminatorの目的はgeneratorが生成した（偽物 の）画像と，訓練データの（本物の）画像とを識別することである．目的が相反する2つ のネットワークを互いに競わせることにより高性能なgeneratorを構築する． 定式化 generatorはdn次元のガウス分布pz(z)に従うノイズzを入力とし，画像xを出 力する．generatorをG(z; θg)と表記し，これをパラメータθgを持つニューラルネットで
構築する．discriminatorは画像xを入力として受け取り，xが本物かどうかの確率を出力 する．discriminatorをD(x; θd)と表記し，これもパラメータθdを持つニューラルネット で構築する． generatorは「discriminatorを騙す」画像を生成するようパラメータθgを学習する．つ まり，generatorの出力G(z)をdiscriminatorに入力したときの出力D(G(z))ができるだ け1に近付くようにしたい．generatorの学習では，以下の式を最小とするθgを学習する． Ez∼pz(z)[log(1− D(G(z)))] (65) 一方，discriminatorは式65をできるだけ大きくしたい．また，本物の画像x，言い換 えると本物の画像を生成する分布pdata(x)に従うx，が入力されたときにその出力D(x) をできるだけ大きくしたい． すなわち，GANの学習では以下の式を用いてθgとθdを学習する．5 argmax θd argmin θg (
Ex∼pdata(x)[log D(x)] +Ez∼pz(z)[log(1− D(G(z)))]
) (66) アルゴリズム Data: 画像集合X, ミニバッチサイズB #モデルの準備; (i) discriminatorのモデルを構築する; (ii) generatorのモデルを構築する;
(iii) (i)のモデルと(ii)のモデルを結合したモデルを構築する．ただし，(ii)のパラ
メータは更新しないようにしておくこと．; while 気が済むまで do # discriminatorの学習; (1) dn次元ガウス分布pz(z)からB/2個のdn次元ベクトルを生成; (2) XからB/2枚の画像を抽出; (3)からモデル(ii)を使って画像を生成; (4) (2)の正解を1，(3)の正解を0として合計B枚の画像を用いてモデル(i)を学 習; # generatorの学習; (1) dn次元ガウス分布pz(z)からB個のdn次元ベクトルを生成; (2) (1)の正解をすべて1として，モデル(iii)を学習; end Algorithm 1: (DC)GANの学習 実装にあたって 以下はあくまで実装の一例である．GAN実装はチューニングが非常に 難しいことが知られているため，（かなりの）試行錯誤が必要である． 参考までにDCGANの論文で指摘されている情報を以下に載せる． 5
generatorの学習において，実際は，log(1− D(G(z)))を最小化するのではなく，− log D(G(z))を最小 化するようにした方が収束が早い．
• 画像の各ピクセルは[−1, 1]に正規化 • ミニバッチサイズは128． • zの次元dnは100程度 • プーリングではなく，stride（※Kerasのドキュメントを参照）付きの畳み込みを用 いる • Batchnormalizationを導入する
• generatorの活性化関数はReLUを用いる．ただし最終層はtanh．
• discriminatorの活性化関数はLeakyReLU（ReLUの改良版）を用いる．
Kerasで実装する場合，functional APIが必要となる．詳細は，Kerasのドキュメン
トを参照のこと．他にも，レイヤーをfreezeするテクニック（https://keras.io/ja/
getting-started/faq/#freeze）を駆使する必要がある．
参考文献
[1] “THE MNIST DATABASE of handwritten digits”, http://yann.lecun.com/ exdb/mnist/
[2] “CIFAR-10 dataset”, https://www.cs.toronto.edu/~kriz/cifar.html
[3] “Pythonチュートリアル”, https://docs.python.jp/2.7/tutorial/index.html [4] “NumPy Quickstart tutorial”,https://docs.scipy.org/doc/numpy-1.15.1/
user/quickstart.html
[5] “cuDNN: Efficient Primitives for Deep Learning”, arXiv:1410.0759, 2014.
[6] “Unsupervised Representation Learning with Deep Convolutional Generative Ad-versarial Networks”, Alec Radford, Luke Metz, Soumith Chintala, https://arxiv. org/pdf/1511.06434
