ε 制約Differential Evolutionによる摂動量の制約を考慮したAdversarial Examplesの生成

全文

(1)55. 事例紹介論文 . ε 制約 Differential Evolution による摂動量の制約を考慮した Adversarial Examples の生成 Generation of Adversarial Examples Considering the Amount of Perturbation by ε Constraint Differential Evolution 串田淳一. 広島市立大学大学院情報科学研究科. Jun-ichi KUSHIDA. Graduate School of Information Sciences, Hiroshima City University. [email protected], http://www.ints.info.hiroshima-cu.ac.jp/kushida/. 原章 Akira HARA. 高濱徹行 Tetsuyuki TAKAHAMA. （同. 上）. [email protected], http://www.ints.info.hiroshima-cu.ac.jp/ahara/. （同. 上）. [email protected], http://www.ints.info.hiroshima-cu.ac.jp/takahama/. keywords: differential evolution, constrained optimization problem, adversarial examples Summary In recent years, deep neural networks have shown outstanding performance in a wide range of domains like computer vision and natural language processing, and so on. However, several studies have demonstrated that in the image classification domain, deep neural classification models are easily fooled by adversarial examples (AE). AE are inputs that are designed to cause poor performance to a predictive machine learning model. As one of the black-box attacks on computer vision, a method of generating adversarial examples using Differential Evolution (DE) has been reported. This attack method is very effective because the output of the model can be greatly changed by modifying a few pixels of the input image. However, even if the operation is only a perturbation of several pixels, if the change in the pixel value (amount of perturbation) at that time is large, it is possible to easily discriminate the AE with the naked eyes. Therefore, in this paper, not only inducing a misclassification but also the amount of perturbation given to the image is considered when searching for AE using DE. In other words, we formalize the AE generation as a constrained optimization problem that searches the AE under a constant amount of perturbation. For this problem, we apply DE with ε constraint method which is one of the constraint handling techniques. In addition, JADE, which is a kind of adaptive DE, is adopted to improve the search ability. In order to confirm the effectiveness of this approach, we carry out experiments using some typical machine learning models and show that the ε constraint JADE can generate AE that is difficult to detect with the naked eyes.. 1. はじめに. な場合の設定であり，攻撃者は攻撃対象モデルのネットワーク構造やパラメータ，損失関数，訓練データなどに. 近年，深層学習は，画像認識，自然言語処理，音声認. アクセスし，効率的な攻撃を行うことが可能となる．そ. 識などの幅広い分野に応用され大きな進歩を遂げてい. の一方で，モデルの内部情報を用いず，入力の情報と出. る [Krizhevsky 12, Schmidhuber 15]．その一方で，深層. 力の結果だけを用いる設定は black-box attack と呼ばれ. 学習に基づく画像認識や手書き文字認識に対し，誤った. る [Huang 17b]．. 判定結果が出力される入力データを設計する adversar-. 小な摂動を加えることで生成できる．AE により攻撃を. black-box attack に分類されるアプローチとして，[Su 19] では進化的計算の一手法である Differential Evolution (DE)[Storn 97] を用いた，画像分類における AE の生成方法 (攻撃方法) を提案している．Su らは，画像に対する摂動を DE の解候補として進化させることで，少ない pixel 数の変化で誤分類を引き起こす AE が生成できるこ. 行う際の設定は，white-box attack と black-box attack に. とを確認している．この入力画像の局所的な変化のみで. 大別される．white-box attack はモデル知識を利用可能. モデルの出力を大きく変更するメカニズムは，非常に有. ial examples (AE) に関する研究が数多く報告されている [Goodfellow 15, Szegedy 13, Bhambri 19]．画像認識の領域における AE とは，機械学習モデルに誤分類を誘発させる人工的な画像であり，入力画像に微.

(2) 進化計算学会論文誌 Vol. 11. 56. 効な攻撃手法といえる．しかしながら数 pixel の摂動の. No. 3（2020）. みの操作であっても，その際の画素値の変化 (摂動量) が. (c) はモデルの予測確率のみを用いて AE を生成する score-based な方法である．[Narodytska 16] は local search. 大きいと，肉眼で容易に AE であることを判別できる．. に基づく手法であり，ランダムに選択されたピクセルに. そこで本論文では，DE を用いて AE を探索する際に誤. 摂動を付与し，出力確率に大きな影響を与えるピクセル. 分類の誘発だけではなく，画像に与える摂動量も考慮す. を探索しながら AE を生成する．. る．つまり AE の生成を一定の摂動量の下で探索する制. 一方で，目的関数の微分を必要としない進化的アルゴリ. 約付き最適化問題として定式化する．そしてこの問題に. ズムを用いた方法もいくつか提案されている [Yuan 19]．. 対し，制約対処法の一つである ε 制約法 [Takahama 06]. 進化的アルゴリズムは確率的な多点探索であるため，同. を適用した DE を用いて AE を生成する．DE のアルゴリ. じ入力画像であっても攻撃のたびに生成される AE は異. ズムには，探索中に制御パラメータを適応的に調整する. なる．そのため，Defensive Distillation などの防御的メ. 機構を持つ JADE[Zhang 09] を採用する．本アプローチ. カニズムに抵抗できるといった利点を持つ [Liu 19]．ま. の有効性を確認するために，幾つかの代表的な機械学習. た，ニューラルネットワーク以外のモデルに対しても攻. モデルを分類器として用いた実験を行い，ε 制約 JADE に. 撃が可能である．. より肉眼でも検知が難しい AE が生成できることを示す．の生成に関する先行研究について述べる．続く第 3 章で. [Alzantot 19, Jere 19, Meunier 19, Liu 19] では Genetic algorithm, CMA-ES を用いており，多くの whitebox attck と同様に画像全体に摂動を付与する．この方法. は最適化アルゴリズムとして用いる DE について説明し，. では探索空間が膨大となるため，探索空間の次元数を減. 第 4 章で DE を用いた AE の生成方法について述べる．. らし，探索を高速化する工夫も導入している．たとえば，. また，5 章で ε 制約法を JADE に組み込んだ εJADE に. ( a ) transferability を利用する方法 (b) 勾配を推定する方法 ( c ) 勾配を利用しない方法 (a) では，transferability という学習器を対象として作成した AE が同様のタスクを実行する別の学習器におい. [Meunier 19] は画像を小さな正方形のタイルに分割し，タイル単位で摂動を付与する．また，[Jere 19] では摂動を付与する領域をランダムに選択されたスクラッチ (直線) に制限している．これに対し，DE，Particle swarm optimization を用いる [Su 19, Mosli 19] では摂動を加える pixel 数を限定することで探索空間を大きく削減している．[Su 19] では 8 万回の評価回数 (クエリ数) の下で， 1 pixel のみの摂動で AE を生成できることを示している．なお AE を生成する際は，攻撃の成功率だけでなく，摂動量をなるべく小さくし元画像と AE 間の perceptual similarity(知覚的類似性) を維持することも重要となる [Sharif 18, Fezza 19]．一般に，摂動量は元画像と AE 間の Lp ノルム（L0 , L2 , L∞ ）で計算され，[Liu 19, Vidnerová 16, Mosli 19] ではペナルティ法のように摂動量を目的関数の中に取り込み最適化を行っている．[Alzantot 19] では元画像の各 pixel 値ごとに摂動の範囲を上下限制約として与え，その範囲で探索を行う．また，[Suzuki 19] では対象画像に加える摂動の pixel 数 (L0 ノルム) と，摂動量 (L1 ノルム) を別々の目的関数とし，多目的進化型アルゴリズムを使って最適化を行うことで多様な AE を生. ても高い割合で誤認識を引き起こす性質を利用する．こ. 成している．. 本論文の構成は以下の通りである．まず第 2 章で AE. ついて説明する．第 6 章では εJADE による AE 生成の有効性を確認するための実験について説明し，第 7 章では代表的な機械学習モデルに対する攻撃結果を示す．最後に，第 8 章で本論文のまとめと今後の課題を述べる．. 2. 関連研究画像分野における AE の生成に関する研究では，主に畳み込みニューラルネットワークを攻撃対象としており，最も一般的なアプローチは対象モデルの損失関数の勾配を利用する white-box attack である [Moosavi-Dezfooli 16, Madry 18, Carlini 17]．その一方で，より現実的な設定である black-box attack についても様々な方法が提案されており，それらは下記のように大別できる．. の方法では，手元に攻撃対象の代替モデルを作成し，その代替モデルに対して white-box attack を行い AE を作. 3. Differential Evolution. 成する [Papernot 16]．しかしながら，攻撃対象モデルが大規模である場合，代替モデルの学習のために多くの計算コストを要することになる．. (b) では，攻撃対象モデルの真の勾配の代わりに近似勾配を使用する．[Chen 17] では，最初に pixel 単位での勾配推定を行い，次に推定された勾配を使用して white-box attack[Carlini 17] 実行する．この方法は高い攻撃成功率を示すが，勾配の近似には数百万のクエリ数が必要となっている．. DE は確率的な直接探索法であり，解集団を用いた多点探索を行う．ここで，DE が適用される関数最適化問題は評価関数 f (x) を最小化する D 次元の実数値ベクトルを求める問題である．DE の集団内の各個体は実数値ベクトル xi = (xi1 , . . . , xiD ) で表現される．DE の戦略は， DE/base/num/cross として表記される．base はベースベクトル xr1 の選択方法，num はベースベクトルを変異させるための差分ベクトルの個数，cross は交叉方法.

(3) ε 制約 Differential Evolution による摂動量の制約を考慮した Adversarial Examples の生成. 57. 4. DE を用いた AE の生成. をそれぞれ指定する．ベースベクトルの選択を rand 戦略で num = 1 とし，交叉を 2 項交叉 (binomial crossover) とする DE/rand/1/bin のアルゴリズムを以下に示す．. STEP0: 初期化 N P 個の初期個体 xi を探索空間 S 内にランダムに生成し，初期集団 P = {xi |i = 1, 2 . . . , N P } を構築する．. 4·1 コーディング本研究では，ブラックボックス条件下で AE を生成するために，DE を用いる．DE の適用方法は文献 [Su 19] と同様とする．つまり，画像に対する摂動のパラメータを DE の解候補 (個体) としてコード化し，遺伝演算により進化させる．1 pixel の摂動 (1 pixel attack) を加える場合は，以下の 5 変数で表現される．. STEP1: 終了判定終了条件を満足すれば，アルゴリズムは終了する．. STEP2: 突然変異各親個体 xi に対して，3 個体 {xr1 , xr2 , xr3 } を xi. x = (x, y, r, g, b). (3). ここで，x と y は摂動を加える画素の座標，r, g, b はそ. および互いに重複しないようにランダムに選択し，. れぞれ 0 から 255 までの RGB 値となる．これにより，x. 式 (1) により変異ベクトル vi を生成する．. による摂動は座標 x, y の画素値を r, g, b にそれぞれ変更. vi = xr1 + F (xr2 − xr3 ). する．図 1 は 1 pixel attack を受けた画像の例であり，猫. (1). の額の位置に 1 pixel の摂動が加えられている．. ここで，F は差分の伸縮を表すスケーリングファク. ઃಊ. タである．. STEP3: 交叉変異ベクトル vi を親 xi と交叉し，子個体 ui を生成する．交叉は Algorithm1 の binomial crossover を. 図 1 画像に対する摂動の例. 用いる．Algorithm 1 において，D は問題の次元数，. CR は交叉率, rand(0, 1) は区間 [0, 1] の一様乱数生成関数である. なお，子個体 ui の要素 ui,j が探索空間 S 外に生成された場合，以下の方法で修正を行う． { ui,j =. 2xL j − ui,j , 2xU j − ui,j ,. ui,j < xL j ui,j > xU j. 複数 pixel の摂動の場合は式 (3) の変数を連結し，以下のように表現する．. X = (x1 , y1 , r1 , g1 , b1 , x2 , y2 , r2 , g2 , b2 , ...) (2). U ここで，xL j , xj (i = 1, 2, . . . , D) は決定変数 xj の下. 限値，上限値である.. STEP4: 生存選択. (4). そのため，P pixel の摂動を加える P pixel attack であれば，DE の個体の次元数 D は 5 × P となる．なお，DE の個体は図 2 のような実数値ベクトルであるため，摂動を実行する際は小数点以下を切り捨て，整数値に変換する． ᗙᶆ. RGB್. 子ベクトルを評価する．子ベクトル ui の目的関数値が親 xi よりも良ければ子ベクトルが生存者とな. 13.4 20.4 130.4 108.7 220.1 12.1. 15.1 120.3 100.6 20.1. り，親を子ベクトルで置換する．. STEP5: STEP1 に戻る．. …. 1 pixel䛾ᦤື 図2. 摂動のコード化. Algorithm 1: binomial crossover 1. jr =select randomly from [1, D];. 2. for j = 1 to D do if rand(0, 1) < CR or j = jr then ui,j = vi,j ;. 3 4 5 6. else ui,j = xi,j ;. 4·2 目的関数と制約条件分類器に対する攻撃は，targeted attack と non-targeted attack に大別される．どちらも分類器に誤分類を誘因させる入力を生成するが，それぞれ目的が異なる．いま攻撃対象の分類器がある画像 I をクラス t(t = 1, . . . , K) に分類するものとする．また，ρ(x) は摂動パラメータ x によって表現される摂動とする．non-targeted attack では，図 3 のように摂動を加えた画像 (I + ρ(x)) がクラス t に.

(4) 進化計算学会論文誌 Vol. 11. 58. 属する確率 (確信度) を最小化する AE を生成することが目的となる．一方，targeted attack では誤分類させたいクラスをあらかじめ指定して攻撃を行う．図 4 ではターゲットを class s (s ̸= t) とし，class s の確信度を最大化する AE を生成することが目的となる． class. class. No. 3（2020）. 5. ε 制約法を適用した JADE 5·1 ε 制約法 [Su 19] では，AE を生成する際に摂動量に関する制約は付与しておらず，DE の戦略も標準的な rand/1 を用いている．また，他の進化計算手法を用いる方法 [Mosli 19, Alzantot 19] においても，AE の探索には標準的なアルゴリズムを採用している．これに対し本論文では，制約付き最適化問題として定式化した AE 生成問題に，ε 制約法と改良を加えた DE で. class. 1. 3. class. 1. ある JADE を組み合わせた手法を適用する．ε 制約法は. 3. 制約なし最適化手法を制約付き最適化手法へ変換する制. +. 約対処法である．ε 制約法では，制約をどの程度逸脱し図3. non-targeted attack の目的. ているかを表現するために，制約逸脱度 ϕ(x) を導入する．制約逸脱度 ϕ(x) は，以下を満足する関数である．. {. class. class. ϕ(x) = 0 (x ∈ F ) ϕ(x) > 0 (x ∈ / F). (7). ここで F は実行可能領域を表す．. AE 生成問題では，1 つの不等式制約関数 g(x) を対象 class. 1. 3. class. 1. とするため，制約逸脱度関数 ϕ(x) は以下のように定義. 3. target. する．. (+. 図4. { ϕ(x) =. targeted attack の目的. |g(x)|, if g(x) < 0 0, otherwise. (8). 検知されにくい AE を生成するため，摂動 ρ(x) の摂動. ε 制約法においては個体の優劣を ε レベル比較で行う． ε レベル比較では，目的関数値と制約逸脱度の組 (f, ϕ) の集合上において，制約逸脱度が ε 以下の場合は目的関. 量 (元画像と摂動を加えた画像の画素値の変化量) も考慮. 数値の大小関係を優先し，それ以外の場合は制約逸脱度. する．そのため，AE 生成問題を一定の摂動量 L の下で. の大小関係を優先する．. 本論文では non-targeted attack を対象とし，肉眼でも. AE を探索する制約付き最適化問題として以下のように定式化する．. minimize. f (x) = Ct (I + ρ(x)). subject to. g(x) = L − per(x) ≥ 0. 5·2 ε 制約 JADE JADE に ε 制約法を導入した εJADE のアルゴリズムを Algorithm 2 に示す．εJADE の基本的なアルゴリズムは JADE と同様であり，ε レベルの制御と ε レベル比較を. ここで，Ct (I) は攻撃対象とする識別器の出力であり，画. 行なう点が異なる．. 像 I のクラス t に対する確信度とする．L は摂動量の最大. JADE では CR と F の調整のためにスケーリングファ. 値とし，per(x) を摂動 x の摂動量とする．P pixel attack. クタの平均値 µF と交叉率の平均値 µCR を使用する．生. における per(x) は L∞ ノルムとして式 (5) で計算する．. 存選択の際に親より良い子が生成された場合を進化成功. per(x) = max disti 1≤i≤P. (5). disti は i(i = 1, . . . , P ) 番目の pixel における摂動の変化量であり，式 (6) で計算する． √ disti =. (Ri − ri )2 + (Gi − gi )2 + (Bi − bi )2 √ 2552 + 2552 + 2552 . (6). とし，成功した時のパラメータ値を用いこれらの平均値を学習する. 各世代の始めに，各個体 xi ごとに異なるスケーリングファクタ Fi と交叉率 CRi が次式に従って独立に生成される.. Fi = randci (µF , 0.1). (9). CRi = randni (µCR , 0.1). (10). ここで，randci (µF , 0.1) は位置パラメータ µF , 尺度パ. ここで，Ri , Gi , Bi は元画像 I の位置 xi , yi における RGB. ラメータ 0.1 の Cauchy 分布に基づく確率分布である.. 値とする．そのため，disti は RGB 空間における正規化. randni (µCR , 0.1) は平均 µCR , 標準偏差 0.1 の正規分布に基づく確率分布である. なお，CRi は区間 [0 ,1] となるように切り捨てられる．Fi は負の値の場合は再生成さ. した元画像と i 番目の摂動の距離となり，その中で最も大きい距離を摂動量 per(x) とする．.

(5) ε 制約 Differential Evolution による摂動量の制約を考慮した Adversarial Examples の生成. 5·3 ε レべルの制御 ε レベルを制御する際には，そのレベル以下の個体が常にある程度含まれるようにしながら 0 まで減少させ, 0 になった後もある程度の最適化を行うことが望ましい [Takahama 06]. そこで，初期値 ε(0) を初期集団の制約逸脱度の良い個体の上位 N P × s (s ∈ [0, 1]) 番目の個体の制約逸脱度とし, T0 (0 < T0 < Tmax ) 世代以降は常に 0 となるよう制御する. よって，以下の世代 t のべキ乗関数による制御方法を用いる.. Algorithm 2: εJADE 1. Set µF = 0.5, µCR = 0.5, A = ∅ ;. 2. Set the generation number t = 0;. 3. 4 5 6 7. Initialize a population P = {x1 , . . . , xN P } randomly; ε = ε(0); // Initialize the ε level for t = 1 to Tmax do for i = 1 to N P do Generate Fi , CRi. ε(0) = ϕ(xθ ). // DE operation 8 9 10. {. vi = generated by a mutation;. ε(t) =. ui = generated by a crossover; Evaluate f (ui ) and ϕ(ui );. 12. if (f (ui ), ϕ(ui )) <ε (f (xi ), ϕ(xi )) then xnew = ui ; i. 13. x → A, CRi → SCR , Fi → SF ;. 14 15. 6. 実. else xnew = xi ; i. 17. Randomly remove solutions from A so that |A| ≤ N P ; Update µF , µCR ;. 18. P = {xnew , i = 1, 2, · · · , N P }; i. 19. ε = ε(t); // Control the ε level. 16. 0 < t < T0 t ≥ T0. (15). 験. るための実験を行う．実験では，攻撃対象のモデルとして CIFAR-10[Krizhevsky 09] を学習した Dense Convo-. る．µF と µCR は，各世代の最後に指数移動平均を用いて更新される.. µF = (1 − c) · µF + c · meanL (SF ). ε(0)(1 − Tt0 )cp , 0,. 本章では，εJADE による AE 生成の有効性を確認す. れ，それ以外の場合は 1 以下となるように切り捨てられ. µCR = (1 − c) · µCR + c · meanA (SCR ). (14). ここで, xθ は制約逸脱度が上位 N P × s 番目の個体 (θ = N P × s) とする. T0 は Tmax × r (r ∈ [0, 1]) 世代とし， cp はベキ乗の係数とする.. // ε level comparison 11. 59. (11). lutional Network (DenseNet)[Huang 17a]，Residual Network (ResNet)[He 16]，LeNet[LeCun 15] を用いる．CIFAR10 は飛行機，鳥，犬などの一般的な物体画像のデータセットである．CIFAR-10 データセットは 10 クラスの 60000 個の 32 × 32 pixel のカラー画像で構成され，1 クラス 6000 画像となっている．またそれらは 50000 個のトレーニング画像と 10000 個のテスト画像に分割されている．図 5 に CIFAR-10 の画像例を示す．また，各モデルの学習結果 (テスト画像に対する分類精度) とパラメータ数を表 1 に示す．. (12). ここで, SCR , SF は成功した CRi , Fi の集合であり， c ∈. [0, 1] は値を更新する際に使用される学習率である．また， meanA (·) は算術平均，meanL (·) は Lehmer 平均である． µF , µCR は探索の開始時は 0.5 に初期化される． JADE では current-to-pbest と呼ばれる突然変異戦略が用いられ，変異ベクトルは次式で生成される．. vi = xi + Fi (xpbest − xi ) + Fi (xr1 − xr2 ). (13). ここで，xpbest は ε レベル比較で個体群をソートしたのち，上位 100p% 個体からランダムに選択された個体であり, p の推奨値は 0.05 である．. 図5. CIFAR-10 の画像例. また，JADE では多様性を維持するために，劣解アーカイブを導入している．生存選択において，親個体よりも. 各モデルに対し，正しく分類できたテスト画像からラ. 優れた子個体が生成された場合，その親個体はアーカイ. ンダムに 200 画像を選択し，εJADE を用いて摂動を加. ブ A に保存される．アーカイブを使用する場合，式 (13). える．攻撃方法は 1 pixel attack (D = 5) と 3 pixel attack. の xr2 は P ∪ A から選択される．. (D = 15) とした．.

(6) 進化計算学会論文誌 Vol. 11. 60. 表1. CIFAR-10 に対する各モデルのパラメータ数と分類精度. model LeNet ResNet DenseNet. #parameters 62006 470218 850606. accuracy 0.7488 0.9231 0.9467. 各画像に対する攻撃において，制約を満たし (g(x) ≥ 0) かつ arg max Ci (I) ̸= arg max Cj (I + ρ(x)) を満たす i. j. 解 x が発見された場合，つまり，攻撃の前後で最大の確. No. 3（2020）. 量が小さくなっている．このように，AE 生成の際に摂動量の制約を付与することで，探索は難しくなるが，その分目視による検出が難しい AE を生成することができる．. 7·3 目的関数値と制約逸脱度の推移次に，各 L における探索中の目的関数値と制約逸脱度について分析する．まず探索成功した例として，図 6 に DenseNet の画像 4574 における最終世代の最良解 (実行可能解) を示す．. 信度を持つクラスが異なれば攻撃成功とする．. εJADE のパラメータは，c = 0.1, p = 0.05，個体数 N P = 100，最大世代数 Tmax は 200 世代とし，目的関数の評価回数の上限は 20,000 回とした．また，ε レベルの制御のためのパラメータは，s = 0.1, cp = 3, r = 0.9 とした．. 7. 実験結果. (a) L = 0.1. 7·1 各モデルに対する攻撃の成功率表 2 に εJADE L ∈ {0.1, 0.2, 0.3, 1.0} における各モデルに対する 1 pixel attack と 3 pixel attack の攻撃成功率を示す．ここでは各画像に対し 1 試行の攻撃を行い，どの程度攻撃が成功するかを確認している．なお，L = 1.0 は摂動量の制約を考慮しない (制約なしで AE を探索す (b) L = 0.2. る) ことを意味する．また，比較のために L = 1.0 としてランダムに摂動を付与する攻撃 (random L = 1.0)[Su 19] を各画像に対し 20,000 回実行した結果を示す．表 2 の結果より，制約なしの場合では εJADE の成功率はランダムな攻撃よりも高くなっており，探索空間が大きい 3 pixel attack ではその差が顕著になる．また全てのモデルに対し，pixel 数が大きいほど多くの摂動を付与できるため成功率は向上し，L が小さくなり制約が厳し. (c) L = 0.3. くなるほど成功率は低下する．特に，DenseNet における. L = 0.1 とした 1 pixel attack では，成功率は 5.5% まで低下する．そのため，制約なしの場合と比較すると探索. 図6. DenseNet の画像 4574 に対して 1 pixel attack で生成した AE の例 (左側：AE，右側：摂動の位置). の難易度はかなり上昇している．また，テストデータに対する分類精度が高いモデルほど，AE に対して頑健であることも確認できる．. 図 6 より，大きい L のもとで生成された AE においては，摂動が付与された画素は肉眼でも比較的容易に確認できる．ただし，L が小さくなるほど摂動量が減少するた. 7·2 AE 生成における制約条件の効果. め，摂動の有無を判定することは難しくなる．また，摂動. ここでは，各モデルを対象として生成された AE につい. の位置は必ずしもそのクラスを示す物体上ではなく，背. て確認する．表 3 に各モデルに対し L = 0.1 で生成された. 景の部分に存在することもある．なおこれらの AE は，4:. AE の例を示す．また，表 4 に各モデルに対し L = 1.0(制約なし) で生成された AE の例を示す．これらはすべて最. cat と正しく分類されていた画像であり，すべて 5: deer と誤分類される．本実験での攻撃は non-targeted attack. 終世代に得られた最良解である．. であるため，どのクラスに誤分類されるかは探索が終わ. 表 3 と表 4 の画像を比較すると，制約なしの AE では摂. るまで確定しない．しかしながら，AE で確信度が上昇. 動を付与した pixel が容易に目視できるのに対し，L = 0.1. するクラスは，表 5 のように元画像の分類結果において. で生成された AE では摂動位置の特定が難しくなってい. 2 番目に高い確信度を持つクラスとなる傾向がみられた．また，図 7 に DenseNet の画像 4574 における最良個体の推移を示す．この図では，(f, ϕ) 空間上に各世代の最良. る．3 pixel attack の場合でも，式 (5) により最も変化が大きい摂動を抑えようとするため，すべての摂動の変化.

(7) ε 制約 Differential Evolution による摂動量の制約を考慮した Adversarial Examples の生成. 表2. L ∈ {0.1, 0.2, 0.3, 1.0} における各モデルに対する攻撃成功率. model #pixels εJADE L = 0.1 εJADE L = 0.2 εJADE L = 0.3 εJADE L = 1.0. LeNet 1 3 7.0% 13.0% 20.0% 35.0% 28.5% 52.0% 57.5% 91.5%. ResNet 1 3 5.5% 12.0% 16.5% 30.0% 22.0% 48.0% 33.0% 80.5%. DenseNet 1 3 5.5% 11.0% 11.0% 26.0% 15.5% 45.5% 25.0% 67.5%. random L = 1.0. 51.5%. 28.5%. 20.0%. 表3. model image. 61. 68.0%. 47.0%. 35.5%. 各モデルに対し L = 0.1 で生成された AE の例. LeNet 1158 2: automobile → 10: truck. ResNet 8578 3: bird → 8: horse. DenseNet 4593 6: dog → 4: cat. 2: automobile → 10: truck. 3: bird → 8: horse. 6: dog → 4: cat. 1 pixel. 3 pixel. 表4. model image. 各モデルに対し L = 1.0(制約なし) で生成された AE の例. LeNet 71 2: automobile → 10: truck. ResNet 8578 3: bird → 8: horse. DenseNet 4593 6: dog → 4: cat. 2: automobile → 10: truck. 3: bird → 8: horse. 6: dog → 4: cat. 1 pixel. 3 pixel.

(8) 進化計算学会論文誌 Vol. 11. 62. 表5. DenseNet の画像 4574 における元画像と 1 pixel attack (L = 0.1) で生成した AE の確信度. class 1: airplane 2: automobile 3: bird 4: cat 5: deer 6: dog 7: frog 8: horse 9: ship 10: truck. 元画像. 0 0 0 0.978 0.021 0 0 0 0 0. AE 0 0.008 0 0.120 0.840 0.018 0.009 0.001 0.001 0.002. 個体をプロットしている．なお，図中の+記号は初期世代の最良解，⋆ 記号は最終世代の最良解を示しており，各世代の最良個体は ε レベル比較により更新している．. No. 3（2020）. 少し，最終世代では実行可能解 (ϕ(x) = 0 となる解) を発見できている．ただし，制約が最も厳しい L = 0.1 の場合では収束が遅く，最終的な f (x) の値は 0.2 程度となっている．一方，L = 0.2 と L = 0.3 では，探索の早い段階で制約を満たすことができ，f (x) も 0 付近まで減少している．なお，L が大きいほどプロット点が少なく見えるが，これは収束が早くなり ⋆ 記号の位置に最良個体が重なるためである．一方，失敗した例として，図 8 に DenseNet の画像 5672 における最良個体の推移を示す．1 pixel attack の場合，. L = 0.1 では ϕ(x) はほぼ 0 まで減少するが f (x) はほとんど低下せず，L を 0.3 に上げても結果は同様となる．また，3 pixel attack では，pixel 数を増やしても L = 0.3 で若干の f (x) の低下が確認できる程度である．表 2 で示したように pixel 数を増やすと全体の摂動量が大きくなるため，攻撃が成功する確率は上昇する．ただし画像 5672 のように，pixel 数を増加させても探索が成功しない画像も一部存在する．図 9 は各モデルに対する攻撃の結果で，1 pixel attack と 3 pixel attack (L = 0.1) におけるクラスごとの攻撃が成功した画像数である．図. 9 より，モデルごとに攻撃が成功しやすいクラスとそうでないクラスがあることが分かる．例えば，ResNet と DenseNet では 6: dog のクラスの画像に対し攻撃が成功しやすいが，LeNet では 6: dog の成功数が低く，3: bird や 9: ship などの成功数が高くなっている． (a) L = 0.1. 7·4 εJADE における F と CR の平均値の変化ここでは，εJADE の探索の挙動を確認するために，パラメータ適応の振る舞いを分析する．図 10 に DenseNet の画像 4574(成功) に対し，1 pixel attack (L = 0.1) を行った際の µF , µCR の変化を示す．また，図 11 に DenseNet の画像 5672(失敗) に対し，同様の攻撃を行った際の µF , µCR の変化を示す．なおこれらの図では，乱数系列を変えた. (b) L = 0.2. 10 試行の結果をプロットしている．図 10 では，µF は探索序盤から値が増加し，終盤では 0.7 程度まで上昇している．µCR も同様に 0.9 程度まで上昇する．また，探索が失敗した図 11 においても，µF , µCR の挙動は成功した場合とほぼ同様となっている．これらの図において µCR が探索の経過とともに上昇することから，本論文で定式化した AE 生成問題は Rosenbrock 関数のように，変数間の依存関係が強い問題であると推測される．なお図 10 と図 11 を比較すると，図 10 のほうがわずかではあるがパラメータのゆらぎが大きい．これは図 10 では探索中に f (x) と ϕ(x) の関数景観の異なる２つの関. (c) L = 0.3 図7. DenseNet の画像 4574 における最良個体の推移 (1 pixel attack). 数に適するようにパラメータ値が更新されるためである．一方，図 11 のような探索が失敗する問題では，f (x) の改善が難しく ϕ(x) のみが探索の早い段階で改善される．その後は f (x) のみを改善しようとするため，パラメー. 図 7 より，すべての L において ϕ(x) は世代と共に減. タ値の変化が安定していると考えられる．.

(9) ε 制約 Differential Evolution による摂動量の制約を考慮した Adversarial Examples の生成. ResNet. DenseNet. ir p lan :a e ut om ob ile 3 :b ird 4 :c at 5 :d ee r 6 :d og 7 :f ro g 8 :h or se 9 :s hi 10 p :t ru ck. 9 8 7 6 5 4 3 2 1 0. 2. 1. :a. . Lenet. 63. (a) 1 pixel attack, L = 0.1 図9. 各モデルに対するクラスごとの攻撃が成功した画像数 (1 and 3 pixel attack, L = 0.1). (b) 1 pixel attack, L = 0.3. (c) 3 pixel attack, L = 0.1. (d) 3 pixel attack, L = 0.3 図8. DenseNet の画像 5672 における最良個体の推移. (a) µF. (b) µCR 図 10 DenseNet の画像 4574 における εJADE のパラメータの推移 (1 pixel attack, L = 0.1).

(10) 進化計算学会論文誌 Vol. 11. 64. No. 3（2020）. ♢ 参考文献 ♢. (a) µF. (b) µCR 図 11 DenseNet の画像 5672 における εJADE のパラメータの推移 (1 pixel attack, L = 0.1). 8. おわりに本論文では，制約付き最適化問題として定式化した AE 生成問題に対し，ε 制約法と JADE を組合わせた εJADE を適用した．提案したアプローチによる攻撃の有効性を検証するため，代表的な機械学習モデルを対象として εJADE を用い攻撃を行った．実験結果より，制約条件である摂動量の上限を低くすることで，攻撃の成功率は下がるが肉眼では判別が難しい AE を探索することができた．また，分類精度が高いモデルほど AE に対して頑健性が高く，対象画像のクラスによって AE 生成の難度が異なることも確認できた．本論文の定式化においては，摂動量に関する制約式は単峰性関数となり，目的関数に比べ最適化は容易であるといえる．そのため，εJADE を用いこれらをバランス良く改善するためには，両関数の難度を考慮した ε レベルの制御方法やパラメータ適応などが必要と考えられる．よって，今後は AE 生成問題の特性を解探索に反映させ，効率的に AE を探索できる進化計算手法の開発を目指す．また，DE 以外の進化計算手法を用いた方法との比較や，本論文では扱わなかった targeted attack における εJADE の有効性も検証する予定である．謝. 辞本研究は，文部科学省科学研究費 (基盤研究 (C)，No.. 20K11977) の補助を得て遂行された．. [Alzantot 19] Alzantot, M., Sharma, Y., Chakraborty, S., Zhang, H., Hsieh, C.-J., and Srivastava, M. B.: GenAttack: Practical black-box attacks with gradient-free optimization, in Proceedings of the Genetic and Evolutionary Computation Conference, pp. 1111–1119 (2019) [Bhambri 19] Bhambri, S., Muku, S., Tulasi, A., and Buduru, A. B.: A survey of black-box adversarial attacks on computer vision models, arXiv preprint arXiv:1912.01667 (2019) [Carlini 17] Carlini, N. and Wagner, D.: Adversarial examples are not easily detected: Bypassing ten detection methods, in Proceedings of the 10th ACM Workshop on Artificial Intelligence and Security, pp. 3–14 (2017) [Chen 17] Chen, P.-Y., Zhang, H., Sharma, Y., Yi, J., and Hsieh, C.J.: Zoo: Zeroth order optimization based black-box attacks to deep neural networks without training substitute models, in Proceedings of the 10th ACM Workshop on Artificial Intelligence and Security, pp. 15–26 (2017) [Fezza 19] Fezza, S. A., Bakhti, Y., Hamidouche, W., and Déforges, O.: Perceptual evaluation of adversarial attacks for CNNbased image classification, in 2019 Eleventh International Conference on Quality of Multimedia Experience (QoMEX), pp. 1–6 (2019) [Goodfellow 15] Goodfellow, I., Shlens, J., and Szegedy, C.: Explaining and harnessing adversarial examples, in International Conference on Learning Representations (2015) [He 16] He, K., Zhang, X., Ren, S., and Sun, J.: Deep residual learning for image recognition, in Proceedings of the IEEE conference on computer vision and pattern recognition, pp. 770–778 (2016) [Huang 17a] Huang, G., Liu, Z., Van Der Maaten, L., and Weinberger, K. Q.: Densely connected convolutional networks, in Proceedings of the IEEE conference on computer vision and pattern recognition, pp. 4700–4708 (2017) [Huang 17b] Huang, S., Papernot, N., Goodfellow, I., Duan, Y., and Abbeel, P.: Adversarial attacks on neural network policies, arXiv preprint arXiv:1702.02284 (2017) [Jere 19] Jere, M., Hitaj, B., Ciocarlie, G., and Koushanfar, F.: Scratch that! An evolution-based adversarial attack against neural networks, arXiv preprint arXiv:1912.02316 (2019) [Krizhevsky 09] Krizhevsky, A. and Hinton, G.: Learning multiple layers of features from tiny images, Technical report (2009) [Krizhevsky 12] Krizhevsky, A., Sutskever, I., and Hinton, G. E.: Imagenet classification with deep convolutional neural networks, in Advances in neural information processing systems, pp. 1097–1105 (2012) [LeCun 15] LeCun, Y., et al.: LeNet-5, convolutional neural networks, URL: http://yann.lecun.com/exdb/lenet (2015) [Liu 19] Liu, X., Luo, Y., Zhang, X., and Zhu, Q.: A black-box attack on neural networks based on swarm evolutionary algorithm, arXiv preprint arXiv:1901.09892 (2019) [Madry 18] Madry, A., Makelov, A., Schmidt, L., Tsipras, D., and Vladu, A.: Towards deep learning models resistant to adversarial attacks, in International Conference on Learning Representations (2018) [Meunier 19] Meunier, L., Atif, J., and Teytaud, O.: Yet another but more efficient black-box adversarial attack: tiling and evolution strategies, arXiv preprint arXiv:1910.02244 (2019) [Moosavi-Dezfooli 16] Moosavi-Dezfooli, S.-M., Fawzi, A., and Frossard, P.: Deepfool: a simple and accurate method to fool deep neural networks, in Proceedings of the IEEE conference on computer vision and pattern recognition, pp. 2574–2582 (2016) [Mosli 19] Mosli, R., Wright, M., Yuan, B., and Pan, Y.: They might not be giants: Crafting black-box adversarial examples with fewer queries using particle swarm optimization, arXiv preprint arXiv:1909.07490 (2019) [Narodytska 16] Narodytska, N. and Kasiviswanathan, S. P.: Simple black-box adversarial perturbations for deep networks, arXiv preprint arXiv:1612.06299 (2016) [Papernot 16] Papernot, N., McDaniel, P., and Goodfellow, I.: Transferability in machine learning: from phenomena to black-box attacks using adversarial samples, arXiv preprint arXiv:1605.07277 (2016) [Schmidhuber 15] Schmidhuber, J.: Deep learning in neural net-.

(11) ε 制約 Differential Evolution による摂動量の制約を考慮した Adversarial Examples の生成. works: An overview, Neural networks, Vol. 61, pp. 85–117 (2015) [Sharif 18] Sharif, M., Bauer, L., and Reiter, M. K.: On the suitability of Lp -norms for creating and preventing adversarial examples, in Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition Workshops, pp. 1605–1613 (2018) [Storn 97] Storn, R. and Price, K.: Differential evolution–A simple and efficient heuristic for global optimization over continuous spaces, Journal of global optimization, Vol. 11, No. 4, pp. 341–359 (1997) [Su 19] Su, J., Vargas, D. V., and Sakurai, K.: One pixel attack for fooling deep neural networks, IEEE Transactions on Evolutionary Computation, Vol. 23, No. 5, pp. 828–841 (2019) [Suzuki 19] Suzuki, T., Takeshita, S., and Ono, S.: Adversarial example generation using evolutionary multi-objective optimization, 2019 IEEE Congress on Evolutionary Computation (CEC), pp. 2136–2144 (2019) [Szegedy 13] Szegedy, C., Zaremba, W., Sutskever, I., Bruna, J., Erhan, D., Goodfellow, I., and Fergus, R.: Intriguing properties of neural networks, arXiv preprint arXiv:1312.6199 (2013) [Takahama 06] Takahama, T. and Sakai, S.: Constrained optimization by the ε constrained differential evolution with gradient-based mutation and feasible elites, in 2006 IEEE International Conference on Evolutionary Computation, pp. 1–8 (2006) [Vidnerová 16] Vidnerová, P. and Neruda, R.: Evolutionary generation of adversarial examples for deep and shallow machine learning models, in Proceedings of the The 3rd Multidisciplinary International Social Networks Conference on SocialInformatics 2016, Data Science 2016, pp. 1–7 (2016) [Yuan 19] Yuan, X., He, P., Zhu, Q., and Li, X.: Adversarial examples: Attacks and defenses for deep learning, IEEE transactions on neural networks and learning systems, Vol. 30, No. 9, pp. 2805–2824 (2019) [Zhang 09] Zhang, J. and Sanderson, A. C.: JADE: Adaptive differential evolution with optional external archive, IEEE Transactions on Evolutionary Computation, Vol. 13, No. 5, pp. 945–958 (2009). 〔担当委員：中田雅也〕. 2020 年 05 月 18 日受理. 著者紹串田. 介淳一（一般会員）. 2006 年 3 月立命館大学理工学研究科フロンティア理工学専攻満期退学. 2009 年より立命館大学情報理工学部助手， 2012 年より広島市立大学情報科学研究科助教，2015 年より同大講師．2020 年より同大准教授．博士 (工学)．進化計算，対戦型ゲームに関する研究に従事. 情報処理学会，システム制御情報学会，IEEE 各会員．. 原. 章. 1997 東工大・工・電気・電子卒，2002 同大大学院総合理工学研究科博士課程了．2002 広島市立大学情報科学部知能情報システム工学科助手．2007 同大講師．2010 より同大准教授．進化計算，群知能，マルチエージェントシステムに関する研究に従事．電子情報通信学会，情報処理学会， IEEE 各会員，博士（工学）．. 高濱. 徹行（一般会員）. 1982 京都大学工学部電気第二工学科卒．1987 同大大学院博士課程研究認定退学．同年福井大学工学部助手．1994 同大講師．1998 広島市立大学情報科学部知能情報システム工学科助教授．2005 年より同大教授．進化的計算および群知能を含む Natural Computing，非線形最適化，機械学習などに関する研究に従事．電子情報通信学会，情報処理学会，人工知能学会，IEEE 各会員．工学博士．. 65.

(12)