A study of privacy-preserving machine learning methods

プライバシー保護を考慮した 機械学習法に関する研究

A study of privacy-preserving machine learning methods

首都大学東京大学院システムデザイン研究科 情報科学域

18860626

目 次

i

目 次

1

1

2

4

2.1 EtC

. . . . 4

2.2

. . . . 5

2.3

. . . . 6

2.3.1

. . . . 6

2.3.2

. . . . 7

3 EtC

8 3.1

. . . . 8

3.2 EtC

. . . . 9

3.2.1

. . . . 9

3.2.2

. . . . 9

3.3 EtC

. . . . 11

3.3.1 EtC

. . . . 11

3.3.2

. . . . 13

3.4

. . . . 13

3.5

. . . . 16

3.6

. . . . 16

3.6.1

. . . . 16

3.6.2

(SVM) . . . . 17

3.6.3

(

) . . . . 20 4

ンプリング次元削減法

22

目 次

ii

4.1

. . . . 22

4.2

. . . . 23

4.3

. . . . 24

4.4

. . . . 24

4.4.1

. . . . 25

4.4.2

. . . . 25

5

28

6

29

あらまし

iii

あらまし

本研究では，プライバシー保護を考慮した機械学習法を提案する．機 械学習の利用には一般に膨大な訓練用データと高い計算コストを必 要とするため，クラウドコンピューティングが用いられることが多 い．しかしプロバイダーの信頼性の欠如や事故によって，データの 不正利用や流失，プライバシーの侵害といった問題の発生が危惧さ れている．このような問題を解決するために，本研究では，

EtC

EtC

EtC

z-score

EtC

EtC

SVM

Summary

In this paper, privacy-preserving machine learning methods are pro- posed. Cloud computing is used for machine learning because it is required a huge amount of data and high computational costs.

However, the computing environment has some serious issues for

end users, such as the unauthorized use of services, data leaks, and

privacy being compromised due to unreliable providers and some

accidents. Because of this, a privacy-preserving machine learning

method using EtC images is proposed. EtC images are images en-

crypted by the method which has been proposed for Encryption-

あらまし

iv

then-Compression s

ystems with JPEG compression. It is shown that generating EtC images do not effect the classification accuracy of machine learning under the use of z-score normalization of the data. On the other hand, it is difficult to maintain spatial relation between images in the machine learning method using EtC images.

Therefore, a dimensionality reduction method for privacy-preserving

machine learning is proposed. The proposed method allows us to

preserve visual information of images and maintain the relative spa-

tial relation between images by dividing an image into blocks and

sampling the blocks randomly. Some face recognition experiments

are carried out by using a support vector machine algorithm as an

example of machine learning algorithms to demonstrate the effective-

ness of the proposed methods.

1.

1

1

近年，様々な分野において，機械学習の利用が普及してきている．

機械学習の利用には一般に膨大な訓練用データと高い計算コストを 必要とする．そのため，プロバイダーの計算資源を利用するクラウ ドコンピューティングやエッジコンピューティングが用いられるこ とが多い．しかしクラウドコンピューティングの利用は，プロバイ ダーの信頼性を前提にしており，その信頼性の欠如や事故によって，

データの不正利用や流失，プライバシーの侵害といった問題の発生 が危惧されている

[1]

上述の問題を解決するための方法として，データを直接公開するこ となく，暗号化したデータを第三者に渡し計算を依頼する二つのア プローチが検討されている．第一のアプローチは秘密計算に基づく ものである

[2–14]

(SVM)

[15]

(

)

SVM

一方，プライバシー保護を考慮した機械学習の研究とは独立に，画 像の視覚情報を保護した形式でのデータ圧縮法が研究されている

[16–

1.

2

22]

JPEG

EtC(Encryption-

then-Compression)

をデータ圧縮された形式での保存を可能として，かつ総当たり攻撃 やジグソーパズル解放攻撃などに対して安全性がすでに評価されて いるが，機械学習への適用は検討されていない．

以上の背景から，本研究では，圧縮可能な知覚暗号化法として提案 された

EtC

EtC

EtC

EtC

z-

score

れることを明らかにする．その結果，原画像間の内積と

EtC

また，本研究ではプライバシー保護を考慮した機械学習法のため の次元削減法についても検討する．

EtC

以上の問題を解決するために，本研究では，画像の視覚情報保護と 空間情報の保持を考慮した機械学習法を提案する．提案法では，画 像をブロックに分割し，ブロック単位でランダムにサンプリングす ることで，画像の視覚情報保護と空間情報の保持を可能とする．こ の方法は，画像の視覚情報保護と同時に，画像を用いた機械学習で は一般的に行われる，次元削減を行うことができる．従来機械学習 においてプライバシーの保護と次元削減は独立に扱われてきており，

かつ従来の次元削減法ではデータに含まれるプライバシーの保護や

1.

3

空間情報を同時に保持することは考慮されてこなかった．提案法は，

両者を同時に考慮することによって，鍵の管理を不要としている．

実験では，提案法の有効性を評価するために，機械学習法の一例と して

SVM

EtC

2.

4

I

I

K₁ K K₃

2 Grayscale-based Image

Generation Method

Dividing into 8x8 blocks

Block Scrambling

Negative-Positive Transformation Block Rotation

and Inversion

Key

Block Scrambling Steps

I

Color Space Transformation

YCbCr

I

RGB

図

1: EtC

[18, 19]

2

2.1 EtC

前述のとおり，本稿では

EtC

. EtC

[23, 24]

EtC

EtC

1

[18, 19]

.

STEP1

X × Y

I _RGB

YCbCr

I _{Y CbCr}

STEP2

I _{Y CbCr}

i _Y , i _Cb ,i _Cr

3

.

して，

3

X × 3Y

I _g

.

STEP3

I _g

B _x

B _y

K ₁

.

2.

5

STEP4

各ブロックを鍵

K ₂

.

0

90

180

270

ブロックを水平・垂直方向にランダムに反転させる方法であり，回 転しない，もしくは水平・垂直方向どちらにも反転するといったこ とも起こりえる．

STEP5

各ブロックにネガポジ変換を適用する

.

i

B _i

p ^′

 

 

 



p ^′ = p (r(i) = 0) p ^′ = 255 − p (r(i) = 1)

, (1)

ここで，

r(i)

P (r (i)) = 0.5

K ₃

2

p

8bpp

.

本稿では，以上の手順で暗号化された画像を

EtC

STEP1

2

.

B _x × B _y = 1 × 1

STEP4

.

2.2

本稿では，プライバシー保護を考慮した認証システムとして図

2

. Client i, i = 1, ..., N

g _i,j , j = 1, ..., M

B _i

M

(

)I i,j

Cloud Server

Cloud Server

2.

6

図

2:

元削減を施し，データベースに保管すると同時に，機械学習での認 証に必要なモデルを保護テンプレートを用いて実行する．認証時に

は，

Client i

B _i

Cloud Server

Cloud Server

認証結果を

Client i

Cloud server

2.3

機械学習では，入力された特徴ベクトルをより高速，正確に分類す るために，次元削減が行われる．本稿では，

2

2.3.1

ダウンサンプリング法

[25]

3

2.

7

図

3:

うに平均値を計算することで，次元が

1/(B _x × B _y )

2.3.2

ランダム射影

[26]

d

X , Y ∈ R ^d

d _r

(d _r ≤ d)

X ^RP = RX (2)

ここで，

X ^RP

X

R

d _r × d

R

N (0, 1)

∥ X ∥ ≤ 1

∥ Y ∥ ≤ 1

X

Y

3. ETC

8

3 EtC

ここでは，圧縮可能な知覚暗号化法として提案された

EtC

3.1

先行研究において

,

,

[16, 17].

Clienti

j

T _i,j

B i

Q B

T ˆ _i,j

T ˆ _i,j = Q _B

T _i,j (3)

Q _B

∈ R ^{d × d}

T _i,j ∈ R ^d

Q _B

Q ^T _B

i

Q _B

= E (4)

T

E

B _i = B _s

(3)

Q _B

= Q _B

性質

1:

∥ T _i,j − T _s,t ∥ ² = ∥ T ˆ _i,j − T ˆ _s,t ∥ ² (5)

2:

⟨ T _i,j , T _s,t ⟩ = ⟨ T ˆ _i,j , T ˆ _s,t ⟩ (6)

3:

⟨ T i,j , T s,t ⟩

√ ⟨ T i,j , T i,j ⟩ ^√ ⟨ T s,t , T s,t ⟩ = _√ ⟨ T ˆ i,j T ˆ s,t ⟩

⟨ T ˆ _i,j , T ˆ _i,j ⟩ ^√ ⟨ T ˆ _s,t , T ˆ _s,t ⟩ (7)

3. ETC

9

3.2 EtC

次に

EtC

X × Y

I _i,j

T _i,j = { p _i,j (0), . . . , p _i,j (d − 1) } ^T ∈ R ^d , d = X × Y

p _i,j (k), k = 0, 1, . . . , d − 1

I _i,j

3.2.1

まず，ブロックスクランブルはブロック単位での画素の置換であり，

ブロックの回転・反転変換はブロック内での画素の置換と考えられ るため，

Q B

Q _B

=



 

 



1 0 0 0 0 1 0 1 0



 

 

 (8)

のように，各行各列に一つだけ

1

0

E

E = Q ^T _B

Q B

(9)

T ˆ _i,j

(5)

(6)

(7)

3.2.2

次に，ネガポジ変換の性質について考える．ネガポジ変換では，

p ^′ _i,j (k) = 255 − p _i,j (k)

p ^′ _s,t (k) = 255 − p _s,t (k)

∥ p ^′ _i,j (k) + p ^′ _s,t (k) ∥ ²

= ∥ − p _i,j (k) + p _s,t (k) ∥ ²

= ∥ p _i,j (k) − p _s,t (k) ∥ ² (10)

3. ETC

10

となる．したがって，式

(5)

しかし，内積については，

p ^′ _i,j (k)

p ^′ _s,t (k)

= 255 ² − 255(p i,j (k) + p s,t (k)) + p i,j (k)

p s,t (k))

, p _i,j (k)

p _s,t (k) (11)

(6)

ここで，

EtC

z-score

[27]

データ

x _i , i = 1, 2, ..., N

z _i

z _i = (x _i − X ¯ )

S (12)

ただし，

X ¯

S

S =

v u u t ∑ N

i=1 (x _i − X ¯ ) ²

N (13)

で与えられる．

ネガポジ変換では，式

(12)

ˆ

z _i,j (k) = (255 − p _i,j (k)) − (255 − P ¯ _k ) S ^′

= − p i,j (k) − P ¯ k

S

= − z _i,j (k) (14)

ただし，

P ¯ _k = 1 N

M

∑ N i=1

∑ M j=1

p _i,j (k) (15)

3. ETC

11

S ^′ =

v u u u t

∑ N i=1

∑ M

j=1 ((255 − p _i,j (k)) − (255 − P ¯ _k )) ² N

M

=

v u u u t

∑ N i=1

∑ M

j=1 ( − p _i,j (k) + ¯ P _k ) ² N

M

= S (16)

である．ネガポジ変換を行った値を正規化した値

z ˆ _i,j (k)

z _i,j (k)

(5)

(6)

(7)

したがって，

EtC

3.3 EtC

2.3

3.3.1 EtC

法

本稿ではまず，

EtC

A

EtC

I ˆ _i,j

B _x

B _y

¹

B

× B

EtC

I ˆ _i,j

次元削減された

EtC

3. ETC

12

たものとの間で

,

,

B

ブロックの平均を取った画素を

p ˆ _i,j (k)

(14)

ˆ

z _i,j (k) = (255 − p ˆ _i,j (k)) − (255 − P ¯ _k ) S ^′

= − p ˆ _i,j (k) − P ¯ _k S

= − z _i,j (k) (17)

が成立する．従って，次元削減された

EtC

3.2.1

3.2.2

z-score

C

上述では，ブロックサイズ

B _x

B _y

_B ¹

x

× B

2.2

EtC

B _x

B _y

JPEG

B _x = B _y = 8

1

64

さらに大きな次元削減を行う場合を考察する．

3.3.1

B _x

B _y

_B ¹

x

× B

_{2 × B} ¹

x

× B

_{3 × B} ¹

x

× B

のように，さらに整数分の

1

3. ETC

13

3.3.2

次に，次元削減法としてランダム射影を用いた場合を考える．

2.3.2

R

N (0, 1)

∥ X ∥ ≤ 1

∥ Y ∥ ≤ 1

X

Y

従って，以上の条件を満たす場合，ランダム射影を用いて次元削減 された

EtC

3.2.1

3.2.2

3.4

本稿では，機械学習法のひとつとしてサポートベクターマシン

(SVM)

SVM

x

f (x) = sign(ω ^T x + b) (18)

2

ω

b

T

sign(u)

u > 1

1

u ≤ 0

-1

SVM

x

(18)

f (x) = sign(ω ^T ϕ(x) + b) (19)

3. ETC

14

ここで

ϕ(x) : R ^d −→ F

x

F

へ写像する関数である．

d

ω

F

2

x _i

x _j

K(x _i , x _j ) = ⟨ ϕ(x _i ), ϕ(x _j ) ⟩ (20)

⟨· , ·⟩

Radian Basis Function(RBF)

K(x _i , x _j ) = exp( − γ ∥ x _i − x _j ∥ ² ) (21)

K (x _i , x _j ) = (1 + ⟨ x _i , x _j ⟩ ) ^l (22)

γ

l

EtC

EtC

RBF

K( ˆ T i,j , T ˆ s,t ) = exp( − γ ∥ T ˆ i,j − T ˆ s,t ∥ ² )

= exp( − γ ∥ T i,j − T s,t ∥ ² )

= K (T _i,j , T _s,t ) (23) RBF

isotropic stationay kernel [28]

K (x i , x j ) = K I ( ∥ x i − x j ∥ ) (24)

K ( ˆ T i,j , T ˆ s,t ) = ⟨ T ˆ i,j , T ˆ s,t ⟩

= ⟨ T _i,j , T _s,t ⟩

= K (T _i,j , T _s,t ) (25)

3. ETC

15

表

1:

EtC

EtC

(

) (

)

線形カーネル ○

RBF

多項式カーネル ○

WAVE

線形カーネルや多項式カーネルは，

K (x _i , x _j ) = K _In ( ⟨ x _i , x _j ⟩ ) (26)

以上のカーネル関数と暗号化画像の関係を表

1

以下では，カーネル関数の計算結果が変化しない場合を想定する．

与えられた

EtC

SVM

2

これは，

SVM

max _α − 1

2

∑ i,s ∈ N j,t ∈ M

α _i,j α _s,t y _i,j y _s,t ⟨ ϕ( ˆ T _i,j ), ϕ( ˆ T _s,t ) ⟩ + ^∑

i ∈ N

α _i

s.t. ^∑

i ∈ N

α _i y _i = 0

0 ≤ α _i ≤ C, i ∈ N (27)

として与えられる．ここで，

y _i,j , y _s,t ∈ { +1, − 1 }

α i,j , α s,t

C

⟨ ϕ( ˆ T _i,j ), ϕ( ˆ T _s,t ) ⟩

K(T _i,j , T _s,t )

EtC

SVM

3. ETC

16

3.5

図

2

I ˆ i,j

I i,j

B i

.

B _i

2

.

1.

(B ₁ = B ₂ = . . . = B _N )

1

B 1 = B 2 =

. . . = B _N

.

は式

(5)

(6)

SVM

2.

(B ₁ , B ₂ , . . . , B _N )

2

B ₁ = B ₂ = . . . = B _N

.

3.6

提案法の有効性を

SVM

3.6.1

本実験では，代表的な顔画像データベースである

Extended Yale Database B [29]

38

64

2432

192

160

64

32

32

RBF

RBF

γ

83

3. ETC

17

(a)

(192

160)

(b)EtC

(192

160)

4:

また，次元削減法としてはダウンサンプリング法とランダム射影を 用いた．ダウンサンプリング法で特徴量を抽出する際には

B _x

B _y = 8

8

1/64

192

160

24

20

480

1/20

1/40

1/60

1/80

4

EtC

3.6.2

(SVM)

SVM

DB

1

I ˆ _q

I ˆ _q

I _q

EtC

I ˆ _q

S q

τ

if S q ≤ τ then accept; else reject. (28)

(False Reject Rate

FRR)

(False Accept Rate

FAR)

(Equal Error Rate

EER)

3. ETC

18

0 0.2 0.4 0.6 0.8 1

0 0.2 0.4 0.6 0.8 1

FAR,FRR

FAR encrypted

FRR encrypted FAR not encrypted

FRR not encrypted

(a)

0 0.2 0.4 0.6 0.8 1

0 0.2 0.4 0.6 0.8 1

FAR,FRR

FAR not encrypted

FAR encrypted

FRR encrypted

FRR not encrypted

(b) RBF

図

5:

EER (B

= B

= . . . = B

)

1. B ₁ = B ₂ = . . . = B _N

ここでは，全てのクライアントで同じ鍵を用いる．次元削減とし てダウンサンプリング法を用いた時の

EER

5

RBF

EtC

(

)

(

)

EER

2

3

EER

3. ETC

19

表

2:

EER：線形カーネル (B

= B

= . . . = B

)

reduction rate

not

encrypted encrypted

1/20 0.0223 0.0220

1/40 0.0247 0.0251

1/60 0.0271 0.0273

1/80 0.0296 0.0298

表

3:

EER：RBF

(B

= B

= . . . = B

)

reduction rate

not

encrypted encrypted

1/20 0.0504 0.0497

1/40 0.0644 0.0643

1/60 0.0732 0.0735

1/80 0.0863 0.0852

がわかる．先の理論的検証に加え，この実験結果からも，提案 法は

SVM

2. B ₁ , B ₂ , . . . , B _N

ここではクライアントごとに異なる鍵を用いる．図

6

4

それぞれ次元削減法としてダウンサンプリング法，ランダム射 影を用いた場合の

RBF

クエリは

2

(

)

EER

EER

3. ETC

20

0 0.2 0.4 0.6 0.8 1

0 0.2 0.4 0.6 0.8 1

FAR,FRR

FRR encrypted FAR encrypted

図

6:

EER (B

, B

, . . . , B

)

表

4:

EER (B

, B

, . . . , B

) reduction

ratio

not

encrypted encrypted

1/20 0.0504 0.000448

1/40 0.0644 0.00112

1/60 0.0732 0.00779

1/80 0.0863 0.00855

3.6.3

(

)

別の機械学習法での例として，ここでは提案法をランダムフォレス トに適用した．ランダムフォレスト

[30]

表

5

B 1 = B 2 = . . . = B N

SVM

EtC

3. ETC

21

表

5:

EER (B

= B

= . . . = B

)

reduction ratio

not

encrypted encrypted

1/20 0.104 0.106

1/40 0.113 0.115

1/60 0.121 0.121

1/80 0.124 0.125

4.

22

4

4.1

(a) (192

160) (b)

(24

20) (c)

(24

20)

図

7:

2.3

2

7

ダウンサンプリング法は，画像をブロックに分割し，ブロックの 平均値を計算することで，特徴を抽出し次元削減を行う方法である．

この方法を用いると，次元を削減する過程でブロック同士の位置関 係は変わらないため，画像の相対的な空間情報を保持したまま次元 削減することができる．しかし，視覚的な情報は保護することがで きない

(

7b

)

ランダム射影は，高次元の特徴ベクトルを低次元の空間に写像す ることで次元削減を行う方法である．この方法は，視覚情報を保護 することができるが空間情報は保持することができない

(

7c

)

上で述べた従来の次元削減法の問題点を解決するために，本稿で はプライバシー保護と空間情報の保持を同時に考慮した次元削減法 を提案する．

4.

23

図

8:

図

9:

4.2

従来，プライバシー保護を考慮した認証システムでは，

2.2

2

.

本稿では，画像の次元削減法としてランダムサンプリング次元削 減法を提案する．この方法では，画像をブロックに分割し，その中 からブロックをランダムにサンプリングすることで次元削減を行う．

提案法の具体的な手順を以下で説明する．まず，

X × Y

B _x × B _y

B _x × B _y = 1 × 1

8

次元削減率

=

元の次元数

× 100 (29)

4.

24

が

D r [%]

n

n = X × Y

B _x × B _y × D _r

100 (30)

で与えられ，

n

図

9

B _x = B _y = 1

D r = 5, 10[%]

ロックサイズと次元削減率で制御できることがわかる．機械学習で は選択されたブロックの情報を特徴ベクトルとして用いて学習・テ ストを行う．

4.3

提案法の特徴をまとめると，以下のようになる．

(a)

(b)

(c)

(d)

 従来法と比較すると，ダウンサンプリング法より

(a)

(b)

4.4

提案法の有効性を顔認証実験によって評価する．