表現能力と汎化性能の高い人工神経回路網に関する研究
研究代表者 趙 晋輝 研究員 理工学研究所 共同研究第１類
2004
1.
まえがきサポートベクターマシン
(SVM)
は，現在最も優秀な学習マ シンの一つである．しかしながら，SVM における最も重要な 入力空間から特徴空間への埋め込み写像は、特殊なものを使っ ているため、効率が悪い場合が多く、最適なものは知られてい ない。本論文では，SVM の汎化性能を向上させるために，カーネ ルトリックを用いずに，一般的な学習ネットワークを特徴写像 として用いて、表現力を高めると同時に
VC
次元を減少させる ような最適な特徴写像を学習により求めるという方式を提案す る．2.
新しい評価関数の定式化入力
x
に対して、埋め込み写像はy = (1, φ
T(x))
T= (y
i)
T とする。ここでy
jのパラメータベクトルをθ
jとし、wを重み 係数、s(x)をステップ関数とする。学習データx
i, i = 1, .., N
に対して，xとθ
を学習するための評価関数としては以下のも のを用いる．J
k(w, { θ
j} ) = 1
2 w
Tw + C ∑
i,di
w
Ty
i<1s(1 − d
iw
Ty
i)
k3.
学習アルゴリズムw
と{ θ
j}
に関する勾配：∂
∂w J
k(w, { θ
j} ) = w
T− kC ∑
i,di
w
Ty
i<1d
i(1 − d
iw
Ty
i)
k−1y
Ti∂J
2∂θ
j=
{ − Cd
iw
j(1 − d
iw
Ty
i)
k−1∂y
j(x
i)∂
θ
j(d
iw
Ty
i< 1) 0 (d
iw
Ty
i≥ 1)
評価関数に対して勾配法により、wとθ
jを学習させる。4.
学習ネットワークを特徴写像として用いたSVM
特徴写像学習ネットワーク＋SVM
の二段構成を提案4.1 RBF
を特徴写像とするSVM
4.2 MLP
を特徴写像として用いたSVM
4.3 Pyramid network
を特徴写像として用いたSVM
4.4 CNN
ネットワークを特徴写像として用いたSVM
8. Simulation (1)Australian credit card problem (2) Spam mail problem (3)
顔認識に適用。Receiver-operator curve (ROC)によ る評価output layer
input layer hidden layers
margin maximization
feature extraction
図
1: Topology of a pyramid network
convolution
classification convolution
subsampling
subsampling
図
2: Architecture of the Convolutional Neural Network
0 0.2 0.4 0.6 0.8 1
0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1
Australian credit card problem
FPR
TPR
MSE-MLP MSE-PN SVM(linear Kernel) SVM(rbf Kernel) LFMSVM-RBF LFMSVM-MLP LFMSVM-PN
0 0.2 0.4 0.6 0.8 1
0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1
Spambase Dataset
FPR
TPR
MSE-MLP MSE-PN SVM(linear Kernel) SVM(RBF Kernel) LFMSVM-RBF LFMSVM-MLP LFMSVM-PN
図
3: ROC for the credit card and Spam email problems
図
4: Examples of face and non-face images
0 0.2 0.4 0.6 0.8 1
0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1
CBCL Face Database
FPR
TPR
MSE-MLP MLP-PN MSE-(CNN+MLP) SVM(linear Kernel) SVM(RBF Kernel) LFMSVM-MLP LFMSVM-PN LFMSVM-(CNN+MLP)
図
