2.3 基底ベクトルを用いた眼鏡なし顔画像推定実験
2.3.1 実験条件
本節では,眼鏡なし顔画像の推定実験に先立ち,撮影条件,顔画像の正規化方法,扱う 顔画像集合について述べる.
撮影条件
実験には,背景が一様な無表情の正面顔画像を用いた.35mm 一眼レフカメラを用いて 撮影し,フィルムスキャナにより1300× 1500 画素の解像度,モノクロ256 階調でディジ
眼鏡無し顔画像集合
基底ベクトル 眼鏡顔画像
内積 内積値
荷重線形和
推定顔画像
主成分分析
mi
u
i
j
q j
{ ni}
ni
+ 平均顔画像 n
^
図 2.2: 眼鏡なし顔画像推定の流れ図
タル化した.照明は眼鏡レンズの反射がなるべく生じないよう顔の正面よりやや上から照 射するように設置し,2回の撮影を行った(表2.1).連続して撮影すると顔の肌の状態に ほぼ変化がなく,後の項で述べる顔画像集合F1 およびF2 の基底ベクトルuj1,uj2 の相 違が現れにくいと考え,撮影2 は別の日に照明条件を変えて実施した.
表 2.1: 顔画像の撮影条件 条件撮影 撮影1 撮影2 ストロボ 1灯 3灯
(アンブレラ使用)
眼鏡なし顔画像 135枚 42枚
(男性97,女性38) (男性35,女性7)
眼鏡顔顔画像 22枚 –
(男性14,女性8)
顔画像の正規化
取得した顔画像内の顔の傾き,大きさ,位置を手動で正規化しておく.これは,位置ず
鼻下と顎の距離wc の間には式(2.7)(2.8)のような関係がある[68].そこで,位置を抽出し やすい瞳の中心と鼻下の位置を用いて図2.3 に示す各数値を決定した.
we =wi (2.7)
wb =wc (2.8)
顔の傾きと大きさは式(2.9)〜(2.12) のaffine 変換により補正する.xel,xer,yel,yer は 各々左右の瞳のxおよびy 座標を示し,yn は鼻下のy 座標を示す(図2.3).
X Y
=
zx·cosθ zx·sinθ
−zy ·sinθ zy ·cosθ
x y
(2.9)
θ=T an−1
yer −yel
xer −xel (2.10)
zx= 48
xer −xel (2.11)
zy = 48
yn−yel (2.12)
そして,眼鏡が顔画像の上部に存在すると仮定し,服の襟,背景,前髪,耳の見え隠れと いう状態の変化を極力抑制するために110× 60画素の大きさで顔画像を抽出した(ベクト
ルの次元D = 6600).図2.4 に正規化した顔画像の例を示す.
また,照明の影響や男女間での肌の輝度値の差異を簡易的に緩和するため,眼鏡なし顔 画像ni の輝度値の平均を0 にするよう,式(2.13)(2.14)によりni のl 番目の要素(輝度 値)n(l)i (l = 1, 2, · · ·, D) を求める.
n(l)i ← n(l)i −n¯i (2.13)
¯
ni = 1 D
D l=1
n(l)i (2.14)
顔画像集合の種類と基底ベクトル
本手法による眼鏡なし顔画像推定の精度は,推定に用いる基底ベクトルに依存すると考 えられる.眼鏡顔画像mi の人物の眼鏡なし顔画像をni1(表2.1 の撮影1 で取得)および ni2(同撮影2で取得)とすると,本研究では次の3種類の顔画像集合の基底ベクトルを用 いて検討する.
24 x y
48
48
31 31
48
el x
x er
y el
y n
w e w i
w
w
b
c
[画素]
y er
図 2.3: 顔画像の正規化のパラメータ値
正規化前(1300×1500画素) 正規化後(110×60画素) 図 2.4: 正規化した顔画像の例
ルuj が求まる(以下,「顔画像集合Fk の基底ベクトル」をujk (k =1, 2, 3) と示す).基 底ベクトルの例として,各顔画像集合の上位3主成分を図2.5 に示す.可視化のために式
u11 u21 u31
u12 u22 u32
u13 u23 u33
図 2.5: 顔画像集合Fk の基底ベクトルujk
(2.15) によりバイアスを加えたu(l)j
k を新たに求め,見やすくするために輝度値についてヒ ストグラム平滑化[69]を施して図示している.ここで,u(l)jk は基底ベクトルujk のl 番目 の要素の輝度値を示す.
u(l)jk ← u(l)jk + 128 (2.15) 各基底ベクトルujk には,視覚的に眼鏡の成分を含んでいないことが判る.