画像処理による似顔絵作成に関する研究
32 9
画像処理 による似顔絵作成 に関す る研究
谷 口真也*･坂本異人
†
● ●
S t u d yo fFa c i a l C∬i c a t u r l n gb yPi c t u r ePr o c e s s l n g
Shi nyaTANI GUCHI *a nd Ma kot oSAKAMOTO†
ABSTRACT
Re c e n t l y ,f a c i a lc a r ic a t u r eha sapo t e n t i a lf o re x pa ns i o n, be ca us eo fr ea li z i n gane wme d i ao fma n‑
ma c hi n ei n t e r f a c e,mod e l i ngf a c i a li mpr e s s i o n,a nds oo n.I nt hi spa pe r , wei n v e s t i ga t ea bo u tt hef a c i a l c a r i c a t u r ed r a wi nga l go r i t hm.Es pe c i a ll y ,i nt hec a s eo fs e gme n t a t i o no fpi c t ur e s ,s pe c i a la t t e n t i o ni s g i v e nt Ot hepr o bl e m ofa ut o ma t i c a ll ys e l e c t i nga ppr o pr ia t et h r e s ho l dbya ppr o xi ma t io no fe a c hg r a y l e v e lhi s t o g r a
m,a ndt ot hee dg ed e t e c t io n. T hee x pe r ime n t a lr e s ul t swi l ls ho wt heno v e l t yo fo u ra l go‑
r
it hmwhi c hi sf r ie nd l ya d a pt e dt ot heus e r .
Ke yWo r d s･ ･f a c i a lc a r i c a t u r e , pi c t ur epr o c e s s l n g, S e gme n t a t i on, bi na r yi ma ge , t hr e s ho l d, e d ged e t e c t i o n
..i.‑‑I‑1‑Jll‑‑･▲I･1‑‑‑‑I‑1､I‑,I1‑‑‑‑
1
は じめに人 間は顔か ら性別 ､年齢､人種､感情などの さまざ まな個人情報を得 ることができる｡人間同士のコミュ ニケーションにおいて､言語的な伝達手段 と非言語的 な伝 達手段が併用 されているが､非言語的な伝達手段 の中でも顔は非常に大切な役割 を果た している｡この ことより､顔はさまざまな方向か ら研究が行われてい る｡その中でも､似顔絵の研究が盛んである｡例えば､
顔画像から顔部品の位置検出を行い､顔のスケッチ画 像 を抽出する手法についての研 究
【 1 ]
､顔画像の濃淡 を線 密度に対応 させた線画による似顔絵を作成す る手 法に ついての研究【 2
】､平均顔 を用いた顔画像表現の 研究[ 3
1などがある｡似顔絵 はテ レビや新聞 ･雑誌な どの マスコミ分野や､犯罪捜査などの分野での利用が 考え られている｡将来的には､メールやテ レビ電話で の情 報伝達の場でもその効果 を活かせ るに違いない｡と ころで､さまざまな顔画像の線描画に関す る研究 が行 われてきているが､ほ とん どが
2
値化を行って表 現 している｡画像の特徴 を解析するためには､画像か ら対 象を切 り出 し､対象 と背景を分離するために2
億 化処 理を用いることが多い｡この2
倍化 をする際に問 題 と なるのが開値の決め方である｡そ して､どの方法 も開 催を決める場合 にその画像 の濃度値 ヒス トグラ ムを 用いている｡ ところが､濃度値 ヒス トグラムの分 布は 一般に不規則であ り､閥値 を決定 しにくい要因に なっ ている｡そこで本研究では､最小2
乗法を導入 し*情報工学 専攻大学院生
†情報システム工学科助 教授
て濃度値 ヒス トグラムの分布を多項式で近似す ること によ り､
2
値化の際の開催 をよりスムーズに決定でき る手法を考えた｡2 原理
2. 1
エ ッジ抽出画像 に含まれ る輪郭線部､濃度が急激 に変化 す る エ ッジ部分や､高周波数成分の強調は微分 フィル タに より得 られ る｡中でも､
2
次微分換作に相 当す る空間 フィルタとしてはラプラシアンと呼ばれる方法がある｡一般にラプラシアンでは､正の ピークと負のピークが 対になって現れ､正負両 ピークの中央でラプラシアン が
0
となる場所 (ゼ ロ交差)を探 し出す と､このゼ ロ 交差が勾配の極大値 とな りエ ッジの位置 となる｡ しか し､画像に雑音が混入すると､雑音付近の画素はゼ ロ 交差点 となって しま う｡この間題 を解決する方法 とし ては､ラプラシアンとともに勾配を計算 しておき､勾 配の大きさが開値以上であるゼ ロ交差点をエ ッジ点 と して抽出す る手法がある【 4
1｡ このよ うな処理 を施 し た画像例 をFi g.1
か らFi g. 4
に示す｡2. 2
判別分析法画像の濃度値 ヒス トグラムにおける濃度値の分布 を 閥値
t
で2
つのクラス( t
以上 とt
未満)に分割 した と き､2
つのクラスが最 もよく分離するようにパ ラメー タ Jを決める方法が､判
別分析による開催選択法であ る[ 4
】｡分離性の尺度 としては､2
つのクラスの平均 値の分散 (クラス間分散) と各クラスの分散 (クラス 内分散)の比 (判別比)が用いられ､この判別比が最3 30
宮 崎 大 学 工 学 部 紀 要 第3 3 号
Fi g. 3
ゼ ロ交差点Fi g. 4
勾配 を考慮 したゼ ロ交差点 大になるよ うに闘値t
が選択 され る.t
の求め方を以 下に示す｡まず､与えられた画像が
Lレベルの濃度値 ( 1 , 2 , . . . , L , )
をもつ もの とする｡ここで､閥値 を Jとして
､
J以上の 濃度値をもつ画素 と､それ より小 さな値をもつ画素の2
つのクラスに分 け､クラス1
及びクラス2
とす る｡クラス i(i=1,2)の画素数をwh 平均濃度値 をMh 分 散を可とおき､全画素の平均濃度値を
M
Tとお くと､クラス内分散は
'
,五･ wI C r 子+W2 g2 2 Wl+ W2
で与えられ､クラス間分散は
wl ( M1‑MT) 2
+W2 ( M2‑MT) 2 W l+W2
w I W2 ( Ml‑M2 ) 2 ( w
l+W2 ) 2
(
1 )( 2)
で与えられ る. さらに､全画素の濃度値の分散 を
o i T
とす ると､次の関係
U ? T = C r 2 W+q? B
が成 り立つので､判別比はC 2 B ■ ■ ■ ■
Cr孟c r 2 w o i T‑0 3 B
( 3)
( 4)
となる｡全分散
U ?
Tは開催 とは無関係な定数 となるの で､判別比を最大にす るにはoiBを最大にすればよい ことがわかる.すなわち､t
を変化 させてC
2Bを最大にす る
t
の値 を求めればよい.ただ しこの方法は､ヒス トグラムに明確な谷がない 場合 にも開催 が選択できるので広 く利用 され ている が､対象 と背景の面積が大きく異なる場合には､得 ら れる開催が視覚的に判断できる開値か らずれ ることが ある｡
2. 3
最小2
乗法最小
2
乗法 は､多項式によるあてはめを行 うとき｢もっともらしさ｣の規準 としてデータと多項式の値 との差 (残差
( r e s i dua l )
)の2
乗和を最小にす るとい う 手法である【 51 ｡
本研究では以下の多項式 を採用す る｡
p( x) = ao + a̲1 X‑1
この とき残差はe i = f i ‑ P( x i ) , i =
1, . . . , n
( 5)
( 6)
であ り､その2
乗和はE:
‑ iL l l ; チ
‑ ∑( L l = l Z 1 I. I ‑P( x, ･ ) ) 2
‑ ∑ i = 1 U . I ‑ ao‑a‑ 1 X . :I) 2 ( 7)
である｡ これ を係数
aj
,j= 0, 1
で偏微分す ると芸‑ ∑( z l = a 1 ‑ 2Ui‑aO‑a‑ 1 X
{1
,1
) ( 8,
a E
∂ α ̲ 1 ‑ ∑仁2唱n i l
Ui‑a O ‑
a‑1
Xll) x l l ) ( 9)
を得 る｡ これ を 0と置いて連立
1
次方程式∑ ? = l Xl2 ∑? = lXl
l∑? = l X l l ∑? = 11
∑ ? = l I , ･ x . T l
∑? = l f i
(1 0)
を得 る.この方程式は正規方程式
( no r m a le qua do n)
と 呼ばれ る｡この最小
2
乗法は､関数f( x)
の値が数値データ と して飛び飛びの点 xi , x2
, …, X n
で与えられ る場合に有効 な関数近似の手法である｡ここで､最小
2
乗法によってヒス トグラムの近似曲 線が決まったな らば､その近似 曲線 を1
次微分 して､ある濃度値での接線を求める｡この接線のことを傾 き と呼ぶ ことにす る
( Fi g.5)
0本研究では､傾 きを‑
0. 4
4とした｡画像 処理 に よる似 顔絵 作成 に関す る研 究
331
0a]10馳的
1 0
Fig.5
ヒストグラムの近似曲線とその接線3
実験 実験手順は以下の通りである｡1.元画像にメディアンフィルタをかけて雑音除去 する｡2 .
その画像の勾配を計算して､ヒストグラム表示 (縦軸:生起確率‡)する｡3 .
ヒストグラム曲線の近似(最小2乗法)を行い､ 闘値を決定する｡4 .一方で､比
較のため判別分析法(ヒストグラム の縦軸は画素数)を行い､閥値を決定する｡5 . 3で決定した閥値を用いて
､2
倍エッジ抽出を 行う｡最小2
乗法を利用した近似曲線から得た開値を計算してエッジの抽出を行った.用いた実験環境はTable.1の通りである｡比較のため､従来の閥値選択法である判別分析法による開催の算出後にエッジ抽出を行った結果も載せた(Fig .6‑Fig.8)O
使用マシン
S unUl t r a 6 0 OS Sol a r iS8
使用言語
C
サンプル画像
3 5 0 x ̲ 2 8 6
グ レースケール画像( 8 b i t )
画 像フォーマ ッ ト
p g m
形式Ta bl e .
1実験環境4
考 察実 験結果を見ての通 り､判別分析法を使 うよ りも最 小
2
乗法によって求めた閥値のほ うが明 らかにエ ッジ 抽出 に最適であることが分かる｡これは､勾配画像の ヒス トグラムが どれ も似たよ うな形 を してい るため､またこは勾配画像の対象 と背景の面積が大 きく異なるた
車重 画素数 に対す る割合
Fi g. 6
サ ンプル画像Fi g. 7
左 :最小2
乗法 (間借=9)
,右 :判別分 析法 (開催=4 0)
Fi g. 8
左 :最小2
乗法 (開催=1 0)
,右 :判別分 析 法 (開催=2 3)
めだ と思われ る｡最小
2
乗法を使 う場合は､扱 う多項 式に応 じて濃度値 ヒス トグラム近似 曲線の傾 きの決定 が必要になって くる｡その傾 きさえ決定すれば､近似 曲線の利用は顔画像の似顔絵描写に最適な方法だ と思 われ る｡ さらに､その傾 きを調整す ることで似顔絵の 表情 も変わってい くのではないだろ うか と推測す る｡Fi g.9
はそれぞれFi g.7とFi g.8
の左 図をより似顔 絵 らしく見せ るために白黒反転 し､髪､目などに濃度 値2 5
の色 を与えたものである｡Fi g. 9 Fi g.6
か らの似顔絵5
おわ りに本研究ではエ ッジ抽 出か ら
2
値化 とい う手順で顔画 像か らの似顔絵描写を行ったが､先 に2
値化 を施 した3 3 2
宮 崎 大 学 工 学 部 紀 要 第3 3 号
後にエ ッジ抽 出を行ったほ うが顔 の輪郭線 な どがはっ き りと描かれ る｡ただ し､先に
2
倍化 を行 うがため､思ったよ うに
2
倍 (白､黒)に分かれては くれ ない｡そこで本研究では､エ ッジ抽出を先に行 う方法にした｡
今回は濃度値 ヒス トグラムで近似曲線の傾 きを扱っ たが､それ以外にもこの ヒス トグラム (近似曲線)に は何か他にも情報をもっているか もしれない｡その辺
りも追及 していこうと思 う｡
今後の課題 として､顔画像か らリアルな似顔絵を括 写可能にし､人間の表情分析を行 うことがあげられ る｡
例 えば､人間が怒っている場合や笑っている場合など で､顔 には どのよ うな変化が表れ るのかな どである｡
人間の顔画像 は数多 くの情報をもっている｡私たちは 他人 とコミュニケーションをとることで､外面的な態 度は見て分かるが､その ときの感情までは詳 しくは分 か らない｡その感情が唯一表れ る場所 と言えば顔以外 にはあ りえない｡顔画像の表情な どが忠実に似顔絵描 写できれば､例えばテ レビ電話な どを扱 っている際､
2
値画像 を使用すれば実画像 よりも画像伝達時の情報 量が少な くて済む｡顔の表情を分析 していくことで感 情 と表情のつなが りが見えてくるに違いない｡参考文献
[1]李 元中,小畑 秀文,"顔のスケッチ画像の抽 出,"電 子情報通信学会論 文誌 D‑Ⅱ,帆)1.J80‑D‑Ⅱ,No.8, pp.2161‑2169,Åug.1997.
【 2
1柴 田 大介,中村 剛士,世木 博久,伊藤 英則,"顔画像の線描画による表現手法について
,
"電子情報通 信学会論文誌 D‑Ⅱ,Ⅵ)1.J80‑D‑Ⅲ,No.8,pp.2095‑
2101
,
Åug.1997.【3】永 田 明徳,金子 正秀,原島 博,"平均顔 を用いた 顔印象分析,"電子情報通信学会論文誌 A,Vol.J80‑A, No･8,pp･1266‑1272,Aug.1997･
[4】田村 秀行,"コンピュータ画像処理7'株式会社 オー ム社,2002.
