濃度こう配特徴を用いた顔画像の照合と認識

修 士 論 文

濃度 こう配特徴を用いた 顔画像の照合 と認識

二 王 与 . . ' ㌧ 言

仰 / , ̲ A , P P z l 一 一 仰 . 雌‑ . 血̲ ･

2 2 i 2 暮 / )

平成

年度修 了

三重大学大学院工学研究科 博士前期課程 情報工学専攻

小牧 優士

修 士 論 文

濃度 こう配特徴を用いた 顔画像の照合 と認識

二 王 与 . . ' ㌧ 言

仰 / , ̲ A , P P z l 一 一 仰 . 雌‑ . 血̲ ･

2 2 i 2 暮 / )

平成

年度修 了

三重大学大学院工学研究科 博士前期課程 情報工学専攻

小牧 優士

は じめに

従来の個人認証の技術 として,カー ドな どの所有物やパスワー ドな どの秘密情報 を用い た方法がある. しか し,カー ドの盗難,紛失,パスワー ドの漏洩な どの問題があ り,他人 によるな りす ま Lに対 して十分なセ キュ リテ ィが確保 され てい る とはいえない状況であ る. これ らの問題 を解決す るために生体情報 による個人認証が注 目されている.この技術 はバイオ メ トリクス と呼ばれ,個人 ごとに異なる体の部位 の特徴 を用いて個人認証 を行 う 技術 である.バイオメ トリクスに利用 され る特徴 は,指紋,虹彩,声紋,顔 な どがある.

本研究では,生体情報の一つである顔 を用いた個人認証を取 り扱 う.顔画像 を用いた個人 認証は,入退室管理,不審者の照合な ど‑の応用が期待 され,盛んに研究 されている

顔画像認証の基礎技術 として顔画像認識 がある.顔画像認識 とは,入力画像 と事前 に取 得 され登録 されている複数個人のテンプ レー ト画像 とを比較 し,入力画像 中の人物が どの 人物であるかを特定す ることである. この処理は,入力画像 中の人物が登録 されてい るテ ンプ レー ト中に含 まれているとい う仮定の下で行われ る. しか し,顔画像認識 の一般的な 利用場面においては,事前に登録 されていない部外者が入力 として与 え られ ることが考え られ る. この場合,部外者 を棄却す る必要がある.入力 として与え られた画像 中の人物が 部内者 か部外者かを判定 し,部外者 を棄却す る処理 を本研究では照合 と呼ぶ.

顔画像認証 の特徴 としては

●動画 を用い ることが可能である.

●指紋認証 における,セ ンサーに指 を押 しつけるといった照合動作が不要である.

●人 間が個人 を識別す る方法 と同 じであるため直感的でわか りやすい.

な どがあげ られ る. しか し,顔画像認証 には,画像 中の顔 の向きや顔‑の照明の当た り 方,眼鏡や髪,時間の経過による顔その ものの変化な どによって簡単に大 きく見え方が変 化す るため認証が困難であるとい う問題点がある.

本研究では,

らが開発 した顔認識 システム

を使用す る･このシステムでは顔画像の画素値 を特徴量 とす る濃淡特徴 を用い て認識 を行 ってお り,高次元の特徴ベ ク トル を処理す る必要がある.本研究では,特徴量 として濃度 こ う配特徴 を導入 し,顔画像 の照合,認識の性能向上 を 目的 とす る.濃度 こ う

は じめに

従来の個人認証の技術 として,カー ドな どの所有物やパスワー ドな どの秘密情報 を用い た方法がある. しか し,カー ドの盗難,紛失,パスワー ドの漏洩な どの問題があ り,他人 によるな りす ま Lに対 して十分なセ キュ リテ ィが確保 され てい る とはいえない状況であ る. これ らの問題 を解決す るために生体情報 による個人認証が注 目されている.この技術 はバイオ メ トリクス と呼ばれ,個人 ごとに異なる体の部位 の特徴 を用いて個人認証 を行 う 技術 である.バイオメ トリクスに利用 され る特徴 は,指紋,虹彩,声紋,顔 な どがある.

本研究では,生体情報の一つである顔 を用いた個人認証を取 り扱 う.顔画像 を用いた個人 認証は,入退室管理,不審者の照合な ど‑の応用が期待 され,盛んに研究 されている

顔画像認証の基礎技術 として顔画像認識 がある.顔画像認識 とは,入力画像 と事前 に取 得 され登録 されている複数個人のテンプ レー ト画像 とを比較 し,入力画像 中の人物が どの 人物であるかを特定す ることである. この処理は,入力画像 中の人物が登録 されてい るテ ンプ レー ト中に含 まれているとい う仮定の下で行われ る. しか し,顔画像認識 の一般的な 利用場面においては,事前に登録 されていない部外者が入力 として与 え られ ることが考え られ る. この場合,部外者 を棄却す る必要がある.入力 として与え られた画像 中の人物が 部内者 か部外者かを判定 し,部外者 を棄却す る処理 を本研究では照合 と呼ぶ.

顔画像認証 の特徴 としては

●動画 を用い ることが可能である.

●指紋認証 における,セ ンサーに指 を押 しつけるといった照合動作が不要である.

●人 間が個人 を識別す る方法 と同 じであるため直感的でわか りやすい.

な どがあげ られ る. しか し,顔画像認証 には,画像 中の顔 の向きや顔‑の照明の当た り 方,眼鏡や髪,時間の経過による顔その ものの変化な どによって簡単に大 きく見え方が変 化す るため認証が困難であるとい う問題点がある.

本研究では,

らが開発 した顔認識 システム

を使用す る･このシステムでは顔画像の画素値 を特徴量 とす る濃淡特徴 を用い

て認識 を行 ってお り,高次元の特徴ベ ク トル を処理す る必要がある.本研究では,特徴量

として濃度 こ う配特徴 を導入 し,顔画像 の照合,認識の性能向上 を 目的 とす る.濃度 こ う

は じめに

配特徴 とは画像 の濃度 こう配の強度 と向き とを用いた特徴量である.

実験では

データベース

を用いて,学習デー タにおける

人 あた りの画像数 を変化 させ ,照合,認識性能 に与 える影響 を調 べた.照合 において,特徴 量 に濃度 こ う 配特徴 を使用 し,次元削減 に主成分分析

と線形 判別分析

とを組み合わせて適用す る と,

人あた りの学習画像数 を増加 させた ときの等価エ ラー率

が低下 して い くことがわか った.学習 に

人 あた り平均

枚 の画像 を用いた場合 と,

人 あた り

枚 の画像 を用いた場合 とを比較す ると

が

か ら

まで低 下 した.また,

人 あた りの画像数 が平均

枚の学習デー タを用いて,次元削減 に

と

を組み 合 わせ て適 用 した場合 について,濃淡特徴 を用いた場合 と濃度 こ う配特徴 を用いた場合 との照合性能 を比較 した.

では

が

か ら

まで低 下 した.表情変 化では

か ら

まで,光源 変化 では

か ら

まで,経年変化では

か ら

まで

がそれぞれ低下 した.

次に,部内者 の うちどの人物であるかを特定す る認識の性能評価 を行 った.学習データ にお ける

人 あた りの画像数 を増加 させ た場合 ,特徴量に濃度 こ う配特徴 を用いて,吹 元削減 に

と

を組み合わせ て適用す る と,認識エ ラー率が低下 してい くことが わかった.学習 に

人 あた り平均

枚 の画像 を用いた場合,

人 あた り

枚 の画像 を用 いた場合 と比較す る と,認識エ ラー率が

% か ら

まで低下 した.また,学習 に

人 あた り平均

枚 の画像 を用いた場合 に,特徴ベ ク トルの次元削減 に

を適用 し,濃淡特徴 を用いた場合 と濃度 こ う配特徴 を用いた場合 との認識性能 を比較 した.濃度 こ う配特徴 を用いた方が

の認識エ ラー率が

か ら

まで低下 した.表情 変化では

%か ら

まで,光源変化では

か ら

まで,経年変化では

か ら

%まで認識エ ラー率がそれぞれ低下 した.

これ らの実験結果 よ り,顔画像の照合,認識 において,特徴量に濃度 こ う配特徴 を使用 し,次元削減 に

と

を組み合わせ て適用 した場合,学習デー タの

人 あた りの 画像数 を増加 させ ると照合,認識 の性能が向上す ることがわかった.また,今回の実験で は評価用画像 の人物は学習データには含 まれない.つま り,別の人物の画像 を用いて学習 を行 って も照合,認識 の性能が向上す ることがわかった.

今後の課題 として,顔画像の照合,認識 の更なる性能向上,顔検 出処理 と統合 し,全 自

動の顔画像 の照合,認識の評価な どが挙げ られ る.

iii

目次

は じめに 第 1章 緒言

研 究 の ヨヒ且 Rノ 庁 し.

関連す る従来研 究 .‥ .‥ ‥ ‥ ‥ ‥ .‥ .‥ ‥ ‥ .‥ ‥ .

画像全 体 を用 い る手法

特徴 に基 づ く構造マ ッチ ング手法

ingmethod)

.‥ ‥ ‥ ‥ ‥ ‥ ‥ ‥ ‥ ‥ .‥ ‥ ‥ .

画 像 全 体 を用 い る手法 と特徴 に基 づ く手法 とを組 み合 わせ た手法

(HybridApproachs)

‥ .‥ .‥ ‥ ‥ ‥ ‥ .‥ .‥ ‥ 研 究 の 目的 .‥ ‥ ‥ .‥ ‥ ‥ ‥ ‥ .‥ ‥ ‥ ‥ ‥ .‥ ‥ 本論 文 の構 成 ‥ .‥ ‥ ‥ ‥ .‥ ‥ ‥ .‥ ‥ ..‥ ‥ ‥ . 第 2章 本研究 に関連 す る理論 と技術

2.1

2.2

濃度 こ う配特徴

‥ ‥ .‥ ..‥ .

濃 度 こ う配 特徴 とは ‥ ‥ ‥ ‥ ‥ ‥ ‥ .‥

2.1.2

濃 度 こ う配特徴 の抽 出方法 .‥ ‥ ‥ ‥ ‥ ‥ 特徴選択 ( 次元 削減 ) ‥ ‥ ‥ 日 .‥ ‥ .‥ ‥ .

主成 分分析

線 形判別分析

第

章 顔画像 の照合 と認識

3.1

前処理 ‥ .‥ ‥

特徴抽 出 ‥ ‥ ‥

特徴選択 ( 次 元 削減)

距離計算 ‥ ‥ ‥

分類 ‥ ‥ ‥ ‥

1

9 9 9 9 ll ll 13

15

目次

第

章 実験

4.1

実験 デ ー タ ‥ .

学 習 デ ー タ 4. 1. 2 評 価 用 画像 4. 2 評 価 方 法 ‥ ‥

実験 .‥ ...

4.4

結果 と考 察 .‥

第

章 結 言

5.1

ま とめ .‥

5.2

今 後 の課題 .

付 録

一般 化 固有値 問題 か ら標 準 固有値 問題 へ の 変換

付 録

研究 デー タ

B.1

プ ログラム ソー ス フ ァイル リス ト 謝辞

18 1 8 18 1 9 20 21 21

28

34

1

第

章

緒言

1.1

研究の背景

個人 を認証す ることは,

‑の ログイ ン,銀行

な ど多 くの場面で必要 となって い る.個人情報の漏洩や な りすま Lによる被害が増加 してお り,それ らを防 ぐために個人 認証の重要性が高まっている.

従来の個人認証の技術 として,カー ドな どの所有物やパスワー ドな どの秘密情報 を用い た方法がある. しか し,カー ドの盗難,紛失,パスワー ドの漏洩な どの問題 があ り,他人 に よるな りす ま Lに対 して十分 なセ キュ リテ ィが確保 され てい る とはいえない状況 であ る. これ らの問題 を解決す るために生体情報 による個人認証が注 目されてい る. この技術 はバイオメ トリクス と呼ばれ,個人 ごとに異なる体の部位 の特徴 を用いて個人認証 を行 う 技術 である.バイオメ トリクスに利用 され る特徴 は,指紋,虹彩,声紋,顔 な どがある.

本研究では,生体情報の一つである顔 を用いた個人認証 を取 り扱 う.顔画像 を用いた個人 認証 は,入退室管理,不審者 の照合な ど‑の応用が期待 され,盛んに研究が行われてい る

顔画像認証の基礎技術 として顔画像認識がある.顔画像認識 とは,入力画像 と事前 に取 得 され登録 されている複数個人のテ ンプ レー ト画像 とを比較 し,入力画像 中の人物が どの 人物 であるかを特定す ることである.この処理 は,入力画像 中の人物が登録 されてい るテ ンプ レー ト中に含 まれてい るとい う仮定の下で行われ る. しか し,顔画像認識 の一般的な 利用場面においては,事前 に登録 されていない部外者 が入力 として与えられ ることが考え られ る. この場合,部外者 を棄却す る必要がある.入力 として与 えられた画像 中の人物が 部内者 か部外者かを判定 し,部外者 を棄却す る処理 を本研究では照合 と呼ぶ.

顔画像認証の特徴 としては

●動画 を用いることが可能である.

1.2

関連す る従来研究

●指紋認証における,セ ンサーに指 を押 しつけるといった照合動作が不要である.

●人間が個人を識別す る方法 と同 じであるため直感的でわか りやすい.

な どが挙 げ られ る. しか し,顔画像認証 には,画像 中の顔 の向きや顔‑の照明の当た り 方,眼鏡や髪,時間の経過 な どに よる顔そのものの変化な どによって簡単に大きく見え方 が変化す るため認証が困難である とい う問題点がある.

1.2

関連す る従 来研究

自動顔画像認識 は,建物の入退室管理,銀行

な どでの個人識別,不審者 の犯罪者 リス トとの照合な ど様 々な分野‑の利用が期待 され,盛んに研究が行われている.

自動で顔画像認識 を行 うには,以下の

つの処理 を全て実現す る必要がある.

1.

顔 を含んだ画像全体か ら顔領域 を検出 し切 り出す ( 顔検出).

2.

切 り出された顔領域か ら顔 の特徴 を抽出す る ( 特徴抽 出) .

3.

得 られた特徴 をもとに,入力画像 中の人物が事前に登録 されている画像 中の どの人 物であるかを特定す る ( 認識).

認識処理は全 自動顔画像認識 にお ける最終ステ ップであ り, この処理の精度低下は全 自 動顔画像認識そのものの精度低下に直結す る.そのため,認識処理の高精度化が非常に重 要 となる. ここでは従来の顔画像認識 に関す る研究について概説す る.

これ まで,多 くの顔画像認識 の手法が提案 されてきたが,それ らは以下の

つのカテ ゴ リーに大別できる.

1.

画像全体を用いてマ ッチ ングを行 う手法

特徴 に基づいてマ ッチ ングを行 う手法

画像全体 と特徴 との両方 を用い る手法

本研究で使用 した濃度 こ う配特徴 と濃淡特徴 は,画像全体を用いてマ ッチ ングを行 う手法 に属す る.

それ ぞれ のカテ ゴ リーの特徴 と,それぞれのカテ ゴ リー に属す る手法 について次 に述 べ る.

1.2.1

画像全体 を用 いる手法

認識 処理部 に入力画像 をそのまま処理 させ る手法で,顔領域全体 を利用す る.顔領域

1.2

関連す る従来研究

固有顔

この手法 は,

によ り顔画像 を低次元の特徴 で再構成す る方法である.

を用い て顔画像 を低次元の特徴で表す手順 は後述 (

す る.原画像 は高い冗長性 を含む こと が知 られ てい る

顔画像 の よ うにスケール,回転 な どが正規化 され,限 られたクラス 数 のオブ ジェク トにおいては冗長性 が増加す る

は画像全体 を表現す る方法 で,基底 の非相 関化 を行 う. この表現方法 を用い ることで冗長性 を低下 させ る とともに, 顔 の部分的な隠れ‑の敏感 さを低減 させ るメ リッ トがある.

機械 に よる顔画像認識 の最初の成功例 は この固有顔

を用いた手法である.学習デー タの特徴ベ ク トル を用いて

を行 い,固有顔 と呼ばれ る固有ベ ク トル を事前に求 める.

入力顔画像 はそれぞれの固有顔 に対す る重み係数か らなる特徴ベ ク トルで表せ る. これ に よ り,ある未知の顔画像 に対 し,その特徴ベ ク トル を生成 し,顔画像デー タベースのそれ ぞれの特徴ベ ク トル とのユー ク リッ ド距離 を求める.その中か ら,距離値が最小 となる画 像 の人物 に認識 され る.

多 くの固有顔 に基づ くシステムにおいて,画像 のぼや け,部分的な隠れ,背景の変化が ある場合 に性能が高い ことが証明 されてい る.また学習デー タセ ッ トに鏡像 を加 えること で,性能 が向上す ることが示 され た

ベイズア プローチ

固有顔 による個人認識では,認識処理部でユー ク リッ ド距離 を用いてデータベース中の どの人物 かを特定 していた.ユー ク リッ ド距離ではな く,類似度の確率的な尺度 を導入す ることで標 準的な固有顔 のアプ ローチはベイズアプ ローチ [ 1 0] ‑ と拡張 された. このベ イズアプ ローチの欠点は,各 クラスにつ き非常に限 られた数の学習サ ンプルか ら高次元空 間にお ける確率分布 を推定す る必要があることである. この問題 を避 けるために,多 クラ ス分類 問題 はベイズ分析

に基づ く類似性評価 を用いてよ りシンプル な

クラス分類 問題‑ と変換 され る.

線形判別分析

を用 いる手法

LDA[11]

を用 い た顔 画 像 認 識 も高 い性 能 が得 られ る こ とが知 られ てい る

[14】[151.LDA

による学習 は散乱行列分析 によって行 われ る

を用いて顔画像 を低次元 の特徴で表す手順 は後述 (

す る.

固有特徴

の判別分析

は,顔 か非顔 かのクラスを決定す るだけでな

1.2

関連す る従来研究 4 く,顔 クラス内の個人 も決定す るために画像検索システムに適用 された.

進化論 的追跡

EP

に基 づ く,順応性 のある表現 とその顔画像認識‑の応用が発表 され てい る

の手法 は射影 追跡法

と類似 してお り,デー タ圧縮 とパ ター ン 分類 のた めに,学習により最適基底 を求 める.

の課題 は,未知画像 に対 して,学習にお ける経験 的 リスクを低減 させ ることと,保証付 き リスクの信頼 区間 を狭 めることに伴 う経 験的 リス クを低減 させ ることとのバ ランスを取 り,学習機械 としての汎化能力 を向上 させ ることで あ る･ この 目的のために,

は遺伝 的アル ゴ リズム

の特徴 が実装 され,最適 な基底 を決定す るための解 を探索す る.

はオ リジナルのデー タを低次元 のホ ワイ トニングされた

空間‑投影す ることか ら始 まる. この空間中で ランダムな向きを持つ基底ベ ク トル を探す . この とき,性能 とクラス分離 とによって定義 され る適応度 関数で進化が行われ る.

独立成分分析

顔画像認識 に

を用いる手法が提案 されてい る

は

の一般化であ り, どち らも非相 関化 を行 うが,

が

次モー メン トの非相関化 を行 うのに対 し,

は

次以上 の高次モー メン トの非相関化 を行 う.また, これに関連 した

の特徴 として,

●非直交な成分分離

●基底 の空間的局所性 が挙 げ られ る.

ニュー ラルネ ッ トワークを用いた手法

ニ ュー ラルネ ッ トワー クを用いた全 自動顔検 出 /認識 システムが報告 され てい る

提案 され た システムは

に基 づいてお り,以下の

つのモジュール で構成 され る.

●顔検 出モ ジュール

● 目位 置特定モジュール

1.2

関連す る従来研究 5 他の多 くの手法 とは異な り,顔領域 に含 まれ るのは両眉毛,両 目,鼻のみで, 口は含ま れ ない

し,頑健 なシステムを構築す るためであ る. さらに頑健 にす るために,顔 の上部領域の 画像 の解像度 を

画素に低下 させ ,正規化 された輝度 とェ ッジの特徴 を生成す る.

これ らの特徴 の値 は,

つの

にそれぞれ与 え られ,最終的 な認識結果 は

つの

か ら出力 された値 を融合 して求め られ る.

その他の手法

固有顔 に基づ く手法は,特徴空間にお ける入力画像 と参照用テ ンプ レー トとの距離を用 いた最近傍法 による認識である. このよ うな点 と点の距離 を用い るのではな く,入力画像 と

枚の参照用テ ンプ レー ト間を結ぶ線分 との距離 を用いる手法が提案 されている

また分類器 にサポー トベ クタマシン

を用いた手法 も 提案 されてい る

1.2.2

特 徴 に 基 づ く構 造 マ ッ チ ン グ 手 法

この手法では 目,鼻, 口の よ うな局所的な特徴が抽出 され,それ らの配置,幾何学的な 位置や見えかたの統計量な どが分類器 に与え られ,認識が行われ る.

この手法 グループに属す る代表的な手法 には,局所特徴の形状 に基づ く手法

,

次元 隠れ マル コフモデル

の手法

,疑似

次元

な どがある.

は最 も成功 した システムの

つである･そのシステムは ダイナ ミック リンクアー キテ クチ ャ

に基づいてい る. ウェーブ レッ ト,特 にガボール ウェー ブ レッ トは顔 の表現のためにこれ らのグラフマ ッチ ング手法において, ビル の建物のよ う な役割 を果 たす .局所特徴表現 は,

と呼ばれ るウェーブ レッ ト特徴 に基づ く異なるス ケール,異なる回転角の ウェーブ レッ ト係数 で構成 され る. これ らの局所的 に推定 され る ウェーブ レッ ト係数は,光源変化,位置のずれ,ゆがみ,回転,スケー リングに対 して頑 健である.

巨lasticBunchGraphMatching (EBGM)

この手法は

を拡張 した手法である

姿勢変動の問題 を解決す るために,顔の

姿勢は事前のクラス情報 を用いて最初 に決定 され

,姿勢変動 に応 じてで

変換が学

1.2

関連す る従来研 究

習 され る

アプ ローチに基づ くシステムは,顔検出,顔抽 出,姿勢の推定,悼 別分類,スケ ッチ画像 に基づ く認識,一般的な物体認識 な どに応用 されてい る.

の 成功は,人間の視覚 システムに類似 していることが理 由 として挙げ られ る.

1.2.3

画像 全体 を用 いる手法 と特徴 に基 づ く手法 とを組み合わせ た手法

この手法 では,全 体 的な特徴 と局所的な特徴 との両方 を用い る.例 と して,

]では全体の固有顔 と局所的な固有顔 の両方を用いる･

eigenfaces

の概念 は

,

な どの よ うな固有特徴‑ と拡張 された.低 次元空間においては,

よ りも固有特徴の方が性能が高い.

PCA

と局所特徴分析

とのハイブ リッ ド

実際のシステ ムには

と

とのハイブ リッ ドの手法 を用い るべ きであると主張 されてきた

大 きい固有値 を持つ場合 に

の性能 は高 くなるが,高次元の場合 は

を用いる方が性能が高 くなる.主な

のシステムは,全体的,集約的で あるためノイズを抑 えるのに有効な平滑化フィル タであ り,一方,高次元のモー ドは さざ 波,すなわちノイズを増幅 させ る分離 フィル タであると論 じられた

フレキシブルな見 え方モデルに基づ く手法

この手法では,顔 を特定す るために,形状 と画素値 の情報 とをモデル化 して用いる

この形状モデル は

と呼ばれ,画像の形状に適す るよ うに変形 す る,オブジェク トの統計的な形状モデルである.統計的形状モデル は

を用いて学 習 され る. この ときの変数は形状モデルの座標 である.判別分析法によって,クラス間変 動による形状変動 はクラス内変動による形状変動 とは分離 され,分類が行われ る.

平均的な形状モデル に基づ き,形状 を考慮 しない全体的なモデル が

を用いて生成 され る.隠れな どの局所的な見え方の変化に対 して頑健 になるよ うに,局所モデルが形状 モデル上に作成 され る.モデルの輪郭線 に直交す る方向における画素値の分布 を手がか り

とす る.最後,入力画像か ら抽出 された,形状パ ラメータ,形状 を考慮 しない画像のパ ラ

メータ,局所的な輪郭線 の

つの情報 を用いて,マハ ラノビス距離 を計算す る.

1.3

研究の 目的

顔部品に基づ く手法

顔部品を用いた,顔検 出 と顔認識のシステムが提案 されている

く手法の基本 的な考 え方 は,顔 を口や 目な どの顔部 品‑ と分解す ることである. 口や 目 な どの顔部 品は,柔軟 な幾何学的モデル に よって相互 に連結 され る.この手法 は先述 の

と類似 してい るが,ガボール ウェーブ レッ トではな くグ レイスケール の顔部 品を 用いる点で異なる.顔部品を用いる理 由は,頭部の姿勢の変化 によ り顔部品の位置 も変化 して しま うが,顔部品の位置は幾何学的モデル の柔軟性 によ り位置が特定できるか らであ る. しか し, この手法の大 きな欠点は,異なる視点,異なる照明条件で撮影 された大量の 学習用画像が必要 となることである.

3

次元モー フィングモデル

顔部品に基づ く手法 にお ける大量の学習用画像 が必要 となる問題 を解決す るために,

次元モーフィングモデル

が用い られている. このモデルは, 様 々な姿勢,照明条件 の任意 の合成画像 を生成す る.

次元の顔モデル を生成す るた め

に,正面,斜 め,横のそれぞれか ら

枚ずつ撮影 した合計

枚の画像 しか使用 しない.

度

次元モデル を生成すれ ば,検出,分類 に必要な合成画像が生成できる.

1.3

研究の 目的

本研究では,

らが開発 した顔認識 システム

を使用す る. このシステムでは,顔画像 の画素値 を特徴量 とす る濃淡特徴 を用

いて処理 を行 ってお り,高次元の特徴ベ ク トル を処理す る必要がある.濃淡特徴 は,画像

の画素値 をそのまま要素 として特徴ベ ク トル を生成す るため光源の変化に対 して弱い.ま

た,特徴ベ ク トルの次元数が高次元になるため,照合,認識 に有効でない特徴が含 まれ る

ことや計算 コス トの面で も望ま しくない.本研究では,特徴量 として濃度 こ う配特徴 を導

入 し,顔画像 の照合,認識 の性能向上を 目的 とす る.濃度 こ う配特徴 とは,画像 の濃度 こ

う配の強度 と向き とを用いた特徴量であ り,手書 き文字認識では高い精度が得 られ ること

が知 られてい る.濃度 こ う配特徴 を抽出 して得 られ る特徴ベ ク トルの次元数は,パ ラメー

タによ り変化す るが,濃淡特徴 よ り一般的に小 さい.濃度 こ う配特徴 についての詳細は,

で詳 しく述べ る.

1.4

本論文の構成

1.4

本論文の構成

第

章では,本研究で取 り扱 う濃度 こ う配特徴,特徴選択 ( 次元削減)手法 について述

べ る.第

章では,本研究における処理の流れ と各処理の詳細について説 明す る.第

章

では,実験 に使用 した顔画像 の例,実験の条件 ,結果 と考察 について述べ る.第

章で

は,本研究のま とめ と今後の課題 について述べ る.

9

第

章

本研究に関連す る理論 と技術

この章では,画像 中の顔 の見 え方 を濃度 こ う配特徴 を用 いて表現す る方法 と,特徴選択 に よ り特徴ベ ク トルの次元数 を削減す る方法について述べ る.

2.1

濃度 こう配特徴

2.1.1

濃度 こう配特徴 とは

濃 度 こ う配特徴 とは画像 の濃 度 の こ う配 をそ の向 き ご とに ヒス トグ ラム化 した特徴 量 で あ る.濃度 こ う配 特徴 は手 書 き文字認識 におい て は高 い精 度 が得 られ る こ とが知 られ てい る

と同様 の手法 に よって算 出 され る

特徴

,スケー リングや 回転 に対 して不変 な

,

を高 速 化 した

な ども提案 され てい る.本研究 では,濃度 こ う配特徴 をグ レイス

ケール の顔画像か ら抽 出 し,顔 の見かけを表現す る.

2.1.2

濃度 こう配特徴の抽 出方法

濃度 こ う配特徴 の一般的な抽 出方法は以下の通 りである.

1.

入力画像

‑

, y) の画素

に対 して以下のガ ウシア ンフィル タを適用す る･

Z′(I

, y)

Ⅳ/2 Ⅳ/2

∑ ∑ f(i,i)I(x+i

, y

i‑‑N/2j‑‑N/2

I(i,i)

‑

(2.1)

(2.2)

2.1

濃度 こ う配特徴

ここで,

,

はそれぞれ,

,

である.

2.

入 力画像 に対 し

オペ レー タを適 用 し,エ ッジ検 出処理 を行 う. これ に よ り,画素

における濃度 こ う配の水平成分

と垂直成分

とを 求 める･算 出 された

,

, y) を用いて,次式 に よ り濃度 こ う配の強度

と向き

とを算 出す る･

a(

x, y) ‑

Gy ( I,

,

Gy(x,y)

(2.3)

(2.4)

算 出 された こ う配の向きを

段階に量子化す る.入力画像の横,縦それぞれの画素 数 を

,

とす ると, この時点の特徴の数 ( 特徴ベ ク トル の要素数)は

となる.

3.

画像 を

の小領域 に分割す る.それぞれの小領域 内で, こ う配強度 を向きご とに累積 して ヒス トグラム化す る. この処理に よ り特徴 の数 は

に削減 さ れ る.

4.

ヒス トグ ラム化 され た こ う配 強度 を,分割 され た任 意 の小領 域

0 ,

,昔‑

,

,

を中心 とした

の領域 について,向

き ごとにガ ウシア ンフィル タに よ り平滑化す る. この処理 に よ り,領域数 を削減 す る.

5.

ヒス トグラム化 した濃度 こ う配 の向きを削減す る

段階に量子化 された向きに対 しひ とつおきに窓の中心を設定 し,

の重みを用いて加重平均 して向きを

に削減す る･

手順

のガ ウシア ンフィル タに よる平滑化によ り,画像 中の顔 の位置のずれ を吸収す ることができると考え られ る.また手順

の濃度 こ う配の向きに対す る加重平均によ り, 連続値 で得 られた こ う配の向きを

段階に量子化す る際の量子化誤差 を低減できる と考

え られ る.以上の処理 によ り抽 出 した濃度 こ う配画像の例 を図

に示す.図はこ う配の 強度,向きをそれぞれ明度,色相 によって表現 している. この とき,生成 され る特徴ベ ク

トルの次元数 は以下の式によ り求めることができる.

D=

^{( n}

(2.5)

n, m

それぞれの値 は,特徴ベ ク トル の次元数 を変動 させ照合,認識 の性能に影響 を与

える.

2.2

特徴選択 ( 次元削減)

directionofgradient

図

濃度 こ う配画像の例

2.2

特徴選択 ( 次元削減 )

濃度 こ う配特徴,濃淡特徴 を抽 出 して生成 され る原特徴ベ ク トル はいずれ も高次元 とな る.高次元の原特徴ベ ク トル には相 関の高い要素の組が含 まれ,冗長性 を含んだ特徴ベ ク トル にな る

ス トが増加す る.そのため,特徴抽 出によ り得 られた特徴ベ ク トル に対 し,特徴選択 によ り次元削減 を行 う.これ によ り照合,認識 に有効であると考えられ る特徴が選択 され,精 度の向上が期待できる.本研究では主成分分析 と線形判別分析の

手法 を用いる.

2.2.1

主成分分析

PCA

は多次元空間上の特徴点 を分散 の大 きい少数の低次元の直交部分空間に線形射影 す る手法である.多次元空間上の特徴 点 をよ り見やす くあるいは扱 いやす くす るために, 固有空間を利用 して少ない次元で表現す る手法である.多次元の特徴量 を低次元化す るこ とによ り,照合,認識 に有効な特徴 を選択す ることができる.例 として,2次元の特徴ベ ク トル で表現 された

クラスのサ ンプル を

次元に削減す る場合 を図

に示す.図

において,全サンプル分布の分散 が最大 となる方向に主軸

をとる.サ ンプル を主軸

に投影す ることで,

次元デー タで も

クラスの分離が可能 となる.

n

次元の原特徴ベ ク トル を

によ りn/次元に削減す る手順 を以下に示す.

2.2

特徴選択 ( 次元削減)

x2

(a)PCA

適用前

図

に よる次元 削減 の例

●●●●● ●●●●●● ●●●●● ●●●

十 十 十 + + + +

十 十 十 十 + + + + 十 十 + +

(b)PCA

適用後

学習デー タに含 まれ る画像 j ( i

,

,･ ‑,m)か ら抽出 した特徴ベ ク トル を

＼ヽ1.ノ

右

左 ‑

̲

こLT･ (2.6)

と表す.

学習デー タの全平均ベ ク トル

,散乱行列 Stをそれぞれ以下の式 に よ り計算す る.

771.

M ‑去∑J'‑^1Ij･

7 7

st‑

∑

j ‑

以下の式 を満たす固有値行列

,固有ベ ク トル行列

をそれぞれ求 める.

St申 ‑ 申A.

1 (2.7) (2.8)

(2.9)

固有値 を大 きい順 に ソー トし,各固有値 に対応す る

個の固有ベ ク トル を用いて,以下 の式 によ り原特徴ベ ク トル を

次元まで削減す る

ここで

は原特徴ベ ク トル,

y は次元削減後 の特徴ベ ク トルである.

2.2

特徴選択 ( 次元削減)

x2

●●●

●●●

y2

⁺

+ + 十 十 + + + 十

+ 十 +

+ 十 十

++ +

(a)LDA

適用前

●●●

●●

●●

●●●●

+ +

+ +

+ + + + +

+ + +

+ +

●●●

^{+ +}

y2

(b)LDA

適用後 図

に よる次元削減 の例

2.2.2

線形判 別分析

LDA

ではフィ ッシャーの線形判別 を用い る. フ ィッシャーの線形判別 は, クラス内変 動 に対す るクラス間変動 の比 を最大にす ることでデー タの分離性 を高め,優れた低次元部 分空間を得 るこ とがで きる.次元削減後 の次元数 は ( 学習サ ンプル数 ‑1 ) まで削減 でき る.例 として,

次元の特徴ベ ク トルで表現 され た

クラスのサ ンプル を

を用いて

次元 に削減す る場合 を図

に示す.図

において, クラス内変動 に対す るクラス間 変動の比 を最大 にす る主軸 ylを決定す る.サ ンプル を主軸

に投影す ることで,1次元 デー タで も

クラスの分離が可能 となる.

n

次元の原特徴ベ ク トル を

によ りn/次元 に削減す る手順 を以下に示す.

学習デー タに含 まれ る画像

,

,･ ･ ･,m)か ら抽 出 した特徴ベ ク トル を式

で表す.

以下の式 によ り級 内散乱行列

w ,級 間散乱行列

を計算す る. ここで,

はそれぞれ クラス

に属す る画像か ら抽 出 され た特徴ベ ク トル,クラス

に属す る画

像か ら抽 出 された特徴ベ ク トルの平均,全ての画像 か ら抽 出 された特徴ベ ク トル の平均で

2.2

特徴選択 ( 次元削減)

ある.

C

sw‑

∑

,

k

C

sb

‑∑ k =

S

w,

を用いてフ ィッシャー比

J(申)‑ L申

S

Tl

l

(2.ll)

(2.12)

(2.13)

を最大 にす る

を求 める. これ は,以下の一般化 固有値 問題 を解 くことで求 め られ る.

Sbd?‑Sw申A. (2.14)

固有値 を大 きい順 に ソー トし,各固有値 に対応す る

個の固有ベ ク トル を用 いて,以下 の式 に よ り原特徴ベ ク トル を

次元まで削減す る

ここで

は原特徴ベ ク トル,

y は次元削減後の特徴ベ ク トルである.

y‑

15

第

顔画像の照合 と認識

この章では,顔画像の照合,認識 の処理 の流れ と各処理の詳細について述べ る.

本研究では,以下の手順 によ り顔画像 の照合,認識 を行 う.

1.

前処理 として,入力画像か ら顔領域 を切 り出 し,輝度を正規化 した画像 を生成す る.

2.

前処理後の画像か ら特徴 を抽 出 し,特徴ベ ク トルを生成す る.

3.

得 られた特徴ベ ク トル を特徴選択 によ り次元削減す る.

4.

特徴選択 で得 られた特徴ベ ク トル を もとに,入力画像 と複数個人 の参照用画像それ ぞれの特徴間の距離 を計算す る.

5.

距離値 を もとに,入力画像 の人物 を事前 に登録 されてい る部 内者 か,登録 されて いない部外者かに分類す る ( 照合).部内者であれば どの人物 であ るかを特定す る

( 認識).

3.1

前処理

人物の髪型,衣服な どは変化 しやす く,それ らを含んだ画像 を用いて個人 を識別す るこ

とは望ま しくない.そのため,図

( a) に示 され るような原画像か ら髪 の毛,衣服 を除

いた顔領域 を切 り出す. この処理 は顔検 出 と呼ばれ る.切 り出 しには原画像 中の人物の両

目,鼻, 口の座標 を与える必要がある.本研究ではこれ らの座標 は事前 に取得 され,顔検

出が正 しく行 われた と仮定 して処理 を行 う.切 り出された画像の輝度 と大 きさとを正規化

し,前処理後 の画像 とす る.前処理後 の画像 の例を図

に示す.前処理後の画像の

大 きさは縦,横それぞれ

画素,

画素である.

3.2

特徴抽出

(a)

原画像

3.2

特徴抽 出

(b)

前処理後の画像 図

本研究で用 い る画像

特徴抽 出処理では,顔画像の照合,認識 に用い る特徴ベ ク トル を前処理後の画像か ら抽 出す る.本研究では

で述べた濃度 こ う配特徴

と,画像 の濃度値 を そのまま要素 とす る濃淡特徴

の うちいずれかの特徴量 を抽 出 し,そ れぞれ を用いた場合 の照合,認識性能 を比較す る.

濃淡特徴 を抽 出 して得 られ る特徴ベ ク トルの次元数は

である.

3.3

特徴選択 ( 次元削減)

特徴抽 出で得 られ た特徴ベ ク トル に対 して特徴選択 によ り次元削減 を行 う. これ によ

り,分類 に有効であると考え られ る特徴が選択 され,精度の向上が期待 できる.特徴選択

に必要 となるパ ラメー タは,学習用画像 か ら抽 出 された特徴ベ ク トル を用 いて算出 され

る.特徴選択 は

で述べた

手法 を用いて,

のみ を適用す る場合 と,

と

を組み合わせ て適用す る場合の うちいずれかによ り特徴選択 を行い,それぞれ を適用 した

場合の照合,認識性能 を比較す る.

3.4

距離計算

3.4

距離計算

特徴選択 によ り得 られた特徴ベ ク トル をもとに,入 力画像か ら抽 出 された特徴ベ ク トル q

( ql,q2 ,･･ ･ ,qW) T と参照用画像デー タベ ー ス 中の人物

に対応す る特徴ベ ク トル

p( i)

( pl,P2, ･ ･ ･,Pw) T との距離

( q ,p( i)) を計算す る･距離関数 にはユー ク リッ ド 距離 を使用 し,距離値 は以下の式で計算できる.

D

( q ,p( i) )

^{( qi‑ PL} ( i

1, ^(3.1)

3.5

分類

本研究にお ける分類 は,入力画像 中の人物が事前 に登録 されていない部外者

であるか,事前 に登録 された部内者の うち どの人物 であるか ( L

距離計算 に よ り得 られ た,入力画像 か ら抽 出 され た特徴ベ ク トル q と参照用画像デー タベース中の人物

に対応す る特徴ベ ク トル ^{p( i)} との距離

( q ,p( i) ) の

に関す る最小 値 を

とす る. この

は,入力画像 中の人物 が部内者の場合,本人 との距離値 で あることが期待 され る.一方,入力画像 中の人物 が部外者 の場合,得 られた距離値 は全て 他人 との距離値 であ るため部 内者 の場合 に比べ て大 き くなることが考 え られ る. よって

の値 としきい値

を用いて次式によ り部外者 を棄却 し,部内者の人物 を どの人物で あるか特定す る.

qEI:,?∵tSider, ('D^7m‑iinn<2TT,' ^(3.2)