ガボールウェーブレットを用いた人物顔の検出と向きの推定
6
0
0
全文
(2) 1. はじめに 自 然 画 像 中 の 人 物 領 域 の 自 動 検 出 は ，マ シ ン ビ ジ ョ ン 分 野 の 重 要 な テ ー マ の ひ と つ で あ り ，古 く か ら 様 々 な 研 究 が 行 わ れ て き た ．中 で も 人 物 の 顔 位置の検出はマンマシンインターフェースに必 要 不 可 欠 な 技 術 で あ る に も 関 ら ず ，そ の 手 法 が 十 分 に 確 立 さ れ て い な い 現 状 に あ る ．こ れ は ，一 般 に照明や表情などの自由度が検出精度に与える 影 響 が 大 き い た め ，環 境 条 件 に 依 存 し な い ロ バ ス ト な 検 出 結 果 を 得 る こ と が 難 し い た め で あ る ．し か し な が ら 近 年 ，顔 の 濃 淡 特 徴 を 利 用 す る こ と に よ り ，安 定 し た 検 出 を 行 う こ と が で き る 方 法 と し て ，ガ ボ ー ル 変 換 を 用 い た 手 法 が 注 目 さ れ て い る ． これは顔画像の濃淡パターンに類似した基底関 数 を 用 い る こ と に よ り ，人 物 顔 に 特 化 し た 位 置 検 出 を 容 易 か つ 精 度 よ く 実 行 で き る 手 法 で あ り ，画 像 内 の 顔 位 置 の 検 出 に 関 す る 研 究 [1-2]，個 人 識 別 に 関 す る 研 究 [3]な ど ，近 年 ，多 く の 関 連 研 究 が 行 わ れ て い る [4-5]． ガ ボ ー ル 変 換 を 用 い た 顔 位 置 検 出 法 で は ，人 物 顔の見た目の濃淡特徴分布を画像全体から類似 検 索 す る ．こ の た め ，顔 が 多 少 傾 い て い て も ，ほ ぼ 正 面 を 向 い て い れ ば ，そ の 傾 き 方 向 に 依 存 せ ず に画像内の位置を検出することができる．反面， 顔の向きすなわち傾きの方向に関する情報を得 た い 場 合 は ，検 出 さ れ た 顔 位 置 付 近 に つ い て 別 途 ， 詳 細 な 特 徴 抽 出 処 理 な ど を 行 う 必 要 が あ っ た ．し か し な が ら ，傾 き を 伴 う 顔 画 像 に 対 し て も 正 面 顔 画 像 と 同 様 に ，あ る 程 度 の 特 徴 的 な 濃 度 パ タ ー ン 分 布 を 仮 定 す る こ と が で き る ．こ の た め ，傾 き に 応じた基底関数とガボール特徴量をあらかじめ 用 意 す る こ と に よ り ，顔 位 置 の 検 出 と と も に ，そ の傾きを検出することが可能と考えられる． そ こ で 本 研 究 で は ，自 然 画 像 中 の 人 物 顔 の 位 置 とその向きを同時に検出することを目的として， 顔の向きに応じた独自の基底関数によるガボー ルウェーブレット変換を用いる手法を提案する． 基 底 関 数 と な る モ デ ル 画 像 の 生 成 法 ，お よ び 対 象 画像から顔の位置と向きを検出する具体的な手 順 を 示 す ．そ の 後 ，人 物 顔 を 含 む 多 く の 自 然 画 像 に本手法を適用した結果を用いて検出精度につ い て 検 証 す る ．と く に 単 純 な パ タ ー ン マ ッ チ ン グ 法との比較検討を行い，本手法の有効性を示す． 2. ガ ボ ー ル ウ ェ ー ブ レ ッ ト と 顔 検 出 2.1. ガボールウェーブレット ガボール変換はガウス関数を窓関数として用 い る 短 時 間 フ ー リ エ 変 換 で あ り ，式 (1)で 定 義 さ れ. る [6]． す な わ ち ， 入 力 画 像 の 座 標 ( x , y ) に お け る 輝 度 値 を f ( x , y ) と す る と ，ガ ボ ー ル 変 換 GW ( x , y ) は，. GW ( x, y ) = ∫ f ( x − i, y − j ) g (i, j )didj. (1). と 定 義 さ れ る ．こ こ で ガ ボ ー ル 関 数 g は ，短 時 間 フ ー リ エ 変 換 に お け る 窓 関 数 で あ り ，正 弦 波 と ガ ウス関数の積として，. g ( x, y ) =. 1 2πσ 2. exp( −. x 2 + y 2 −i ( uθ x + vθ y ) )e 2σ 2. (2). uθ = u 0 cos θ + v 0 sin θ vθ = −u 0 sin θ + v0 cosθ. で 定 義 さ れ る ． こ の と き ， u, v は 空 間 周 波 数 ， σ は窓関数の幅をあらわすパラメータ， θ は回転 角度である．ガボール関数の概形を図１に示す．. 2.2. 人 物 顔 の検 出 自 然 画 像 中 の 人 物 顔 の 位 置 を 検 出 す る に は ，対 象画像をガボール変換した結果から得られるガ ボ ー ル 特 徴 量 を 正 規 化 し ，事 前 に モ デ ル 画 像 か ら 取得した特長量とのマッチングを行う方法がす で に 提 案 さ れ て い る ．こ こ で は 複 数 の 人 物 顔 を 事 前 に 撮 影 し ，正 規 化 後 に ガ ボ ー ル 特 徴 量 を 求 め る 処 理 を 複 数 の 人 物 顔 に 対 し て 行 い ，そ の 平 均 画 像 を求めて基準画像とした． 2.3. 顔 の向 きの検 出 顔 の 向 き の 検 出 に 関 す る 従 来 手 法 は ，検 出 精 度 の面から顔の幾何学的特徴を利用したものが多 く ，こ の た め 既 定 の 特 徴 部 位 が 画 像 内 に 含 ま れ て い る 必 要 が あ っ た ．こ の た め ，上 下 左 右 の 傾 き が ±45 度 程 度 ま で が 検 出 限 界 と さ れ て い た [6]． 本 研 究 で は さ ら に ，左 右 ±90 度 ま で の 傾 き を 持 っ た モ デ ル 画 像 か ら ガ ボ ー ル 特 徴 量 を 取 得 し ，複 数 の 人 物 顔 画 像 の 平 均 を 求 め ，対 象 画 像 の 特 徴 量 とのマッチングを行って顔の向きを推定する． 3. 提 案 手 法 3.1. 処 理 の流 れ 提案手法のおおまかな処理の流れを図２に示す． 対象画像の顔検出および顔の向きの推定を行う 前 に ，モ デ ル 画 像 か ら ガ ボ ー ル 特 徴 量 を 抽 出 す る 必 要 が あ る ．ま ず ，Ｍ 人 の 人 物 の 顔 を 上 下 左 右 に 傾 け た Ｎ 通 り の 方 向 か ら 撮 影 し ，得 ら れ た 画 像 の. −2−.
(3) (a) 実 数. (b) 虚 数. 図１: ガボール関数の概形. 図２: 処理の流れ. 輝 度 を 正 規 化 す る ．輝 度 の 正 規 化 は ，画 像 の 階 調 数 を L, 画 像 中 の 各 画 素 値 を f ( x , y ) ，顔 領 域 内 の. い る ．SSDA 法 は ，対 象 画 像 f ( x , y ) と モ デ ル 画 像. 最 大 輝 度 値 を l max ， 最 小 輝 度 値 を l min と す る と ，顔. t (m, n) の各画 素に 対し， 以下 の一致 度を 求める ．. 領域全体について，. f ' ( x, y ) =. l max. L × f ( x, y ) − l min. M. N. s( x, y) = ∑∑| f (m + x − 1, n + y − 1) − t (m, n) |. (4). m=1 n =1. (3). こ の 一 致 度 が 最 大 と な る 方 向 を ，顔 の 向 き の 推 定. と 変 換 す る ．す な わ ち 各 輝 度 値 を 全 階 調 数 の 大 き さ に 正 規 化 す る ．さ ら に 顔 領 域 の 中 心 を 合 わ せ て 大きさを正規化したものを各方向における原画 像 と す る ．次 に こ の 原 画 像 か ら ガ ボ ー ル 特 徴 量 を 算 出 し ，Ｎ 種 類 の 顔 の 傾 き 方 向 ご と に そ の 平 均 画 像を求める． 対 象 画 像 か ら 顔 の 向 き を 検 出 す る 際 は ，対 象 画 像 の ガ ボ ー ル 特 徴 量 を 求 め ，上 で 準 備 し た 各 方 向 の平均画像とのマッチングを行う．. 結果とする．. 4. 実 験 結 果. 3.2. 窓 幅 の決 定 方 法 対 象 画 像 中 の 顔 領 域 の 大 き さ に 対 し ，ガ ウ ス 関 数 の 窓 幅 を 適 切 に 決 定 す る 必 要 が あ る ．こ こ で は ， 顔 の 向 き ご と に ，窓 幅 を 順 次 変 化 さ せ な が ら ガ ボ ー ル 変 換 を 行 い ，変 換 後 の ガ ボ ー ル 特 徴 量 を 比 較 し て ，と く に 目・鼻・口 の 部 分 に 最 も 大 き な 特 徴 量が現れる窓幅を求める．. 4.1. ガウス関 数 の窓 幅 の決 定 ま ず ，実 験 に 用 い た 対 象 画 像 の サ イ ズ に 適 合 さ せ る た め の 適 切 な 窓 関 数 の 幅 を 求 め た ．こ の 実 験 で 用 い た 顔 画 像 の 大 き さ は ， 縦 横 30 × 30 お よ び 300 × 300 画 素 で あ る ．そ れ ぞ れ の 画 像 に 対 し ，ガ ウ ス 関 数 の 窓 幅 σ を 順 次 変 化 さ せ ，ガ ボ ー ル 特 徴 量 を 求 め た 結 果 を 図 ３ に 示 す ． 図 ３ (a) は 30 × 30 画 素 の 画 像 に 対 し ，σ =0.2∼ 4.0（ 0.2 間 隔 )と 変 化 さ せ た 結 果 ， 図 ３ (b)は 300 × 300 画 素 の 画 像 に 対 し ， σ =0.1∼ 20.0（ 1.0 間 隔 )と 変 化 さ せ た 結 果 で あ る ． 30 × 30 画 素 の 画 像 の 場 合 は 窓 幅 σ =0.9∼ 3.0 の 範 囲 で 特 徴 点 が 明 瞭 で あ る ． 300 × 300 画 素 の 画 像 の 場 合 は 窓 幅 σ =6.0∼ 15.0 の 範 囲 で 特 徴 点 が 明 瞭 で あ る ．こ の 結 果 か ら ，ガ ウ ス 関 数 の 窓 幅 と し て ， σ =1.0∼ 10.0 を 採 用 し た ．. 3.3. 特 徴 量 のマッチング方 法 対象画像から得られたガボール特徴量を各方. 4.2. モデル画 像 の取 得. 向 成 分 の 特 徴 量 と 比 較 す る た め に ， SSDA 法. 各 顔 向 き ご と の ガ ボ ー ル 特 徴 量 を 求 め る た め に ， 20. （ sequential similarity detection algorithm） [8]を 用. 人 の 人 物 顔 に つ い て ，図 ４ の 15 方 向 の 画 像 を 撮 影 し た ．. −3−.
(4) （ a） 4 方 向 の ガ ボ ー ル 変 換 (a) 30 × 30 画 素 の ガ ボ ー ル 特 徴 量. (b) 300 × 300 画 素 の ガ ボ ー ル 特 徴 量 図３：ガウスの窓幅による特徴量の変化. （ b） 15 方 向 の 顔 θ ＝ 90 ο 図 ５: ガボール特徴量の一例. 図６：マッチングの処理 図４：撮影画像. 撮 影 の 際 は ，顔 以 外 の 写 り 込 み を 避 け る た め ，十 分 明 る い 室 内 で 白 い 壁 を 背 景 に し て 撮 影 し た ．照 明 は 室 内 灯 お よ び 昼 間 の 太 陽 光 で あ る ． 15 種 類 の 顔 の 向 き は ，上 下 方 向 0 度 お よ び ±45 度 の 3 方 向 に つ き ，左 右 方 向 0 度 ，±45 度 , ±90 度 の 5 通 りを用いた．. 4.3. ガボール特 徴 量 の算 出 図 ４ の よ う な 撮 影 画 像 20 枚 に 対 し て ， 先 に 求 め た 窓 幅 を 用 い て 式 (1)の ガ ボ ー ル 変 換 を 行 い ， その特徴量を求めた．一例を図５に示す． 図 ５ （ a） は 正 面 顔 画 像 １ 枚 の み に 対 す る 4 方 向 の ガ ボ ー ル 特 徴 量 で あ る ． 図 ５ （ b） は 図 ４ の 15 方 向 の 顔 画 像 か ら 求 め た ガ ボ ー ル 特 徴 量 で あ る 。正 面 画 像 か ら の 傾 き が 大 き く な る ほ ど に 顔 部 位の特徴量が減少することがわかる．. 4.4. マッチング処 理 の検 証 図 ６ に 示 す テ ス ト 画 像 を 用 い て ，顔 の 向 き の 推 定 を 行 っ た 結 果 を 表 １ に 示 す ．テ ス ト 画 像 の ガ ボ ー ル 特 徴 量 を ，モ デ ル 画 像 の θ 方 向 の ガ ボ ー ル 特 徴 量 を SSDA 法 に よ り 一 致 度 を 調 べ た ． 以 上 の 実 験 に よ り ，人 物 顔 の 検 出 と そ の 向 き の 推定が可能なガボール特徴量が得られたことを 確認した． 4.5. 自 然 画 像 による検 証 最 後 に ，様 々 な 自 然 画 像 に 含 ま れ る 人 物 顔 に 対 す る 効 果 を 検 証 す る た め ，複 数 の 自 然 画 像 を 連 結 し た 対 象 画 像 を 作 成 し ，顔 領 域 の 検 出 お よ び 顔 の 向 き の 推 定 を 行 っ た ．対 象 画 像 の 一 例 を 図 ７ に 示 す ．ま ず ，画 像 に 含 ま れ る 人 物 顔 の 数 と そ の 向 き を 目 視 に よ り 計 測 し た （ 表 ２ ）． −4−.
(5) 表１：マッチング処理の検証結果. -90(上 ) -45(上 ) 0 (上 ) +45(上 ) +90 (上 ) -90(中 ) -45(上 ) 0 (上 ) +45(上 ) +90 (上 ) -90(上 ) -45(上 ) 0 (上 ) +45(上 ) +90 (上 ). θ =0 72.52% 80.22% 89.75% 75.13% 64.43% 55.76% 89.51% 92.74% 91.55% 86.12% 76.89% 89.67% 87.56% 79.33% 77.41%. θ =45. θ =90. 50.26% 42.56% 60.37% 43.89% 39.23% 41.28% 48.67% 70.50% 54.21% 46.67% 34.23% 43.51% 50.66% 50.22% 36.29%. 15.28% 41.62% 75.63% 55.41% 18.73% 30.82% 32.55% 81.33% 42.19% 12.46% 20.12% 51.32% 72.14% 61.04% 25.33%. θ =135 49.89% 44.56% 48.23% 37.33% 45.48% 45.64% 54.33% 66.93% 48.11% 43.63% 37.44% 45.66% 46.12% 39.87% 37.77%. 図７: 直接パターンマッチング. 図８: エッジ抽出後パターンマッチング. 図 7： 対 象 画 像 の 一 例. 表２：対象画像に含まれる顔の数と向き. 上向き 平面 下向き. − 90 40 46 42. − 45 45 56 50. 横の方向 ０ 55 62 56. ＋ 45 46 70 52. ＋ 90 40 52 47. 図９: 本手法. −5−.
(6) 5. 比 較 検 討 本 手 法 有 効 性 を 検 証 す る た め ，同 一 の モ デ ル 画 像 お よ び 対 象 画 像 に つ い て ，以 下 の ３ 通 り の 方 向 推定を行って結果を比較した． 方 法 １：全 モ デ ル 画 像 の 平 均 画 像 を 求 め ，こ れ を テンプレートとして対象画像と直接パターンマ ッチングを行う方法 方 法 ２：モ デ ル 画 像 と 対 象 画 像 を そ れ ぞ れ エ ッ ジ 検出処理してからパターンマッチングを行う方 法 方法３：本提案手法 方 法 １ に よ る 結 果 を 図 ７ に 示 す ． 0 度 と ＋ 90 度 の 向 き に お け る 検 出 率 が 80%以 上 と な っ た が ， そ の 以 外 の 方 向 で は 80%に 満 た な か っ た ．と く に 左 右 斜 め 方 向 の 検 出 率 が 低 い ．こ の 原 因 と し て は ， 斜め方向の顔パターンが背景の一部とご認識さ れ る 場 合 が あ る 点 が あ げ ら れ る ．ま た ，画 像 の 輝 度 値 を そ の ま ま 用 い て い る た め ，顔 部 分 の ハ イ ラ イトなどが大きく影響してしまうという問題も あ る ．ま た ，上 下 方 向 で は と く に 下 の 向 き の 推 定 結果が著しく低い結果となった． 方 法 ２ に よ る 結 果 を 図 ８ に 示 す ．方 法 １ よ り も 推 定 精 度 が 向 上 し ， 6 割 以 上 の 検 出 率 が 80%以 上 と な っ た ．エ ッ ジ 抽 出 を 行 う た め ，輝 度 の 絶 対 値 に 依 存 せ ず ，形 状 特 徴 が 強 く 反 映 さ れ た マ ッ チ ン グ が 行 わ れ た こ と が わ か る ．し か し な が ら ，輝 度 値 の 分 布 状 態 を 反 映 せ ず ，エ ッ ジ 形 状 の み に 依 存 し て い る た め ，依 然 と し て あ る 程 度 の 推 定 誤 り が 生起している． 本稿の提案手法である方法３の結果を図９に示す． ほぼすべての顔の向きに対して，前の２つの方法より も高い精度を得ることができている．推定誤りについ ては，自然画像中の人物顔の濃淡分布がモデル画像の. わかった． そ の 後 ， 20 人・15 方 向 の モ デ ル 画 像 を 使 っ て ， 対 象 画 像 中 の 顔 の 向 き の 検 出 結 果 を 示 し た ．最 後 に ，輝 度 情 報 を 直 接 マ ッ チ ン グ す る 方 法 お よ び エ ッジ検出処理を行ってからマッチングする方法 の２通りと本手法との比較を行った．この結果， 本 手 法 は ７ 割 以 上 の 顔 の 向 き の 検 出 率 が 80%以 上となり，高い精度が得られることを確認した．. 文. 献. [1] 栗 田 多 喜 夫 ， 田 中 勝 ， 堀 田 一 弘 ， 島 井 博 行 ， 三島健稔， 顔の位置に関する事前確率の適 応 的 な 推 定 と Ising 検 索 を 用 い た ニ ュ ー ス 映 像 か ら の 顔 検 出 の 高 速 化 ，信 学 技 術 ，Vol.100, No.312, PRMU200-81, pp.43-50,2000. [2] 栗 田 多 喜 夫 ， 堀 田 一 弘 ， 三 島 健 稔 ， Cross Validation を 用 い た 顔 検 出 の た め の 特 徴 点 の 選 択 ， 信 学 技 術 ， Vol.100, No.312, PRMU2000-82, pp.51-58,2000. [3] 吉 田 幸 生 ，呉 海 元 , 塩 山 忠 義 ， 特 徴 点 自 動 検 出を用いたガボール変換による顔識別 ，信 学 技 術 ， Vol.101, No.568, PRMU 2001-202, pp.63-68,2002. [4] 徐 明 , 長 谷 川 修 ， 栗 田 多 喜 夫 ， 赤 穂 昭 太 郎 ， 坂上勝彦， 学習による不特定環境下の顔の 追 跡 と 向 き の 推 定 ， 信 学 技 術 ， Vol.100, No.442, PRMU2000-100, pp.1-6,2000. [5] 渡 辺 彰 裕 ， 斎 藤 英 雄 ， 固 有 空 間 法 を 用 い た 濃淡画像からの顔の向きの推定法 ，信学技 術 ， Vol.97, No.204, PRMU97-56,1997. [6] 山 田 貢 己 ， 中 島 朗 子 ， 福 井 和 広 ， 因 子 分 解 法と部分空間法による顔向き推定 ，信学技 術 ， Vol.101， No.568, PRMU2001-194,2001. [7] 中 野 宏 毅 ， 山 本 鎮 男 ， 吉 田 靖 夫 ： ウ ェ ー ブ レ ッ ト に よ る 信 号 処 理 と 画 像 処 理 ,共 立 出 版 ， 1999. [8] 田 村 秀 行 ， コ ン ピ ュ ー タ 画 像 処 理 入 門 ，総 研 出 版 ， 1985.. 分布と大きく異なる場合があることなどが考えられる．. 6. ま と め 本 報 告 で は ，自 然 画 像 中 の 人 物 顔 の 位 置 と そ の 向 き を 同 時 に 検 出 す る こ と を 目 的 と し て ，モ デ ル 画像から顔の向きに依存したガボール特徴量を 事 前 に 作 成 し ，対 象 画 像 か ら 得 ら れ た ガ ボ ー ル 特 徴 量 と の マ ッ チ ン グ を 行 う 手 法 を 提 案 し た ．モ デ ル画像および対象画像から顔の向きに応じたガ ボール特徴量を求める手順および得られたガボ ール特徴量を比較して顔の向きを推定する手順 を 示 し た ．実 験 に 使 用 し た 画 像 の 大 き さ か ら ，顔 特徴を検出し得るガウス関数の窓幅を決定した． そ の 結 果 ，顔 全 体 の サ イ ズ が 30 × 30 か ら 300 × 300 の 場 合 ， σ =3.0∼ 10.0 の 範 囲 が 適 切 で あ る こ と が −6−.
(7)
図
関連したドキュメント
CONCLUSIONS: We recommend using the precuneus and hippocampus as ROIs without modulation and smoothing for DARTEL-based voxel-based morphometry as a tool for diagnosing
When Misdetection radius was large, the ID length long, or the number of devices large, the Pair method was the best since it could reduces sequential blinking by adding bits
This paper proposes a method of enlarging equivalent loss factor of a damping alloy spring by using a negative spring constant and it is confirmed that the equivalent loss factor of
In order to estimate the noise spectrum quickly and accurately, a detection method for a speech-absent frame and a speech-present frame by using a voice activity detector (VAD)
を塗っている。大粒の顔料の成分を SEM-EDS で調 査した結果、水銀 (Hg) と硫黄 (S) を検出したこと からみて水銀朱 (HgS)
Let P be a faceted 3-ball with orientation-reversing face-pairing , and suppose given a multiplier function for. Let M be the associated twisted face-pairing manifold. Let S be
Standard domino tableaux have already been considered by many authors [33], [6], [34], [8], [1], but, to the best of our knowledge, the expression of the
This paper presents a new wavelet interpolation Galerkin method for the numerical simulation of MEMS devices under the effect of squeeze film damping.. Both trial and weight
