自己組織化マップによる顔画像変化の特徴抽出に関する基礎的研究

生 体 医 工 学 40-4, 214/221 (2002)

研究

自己組織化 マツプによる顔画像変化 の

特徴抽 出に関す る基礎的研究＊

加 藤

綾 子 ＊＊・福 井

康 裕 ＊＊

1. ま

え

が

き

近年, セ キ ュ リテ ィシステ ムや マ ンマ シ ンイ ンタ ー

フ ェース な どの分野 で, 顔 か ら得 られ る情 報 へ の関心

が 高 まって い る1∼5).

顔 に関 す る研 究 は, 個 人 識 別,

表情 認識, 表 情 合成 な ど多岐 にわた って お り, 顔 の捉

え方 にお いて も2次 元画 像 を用 い る ものか ら3次 元計

測や モ デル を用 い る もの まで多種 多様 な手法 が提 案 さ

れ てい る6∼15).

どの手法 にお いて も, 顔 か ら得 られ る

情 報 は膨 大で あ り, その膨 大 な情報 の 中か ら, 如何 に

して必 要 な情報 を取 り出 すかが 重要 な課題 とな って い

る.

本 研 究 で は顔 画像 の変化 か ら動 的 な表 情認 識 を行 う

こ とを 目指 してお り, 顔 画像1枚 に含 まれ る情報 をで

きるだ け単純 化 した 記号 で表現 し, その記号 の変 化 を

解 析 す る こ とに よ り表情認 識 を行 うこ とを目標 として

い る. 本稿 で は顔 画像1枚 に含 まれ る情報 をで き るだ

け単純 化 す る こ と, す なわち顔 画像 の特徴 抽 出 を目的

とした.

顔 全 体 の画像 か らその顔 の特徴 を記述 す る場合, 従

来 か ら行 わ れ てい る予 め着 目 した特 徴量, 例 えば 目や

口の大 き さ (水平方 向 の長 さ, 垂直 方 向 の長 さ な ど)

や, 着 目点 の移 動距 離 ・移 動 方向 な どを画像 か ら計 測

し, そ の 特 徴 量 を 用 い て 表 情 を認 識 す る 方 法 で

は16,17),

着 目す る特 徴量 によって は表 情認 識 に とって

重 要 な情報 を落 として しま う可能性 が あ る.

一方, 画 像 を比較 す る方法 と して 目や 口の代 表 的 な

形 状 画 像 (テ ンプ レー ト) を予 め い くつ か選 ん で お

き, 目や 口の画 像が どの画像 に類似 してい るのか を判

断 す る ような テ ンプ レー トマ ッチ ング を考 えた場合,

基本 とな るテ ンプ レー トを どの ように作成 す るのか が

課 題 とな る.

そ こで, 本研 究 で は, 代表 とな るテ ンプ レー トの 自

動 的 な作成 と作 成 され た テ ンプ レー トを利 用 した顔 画

像 の 特 徴 抽 出 につ い て検 討 し た. そ して, こ の 二 つ の 機 能 を ニ ュー ラ ル ネ ッ トワ ー ク の 一 つ で あ る 自 己 組 織 化 マ ッ プ を 用 い て 実 現 した. 自 己 組 織 化 マ ップ は, バ ツ ク プ ロパ ゲ ー シ ョ ン やLVQと い っ た 教 師 つ き の 学 習 手 法 と異 な り, 個 人 の 様 々 な 表 情 画 像 を 入 力 す るだ け で 自動 的 に ク ラ ス タ リン グ シ ス テ ム の 構 築 が 行 え, これ を用 い る こ とで 画 像 の 特 徴 抽 出 が 可 能 と な る. 本 研 究 で は表 情 認 識 を 前 提 と し て い る た め, 顔 画 像 中 か ら眉, 目, 口 な ど の 表 情 の 特 徴 が 表 れ る個 所 を選 択 した. 2. 方 法 2・1 自 己 組 織 化 マ ッ プ に よ る 画 像 の 分 類 自 己 組 織 化 マ ッ プ は, Kohonen に よ り提 案 さ れ た ニ ュ ー ラ ル ネ ッ トワ ー ク で あ り, 入 力 さ れ る デ ー タ セ ッ トの持 つ特 徴 を 出 力 層 に マ ッ ピ ン グ す る こ とを 可 能 とす る18). こ の 能 力 は, 学 習 に よ り獲 得 さ れ る. 学 習 に お い て は, 教 師 を 必 要 とせ ず, デ ー タ セ ッ トの特 徴 を 自動 的 に分 類 で き る. 自 己 組 織 化 マ ッ プ の 構造 は入 力 層 と出 力 層 か ら な る 二 層 構 造 の 階 層 型 ニ ュ ー ラ ル ネ ッ トワ ー ク で あ る. 第 1図 に一 般 的 な 自 己 組 織 化 マ ッ プ の 構 造 を 示 す. 入 力 層 は デ ー タ層 と し て デ ー タ を 入 力 す る部 分 で あ る. 出 力 層 は マ ッ プ 層 と して 働 き, 入 力 さ れ た デ ー タ は 出 力 層 に並 ぶ ニ ュ ー ロ ン の 一 つ に マ ッ ピ ン グ さ れ る. 具 体 的 に は, あ る デ ー タが 入 力 さ れ る と, 入 力 さ れ た デ ー タ に対 応 す る た だ 一 つ の ニ ュー ロ ン が 発 火 す る. 出 力 層 の 個 々 の ニ ュ ー ロ ン は 入 力 層 の 全 て の ニ ュ ー ロ ン と 固 有 の 結 合 荷 重 (ω11∼ωnm) を持 っ て 結 合 さ れ て い る. 一 つ の 出 力 層 の ニ ュ ー ロ ン に 着 目 す る と, ω1i ∼ωniま で の 結 合 荷 重 をn次 元 の ベ ク トル と考 え る こ と が で き る. ま た, 入 力 層 に 入 力 さ れ る デ ー タ(α ∼αn) もn次 元 の ベ ク トル と考 え る こ と が で き る. この 結 合 荷 重 ベ ク トル と入 力 され た デ ー タ ベ ク トル と が 最 も近 い ニ ュ ー ロ ンが 発 火 す る ニ ュ ー ロ ン(勝 ち ニ ュー ロ ン)と な る. 本 研 究 で は, 画 像 の 持 つ 特 徴 を マ ッ ピ ン グ す る 自 己 組 織 化 マ ッ プ を構 築 し, 画 像 の 特 徴 ＊2002年5月28日 受 付, 2002年10月30日 改 訂 ＊＊東京 電 機 大 学理 工 学 部 電子 情 報工 学 科

加 藤 綾 子 ・福 井 康 裕: 自己 組織 化 マ ップ に よ る顔 画像 変 化 の特 徴 抽 出 (215) 抽 出 を 行 う. 本 研 究 で構 築 す る 自 己 組 織 化 マ ッ プ の構 造 と動 作 の 様 子 を 第2図 に 示 す, 入 力 層 の ニ ュ ー ロ ンへ は, 画 像 各 画 素 の 輝 度 値 を 入 力 す る. この た め, 入 力 層 の ニ ュ ー ロ ン は2次 元 状 に配 置 さ れ て お り, 縦 と横 の ニ ュ ー ロ ン数 は 入 力 画 像 の 縦 と横 の 画 素 数 と一 致 す る. 出 力 層 の ニ ュー ロ ン数 は, 画 像 を分 類 す る カ テ ゴ リー 数 と な る. この 自 己 組 織 化 マ ッ プ に デ ー タ を入 力 した 場 合 の 動 作 は 次 の よ う に な る. まず, 特 徴 抽 出 した い 対 象 画 像 を 自 己 組 織 化 マ ッ プ に入 力 す る. 入 力 す る 画 像 は 予 め 256階 調 の グ レ-ス ケ ー ル 画 像 に し て お く た め, 入 力 され る 各 画 素 の 輝 度 値 は0か ら255の 値 と な る. こ こ で, η個 の 画 素 か ら成 る 入 力 画 像 を 各 画 素 の 輝 度 値 (a1∼an)を 要 素 と し た ベ ク トルxで 表 す. ま た, j 番 目 の 入 力 層 の ニ ュ ー ロ ンか ら出 力 層 のi番 目 の ニ ュ ー ロ ン へ の 結 合 荷 重 をwjiと した 場 合 の, 入 力 層 の 全 て の ニ ュ ー ロ ンか ら出 力 層 のi番 目 の ニ ュ ー ロ ンへ の 結 合 荷 重 (w1i∼wni) を 要 素 と し た ベ ク トル を 勘 と す る. x=(α1, α2, …αn) (1) wi=(w1i, w2i,…wni) (2) 入 力 画 像xを 入 力 し た 場 合 の 勝 ち ニ ュ ー ロ ン は, x とwiと の ユ ー ク リ ッ ド距 離dEが 最 小 と な る ニ ュ ー ロ ン で あ る.

dE(x, wi)

=√a1-w1i)2+(a2-w2i)2+…+(an-wmo)2

(3)

2・2 自 己 組 織 化 マ ッ プ の 学 習 自 己 組 織 化 マ ッ プ の 学 習 は様 々 な 画 像 を入 力 す る こ と に よ り行 わ れ る. 自 己 組 織 化 マ ッ プ の 学 習 に お い て, 入 力 さ れ た 画 像 の 分 類 は 自 動 的 に行 わ れ, 出 力 層 に マ ッ プ が 形 成 され る. 第1図 自 己 組 織 化 マ ッ プ の 概 要 Fig. 1 The outline of a self-organizing map.

input data

x=(a1, a2, an)

feature of ith neuron wi=(W1i, w2i, …, wni)

W1=(W11, W21, …, wn1) W2=(W12, W22, …, Wn2)

Wm=(W1m, W2m, …, Wnm)

input layer output layer

第2図 自 己 組 織 化 マ ッ プ の 構 造 と 動 作

Fig. 2 Self-organizing map configuration and analytical process.

input image input layer output layer

input image input layer

-21-(216) 生体 医工 学 第40巻 第4号 (2002年12月) 画 像xを 入 力 し た 場 合 に 勝 ち ニ ュ ー ロ ン と な る ニ ュ ー ロ ンの 番 号 をiと す る と, 勝 ち ニ ュ ー ロ ンiの 結 合 荷 重 ベ ク トルwiと, 勝 ち ニ ュ ー ロ ンiの 近 傍 に 配 置 さ れ た ニ ュ ー ロ ン の 結 合 荷 重 ベ ク トルwi-1、, wi+1 な ど は, xに 近 づ く よ う に修 正 され る. 勝 ち ニ ュ ー ロ ン と共 に修 正 を行 う近 傍 の ニ ュ ー ロ ン は, 学 習 の 進 度 に 応 じ て 徐 々 に減 少 さ せ た(第3図). 例 え ば, 第3 図 中 に 示 したN=4の 場 合 に は, 勝 ち ニ ュ ー ロ ン を 中 心 と して, 両 側4個 以 内 の ニ ュ ー ロ ン の結 合 荷 重 ベ ク トル が 修 正 さ れ る.

wi(k+1)=wi(k)+hi(k)(x(k)-wi(k))

(4)

(4)式 にお い てhiは 勝 ちニ ュー ロ ンiに 対 す る学 習

率 係数 で あ り, どの程度 の強 さで修 正 を行 うか とい う

指 標 で あ る. 本研 究 で は学 習 率係 数hを 学 習 回数 と

勝 ちニ ュー ロンか らの距 離 の関数 とした. まず, 勝 ち

ニ ュ ー ロ ン の学 習 率 係 数hiは 学 習 回 数kに 応 じ て

徐 々 に減 少 す る よ う に規 定 した(第4図(a)).

そ し

て, 近 傍 の ニ ュー ロン, 例 えぼ勝 ちニ ュー ロ ンiか ら

d個 分 だ け離 れた ニ ュー ロ ンi±dの 学 習 率係 数hi±d

は, 勝 ちニ ュー ロ ンの学習 率 係 数hiを 基 準 と して勝

ちニ ュー ロ ンか らの距 離dに

応 じて徐 々 に減 少 させ

た(第4図(b)).

学 習 開 始 時 の勝 ち ニ ュー ロ ンの近 傍 集 合 の大 き さ

(Nstart),

学 習終 了 時 の近 傍集 合 の 大 きさ(Nend), 学

習 開始 時 の学 習 率係 数(histart), 学 習 終 了 時 の学 習

率 係 数(hiend)を

調 整 す る こ と に よ り, 学 習 が 大 局

的な 方向付 けか ら始 ま り, 微 調整 を経 て終 了 す る もの

とな る. 各 定数 は, 数 回の学 習結果 を基 に, 経験 的 に

決定 した.

2・3 画像 の前 処理

撮 影 され た映像 か ら自己組 織化 マ ップ に入力 す る ま

で の処 理 を第5図 に示 す. まず, 30フ レーム/秒 で キ

ャプチ ャを行 い, 動 画像 か ら連 続 的 な静止 画像 に変 換

す る. 次 に, 顔 画像 中 か ら特徴 的 な部位 であ る眉や 目

や 口の範 囲 を選択 す る. 本 方法 で は, 入 力 した 画素 の

輝度 値 の並 びが, その ま ま画像 の持 つ特 徴 として計算

され, 分 類が行 わ れ るた め, 撮影 された 映像 か ら切 り

出 す眉, 目, 口 を顔 の動 きに合 わせ て一定 の位 置 に保

つ必 要が あ る. そ こで, 第5図 に示 す よ うな画 像処 理

を経 て, 自動的 に選 択 され る ように した. まず, 画像

の粗 さや ノイズ を取 り除 くた め に画 像全 体 に平滑 化 フ

ィル タ をか けて平 滑化 す る. 次 に, ラプ ラシア ン フィ

ル タ を用 いてエ ッジを強調後, エ ッジの抽 出 を行 い,

眉, 目, 口の よう に, エ ッジ に よっ て囲 まれ る個所 を

検 索 す る. 最初 の フレ ーム で は検 索 さ れ た個 所 の う

ち, どの個 所 が 目なの か, どの個所 が 口 なのか な どを

手 動 で選 択 す る (ラベ ル付 け). 第2フ レー ム 目以 降

は, エ ッジで囲 まれ た全 て の個 所 の うち, 1フ レーム

前 に ラベ ル付 けされ た個所 に最 も近 い もの をその部 位

として選 択 す る. 次 に, 目 として選 択 され た2箇 所 の

重心 点 を計算 し, この2点 を結 ぶ線 を想 定 す る. この

線 が水 平 に なる よ うに画像 全体 を回転 させ た後, 各特

徴 部位 の重 心点 を中心 とした矩 形画 像 を切 り取 る(第

6図). 以上 の処 理 に よ り, 各 特徴 部 位 を矩 形 に切 り

取 られ た, 様 々 な特徴 部分 画像 を得 る.

次 に, 輝度 値調 整 を行 って, 画像 の明暗 の差 を軽減

す る. 自己組織 化 マ ップへ は画像 の輝度 値 を入力 す る

第3図 近 傍 集 合 の 設 定

Fig. 3 Definition of the neighborhood set.

ex. neighborhood

N=4

the number of

learning iteration k

第4図 結 合 荷 重 の 学 習 率 係 数 の 設 定 Fig. 4 Definition of the renewal rate of the weights.

(a) the time function

加 藤綾 子 ・福井 康 裕: 自己組 織 化 マ ップ に よ る顔画 像 変 化 の 特徴 抽 出 (217)

ため, 口や 目の形 状 が類 似 した画像 を入 力 して も, 照

明 条件 や顔 の向 きの影響 で, 画 像全体 の輝 度値 が異 な

って い ると, 異 な った特徴抽 出結果 にな る場合 が生 じ

て くる. そ こで, 照明条 件 や顔 の向 きな どの違 い に よ

る明 るさの ば らつ きの影 響 を次 の方法 で軽 減 した.

画 像 中か ら基 準 となる画素 を複 数個所 選 び, その画

素 の平 均輝 度値 が一 定 に なる ように, 画像全 体 の画素

の輝 度 値 を調 節 す る. 基 準 と した画 素 を第7図 に示

す. 目の画 像 につ いて は画像 の上端 と下端 の5画 素 幅

の帯状 部分, 口の画 像 につ いて は画 像上端 両端 の5画

素 四 方 の 部 分 と画 像 下 端 中 央 の5画 素 四 方 の 部 分 と し た. 最 後 に, 眉 ・目 ・口 の 形 状 に合 わ せ て, 矩 形 の 画 像 か ら, 第8図 に示 す マ ス クパ タ ー ン を 用 い て, 周 辺 画 素 を取 り除 く. 以 上 の 手 順 で 作 成 さ れ た 画 像 を, 自 己 組 織 化 マ ッ プ の 入 力 層 に 入 力 す る こ とに よ り, 自 己 組 織 化 マ ッ プ の 学 習 や 画 像 の 分 類 を 行 う. 3. 実 験 3・1 撮 影 表 情 認 識 を 前 提 と して 表 情 の 撮 影 を行 い, 撮 影 さ れ た 顔 画 像 を用 い て 本 手 法 の検 証 を 行 った. 表 情 の 撮 影 は成 人 男 性6名 に対 して 行 っ た. 撮 影 に は デ ジ タ ル ビ デ オ カ メ ラ(SHARP: VL-MX1 Pro) を 用 い た. 被 験 者 に は椅 子 に着 座 し た状 態 で 被 験 者 の 正 面 少 し下 方 に 設 置 した カ メ ラ を 見 て も ら い, 被 験 者 の 顔 の ほ ぼ 正 面 か ら撮 影 した. こ の と き, 照 明 は室 内 の 蛍 光 燈 の み を使 用 した. ま た, 様 々 な 表 情 を撮 影 す る た め, 被 験 者 に は Ekumanら に よ っ て 提 唱 さ れ て い る6基 本 表 情(喜 び, 怒 り, 悲 し み, 嫌 悪, 恐 れ, 驚 き)19)を 第5図 入 力 画 像 の 作 成 Fig. 5 Making input images.

a

_b

c

d

e

f

第6図 角 度 補 正 と切 り出 し Fig. 6 Angle revision and clipping.

第7図 輝 度 値 調 節 に お け る 参 照 セ ル Fig. 7 Reference cells for the brightness regulation

process.

第8図 マ ス クパ タ ー ン Fig. 8 Masking patterns.

-23-(218) 生 体 医 工 学 第40巻 第4号 (2002年12月) 演 技 して も ら っ た. 無 表 情 か ら あ る一 つ の 表 情 に変 化 す る まで の 数 秒 間 を1回 の 撮 影 と し て, 6種 類 の 表 情 を3回 ず つ 撮 影 し た. 3・2 自 己 組 織 化 マ ッ プ の 学 習 条 件 自 己 組 織 化 マ ッ プ の 学 習 に 用 い た 画 像 は, 撮 影 デ ー タ の 中 か ら, ラ ン ダ ム に 抽 出 した800枚 の 画 像 で あ る. 個 人 ご と に眉 ・目 ・口 の 各 部 位 に 対 応 し た3種 類 の 自己 組 織 化 マ ップ を 作 成 した. 自 己 組 織 化 マ ッ プ の 学 習 条 件 を第1表 に示 す. 4. 結 果 4・1 自 己組 織 化 マ ップ の 学 習 結 果 学 習 の 結 果, 獲 得 さ れ た 自 己 組 織 化 マ ッ プ を第9図 に 示 す. 図 中 の 番 号 は, 出 力 層 に お け る ニ ュ ー ロ ンの 配 置 位 置 を 示 し, 画 像 は そ の ニ ュ ー ロ ン が 良 く反 応 す る 画 像 を示 し て い る. 眉 の マ ッ プ に お い て は, 形 状 全 体 の変 化 量 が 小 さ い た め, 見 た 目 に は隣 接 した 画 像 の 差 は 明 確 で は な い が, 全 体 と し て マ ッ プ の 片 端 か ら反 対 側 の 端 に 向 か っ て 画 像 が 徐 々 に 変 化 して い る. 目 と 口 の マ ッ プ で は, 片 端 か ら 徐 々 に 形 状 が 変 化 し て お り, 目 や 口 の 形 状 に よ っ て分 類 が 行 わ れ る マ ッ プ が 形 成 さ れ て い る. 形 状 変 化 に つ い て 見 て み る と, 第9図 の 口 の マ ッ プ で は, 1番 の ニ ュ ー ロ ン か ら17番 ま で 順 に 口 が 閉 じ る 方 向 に 変 化 し, 18番 か ら20番 で は, 歯 が 見 え る場 合 の 口 に な っ て い る. 第1表 学 習 条 件

Table 1 Parameters for the learning process.

第9図 提 案 手 法 に よ る 自 己 組 織 化 マ ッ プ の 学 習 結 果 Fig. 9 The self-organizing maps using the proposed learning method.

(a) eyebrow

(b) eye

(c) mouth

第10図 端 の ニ ュ ー ロ ン か ら の ユ ー ク リ ッ ド 距 離 Fig. 10 The Euclid distance from the lst neuron.

-24-加 藤 綾子 ・福 井 康裕: 自己組 織 化 マ ップ に よ る顔 画 像 変化 の特 徴抽 出 (219) 第10図 は, 1番 目 の ニ ュ ー ロ ン が 持 つ 結 合 荷 重 ベ ク トル とi番 目 の ニ ュ ー ロ ンが 持 つ 結 合 荷 重 ベ ク トル との ユ ー ク リ ッ ド距 離 を 示 す(口 の マ ッ プ). 横 軸 は ニ ュー ロ ン番 号, 縦 軸 は距 離 を 表 す. 第9図 の マ ップ で は, 1番 目 の ニ ュー ロ ン か ら反 応 す る形 状 の 変 化 と 共 に ユ ー ク リ ッ ド距 離 も長 くな っ て い る が, 直 線 的 に は増 加 して い な い. 4・2 部 位 画 像 の 特 徴 抽 出 に よ る表 情 変 化 の 把 握 学 習 され た 自 己組 織 化 マ ッ プ を用 い て, 表 情 変 化 を 撮 影 した 画 像 の うち, 形 状 変 化 が は っ き り して い る 口 と 目 の 画 像 に 対 し て 分 類 を 行 っ た 結 果 の 例 を 第11図 と第12図 に 示 す. 入 力 し た 表 情 画 像 は, ニ ュ ー ト ラ ル の 表 情 か ら喜 び の 表 情 を 演 技 した 場 合 の 画 像 を時 間 順 に 並 べ た もの で あ る. 図 中 の グ ラ フ の縦 軸 は 勝 ち ニ ュ ー ロ ン番 号, 横 軸 は フ レ ー ム 番 号 を 表 す. グ ラ フ の 上 側 の画 像 は, 破 線 で 示 した フ レー ム に お け る 入 力 画 像 を示 し て い る. ま た, グ ラ フ の 下 側 の画 像 は, 破 線 で 示 した フ レー ム で の 勝 ち ニ ュ-ロ ン が どの よ う な 画 像 に 反 応 す る ニ ュ ー ロ ン な の か を示 して い る. 勝 ち ニ ュ ー ロ ン とな っ た ニ ュ ー ロ ンが 反 応 す る画 像 と入 力 し た 画 像 と を比 較 して み る と, 両 画 像 は 視 覚 的 に類 似 し て お り, 特 徴 部 位 画 像 を勝 ち ニ ュー ロ ン の 番 号 と し て 代 表 させ て も良 い こ とが わ か っ た. また, 入 力 画 像 列 で 何 か し ら の 変 化(表 情 変 化)が 起 きて い る こ と を, 勝 ち ニ ュー ロ ン番 号 の 変 化 と して 捉 え る こ とが 可 能 で あ っ た. こ こ で は, 被 験 者 一 人 分 の デ ー タ を 掲 載 した が, 他 の 被 験 者 に お い て も ほ ぼ 同 様 の 結 果 が 得 られ た。 5. 考 察 学 習 され た 自 己 組 織 化 マ ッ プ を見 る と, どの マ ップ に お い て もニ ュ ー ロ ンが 反 応 す る画 像 が 徐 々 に変 化 し て い る こ とは 共 通 し て い る. しか し, 目 と 口 を比 べ る と若 干 の 違 い が あ る. 目 の場 合 で は, 目が 閉 じて い る か 開 い て い る か とい っ た, 比 較 的 単 純 な形 状 変 化 しか 存 在 しな い た め, 学 習 され た マ ッ プ を 見 て も, 端 か ら 開 い た 目 か ら閉 じた 目 へ と変 化 して い る だ けで あ る. し か し, 口 の 場 合 に は, 開 き方 に は横 方 向 や 縦 方 向 が あ り, 歯 が 見 え る場 合 や 見 え な い 場 合 の 差 も あ り複 雑 で あ る. そ の 結 果, 縦 方 向 に 開 い た 口 か ら徐 々 に 閉 じ, そ の 後, 歯 が 見 え る形 で 再 び 開 く と い った 複 雑 な 変 化 が マ ッ プ 中 に 見 られ る. 本 方 法 で は, 様 々 な 形 状 変 化 を, 1次 元 に マ ッ ピ ン グ し よ う と試 み て い る た め, 隣 の ニ ュ ー ロ ン が 反 応 す る 画 像 と は近 い 距 離 を保 ち つ つ, 全 体 と して は 蛇 行 し た部 分 が あ る と考 え ら れ る. これ は, 第11図 と第12図 の グ ラ フ 形 状 の 違 い と し て 表 れ て い る と考 え られ る. 第11図 で は 目 が 「笑 み 」 に よ り徐 々 に細 くな る の に 従 い, 勝 ち ニ ュ ー ロ ン の番 号 が, 10番14番 に 向 か っ て, 徐 々 に 変 化 して い る. し か し, 第12図 で は, 口が 「笑 み 」 に よ っ て 開 か れ, 歯 が 少 しず つ 見 え る よ う に な る の に従 い, 勝 ち ニ ュ ー ロ ン 番 号 は, 8番 か ら5番 へ と下 が っ た 後, 急 に18 番 へ 大 き く変 化 し て い る. 8番 か ら5番 ま で は, 歯 が あ ま り見 え て い な い 口 の 開 き の 変 化 で あ り, 5番 か ら 18番 へ と 変 化 し た の は, 歯 が 多 く見 え る よ う に な っ た 変 化 で あ る. グ ラ フ が 大 き く変 化 して い る と い う こ と は, 形 状 の大 き な 変 化 が あ っ た, す な わ ち 速 い 動 き が あ っ た と考 え る こ と もで き る が, この 場 合 は, 歯 が 見 え て い る とい う特 徴 に よ り, 5番 の ニ ュ-ロ ン と18 番 の ニ ュ ー ロ ンが 反 応 す る 画 像 が, 比 較 的 似 て い る と 考 え られ る. ま た, 5番 と18番 の 中 間 を 示 す よ う な, ニ ュ ー ロ 第11図 目の 特徴 抽 出結 果

Fig. 11 Feature extraction r alts r eye images,

input

images

results

第12図 ロの特 徴 抽 出結 果

Fig. 12 Feature extraction results for mouth images.

input

images

results

-25-(220) 生体 医工 学 第40巻 第4号 (2002年12月)

ンが マ ップ中 に存 在 しなか った こ と も, この理 由 とし

て考 え られ る. 5番 か ら8番 へ の変 化 の途 中 で勝 ちニ

ュ ー ロ ン とな って い る11番 の 画像 を見 て み る と, 歯

が 見 え て い る画 像 で は な い. しか し, 下 唇 の輝 度 値

が, ち ょうど歯 が半 分 くらい見 えてい る場 合 の画像 の

輝度 値 に近 くな るた め, 存在 す るニ ュー ロ ンの中 で最

も近 い ニ ュー ロ ン として選 ばれ た と解 釈 で き る. この

よ うな混 乱 を解 決す るため に は, 色情 報 を利 用 す る と

改善 で き る と考 え られ る.

目 と口 とで は上 記 の よ うな違 いが 見 られ たが, 勝 ち

ニ ュー ロ ン番 号 の変化 の大 きい こ とが悪 い結 果 であ る

とい うの で はな い. 仮 にマ ップ上 で複 雑 な動 きを見せ

た表 情 変化 で も, 画 像 の特徴 が正 確 に数値 化 され て い

るの な らば, この数 値 の変化 を実 際 の表情 変化 と対 応

させ るアル ゴ リズム を工 夫 すれ ば良 いか らで あ る. 入

力 した 画像 と特徴 抽 出結 果 の画像 を比較 して み る と,

目の場 合 で も口の場合 で も似 てい るた め, 本 方法 によ

り, 画 像 の持 つ膨 大 な情報 を, 勝 ちニ ュー ロ ンの番号

とい う単純 な数 値 として表 現す るこ とが可 能 で あった

と考 え られ る. た だ し, 勝 ちニ ュー ロ ン番 号 の解釈 を

簡単 にす るた め には, 学 習 され る 自己組 織 化 マ ップ を

シ ンプル にす る工夫 が必 要 であ る と考 え られ る.

その工 夫 の一 つ として, 着 目してい る部分 の特 徴以

外が マ ップ形 成 に関 わ らない た めに, 画 像 の前処 理が

不可 欠 であ る. 第9図 におい て, 生成 され たマ ップ の

輝 度値 が一 様 に揃 え られ てい るた め, 輝度 値調 整 は良

好 に働 いてい る と考 え られ る. また, 今 回の実験 条 件

で は顔 が大 き く動 くこ とはなか ったが, 生成 された マ

ップ (第9図) におい て も, 生成 され たマ ップに よる

画 像 の 特 徴 抽 出結 果 (第10図, 第11図) に お い て

も, 矩 形 に切 り取 られ た画像 中の眉, 目, 口の位 置が

ほ ぼ一 定 にな ってい るた め, 画像 の切 り出 し位 置 の調

整 もほ ぼ良 好 に働 い て いた と考 え られ る.

6. ま

と

め

個 人 の様 々 な表情 画像 を用 いて 画像 の特徴 抽 出の基

本 とな る テ ンプ レー ト群 を自動 的 に作成 し, 顔部分 画

像 の特徴 抽 出 を行 う方法 として, 自己組織 化 マ ップ を

用 いた手 法 を試 みた. その結果, 撮影 した表情 画像 に

含 まれ る画像 の特 徴 を 自動 的 に分類 し, 代 表 とな るテ

ンプ レー ト群 を作 成 す る こ とが 可能 で あ っ た. そ し

て, これ らの テ ンプ レー トを用 いて画像 の特 徴抽 出 を

行 った結 果, 形 状 の変化 に応 じた画像 特 徴抽 出が可 能

であ る こ とを確 認 した. 本 手法 を連続 した表情 画像 に

適用 し, 抽 出 された特 徴 の時 間変化 を解析 す るこ とに

よ り, 表 情識 別 が行 え る可 能性 が示唆 された.

本 研 究 の 一 部 は, 東 京 電 機 大 学 フ ロ ン テ ィ ア 共 同 研 究 セ ン タ ー 研 究 補 助 金 (文 部 科 学 省 学 術 フ ロ ン テ ィ ア 推 進 事 業) お よ び, 東 京 電 機 大 学 総 合 研 究 所 (研 究 課 題Q00 SO5) に よ っ て 行 わ れ た. 文 献 1) 桐 田 隆 博: 顔 面 像 認 識 表 情 の 認 識 心 理 学 の 立 場 か ら, Med. Imag. Tech., 12-6, 681/687 (1994)

2) 森 島 繁 生: 顔 面 像 認 識 表 情 の認 識 工 学 の立 場 か ら, Med. Imag. Tech., 12-6, 688/693(1994) 3) 森 島 繁 生, 原 島 博: 表 情 イ ン タ フ ェー ス の た め の 感 情 情 報 の 定 量 表 現 とモ デ ル 化, ヒュ ー マ ン ・イ ン タ フ ェ ー ス ・ シ ン ポ ジ ウ ム 論文 集, Vol. 9, 357/360, 計 測 自動 制 御 学 会 ヒ ュ ー マ ン イ ンタ フ ェー ス 部 会, 神 戸 (1993) 4) 重 田 和 夫, 藤 岡 宏 治, 志 水 英 二: 次 世 代 ヒュ ー マ ン イ ン タ フ ェイ ス 「いた わ りエ ー ジ ェ ン ト」, 機械 の研 究, 49-9, 913/ 919 (1997) 5) 岩 田 満, 鬼 沢 武 久: 顔 の 表 情 表 現 と結 び つ け た 経 路 決 定 シ ス テ ム, 日本 フ ァ ジ ィ 学 会 誌, 8-3, 532/540 (1996) 6) 小 林 宏, 原 文 雄, 池 田 進, 山田 寛: リカ レ ン トニ ュ ー ラ ル ネ ッ トワ ー ク に よ る動 的 な 基 本 表 情 認 識, 電 子 情 報 通 信 学 会 技 術 研 究 報 告, 92-443, 11/16(1993) 7) 小 林 宏, 原 文 雄: ニ ュ ー ラル ネ ッ トに よ る人 の 顔 の6 基 本 表 情 の 強 さ の計 測 に 関 す る研 究, 日本 機 械 学 会 論 文 集 C, 59-567, 3411/3417 (1993) 8) 小 野 仁 志, C. Cho, 南 谷 晴 之: 顔 画像 の 不 変 モ ー メ ン トを 用 い た ニ ュー ラ ル ネ ッ ト ワー ク に よ る表 情 認 識, 電 気 学 会 論 文 誌C, 115-12, 1568/1569 (1995) 9)N. P. Chandrasiri, Y. Xiao, 田所 嘉 昭, 尾 田政 臣: 2次 元 DCTと ニ ュ ー ラル ネ ッ トワ ー ク を 用 い た 顔 画 像 の 表 情 認 識 電 子 情 報 通 信 学 会 技 術 研 究 報 告, 96-492, 91/97(1997) 10) 谷 萩 隆 嗣, 高 野 裕 昭: カ テ ゴ リー を組 み 合 わ せ た ニ ュ ー ラ ル ネ ッ トワー ク に よ る顔 画 像 認 識, 電 子 情 報 通 信 学 会 論 文 誌, J77-D-II-11, 2151/2159 (1994) 11) 太 田寛 志, 佐 治 斉, 中 谷 広 正: 顔 面 筋 に 基 づ い た モ デル に よ る顔 面 構 成 要 素 の 動 き の 追 跡, 電 子 情 報 通 信 学 会 技 術 研 究 報 告, 97-40, 111/118, (1997) 12) 大 塚 尚 宏, 大 谷 淳: 連 続 出 力 確 率 分 布 を用 い たHMMに よ る動 画 像 か ら の不 特 定 人 物 の 表 情 認 識 の 検 討, 情 報 処 理 学 会 研 究 報 告, 97-31, 39/46, (1997) 13) 金 子正 秀: リア ル タ イ ム に 近 づ い た3D形 状 計 測 ヒ ュ ー マ ン コ ミュ ニ ケ ー シ ョ ンへ の 応 用-3次 元 形 状 モ デ ル を利 用 し た顔 画像 処 理, 計 測 と制 御, 34-6, 462/464(1995) 14) 間 瀬 健 二, 末 永 康 仁: フ レ ー ム 間 の動 き 情 報 に よ る表 情 識 別 の検 討, 情 報 処 理 学会 全 国 大 会 講 演 論 文 集, 43-2, 2. 243/ 2. 244(1991) 15) 朴 眠 徹, 金 子 正 秀, 原 島 博: GRIP法 を 用 い た 頭 部 の3 次 元 動 き 分 析, 電 子 情 報 通 信 学 会 論 文 誌, J80-D-II-8, 2138/2151 (1997) 16) 小 林 宏, 原 文 雄: ニ ュ ー ラル ネ ッ トに よ る 人 の 基 本 表 情 認 識, 計 測 自動 制 御 学 会 論 文 集, 29-1, 112/118(1993) 17) 小 林 宏, 原 文 雄: ニ ュ ー ラ ル ネ ッ ト に よ る人 の 顔 の 混 合 表 情 の 認 識 日本 機 械 学 会 論 文 集C, 59-567, 3418/3423 (1993)

18) T. Kohonen: Self-organizing maps, Springer-Verlag, Berlin, Heidelberg, New York (1995)

19) P. エ ク マ ン, W. V. フ リー セ ン; 表 情 分 析 入 門, 誠 信 書 房, 東 京 (1987)

-26-加 藤 綾 子 ・福 井 康 裕: 自己組 織 化 マ ップ に よ る顔 画像 変 化 の特 徴 抽 出 (221)

Feature

Extraction

of Facial

Images

Using Self-organizing

Maps*

Ayako KATOH,** Yasuhiro FUKUI**

Much information

is received from facial expressions during communication.

Therefore, during the interface

between humans and machines, for example, it's important to extract the information from facial images in order to

obtain the correct understanding.

This paper proposes a new method for extracting information from facial images.

The method provides a self-clustering

of image features, and has procedures to cluster images input using

self-organizing maps (SOMs).

A SOM is an artificial neural network consisting of an input layer and an output layer.

When the brightness values of an image are input into the input layer, the output layer works as a map layer that

clusters the features of the image.

This ability is obtained using a process known as "self-training."

This paper

discusses the application of the suggested method for analyzing actual facial images. Six fundamental facial

expres-sions (i. e., happiness, anger, sadness, disgust, fear and surprise) were enacted and recorded by digital VTR. First, an

image sequence was composed from the recorded film footage, and the eyebrows, eyes and mouth were

semi-automatically selected for observation from each image. Next, training for self-clustering was performed to

automati-cally classify all the facial expressions.

After training, an analysis of each SOM was done to review its classification

ability. The SOMs were able to classify various shapes of eyebrows, eyes and mouth. When an image sequence from

a change in facial expression was input, it was reflected in a change in output that described the change in facial

expression.

Our method may therefore be used to recognize facial expressions and emotions.

*Received on May 28th 2002, Revised on October 30th 2002

**Department of Electronic and Computer Engineering, College of Science and Engineering, Tokyo Denki University