論 文
視線追跡に必要な情報が含まれる領域の推定
柴崎晃明 周欣欣 大木真 橋口住久（平成6年8月31日受理）
Location of the Informative Region of a Human Face for
Eye-TrackingTeruakiSHIBASAKI XinxinZHOU MakotoOHKI SumihisaHASHIGUCHI
Abstract We tried to locate t，he smallest， region of a human face necessary to t・rack eye move− ments from a picture of face displayed on a CRT． It is shown that the area including “eyes and eyebrows”are the minimal necessary region for eye tracking．
1 まえがき
対面している相手が自分に「注目してい るかどうか」は比較的簡単に判断できる． これまでに，対面している相手の「眼尻， 眼頭，上瞼，下瞼」が見えていれば，こち らを「注目していない」と判断できること がわかっている1）．対象が顔の「画像」で あるとき，「注目しているかどうか」を正確 に判断するには，顔のどの領域を表示すれ ばよいか実験的に検討した． ここでは，ディスプレイに眼とその周辺 を表示し，表示範囲と「注目しているかど うか」の判断の正否の関係を測定した． 視線追跡に必要な情報を含む領域が推定 できれば，その領域について画像処理と解 析を行なうことで，コンピュータを用いて 視線の追跡が可能となる．2 サンプル画像
図1は，測定に用いるサンプル画像の作 成方法である．ここでは，サンプルとなる 寧電子情報工学科，Department of Electrical Engi− neering and Computer Science 人の額と顎を固定し，顔が正面を向いてい る状態で撮影を行なった．サンプルが眼前 1mにある3つ指標，正面c（0度），左1（4 度），右r（4度）のそれぞれを見ているとき の顔を撮影する．サンプルとなる人は，左 利き眼の人（L）と右利き眼の人（R）が各1 人である．サンプル画像Pは，PL。， PLI， PL。， PR。， PR1， PRrの合計6枚である． ディスプレイに表示する顔の画像は，実 物とほぼ等倍である．ここでは，14インチ のディスプレイを使用することとし，2／3インチ型CCDカメラと焦点距離70mmの
レンズを用いて，CCDから150cmにある 被写体（顔）を撮影した． 「左4度」 カメラ 「右4度」 サンプル 図1 サンプル画像の作成方法3 表示方法
顔には眼，眉，鼻，耳，口などの特徴点 が存在する．これらの特徴点を含むように， 表示窓を設定する． 図2のように片眼を含む表示では，顔の 右（R）半分と左（L）半分の2種類があり， 図2は，顔の右半分の場合を表わしている． また，両眼を含む表示では，図3のように 横方向（H）に拡大するときと図4のように 縦方向（V）に拡大するときの2種類がある． さらに，「両眼と両眉と鼻」を含む場合に ついて図5のように，1つの表示窓に1つ の特徴点を含むように表示窓を設定する． 窓番号と表示範囲は表2から表5の通り である．135
WHO
24
一
一〉
図3 横方向に拡大する場合表3 窓番号WHと表示範囲
窓番号WHO
WHl
WH2
WH3
WH4
WH5
表示範囲 両眼のみ 両眼付近 両眼，もみあげ 両眼，耳の一部 両眼，耳 横全面WR5
WR4
WR3
WR2
WRl
WRO
図2 右半分に設定する窓 図4 縦方向に拡大する場合WV5
WV4
WV3
WV2
WVl
WVO
表2 顔半分の窓番号と表示範囲 窓番号 右半分 左半分 表示範囲WRO
WLO
両眼のみWR1
WL1
両眼付近WR2
WL2
両眼，もみあげWR3
WL3
両眼，耳の一部WR4
WM
両眼，耳WR5
WL5
顔の半分表4 窓番号WVと表示範囲
窓番号 表示範囲WVO
両眼のみWV1
両眼，両眉WV2
両眼，両眉，鼻の一部WV3
両眼，両眉，鼻WV4
両眼，両眉，鼻，上唇WV5
縦全面W2
W
○
W3
W1
図5 「両眼，両眉，鼻」を表示する場合表5 窓番号Wと表示範囲
窓番号 表示範囲 備考WO
vl
v2
v3
両眼のみｼ眼，鼻
ｼ眼，両眉 ｼ眼，両眉，鼻WHO，WVO
vV3
4 測定方法
図6は「注目しているかどうか」の判断 の正否を測定する方法である．表6は，判 断の正否を測定する条件である． 表2から表5の表示窓の1つを用いて， PL．からPR，の6種類の基本画像から窓内 の画像を切り出す．切り出した6枚の画像 をランダムに1枚選び出し，ディスプレイ の中央に表示する．「注目されているかどう か」の判断を行なう人（ディテクタ）は，表 示された画像を見て，自分が「注目されて いるかどうか」の判断を行なう．ディテク タが「注目されている」または「注目され ていない」と正しく判断できた回数を測定 した．1回の測定で，6種類の画像をそれ ぞれ，1〔〕回ずつ合計60回表示する． ディスプレイに表示する時間をL5秒と した．これは，ディテクタが「注目されて いるかどうか」を直感的に判断させるため である． 基本画像：6枚 PR，，からPR， PL，，からPL，凸画像を切り出す
「注目されている」 ○ ディテクタlm
ディスプレイに表示 …正しく判断できた回数を測定 図6 測定方法 表6 測定条件 表示画像 利き眼左で「正面」：PL， ?ｫ眼左で「左4度」：PLl ?ｫ眼左で「右4度」：PL， ?ｫ眼右で「正面」：PR。 ?ｫ眼右で「左4度」：PRl ?ｫ眼右で「右4度」：PR． 表示時間 1．5秒 判断の入力 「注目されていない」 u何となく注目されていない」 uわからない」 u何となく注目されている」 u注目されている」 表示回数 6種類の画像を各10回表示5 測定結果
図7から図9は，左利き眼の人をサンプ ル画像としたときの判断特性である．表7 のような記号を用いて，それぞれの場合の 正答率を表わしている． 縦軸の上方向は，「注目されている」と判 断したときの正答率である．縦軸の下方向 は，「注目されていない」と判断したときの 正答率である．また，横軸は窓番号を表わ している． 注目されている 1｛〕0 「正面」哀50
o o o O o o 窓番号 ㌫。 〔｝ 1 2 3 4 5WL
Rロc50
口 口 ロ ロ 忠E（目贔側）4劇・ X 100 x X X × × 目されていない 「左（眼尻側）4度」 （b）左半面 図7 片眼を含む画像を用いた判断結果 表7 判断特性の記号 O × 口 「正面を見ている」ときの正答率 「左4度を見ている」ときの正答率 「右4度を見ている」ときの正答率 5．1 片眼を含む画像を用いた判断結果 図7（a，），（b）は，それぞれ，顔の右半分 と左半分に窓を設定したときの判断特性で ある． 「正面」では，60％以上の正答率となっ ている．「眼尻側4度」では，100％近い正 答率である．一方，「眼頭側4度」では，正 kヤ l’J；；｝ーL ロAoプ いf−−1−’Wt−：．− ザ rntコtニヱlnel ， コ フレ 合竿1よ4Uン0以DCのk）．1眼昆則則4反一」を 表示したとき，誤って「注目されている」 と判断している．半面だけでは，視線追跡 に必要な情報が不足しているといえる． 半面では，正確に「注目されているかど うか」の判断はできないことがわかる． 注目されている 100 「正面」言50
o o o o o o 窓番号 ㌫。 0 1 2 3 4 5WR
柳 x x X X X ×田50
「左（眼頭側）4 度」 回 100 回 ロ ロ ロ 口 注目されていない 「右（眼尻側）4度」 5．2 両眼を含む画像を用いた判断結果 （a）右半面 図8（a）は，窓を横方向に拡大させた場 合，図8（b）は，窓を縦方向に拡大させた 場合の判断特性である． 窓を横方向に拡大させた場合では，「左4 度」の正答率が低い。窓を広げても，正答 率の改善は見られない．したがって，横方 向を拡大させたときの最小の窓は，WHO である． 窓を縦方向に拡大させた場合では，最も 小さい窓（WVO）において「左4度」の正 答率が40％と低い．WV2（眉から鼻の先端） まで拡大すると，正答率は60％に改善さ れ．それ以上窓を広げても正答率は改善さ れない． すなわち，「両眼，両眉，鼻」を含む範囲 が必要な領域であることがわかる． 注目されている @ 1〔〕（1 「正面」 o o o o o o官50
窓番号 ㌫。 0 1 2 3 4 5WH
Kロ冾T0
x x X x x u左4度」 X 10（」 口 口 口 ロ ロ 口 注目されていない 「右4度」 （a） 横方向を拡大注目されている 100 区5° 蜘 1〔1〔1 注目されていない （b） 縦方向を拡大 図8 両眼を含む画像を用いた判断結果 注目されている
