Kobe University Repository : Kernel
Title
リスティングの法則に基づく眼球の視軸と光軸の回転モ
デルとそれを利用した視線推定手法と評価手法(マルチ
メディア処理)
Author(s)
長松, 隆 / 鎌原, 淳三 / 田中, 直樹
Citation
電子情報通信学会論文誌. D, 情報・システム, J93-D(4):
511-521
Issue date
2010-04-01
Resource Type
Journal Article / 学術雑誌論文
Resource Version
publisher
URL
http://www.lib.kobe-u.ac.jp/handle_kernel/90001327
一 一 論 文
リスティングの法則に基づく眼球の視軸と光軸の回転モデルと
それを利用した視線推定手法と評価手法
長松
隆
↑
a)鎌原淳三↑
田 中 直 樹
fA Model o
f
R
瓜a
t
i
o
no
f
t
h
e
V
i
s
u
a
l
and O
p
t
i
c
a
l
Ax
e
s
o
f
t
h
e
E
y
e
b
a
l
l
on t
h
e
B
a
s
i
s
o
f
L
i
s
t
i
n
g
'
s
Law
，
and G
a
z
e
-
E
s
t
i
m
a
t
i
o
n
a
且dE
v
a
l
u
a
t
i
o
n
Method Using t
h
e
Model
Ta
k
a
s
h
i
NAGAMATSUt
a
)
，
J
u
n
z
o
KAMAHARAt
，
組
dN
a
o
k
i
TANAKAt
あらまし 幅広い利用者に受け入れられるコンピュータ操作方法として，視線計測技術を利用したインタフェー スの研究が盛んに行われている.視線計測装置の研究において，眼球の形状モデルを用いたモデルベースのアプ ローチが，個人ごとのキャリプレーションの手聞を削減できることから注目されている.本研究では，モデル ベースの視線計測装置を対象として，視線を適切に計算するために，眼球の形状モデルに加えて，眼球の回転が 従うリスティングの法則に基づく眼球の視軸と光軸の回転モデルを新たに提案した.そして，そのモデルを利用 した視線推定手法を開発した.更に，そのモデルに基づく視線計測装置の評価手法も開発し，新たに開発した視 線推定手法と従来の手法との比較を行った. キーワード視線計測，リスティングの法則，キャリプレーション，眼球モデル
1.まえがき
幅広い利用者に受け入れられるコンピュータの操作 方法として，視線計測技術を利用したインタフェース が研究されている [1]~[4]. 本研究は，インタフェース としての利用を念頭に置き，ユーザに負担のかからな い手法として，カメラを用いた画像処理による視線計 測装置を対象としている.この画像処理による視線計 測装置では.2段階で計算が行われる.すなわち，撮 影した眼球画像から画像処理を行い特徴点を抽出する 段階，そして，その特徴点をもとに視線または注視点 を推定する段階である.眼球画像の処理に関しては，S
t
a
r
b
u
r
s
t
アルゴリズム[
5
]
など，様々な研究が行われ ている.画像処理が正確にできたとしても，その後の 計算が正確でなければ推定された視線の精度は低下す ることから，ここでは特に後者に焦点を絞る. 画像処理後の計算の段階について，眼球の幾何モデ ルに基づくアプローチ(モデルベースのアプローチ) f神戸大学大学院海事科学研究科.神戸市Gradu叫e School of Maritime Sciences， Kobe Univ町sity，
Kobe-shi， 658-0022 J a.pan .) Eトm副1: [email protected] による研究が近年盛んに行われている.モデルベース のアプローチでは，まず.(a)眼球の幾何学的な中心 線である光軸
(
O
p
t
i
c
a
la
x
i
s
)
を求め，次に.(
b
)
この 光軸をもとに実際に人闘が見ている方向の軸である視 軸(
V
i
s
u
a
l
田i
s
)
を求める(視軸と視線は同じ直線で ある).現在.(a)の段階について眼球の形状をモデル 化した研究は行われているが.(b)の段階において眼 球の回転を適切にモデル化したものが存在しない. 本研究の目的は，との(b)の段階を適切に計算する ために，眼球の回転が従うリスティングの法則に基づ く眼球の視軸と光軸の回転モデルを示すことである. 更に，このモデルを利用した視線計測装置の構成手法， 視線計測装置の評価手法を開発することである.2
.
関連研究と本研究の位置付け
画像処理による視線計測装置の処理は，大きく分け て.(
1
)
眼球画像の処理により特徴点を抽出する.(
2
)
抽出した特徴点を視野カメラやディスプレイ上の位置 に対応付ける計算をする，の 2段階で行われる. (2)では，眼球を撮影した画像から抽出した瞳孔中 心位置などの特徴点と，視野方向との対応付けを行い 注視点を求める.対応付けを適切に行うためには，計 電子情報通晴学会論文藍 D Vol. J93ーD No.4 pp目511-521 @ (:柑電子情報通信学会2010 511測前にユーザが場所の分かった点を何点か注視し，対 応付けの計算に用いる関数を決定する必要がある.こ の作業をキャリプレーシヨンと呼ぶ. 例えば，下記のような二次の多項式を用いて，画像 処理により抽出した瞳孔中心と点光源照明による角膜 表面での反射点(第一プルキニエ像と呼ぶ)を結ぶベ クトル
(
x
，y
)
をスクリーン座標系(Sx，s
.
)
に対応づけ るととが行われる[
6
]
.
Sx=
向+
α
，
x+α
2y+α
3X官+
α
4X2+α
5y2 (1)S
ν
=
bo+
b，
x+
，y b+
b3Xy+
b4X2+
b5y2 (2) ここで， α。
α5，bo~b5 は未知数であり，キャリプ レーションにより求める.一次式を用いればパラメー タ数が減りキャリプレーション時に注視する点数は減 少するが，注視点の推定精度は下がる.このような多 項式を用いた対応付けアルゴリズムは，頭部の位置の 変化に対して弱い. そこで，近年，視線計測l
装置の研究においては，図 1 に示す眼球の形状モデルを用いるモデルベースのアプ ローチが注目されている [7]~[11]. とのモデルベース のアプローチでは三次元で視線を求める乙とができ， 十分な計測精度を保ったまま，キャリプレーションの 簡素化や頭部の移動への対応が可能と期待されている. 図1のモデルでは，角膜(Com田)は球面と近似し ている.眼球の網膜上で最も解像度が高い場所を中心 情 (Foy，帥)と呼び，その大きさは視野角で 10程度で ある.人聞は中心寵で対象をとらえるように眼球を動 かすが，この中心寵でとらえられればそれ以上正確に 眼球を動かす必要がなくなるので，視線計測装置の精 度は 10が目標となる.眼球のレンズ中心と角膜曲率 中心 (Centerof the corneal curyature)との距離は無 視し，同一位置であるとする.視線は，申心宵と注視 点(POG: Point of gaze)とを結ぶ線と定義し，角膜Ro館Uα.c
・
"
"
拡
C田町""of也.cComcalcurvatureB C佃 町ofthept刷1 ?略語1 K 図1 眼球の形状モデル Fig. 1 Shape model of eyeball 曲率中心を通るものとする.乙の中心寵と角膜曲率中 心を結ぶ眼球の軸を視軸と呼ぶこととする(視線と視 軸は同じ線を表す).光軸は，眼球の幾何学的な中心 軸であり，角膜の曲率中心と瞳孔中心(Centerof the pupil)とを結ぶ線と定義する.光軸と視軸のずれは， 水平方向:3.5~7.50 (平均5.50)，垂直方向:0.25~ 30 (平均1.00 ) であり，個人ごとに異なる [12]. 現在，モデルベースのアプローチにより，点光源の 照明を用いるなどして，キャリプレーションなしで眼 球の光軸を求められるようになってきた.視軸は光軸 と50程度向きが異なるので，光軸を求めただけでは， 視線を計測したとは言い難い.光軸と視軸のずれを求 めるために，少なくとも 1点を注視するキャリプレー ションが必要となる. 1点キャリプレーションの視線計測装置に関する研 究には， Shihらη[やGuestrinら
[
9
]
の研究があるが， 光軸を求めた後に視軸を求める段階で，眼球の回転が 従うリスティングの法則は考慮していなかった.一方， Villanuevaらの研究 [11]では，リスティングの法則の 導入の必要性を指摘し， He!皿ho!tz座標系においてリ スティングの法則に基づいた計算を試みている.しか し，計測できるのが光軸でありリスティングの法則に 従うのが視軸であるのに，この三つの取扱いがあいま いであった.また，視軸と光軸のずれについて，水平 方向のみを考慮し，垂直方向を無視していた. 以上のように，モデルベースの視線計測装置の研究 では，キャリプレーションなしで光軸を計測できるよ うになったが，乙の光軸とリスティングの法則に従う 視軸の関係を適切に扱うモデルは存在していない.そ のため，光軸から視軸を求める段階において，これ以 上の精度の向上が見込めない.そこで，本研究では， リスティングの法則に基づく眼球の視軸と光軸の回転 モデルを新たに構築する.3
.
角膜曲率中心と光軸の推定
本論文での議論では光軸が計測可能という前提があ る.本章では，光軸をキャリプレーションなしで求め る手法について説明する.以下では，アルファベット のボールドタイプは三次元ベクトルを表す.大文字は 位置ベクトルで，小文字は長さ 1の方向ベクトルで ある. 最丘の研究[7， []9，][10]から以下のように，光軸を求 めることが可能となってきた.図2に示すように，カ メラ2台と点光源2個を利用する.論文/リスティングの法則に基づく眼球の視軸と光軸の回転モデルとそれを利用した視線推定手法と評価手法 Light sour田 1
。
¥
:
:
:
.
-
.
_
-
-
-
-
-
-
H
Eye Light田 町 田O 図 2 カメラ2台と点流源2個を利用する視線計調I装置 Fig.2 Gaze tracking system using two c田neras岨 dtwo point light sources LightS棚 田t
~
且-'i -一一一ー‘一一一A
C田t町ofC田 盟 問I Curvature間
階
h
i
h
p
p
出
??J
¥
¥
C
J
一
制com
副 Surfilce 図3 角膜曲率中心，点光源，カメラ中心者含む面 Fig. 3 Cross section containing center of corneal cur-vature， point ligh七source，and nodal point of camera目 図3に，角膜曲率中心(A)，点光源i(L，)，カメラ jのレンズ中心(Cj);を通る平面を示す.Li， Cj，カ メラ3のイメージセンサ上にある点光源 4の第 1プル キニエ像(Pj，)を含む平面は下記のように表せる. {(Pj
，
-
Cj) x (L包 ーCj)}-(Xー Cj)=
0 (3) ここで，X(=(X
，y，Z
)
T
)
は，平面上の点を表す.そ して， Aは，との平面に含まれるz
と3は，それぞ れ0，1の値をとるので， A を含む平面を四つ求める ことができる.これらの交点として，角膜の曲率申心 の位置 A が求まる. 光軸方向を示す単位ベクトルを光軸ベクトルと呼ぶ こととする.光軸ベクトル dは，図 4のように，角 膜曲率中心(A)と瞳孔中心(B)とカメラ jのレンズ 中心(Cj)を含む面内にあるので，下記のように求め ることができる. d Opti皿lAxis 図4 光軸，角膜曲率中心，瞳孔中JL¥カメラ中心老含む面Fig.4 Cro回 国ctioncontaining optical axis， center of
corneal curvature， center of pupil， and nodal point of camera
d =
((Co-B~) x (A-Co)) x ((C，ーBDx(A-C，))
1((CoーB
か
(A-Co))x ((C，ーBDX(A-C，I
)
)
(
4
)
ここで， Bjは， Bから出た光が角膜表面上の点(
B
j
)
で屈援しカメラ3
のイメージセンサに到達した 点である.4
.
リスティングの法則に基づく光軸と視軸
の回転モデル
最近の研究によって光軸の計測ができるようになっ たが，リスティングの法則に従って視軸が回転したと きの光軸の向きについてはいまだ検討されていない. そこで，本章では，リスティングの法則に従って眼球 が回転したときの視軸と光軸の関係を明らかにする. 4_1 リスティングの法則 眼球は， 3対計六つの外眼筋により眼寵内に安定し て収まっている.そして，同じ視線でもその周りを回 転する自由度(回旋運動)があり，多くの異なる状態 (眼位)をとり得る.実験的知見としてリスティング の法則 (Listing'sLaw)が知られており，とれによれ ば，回旋運動は視線の向きに対して一義的に決定され る [13]_ リスティングの法則は，注視，追跡，サ、yケー ド時には成り立つが，睡眠や前庭動眼反射(頭部運動 を補償する眼球運動)の聞は成り立たないことから， 物理的な制約により成り立っている法則ではなく，外 眼筋を支配する神経メカニズムにより成り立っている と考えられる.よって，眼球の幾何学的な中心である 光軸ではなく，視軸について成り立つていると考えら 513D坤h田mentplane L包也g'spla田 L掴位唱tsplane (a) (b) (，) 図5 リスティングの法則 Fig.5 Listing's law. れる. リスティングの法則は次のようなものである [14]~ [16].頭部を固定しているとき，図5の(a)のように， ある向き Eに眼球(視軸)が向いているとする.ここ で，視軸の方向の単位ベクトルのことを視軸ベクトル と呼ぶこととする.視軸ベクトルがgから向きを変え るとき，その回転軸はある平面内に存在する.その平 面は変位平面 (DispJaamentpJane)と呼ばれ，回転 を開始した Eのことを参照眼位(Referenaposition) と呼ぶ.そして，変位平面は Eの向きにより異なった 平面となる. gと変位平面が垂直となるgの位置は一つだけ存在 し，そのときの眼球の位置のととを第一眼位 (Pri皿 町y position)と呼ぶ(図5の(b)).第一眼位のときの視 軸ベクトルをaとおく.とのときの変位平面はリス ティング平面 (Li帥ing'spJane)と呼ばれる.また，リ スティング平面は，通常，コンタクトレンズ型のサー チコイルを利用して，多数のデータを計測して求める が，実際の計測値ではある程度の幅があるととが知ら れている
[
1
7
]
.
眼球の回転後の視軸ベクトルをC，回転軸の軸方向 の単位方向ベクトルを Iとして， a.J = c ・1=0 (5) と表すことができる.すなわち，眼球は，第一眼位で あるaから aに垂直なリスティング平面内の軸 Iを 中心に回転した位置しかとらない.図 5の(b)と異な る向きに回転した場合を(c)に示す. 4.2 眼球の視軸と光軸の回転のモデル ここでは，眼球が回転したときの視軸と光軸の関係 を明らかにする. 図 6は，眼球が回転したところを表したものである. ここで， Eは，眼球の回転中心である. a， b， Aoは， opti回I阻18 図6 眼球の回転のモデル Fig. 6 Eyeball model of rotation 図7 Fig.7 それぞれ，第一眼位における視軸ベクトル，光軸ベク トル，角膜曲率中心の位置ベクトルである.また， C， d， A は，それぞれ，回転後の視軸ベクトル，光軸ベ クトル，角膜曲率中心の位置ベクトルである. 実際は，第一限強の視軸と光軸，回転後の視軸と光 軸がすべて同一平面内にあるわけではない.b
とd
が Eを通ることと aとcが式(5)を満たすととより， それらの関係は，図 7のように描ける.眼球が，眼球 の回転中心Eを通る回転軸lを中心にψ
回転してい る状態を表している. 理解しやすいように， a， b， c， dについて，それ ぞれのベクトルの始点を Eに移動させて，関係を表 したものが図 8である a， b， c， dの終点は Eを中 心とした半径 1の球面に含まれる.aとcはリスティ ングの法則から lに垂直である.aとcとの聞の角度 がψ
ならば， bの終点とdの終点との閣の角度は， a とcを含む面に平行な面内において， 1を中心にψ
で ある. 4.3 眼球の回転軸と回転角度の計算手法 第一眼位の向きaが分かつているときの眼球の回転 軸と回転角度の計算手法を下記に示す.論文/リステイング由法則に基づく眼球の視軸と光軸申回転モデルとそれを利用した視線推定手法と評価手法 一一一一~ C Visual皿 g
}
ψ
(
1
-
1
>
)
1
Visual. axis a "血eprimarypositiαn、
I RotatiOl阻=.ψ
-
d
c
刷 叫 ....b
句 蜘l四 S aftheprimaryplsition 園 8 晒球の回転に伴土視紬ペクトルと出納ペタトルの 関係 Fig.8Rotation of visual・
ndoptical v・
ctor 4.3.1 cが既知の場合 a， Cが既知の場合， 1とψ
は，式 (5)から，下記の ように計算できる.I~ 丘三三
国 X副ψ'ι~，
…
=
l日1
l 、 閣 CII 4.3.2 b， dが既知の場合 (6) (7) cカ宅分からない場合は. b， d骨宅分かれb指揮するこ とが可能である 図8老事参照しながら考える lはaに垂直な平面 a'XニOに含まれる一方， dはI在中
心
ιb
が回転したものなので，1
は.(d-b).X~O の平面にも含まれる.と己で， X (~ (X，y，Z)T)は， 平面上の点在表す.11ま.とれら昭三つ白平面に含ま れるので，二つの平面の法線の外積として以下のよう に求めるEとができるI~ 両日h
(
8
)
図8
に示すように，b
とd
の終点は，(
l
.
b
)
1
を中 心に，ψ
回転している.よって，ψ
は，下記のように 計算できる.(
(
b
-(
1
.
b
)
I
)
.
(
d
-(
1
.
b
)
町
1
= 世 田osl
l
(9)¥ I
b
ー(
1
.b
)
l
1
l
d
-(
1
.
b
)
1
1
J
5
.
提案したモデルに基づく視銀推定手法 本章では，4
.
で述べたモデルに基づいた，視線計測 装置のキャリプレーシヨン手法と，その後の視軸及び 注視点の推定手法について述べる. 5.1 キャリブレーション手法 光軸は 3 の方法で求まるので.己のキャリプレー ションでは，個人依存のパラメタである視軸と光軸と のずれを求める. 第一眼位における視軸ベクトルaは，正面方向であ るとし，既知とする.すると，視軸と光軸とのずれを 求めるEと(すなわちキャリプレーション)は，第一 眼位のときの光軸ベクトル (b)在求める己とに等しく なる. ユーザの前方にキャリプレーション用の点 D がある とする 己れを見ているときの眼球の光軸ベクトルd は式(
4
)
により，計算できる.一方.視軸ベクトルc は，3
.
の方法で求まる角膿の曲車中心A
と注視点D
とを結ぶ線として以下のように求める己とができる D - A = 市 「 一 訂 (10) ID-AI C IJ'分かれば.式(6)，(7)より， 1，ψ
を求めるとと ができる そして，図8ι
示すように，d
在，1
の周 りにψ
回転すれば， bを求めるととができる. b者求める計算は，下記のとおりである.dとlはそ れぞれ dニ(
ι
，dll，d"，). 1ニ (1叫ん，l，，)と書ける d をクォータニオンを用いて表すと qdニ(
O
j
d
.
"
d
u
，d
，，) であり，また， 1在中心としたーψ
回転は，q~いは);凶日)，凶は)，ι 叶~))
(11) と表せる 第一眼位の光軸は，クォータニオン者用い て以下のように計算するζとができる qb = (0;b""1
7，
b.
，
)
= qqdq-l (12) 己れより， b ~ (b.， 1>"，b
.
)
と求める Eとができる， 以上の計算では， aとcが同じにならないように. D 在選択する必要があるが，もし a = cであれば， b~d である. 5.2 キャリプレーション後の視軸の軒算 キャリプレーション後は， bは既に求まっており，光 軸ベクトルdは.式(4)より割算できる. aは既知と しているので，式(
8
)
，(
9
)
より，1
及びψ
在求める己 とができる.そして，視軸ベクトルcは.a~l 在中 心にψ
回転する己とによって求める己とができる c者求める計算は下記のとおりである.aとIは. それぞれ.a=(a"，，~， a..) ， 1=(
l
""l，，，l..)と書ける. aは.クォータニオン形式でq.，.= (O;a."匂，0
.
)
であ り，回転はイ
聞
は
)
jjl..Sin(t) l，"sin{~I
，
，
llttllssiinnlは
~)
J，
， I.sin(~)
l..由 l (13) 515である よって，視軸は，下記のように表せる. qc= (0; cz， c"，Cz) = qq.q-l
(
1
4
)
とれより. c = (c"， c"，Cz)である. ただし，以上の計算で.b=dのときは，眼球が回 転していないので，c=a
である. 5.3 注視点の計算 視軸ベクトルが求まれば，注視点は視線と三次元 シーンとの交点を求めることによって求まる.例とし て，ディスプレイ上の注視点の求め方について述べる. 視線は.5
.
2
の方法で求めたcと3
.
の方法で求め た A~用いると.X =
A+tc (
t
はパラメータ)と 書ける. ディスプレイの四隅の左上，右上，左下，右下の点 をそれぞれtDTLt DTR， DBL， DBRで表す.ディ スプレイ平面の法線ベクトルndを.(DTL -DBR) X (DTRーDBL)として求めると，ディスプレイ平面は， nd・(X-DTL)=
0
(15) と表すことができる.ディスプレイnd・(X-DTL)=
0
と視線X=A+tc
の交点が，ディスプレイ上の注視 点である.この注視点を計算したあと，ディスプレイ 座標系に変換すれば，ディスプレイ上に注視点を表示 するとともできる.6
.
提案したモデルに基づく評価手法
視線計測装置で第一眼性を計測できるものは現在存 在せず，また，第一眼位の向きを考慮した評価法も現 在存在していない.ここでは，第一眼位の向きを考慮 した評価手法を示し，第一眼位の向きの違いを考慮し ていない視線計測装置の精度について議論できるよう にする. 実際の人間の第一眼位は頭部に相対的に決まる向き で，その向きには個人差があり，また，装置と頭部の 位置関係も変化する.視線計測装置を用いるときの ユーザの第一眼位の向きと頭部の向きの様々な組合せ を図 9に示す.ここで，眼球と耳の穴を含む平面を， 頭部の基準位置(Refe回 n田 positionof head)として，点線で示している.との図に示すように，ワールド座 標系で見ると，第一眼位は，個人差及び頭部の向きの 違いにより，様々な向きをとることが分かる. 一方，本論文で提案した手法は，ユーザがディスプ レイを真正面から見ていると思っているときの視線の 向きを第一眼位であるとしている.Shihらの手法にお
守 合 サ
守 合
a=61I皿 図9 第一眼位の向きと頭部の向きの組合せFig. 9 Combination of primary position and di開 国ionof head. A .，/ ，.D
，
..1-""" x L~ 醐皿 図10シミュレーションの座書採 Fig. 10 Coord祖国河esyst四n品rthe simulation 調1皿 いては第一眼位の向きは計算に用いていないが，同様 に，ユーザがディスプレイを真正面から見ているとき の向きを基準に視線を計算している.そのため，これ らの手法のモデルで仮定している第一眼位の向きと， 実際の第一眼位の向きとが異なることがあるため，誤 差が生じると考えられる. 本章では，実際の第一眼位がこれらの手法で仮定し ている第一眼位の向きと異なることによる影響につい て評価する手法について述べる. そのために，はじめに，実際の第一眼位の向きに よって，視線がどう変化するかをシミュレーションす る手法を次節に示す. 6.1 第一眼位の劃b
を考慮した眼球の回転のシミュ レーション はじめに，座標系を定める.ここでは，図 10に示 すように，ワールド座標系の原点(
0
)
はディスプレイ の中心に設定する .x軸と百軸は，ディスプレイ平面 内で，それぞれ水平・垂直方向で，向きは図に示す向論文/リスティングの法則に基づく眼球の視軸と光軸の回転モデルとそれを利用した視線推定手法と評価手法 きとする .z軸は，図のようにディスプレイの法線方 向とする.0から ，L離れた
z
軸上の位置に眼球の回 転中心Eがあるとする. 眼球の回転中心から，角膜曲率中心までの距離をα とする.角膜曲率中心位置 A は，下記のように求まる.A=E+ad
(16) ただし， dは，光軸ベクトルである. 第一眼位がディスプレイと垂直のとき，第一眼位の 向きを 80とすると， 80 = (0，0， _1)Tと表せる.眼 球の視軸と光軸に関しては，計測される人閣から見て， 眼球の光軸が，視軸から水平方向右に角度目，垂直方 向下方に角度 βずれているとする.とのときの光軸ベ クトル hoは，下記の式により求めるとととする. 11 0 0 ¥/cos日o
sinO/ ¥ ho = 1 0∞
sβsinβ11 0 1 0 180 ¥ 0 sinβ∞
sβ j ¥ -sin白o
cosO/j (17) 第一臨立が 80=
(0，0，-1)Tからずれている場合は， そのずれを 80からの回転 Rφを使って表すと，第一 眼位の視軸ベクトルa及び光軸ベクトル bは，それぞ れ以下のように求めることができる. a=Rφ80 h=Rφho (18) (19) 眼球がディスプレイ上の全範囲を向くのをシミュ レーションするには，ディスプレイ上に点D包を想定 して，その点に眼球の光軸 dが向いているものとして， D，をディスプレイ上の全範囲を網羅するように動かし て計算する.とのとき， dは， d = (D‘
-E)/ID‘
-EI として，求めるととができる.式(18)及び式 (19)よ り，第一眼位の視軸ベクトルaと光軸ベクトル bが求 まるので，式(
8
)
，(
9
)
から，眼球の回転軸I
と回転角 度ψ
を求めるととができる.そして aをIを中心にψ
回転することにより，視軸ベクトルであるcを求め ることができる. 次に，次節以降のシミュレーションで用いた具体的な 数値の与え方について述べる.視線計測装置の利用され る状況を想定して， 19インチディスプレイを 600mm 離れた場所から見ている状況を想定し，L = 600mm とした.視軸と光軸のずれとしては，平均的な人間の 数値を用いて，光軸が視軸から，水平方向右に5.50， 垂直方向下方に1.0。ずれているものとしたい=5.50， β = 1.00 ) [12]. 乙れは右目を表している.また，[3]を; 参考に，眼球の回転中心と角膜曲率半径の聞の距離α は， 6mmとした. 一方，第一眼位の傾きについては，以下の研究を 参考にした.T
w
e
e
d
らのサーチコイルを用いた計測 結果[17]によれば，第一眼位は，3
匹の猿のデータで 水平面から上方 150~上方 370 に広がっており，人間 (被験者 3 名)では，下方170~上方 50 の範囲であっ た.双方ともに水平方向のばらつきは小さかった.こ れを参考に， 6.2と6.3での眼球のシミュレーション においては，垂直方向のみについて，頭部の傾きも考 慮し，第一眼位の傾きゅを _400~400 の範囲で， 100 刻みで変化させた.ただし，φ
は，図 11に示す向き とした. 6.2 提案したモデルに基づく視線計測手法に関す る評価 5.で述べた視線計測手法の評価を行う.この手法で は，第一眼位の向きは計測できないので，ユーザが画 面を向いているときの正面方向である a= (0，0， _1)T を，第一眼位の向きとした.一方， 6.1で述べた眼球 のシミュレーシヨンについては，第一眼位の向きφ
を -400から 40。に変化させた.これらを比較すること により，提案した視線計測手法の評価を行った. キャリプレーション時に注視する点は 5.1で述べた ように， a=cとならないようする必要がある.図 10 中の D を注視してキャリプレーションするものとし た.との D の位置は，シミュレーションした眼球の第 一眼位の視軸ベクトルを (10 φ)。下向きに回転した ベクトルとディスプレイとの交点である. 計算結果の例として，φ=
00及びゆ =400のとき のシミュレーション結果をそれぞれ図 12，図 13に 示す.POA
，POG (
E
y
e
b
a
l
l
S
i
m
.
)
は，それぞれ，シ ミュレーションで計算した眼球の光軸及び視軸と，ディ スプレイとの交点を指す.POG
(
E
s
t
i
m
a
t
e
d
)
は，提 案した手法に基づき推定した視軸とディスプレイとの 交点のことである. z下
品
:
1
0 図 11 第一眼位の傾きを表す角 Fig. 11 Angle of primary posi色ion.これらの図は， 25個の格子状にPOAを変化させた
場合(この場合， POGはディスプレイの表示部内と
なる)について， POG (Eyeball Sim.)とPOG (Es-timated)を計算したもので， 1280 X 1024ピクセル のディスプレイのディスプレイ座標系で示している. POG (Eyeball Sim.)とPOG(Est皿 a胞のの遠いが
少ないほど，視線計測装置の精度が良いζとになる. 図 12においては，誤差はなかった.一方，図 13に おいては，ディスプレイの端に近づくにつれて誤差が 。 128 258 384 512 840 781 11118 1024 1152 1280 140! 102 キ キ .キ
.
*
ー
*
"
.
307*
.
*
.米 .米ー
*
.
，
0'
"
キ .キ.
t
ず
ー
来
"
.
717 キ.
* *
.キー
*
819 922来
米 .キ.
*
キ 1024 • POA + POG(Eyeball Sim.) XPOG(E副mated) 図 12注視点推定のシミュレーション(φ=0')Fig. 12 Simulation of estima.tingPOG (ゆ=0') 。 128 2511 384 512 1140 7118 I!IlIlI 1024 1152 1280 140! ヲ
t
ゥト キ .キ a半
102.
"
.
オ
ゥト キ .~ι d半
307.
.
，
0オ
ぅ台-
1
1
事 キ d平
512"
.
ヲt
ゥb
.キ .~ι d平
717 81・
ヲt
ぅt
.キ.
J
ドー
干
922.
1024 • POA + POG(Eyeball Sim.) XPOG(E副mated) 図 13注視点推定のシミュレーション(φ=40') Fig. 13 Simulation of estim叫ingPOG (φ= 40').大きくなった. 全体の結果を表 1に示す
.φ=
日。のときの誤差は， 25点の平均値，最大値共に0.0'であった.ゆ=00か ら離れるに従い，25点の誤差の平均値と最大値はとも に大きくなることが分かつた. 6.3 Shihらの方法に基づく視線計測手法に聞す る評価 Shihらの方法[7]では，リスティングの法則に従う 実際の眼球の回転とは異なり，以下のように眼球の回 転を計算している.視軸と光軸の聞の関係を記述する ために，眼球座標系 (ECS)を以下のように定義して いる.原点は角膜の曲率中心であり，ワールド座標系 で見た ECSのX，y， z軸の方向を表す単位ベクトル は，それぞれ， r.=
(dX y)/IdX yl (20) (21) (22) ry= r.zx
rx rz = d で定義する.ただし， dは，計測した光軸ベクトルで 3.で述べた方法で求まる.また， yは，ワールド座標 系のU軸方向の単位ベクトルである. とこでは，図 10中のOを注視するキャリプレー シヨンを行うことにより， ECSにおける視軸ベクトル aECS=(αECS，aECS，a回 S)Tを以下のように求める.)
q o n 4(
a cc
、 、 ‘ ，
E E，
，
，
J ' TZTUTz r r r 〆 'SEElE¥一 一
、 、
E E l ﹄ ， FJ 四 回 目 EZEνEZ α α α ，J ' S E E E B、
1 .一 一
回 Ea
ここで， Ccalは，キャリプレーション時の視軸ベクト ルである.ただし，正面にある点を見てキャリプレー ションすることにするため，キャリプレーション時に 注視する点は，シミュレーションした眼球の第一眼位 の視軸ベクトルを ゆ。下向きに回転させたベクトル とディスプレイとの交点である.との点を見ていると きに計測した視軸ベクトルが， Ccalである. キャリプレーション後は，式(20)，(21)， (22)を利 表1第一眼位の傾きによる視線推漣誤差(提案手法)四ble1 Error of estimating POG by change of inclination of primary p四 稲 田 {proposed m回hod)
φ(') -40 -30 -20 -10 0 10 20 30 40
A ve. of 25 poiTI'臼 (0) 0.311 0.229 0.150 0.074 0.000 0.074 0.150 0.227 0.309
論文/リスティングの法則に基づく眼球の視軸と光軸の回転モデルとそれを利用した視線推定手法と評価手法 用して， rz， r"，むを求めることができ，視軸ベクト ルcは下記のように求める乙とができる
c=αE
四rz+dcsru+α?
四r
z
(24) 以上の視線推定手法について，第一眼位の向きゅを -400から400に変化させる眼球のシミュレーション 計算を行い，評価計算を行った. 計算結果の例として，φ
=
00及びゆ =400のとき o 128 258 384 512 84目 788 818 1024 1152 1280 14目8。
102キ
.米 ぅ台 ぅ骨 :米"
.
307キ
.
キ
キ
ぅ特*
<10'
"
キ
*
"
-伴
1
キ
.
*
"
014 717 来 来キ
.
キ
キ
81・
'
"
今件キ
キ
キ
キ
1024.POA +POG(Eyeb
・
IISim.) XPOG(Sh刊図 14 注視点推定のシミュレーション(Shih)(φ= 0') Fig. 14 Simulation of esti田atingPOG (Shih)(ゆ=
。
0)。
128 258 384 512 84日 788 818 1024 1152 1280 1408。
オ
ラb
ぅh
.-l¥ι
.干 102.
'05 ヲt
わ
う
"
*
.
ド
l
-
正
平
307.
410 ヲt
.米.
1
ず
d平
51'.
"
ヲt
"
*
*
"
.
-
1
'
-
正
平
717 81・
ヲt
ゥ骨キ
.
-
1
'
-
五
平
92' 1024 .POA + POG(Eyeball Sim.) XPOG(品 川 図 15 注視点推定のシミュレーション (Shih)(φ= 40') Fig. 15 Simulation of esti皿atingPOG (Shih)(φ=400 ) のシミュレーション結果をそれぞれ図 14，図 15に示 す.
POG (
S
h
i
h
)
は，S
h
i
h
の手法に基づき推定した 視軸とディスプレイとの交点のことである.図 14は， 最も誤差の少ないときであるが，右下，右上において，POG (
S
h
i
h
)
はPOG(
E
y
e
b
a
l
l
S
i
m
.
)
から，ややずれ ている.図 15については，画面の端にいくにつれて かなりずれていることが分かる. 全体の結果を表2に示す.ゆ=0
0から離れるに従 い，25点の誤差の平均値と最大値がともに大きくなる 傾向を示した.誤差の最大値は，最も小さいφ=0
。 においても，φ=
0.2630と比較的大きかった. 6.4 考 察 以上のように，リスティングの法則に基づくモデル により眼球の動きをシミュレーションし，それとの比 較により三つの視線計測手法の推定精度を計算した. また，提案したモデルに基づく手法と，S
h
i
h
らの手 法との比較によると，第一眼位の傾きが， -400 から 300については，提案手法の方が平均の誤差が小さかっ た.誤差の最大値に関しては，提案手法の方が全範囲 にわたって小さいととが分かった.特に，最も誤差が 少ない場合については，提案手法では，ディスプレイ の全範囲にわたって0
.
0
0 であるが，S
h
i
h
らの手法で は，最大で， 0.263。の誤差が生じた.提案手法は，第 一眼位が計測可能となれば，ディスプレイの全範囲に わたって誤差をほとんどなくすことが可能と考えられ る一方， Shibらの手法では，第一眼性が分かったと しても，ディスプレイの全範囲について精度を向上さ せることはできず，最大で， 0.260程度の誤差が生じ ると考えられる. 次に，実際の視線計測で一定の効果が得られる見込 みについて述べる.視線推定の誤差は，ランダム誤差 と系統誤差の2種類が考えられる.ランダム誤差は， ある場所を見ているときに，眼球が微妙に振動するこ とによって主に発生すると考えられる.ランダム誤差 は，一つの点を求めるときのフレームレートを上げて 計測回数を増やして平均値などをとることにより改善 されるが，系統誤差は，計測回数を増やしても改善さ れない.S
h
i
h
らのモデルは，リスティングの法則に 表 2 第一眼位の傾きによる視線推定誤差 (Shihの手法)τ
'ahle 2 Error of estim叫ingPOG by change of inclination of primary p団 出on (Shih's血 目hod)φ(0) -40 -30 -20 -10
。
10 20 30 40 A ve. of 25 poin同(') 0.324 0.244 0.170 0.110 0.077 0.104 0.157 0.228 0.307 M阻 of25 poin旬 (0) 0.7剖 0.650 0.520 0.392 0.263 0.347 0.475 0.605 0.738従った計算を行っていないので，そのために発生する 誤差は，系統誤差という乙とになる.提案した手法は， リスティングの法則を導入したことにより，乙の系統 誤差を減少させる効果がある. リスティングの法則を視線推定のモデルに導入する ことにより見込める精度の向上は，視軸と光軸のずれ が大きい人ほど大きいので，一概にどれだけ向上する とはいえない.視軸と光軸のずれには個人差があるの で，ずれが小さい人はリスティングの法則を導入した 場合としない場合との聞でそれ程視線推定精度に差 はないが，視軸と光軸のずれが大きい人の場合はリス ティングの法則を導入した場合としない場合との闘で 視線推定精度に大きな差が生じると考えられる. 本研究で提案した方法は，頭部がほぼ前方を向いて いると仮定しているが，実際にはユーザが動くため， 常に頭部が一定方向を向いているとは限らない.第一 眼位は頭部に相対的な位置であるため，頭部が大きく 動く可能性のあるアプリケーションに利用する場合は， 頭部の位置と向きを計測して，頭部を基準とした座標 系において第一眼位の向き (a)を与える必要がある.
7
.
む す び
本研究では，ステレオカメラと三つの点光源を用い て 1点キャリプレーションを実現するモデルベースの 視線計測装置を対象とした. モデルベースのアプローチでは， (a)眼球の幾何学 的な中心線である光軸を求め，次に， (b)この光軸を もとに実際に人聞が見ている方向の軸である視軸を求 める.本研究では， (b)の段階において必要となる，リ スティングの法則に基づく眼球の視軸と光軸の回転モ デルを示した.リスティングの法則が述べるように， 眼球の回転を第一眼准からの1回の回転として表現す ることにより，視軸と光軸のずれに関して，水平方向 と垂直方向ともに適切に計算できるようになった.そ して，とのモデルを用いた視線計測装置についてキャ リプレーション手法とキャリプレーション後の視線推 定手法を開発した. また，提案した眼球の回転モデルに基づいて眼球を シミュレーションすることにより，視線計測手法の評 価を行う手法も示した.その手法により評価を行った 結果，提案したリスティングの法則に基づくモデルを 利用した視線計測手法は，従来のリスティングの法則 を無視した手法と比較して，第一眼位の傾きを考慮し でも精度が良く，今後高精度化も期待できる乙とが分 かった 文 献[1] R.J.K.Jacob，“The use of eye move回 目 . tsin hwnan-comp叫erinteraction techniques: W h叫 youlook 叫
is what you get，" ACMτ'rans. Inform叫ionSystems，
vol.9， no.2， pp.152-169， April 1991
[2]大野健彦.“視線を用いたインタフェース"情報処理， vo1.44， no.7， pp.726-ー-732，July 2003.
[3] A.T. Ducbσwski， Eye Tracking Methodology: The -ory and Practice， 2nd ed.， Springer-Verlag， London， 20日7.
[4] T. Nag醐 atsu，Y. Kai叫， J. K回lahara，回d H. Shimad.a“，Development of a ski1Iacquisition support system using expert's eye皿ovement/'Proc. HCI In -ternational 2007， vo1.9， pp.430-439， July 2007. [5[ D. Li， D. Winfield， and J.D. Parkhurst， “創出ー
bu目色 A hybrid algori"出m for video-based eye track -ing combin-ing feature-based and model-based ap
-proaches，"Proc目2005IEEE Computer Soci
叫.yOon-ference on Computer Vision and Pat胞rnRecognition
(CVPR'05) - Workshops， vol.03， p.79， June 2005 [6] C.H. Morimoto and M.R.M. Mimica，“E戸 gaze
tracking techniques for interactive app1ications，" Computer Vision and Image U nderstanding， vol. 98， no.l， pp.4-24， April 2005.
[
司 S.-W.Shih and J. Liu“，A novel叩proachto 3-D gaze
tracking using stereo ca田町闘，"IEEEτ同田.Sy叫
Man Cybern. B， Cybern.， vo1.34， no.l， pp.234-245，
Feb. 2004
[8] E.D. Gu剖 巾 andM. E町四回，匂eneraltheory
。
fremote gaze estimation using the pupil center and corneal reflections，"IEEEτ'rans. Biomed. Eng.， vol.53， no.6， pp.1124-1133， June 2006.[9] E.D. Gu副 巾andM 回田町田n，“Remotepoint-of
-gaze estimation with free head. movements requiring a singl←point calibration，"Proc. 29th Annual 1曲 目na
-tional Conference of the IEEE EMBS， pp.4556-4560， Aug.2007.
[10] T. Nagamatsu， J. Kamah町a，and N.百 四ka，“3d gaze tracking with easy calibration using stereo cam-eras for robot叩 d human communication，"Proc.
IEEE RO-MAN 2008， pp目59-64，Aug目2008.
[11] A. Villanueva and R. Cabeza“，A 即 時1gaze estima
-tion system with one 四 librationpoint，"IEEE '1岡田圃
Syst. Man Cybern. B， Cybern.， vo1.38， no.4， pp.1123-1138， Aug. 2008.
[12[ 苧阪良二，古賀一男，中溝幸夫，眼球運動の実験心理学， 名古屋大学出版会， 1993
[13[ J.M.7インドレイ.I.D ギルヲリスト，アクティプ・ぜ ジョン，北大路書房， 2006
[141 D. Tw田 d，“Visual-motoroptin由 叫ionin binocular co国rol，"Vision Rese町ch，vo1.37， no.14， pp.193 9-1951， July 1997
[15] A.M.F. Wong， "Listing's law: Clinical signific回 目
Oph-論文/リステイング由法則に基づく眼球の視軸と光軸申回転モデルとそれを利用した視線推定手法と評価手法
色halmology，vo1.49， no.6， pp.563-575， Nov. 2004
[16] S.J. Judge，“Resection m
