2.6 瞬目入力システム
2.6.1 瞬目入力システムの決定方式
に随意性瞬目と判定する.この持続時間のしきい値の決定方法には,入力システ ムの設計者によって工夫がみられる.
もっとも単純なものは,持続時間のしきい値をユーザ間で共通の固定値とする 方法である.持続時間のしきい値を固定にした場合には,ユーザがシステムの動 作条件に合わせて瞬目を行なうため,個人ごとのキャリブレーションが不要にな るという利点がある.
あらかじめ複数人の瞬目持続時間を計測して求めた最小値を共通の固定値とし て,持続時間のしきい値に採用した瞬目入力システムが提案されている[30].こ の他に,持続時間のしきい値を固定にしておき,随意性瞬目と判定される持続時 間に達したときに音声によってフィードバックする瞬目入力システムも提案され ている[28].このシステムでは,200ミリ秒と500ミリ秒の2段階に持続時間のし きい値を設け,2種類の入力意図を識別できるようにしている.これらのシステム は,2.3.1.1目で述べた1スイッチ法の入力スイッチとして,瞬目の実行を代替す ることで動作している.
新井らは,専用の眼鏡型デバイスを用いた視線による文字入力システムを開発 した[20].このシステムに用いるデバイスは,小形のディスプレイとWebカメラ がそれぞれ片眼ずつの眼前に位置するよう固定されている.この小形のディスプ レイに縦3個 × 横3個の9個の指標が表示されており,指標に割り当てられた所 望の文字などを選択する.このとき,指標の判別のために9個の指標それぞれを 見たときの眼球近傍画像をテンプレートとして記録しておき,テンプレートマッ チングによって注視指標が識別される.入力決定のために閉眼中の眼球近傍画像 もあわせて記録しており,瞬目も同様に検出できる.このシステムにおいて,随 意性瞬目の判定には300ミリ秒という固定値を持続時間のしきい値として用いて いる.
Kr´olakらは,1スイッチ法のトリガとして随意性瞬目を用いた瞬目入力システ ムを提案した.瞬目を検出するために,顔画像中の眼球近傍領域を追跡しており,
その際に開眼状態の眼球近傍画像をテンプレートとしたテンプレートマッチング
の相関係数を逐次求めて,瞬目検出のための波形として用いている[31].瞬目種 類の識別には,瞬目の持続時間のしきい値として,200ミリ秒という固定値を採用 している.Marnikらは,1スイッチ法によるマウスカーソル操作システムを開発 している.このシステムにおいてもテンプレートマッチングによる瞬目検出を行 なっており,持続時間が500ミリ秒〜1500ミリ秒の範囲の瞬目を随意性瞬目とし て識別している[33].
この他,画像解析を用いた角膜反射法において,Esakiらが瞬目による決定を採 用した文字入力システムを開発している[8].このシステムでは,瞬目にともなっ て瞳孔領域がまぶたに遮られ,その面積が減少することを利用して瞬目を検出し ている.具体的な数値は示されていないが,持続時間にしきい値を設けて随意性 瞬目を識別していることが述べられている.
落合らは,顔姿勢の変化によって生じる撮影画像中の眼球位置の移動を検出し,
ソフトウェアキーボード上のカーソルを操作する文字入力システムを開発した[34].
このシステムでは閉眼時と開眼時の顔画像間の差分を求め,その2値化画像の水平 および垂直方向のヒストグラムから初期の眼球位置を求める.その後,前フレー ムの眼球位置をもとに2値化処理およびラベリング処理を用いて眼球領域を逐次 特定し,画像中の眼球位置を追跡する.瞬目の検出には,眼球近傍領域の2値化に より求めた面積をパラメータとして用いる.入力のために瞬目の持続時間によっ て随意性瞬目を識別することを述べているが,瞬目の持続時間のしきい値として 用いた具体的な数値は示されていない.
柘植らは,上述したような顔姿勢変化にともなう眼球位置の移動を,マウスカー ソルの操作に応用した入力インタフェースを開発した[35].このシステムでは,黒 目に当たる部分を探索するため,十字形のテンプレート[36]を用いて眼球位置の 追跡を行なっている.このシステムでは黒目の幅と高さを計測し,その面積を概 算した値を瞬目検出のパラメータとして用いている.随意性瞬目は,瞬目の持続 時間が0.5秒〜1秒のものを識別しており,これをクリックのコマンド入力として 用いている.
中村らは,光センサ法による瞬目計測を行なっている[37].眼鏡に赤外線LED とフォトトランジスタの対をセンサとして水平に6個並べ,眼瞼とセンサとの距 離を計測する.このシステムにおいて,瞬目の持続時間による瞬目種類識別が行 われており,持続時間のしきい値は300ミリ秒である.
持続時間のしきい値をユーザ間で共通にしない場合には,瞬目の持続時間をシ ステムの使用初期に取得すれば,個人ごとの持続時間の偏りに対応することがで きると考えられるが,このような仕組みを採用している瞬目入力システムは見当 たらない.
2.6.1.2 瞬目の回数による方式
中西らはEOG法を採用した瞬目による車椅子の操作システムを開発した[25]. このシステムは瞬目のみの動作によって操作可能であり,車椅子の前進または停 止の切り替えにダブルブリンク,すなわち2連続の瞬目を採用している.この研究 では,500ミリ秒以内に複数の瞬目が含まれた場合をダブルブリンクとして識別し ている.
Krapicらは,自然光下の画像処理により,顔姿勢の変化によって操作するマウ
ス操作インタフェースのための,瞬目種類識別法を提案している[23].この方法 では,随意性瞬目をマウスクリックのコマンドに割り当てることを目指しており,
目的のクリック回数より1回多くの瞬目,すなわち1回のマウスクリックを実行 するために2回の瞬目を行ない,ダブルクリックのためには3回の瞬目を行なう.
Gorodnichyは,自然光下の画像処理を用い,顔姿勢の変化として鼻の頭頂部を
特徴点として用いるマウス操作システムを開発している[24].このシステムでは,
ダブルブリンクによってマウスカーソル動作のオンとオフを切り替えることがで きる.
瞬目の回数による方式は,瞬目の持続時間による方式の持続時間のしきい値の ような,瞬目の形状の特徴にもとづく設定は不要になるが,ユーザは随意性瞬目
のたびに実行中の瞬目の回数を数える必要がある.また,自発性瞬目が連続して 生じることもあるが,その場合には誤入力につながる.
2.6.1.3 ウィンクによる方式
入力意図を示す随意性瞬目を,ユーザが片眼の瞬目,つまりウィンクをするこ とで識別するシステムがある.岸本らは,両眼を含む顔画像を入力するカメラか ら得た画像を処理し,視線の上下左右の眼球運動を検出する視線入力システムを 開発した.この入力決定に,片眼の閉眼を用いている[21].
また,2.6.1.2目に述べた中西らによるEOG法を採用した車椅子の操作システム
[25]では,ダブルブリンクのほかに,車椅子の左右の移動のために左眼および右眼 のウィンクを採用している.自発性瞬目では,垂直方向のEOG波形のみにピーク が生じるのに対し,ウィンクでは水平方向と垂直方向の両方にピークが生じるこ とから,それらの識別が可能となる.
Missimerらは,顔画像中の上唇の位置を追跡し,マウスカーソルを操作する入
力システムを開発した[26].このシステムでは,上唇位置をオプティカルフローに よって追跡し,画面上の上唇位置の変化に応じてマウスカーソルを移動する.入 力決定の方法にウィンクを採用しており,上唇と同時に追跡する両眼それぞれの 眼球領域を対象に,テンプレートマッチングの相関係数をパラメータとして片眼 の瞬目を検出している.入力決定の機能として,左右のウィンクそれぞれに左右 のマウスボタンクリックのコマンドを割り当てている.
海老澤は,ビデオカメラと光軸を合わせた赤外光照明によって得られる明瞳孔 画像から,瞳孔位置を検出し追跡することで頭部位置を追跡するシステムを提案 している[27].このシステムでも,Missimerらのシステムと同様に左右のウイン クを,それぞれ左右のマウスクリックのコマンドに割り当てている.
ウィンクによる方式は,瞬目の持続時間や瞬目の回数をユーザがカウントする 必要がない.しかしながら,ウィンクすることができないユーザがいることも報
告されており[26],この方式が利用できない場合がある.