クリック動作認識

急減速を検出してクリック動作を認識するアルゴリズムの評価実験を評価実験 A，

状態遷移モデルを利用したクリック動作を認識するアルゴリズムの評価実験を評価実 験Bとする．2つのアルゴリズムの評価実験の結果を比較し，それぞれのアルゴリズ ムの有効性を確かめた．評価実験の被験者は10歳代～30歳代の男性9人，女性11人 の合計20人が参加した．評価実験の順番による学習効果を減らすために20人の被験 者を10人ずつの 2つのグループに分けて，最初のグループは評価実験Aを行ったあ とに，評価実験Bを行い，次のグループは最初に評価実験Bを行い，次に評価実験A を行った．

各評価実験では文字入力タスクを5回，計算タスクを10回行ってもらった．文字入 力タスクでは1回のタスクに10文字を入力してもらい，計算タスクでは1回のタスク に“123 + 456 =”の3桁の四則演算である8文字を入力してもらう．評価実験を始め る前に各被験者には提案手法の説明をし，1 分から 2 分程度の練習を行った．これは 被験者全員がHMDを装着したことがなくHMDに慣れてもらうためである．

評価実験A “急減速によるクリック動作認識”

3.5.3.1.

クリック動作認識の急減速を検出するための閾値 𝑡ℎ_𝑎 には，20 名の被験者に共通 して－0.5を用いた．図3.4.4.と図3.4.5.で示すようにクリック動作での急減速の値が一 定以下であることが判明し，𝑡ℎ_𝑎 のみでクリック動作を識別することが可能である．

𝑡ℎ_𝑎=－0.5 は図 3.4.4.と図 3.4.5.に示すユーザの実際のクリック動作により設定した．

各被験者の適合率，再現率，F値の文字入力タスクの結果を図3.5.3に示し，計算タス クの結果を図3.5.4に示す．適合率，再現率，F値の最大値と最小値，平均値をまとめ

た表を表3.5.5に示す．

式(3-8)から式(3-10)のように全クリック数に対して検出漏れがなかった数の割合を 適合率，全クリック数に対する誤検出されなかったクリック数の割合を再現率とし，

適合率と再現率からF値を求める．

Precision（適合率）

= 1 – (クリック動作がクリックと判定されなかったクリック数 ／ 全クリック数) (3-8)

Recall（再現率）

= 1 – (クリック動作が誤ってクリックと判定されたクリック数 ／ 全クリック数) (3-9)

F-measure（F値）

= 2 × (Precision)(Recall) ／ ((Precision) + (Recall)) (3-10)

－44－

評価実験Aの結果より適合率，再現率，F値はいずれも平均93%以上であり多くの アプリケーションで利用可能な水準であると考える．2 つのタスク間では有意差はな かった．実数として，文字入力タスクでは1人当たり50回の入力に対して，平均3.15 回の検出漏れ，平均2.9回の誤検出があった．計算タスクでは1人当たり80回のボタ ン入力に対して，平均4.8回の検出漏れ，平均5.15回の誤検出があった．さらに精度 を高める必要がある応用先に対しては，機器のパラメータに合わせた閾値𝑡ℎ_𝑎 を設定 する．ただし，この設定は画像解像度，フレームレート，指とカメラとのおおよその 距離などがあらかじめわかっている必要があり，場合により困難であることもある．

また，閾値の個人適用で精度が上がる可能性がある．被験者からは初回の利用だった にも関わらず特に不自由なく入力ができたというコメントが得られた．

文字入力タスクでは各仮想ボタンの間隔が大きいため，カメラ位置から各ボタンに 至る指先の向きの違いが比較的大きく，クリック動作時の画面上での指先の移動方向 の変化も大きくなる．しかし，評価実験からクリック動作判定の影響はなかったこと が確認できた．電卓入力タスクでは隣接する仮想ボタンへの影響の確認をした．仮想 ボタンの選択時に拡大表示されることで判定領域を広げているため，正確にクリック 入力することが可能であったことが確認できた．

検出漏れは，クリック動作が遅い場合に見られた．誤検出は照明環境による肌色領 域の誤認識で指先位置が誤推定される場合に見られた．遅いクリック動作に対しては 閾値 𝑡ℎ_𝑎 を実際のユーザの動作にあわせて設定できるようにし，照明環境による肌色 領域の誤認識には色相による肌色領域の抽出アルゴリズムを利用しているが形状など 色相以外の手指領域の抽出アルゴリズムを利用することで改善できる可能性がある．

図3.5.3 文字入力タスクにおける急減速による各被験者のクリック動作検出結果

[Rate]

－45－

図3.5.4 計算タスクにおける急減速による各被験者のクリック動作検出結果

表3.5.5 各タスクの急減速によるクリック動作検出結果

Character input task Calculator input task

Precision Recall F-measure Precision Recall F-measure

AVE 0.93 0.94 0.93 0.93 0.93 0.93

MAX 0.98 1.00 0.96 0.96 1.00 0.98

MIN 0.88 0.88 0.89 0.89 0.86 0.89

評価実験B “状態遷移によるクリック動作認識”

3.5.3.2.

各被験者の適合率，再現率，F値の各被験者の文字入力タスクの結果を図3.5.6に示 し，計算タスクの結果を図3.5.7に示す．適合率，再現率，F値の最大値，最小値，平 均値をまとめた表を表3.5.8に示す．適合率，再現率，F値のそれぞれの結果は評価実 験A の結果より低下した．2つのタスク間では有意差はなかった．実数として，文字 入力タスクでは1人当たり50回の入力に対して，平均3.15回の検出漏れ，平均2.9回 の誤検出があった．計算タスクでは1人当たり80回のボタン入力に対して，平均4.8 回の検出漏れ，平均5.15回の誤検出があった．全ての結果で評価実験Aの結果より低 下した理由として，状態遷移モデルは4つの状態を分類するために3つの閾値を設定 する必要がある．キャリブレーションツールにより自動設定可能であるがさらなるキ ャリブレーションツールの精度向上が必要である．状態遷移モデルによるジェスチャ 認識はジェスチャの認識手法として一般的に利用されている手法であり，クリック動 作以外のジェスチャ認識への拡張することが可能であるため今後は統計学習手法を利 用して状態遷移モデルによる検出アルゴリズムの認識率向上を目指したい．

[Rate]

－46－

急減速による検出アルゴリズムと状態遷移アルゴリズムを比較するためT検定を行 ったところ，適合率，再現率，F値の全てにおいてP = 0.01で有意差があることがわか った．また，現状のインタフェースでは，検出漏れや誤検出をユーザが訂正する方法 がないので，今後，応用先に応じて個人での利用も想定し，ユーザごとに提案システ ムにより自動で閾値を設定したりユーザが手動で閾値を設定したりできるような機能 を追加し，より適切なインタフェースの実装を行っていきたい．

図 3.5.6 文字入力タスクにおける状態遷移モデルによる各被験者のクリック動作検出

結果

図3.5.7 計算タスクにおける状態遷移モデルによる各被験者のクリック動作検出結果

[Rate]

[Rate]

－47－

表3.5.8 各タスクの状態遷移モデルによるクリック動作検出結果

Character input task Calculator input task

Precision Recall F-measure Precision Recall F-measure

AVE 0.88 0.93 0.90 0.89 0.92 0.90

MAX 0.94 0.96 0.95 0.93 0.98 0.94

MIN 0.78 0.88 0.88 0.84 0.88 0.87