キーボードにおける重み付き図形型コマンド入力の設計と実装

全文

(1)Vol.2012-HCI-147 No.10 2012/3/21. 情報処理学会研究報告 IPSJ SIG Technical Report. 1. はじめに. キーボードにおける重み付き図形型コマンド入力の設計と実装. 現在，キーボードはその入力速度と操作性の高さからコンピュータの入力デバイスとして不可欠なものとなっている．キーボードは主に文字入力に用いられるが，素早く機能を実行するためにファンクションキーやショートカットキーと呼ばれる入力方式が用いられる．. 片山. 拓. 也†1. 寺. 田. 努†1,†2 塚本. 昌. ファンクションキーは文字キーとは別の汎用キー（「F1」など），ショートカットキーは修. 彦†1. 飾キーと文字キーの組合せ（「Ctrl+C」など）の入力であり，それぞれにコンピュータの機能を割り当てられる．しかし，これらの入力方式にはユーザの敷居を高くする要因がある．. PC 用のキーボードは文章入力の他に，コマンド入力を活用することで，入力時間を短縮したり，デバイス間の手の移動回数を削減できる．しかし，PC を日常的に使用せず，習熟度の低いユーザにとって，それらのキーと機能の組み合わせを記憶することは煩雑である．我々の研究グループでは，これまでにキーボード上を指でなぞるコマンド入力を提案した．提案コマンドは直観的に扱える図形型のコマンド入力だが，コマンドの引数の入力機構はない．そこで，本研究では提案コマンドに対して引数を与える手法を提案し，評価実験から提案手法の有効性を評価する．. 第一の要因は，機能に対応する入力キーの記憶にある．コンピュータの習熟度が高いユーザは，頻繁に用いる機能の入力キーを経験から記憶しているが，コンピュータを日常的には使用しない習熟度が低いユーザにとっては，入力キーの記憶は煩わしい．第二の要因は，キー位置の把握にある．“Copy” の機能のショートカットキーが「Ctrl+C」に割り当てられるなど，ショートカットキーには機能から容易に連想される入力キーが割り当てられることが多いが，入力を使いこなすためにはキー配列を把握することが必要である．これまでに，我々の研究グループでは，新しい入力方式としてキーボード上で行う図形型. Design and Implementation of a Parametric, Shape-Based Command Input Method for Keyboards. コマンド入力を提案した．図形型コマンド入力は，その直観性からマウスジェスチャや加速度センサを用いたジェスチャ入力などに幅広く用いられている．提案コマンドは，キーボー. Takuya Katayama,†1 Tsutomu Terada†1,†2 and Masahiko Tsukamoto†1. ドの上を一筆書きの要領で指を滑らせて入力する．以下，本稿では，この提案コマンドとそれ以外の入力をそれぞれ「ストローク」，「タイピング」と定義する．ストロークは，指の軌跡で表される図形を入力として扱うので，機能から連想される図形を直観的に関連付けて使用できる．また，提案方式は入力場所に依存しないため，使用に際してキー配列を記. The keyboard, which is mainly used for text input, has command input function to reduce the operation time and the movement beteween devices. However, it is troublesome to memorize relations between keys and functions for beginners who do not use a computer ordinarily. We had presented a command input method which a user inputs by key-stroking. Though it is a shape-based command which is accessible to beginners, it does not have a mechanism of parameter passing. In this paper, we present a parametric, shape-based command input method and verify the eﬀectivity of the proposed method.. 憶する必要がない．さらに，提案システムは，キー入力から抽出した特徴量を用いて，タイピングとストロークを自動的に識別するため，モード切替の煩わしさがなく，2 種類の入力をシームレスに行える．ストロークは，コンピュータの使用時間が一日一時間に満たないような者（以下，「初心者」と定義する）が，現在所持している機器を用いてコストをかけずに直観的な入力をキーボードに導入できたり，コンピュータを日常的に使用する者（以下，「上級者」と定義する）が，文章入力などキーボードを主に使用するタスクの最中にデバイスを変えずに多彩な入力を行える手法である．しかし，これまでのストロークにはコマンド. †1 神戸大学大学院工学研究科 Graduate School of Engineering, Kobe University †2 科学技術振興機構さきがけ PRESTO, Japan Science and Technology Agency. の引数の入力機構がなかったため，文字のサイズやスタイルの変更の機能を実行したい時には，変更したい文字サイズやスタイルごとにストロークを登録する必要があった．そこで，本稿ではストロークに対して引数を与える機構を提案する．また，これまでの入力図形の. 1. c 2012 Information Processing Society of Japan ⃝.

(2) Vol.2012-HCI-147 No.10 2012/3/21. 情報処理学会研究報告 IPSJ SIG Technical Report. 認識機構の問題点を改良する手法も提案する．これまでの入力図形はキーの大きさの粗さ. フォントサイズの変更を行うシステムである．この技術のように，普段の動作を直観的にコ. を伴うため，特に縦方向の移動に対しての認識が甘く，入力精度に影響を与えていたため，. ンピュータの操作に割り当てて利用できるシステムが提案されており，提案システムもその. 本稿では，特徴量抽出手法と図形認識手法の改良について述べる．そして，ユーザによる評. 一つと言える．. 2.2 キーストロークダイナミクス. 価実験を行い，提案手法の有効性を評価する．以下，2 章で関連研究，3 章で従来手法を紹介し，4 章では提案手法について説明し，5 章. キーボードの各キーのキーダウン，キーアップのタイミングの打鍵情報はキーストロー. でシステムの評価について述べる．6 章で考察について述べ，最後に 7 章で本論文のまとめ. クダイナミクスと呼ばれ，様々な研究に応用されている．主な応用例として認証がある5) ．. を行う．. キーストロークダイナミクスは個人ごとに異なり，固定文章の入力では，手書きのサインと同レベルの識別精度がある6) ．この認識方法は，後天的な情報を用いているためプライバ. 2. 関連研究. シーの問題に関わらない，他人に知られたとしても模倣が困難である，などの利点がある．また，ユーザの感情状態を認識する試みも行われている7) ．この手法では，キーストローク. 本章では，キーボードにおける入力機能拡張，キーストロークダイナミクス，図形型コマンド入力の利用についての関連研究を述べる．. ダイナミクスを用いて 7 種類の感情状態を 2 レベルで識別できる．. 2.1 キーボードにおける入力機能拡張. 2.3 図形型コマンド入力. キーボードにポインティング機能を付加する研究として，Pointing Keyboard1) がある．. 図形型コマンドは，ユーザが機能から連想される図形を入力する直観的なコマンド入力と. これは，キーボード上に二次元座標検出のための赤外線センサを重ねた構造になっており，. して，マウスジェスチャや加速度センサを用いたジェスチャ入力など広い範囲で用いられて. キーボードを「押す」動作と「なぞる」動作の違いを検出し，同一面上でキー入力とポイン. いる．マウスジェスチャは，マウスボタンとカーソル移動の組合せの入力で，例えば，右マ. ティングの両操作を可能にする．また，Touch-Display-Keyboard. 2). では，各キーの上面に. ウスボタンを押しながらカーソルを左右に動かすことで Web ブラウザ上で「1 ページ進む. ディスプレイとタッチセンサを取り付けることで，キーに対するボタンやウェブリンク，イ. ／戻る」の機能を実行する．このような図形型コマンドは，ユーザが使用するデバイスに. メージの自由なマッピングや，タッチセンサを使ったジェスチャ入力，キーボードのディス. 応じて使い分けることでスムーズに入力できる．例えば，マウスジェスチャはウェブページ. プレイに作業画面を表示することによるキーボード上のポインティングなどの新たなイン. 閲覧などマウス操作が中心の作業中のコマンド入力，加速度センサを用いたジェスチャはス. タラクションを提案している．しかし，上記のシステムはいずれも専用の盤面を設計してお. マートフォンなどの加速度センサが内蔵された機器を手に持っている時の入力に適している. り，既存のキーボードには適用できない．それに対して，提案システムは既存のキーボード. のに対して，提案システムは文章入力やメール作成などキーボード操作が中心の作業中のコ. から得られる打鍵情報を用いるため，新たな装置を必要としない．. マンド入力に適している．さらに，提案システムはマウスが使用できないなど，デバイスの. 3). ThumbSence. は，ノート PC 用のポインティングデバイスとして広く普及しているタッ. 使用に制限がある環境でも使用できる．. チパッドの左右のマウスボタンの操作時にキーボードのホームポジションから手が離れてし. キーボードに図形型コマンド入力を組み合わせた例に SHARK と呼ばれる入力を用いた. まい，入力に戻るまでに要する時間が増えるという問題を解決する技術である．具体的に. コマンド入力8) がある．SHARK はソフトウェアキーボード上の文字入力手法で，キーを. は，タッチパッドに指が触れている間は，キーボードにマウスボタンの機能やコマンド入力. タップするのではなく，目的のアルファベットキーをつなげるように一筆書きの要領でな. を割り当てる．この技術によって，キーボードのホームポジションに手を置いたままで様々. ぞって入力する．システムはその入力を図形として扱い，何の単語が入力されたのかを認識. な作業が可能になるが，キーとコマンドの割当の記憶は煩雑である．同様のことがショート. する．SHARK では「Ctrl」から初めて，機能名の全部，あるいは一部を入力するとコマン. カットキーにも言える．. ド入力として扱われる．この入力方式を用いることで，ソフトウェアキーボード上でのコマ. 4). は，ノート PC の落下の衝撃を感知してハードディスクを緊急停止. ンド入力速度は向上したが，これを用いるためにはキー配列を把握している必要がある．こ. させるために搭載される内蔵型加速度センサの値を用いて打鍵圧を取得し，打鍵圧に応じた. れに対して，提案システムは入力場所に依存しないので，キー配列を覚えることなく使用で. ExpressiveTyping. 2. c 2012 Information Processing Society of Japan ⃝.

(3) Vol.2012-HCI-147 No.10 2012/3/21. 情報処理学会研究報告 IPSJ SIG Technical Report. きる．また，提案システムは物理キーボードを用いた入力方式なので，より粗い解像度の図. ストローク. 形を扱う必要がある．. キー入力. ストローク識別アルゴリズム. コマンド識別アルゴリズム. 3. 従来手法. タイピング早期検出. 3.1 コマンドの概要. 200ms以上入力なし. 我々は，これまでに物理キーボード上を一筆書きの要領でなぞるように順で押すストロークと呼ばれるコマンド入力を提案した．ストロークの特徴を以下に挙げる．. 履歴を保持しない. • 直観性：コンピュータの用語を知らないユーザでも，機能から連想される図形を入力す. NO. 履歴を保持. 200ms以上入力なし. 特徴量計算. YES →タイピング. 図形に関連付けられた機能を出力. お気に入り登録範囲選択. 履歴を出力. タイピング. など. 図 1 動作フロー Fig. 1 The operation flow. ることでコマンドを実行できる．例えば，キーボード上を左右になぞってブラウザのページの履歴を遷移するといった利用法が考えられる．一つの機能から連想される形は多数存在するが，同一のユーザは特定の機能から同一の図形を連想すると考えられる．. るまでのタイムラグを低減する．そして，一定時間（初期値は 200ms に設定）入力がなけ. • コマンド自動識別：文字入力とストロークを識別する機構をもっているため，コマンド. れば，保持されている履歴がタイピングかストロークかを識別する．. をシームレスに入力できる．それによって，モード切替の煩雑さが解消され，スムーズ. 3.3 アルゴリズム設計. にコマンドを入力できる．. コマンド識別アルゴリズム. • キー非依存：入力されたキーの履歴を入力場所に依存しない特徴量に変換して，コマ. 6 名の被験者からタイピング，ストローク入力時の履歴を収集し，識別に用いるパラメー. ンドの識別を行う．これによって，キー配列を把握していないユーザでも利用できるた. タを決定した．ここで，被験者は 20 代の男女で，左利きを 2 名含み，いずれもコンピュー. め，利用者の敷居を下げられる．. タの上級者である．この被験者の選定は，ストロークの特徴にはコンピュータの習熟度では. • 書き順制約：ストロークの図形を識別する際に，入力された図形に書き順の特徴量を加. なく，ユーザの利き手や手の大きさ，指の太さといった身体的特徴が影響を与え，タイピン. えた識別アルゴリズムを採用している．これによって，同一の図形を入力しても書き順. グは入力速度が高いほど 1 つの履歴に多くのキーイベントが含まれ，高度な識別が要求さ. を間違えると別のストロークと識別される．しかし，水平方向の直線でも「右から左に. れる，という想定に基づいたものである．初心者のタイピング時の履歴は 1，2 キーのもの. 伸びる直線」と「左から右に伸びる直線」を区別でき，入力の方向を考慮したコマンド. が多いと予想されるが，ストロークの入力としては短すぎるため，識別が容易である．取得. を登録できる．. した履歴から，各キーの押下時間や，入力キーの座標に関する特徴量を抽出し，タイピング. 3.2 システム構成. の早期検出方法と特徴量計算方法を設計した．なお，キー座標は図 2 のようにマッピング. 提案システムの動作フローを図 1 に示す．前述した通り，通常の入力はタイピング，図形. されており，アルファベットキーの幅は 6 である．. を一筆書きで描くように打鍵する入力はストロークと定義されている．提案システムでは，. タイピング早期検出部は，キーダウンイベントが発生するたびに動作する．予備実験の結. シームレスな入力実現のために，キーイベントが発生したら実行せずに一時的にシステムで. 果から，ストロークはその入力特性から同一キーや離れたキーの連続打鍵が発生しないこと. 保持する．以下，保持したキーイベント列を履歴と呼ぶ．ユーザが，タイピングをしている. が分かった．そこで，直前の打鍵と同一キー，もしくは距離が 12 よりも離れたキーが続け. にも関わらず入力を反映せずに履歴を蓄積すると，キー入力が画面に反映されずにユーザに. て打鍵された場合は，それまでの履歴がタイピングであるとして履歴を出力して反映させる．. 違和感を生じさせるため，タイピングに関しては可能な限り早期に検出する必要がある．提. また，予備実験のストローク入力時は端のキーが用いられなかったため，ストロークの対象. 案システムは，キーダウンイベントが発生するたびにタイピングの早期検出機構を用いて，. を文字キーとファンクションキーに限定し，それ以外の Enter キーや Backspace キーなど. それまでの入力がタイピングなのかを検討する．これによって，キー入力が画面に反映され. が入力された場合もタイピングを検出する．一度タイピングが早期検出された後は，入力が. 3. c 2012 Information Processing Society of Japan ⃝.

(4) Vol.2012-HCI-147 No.10 2012/3/21. 情報処理学会研究報告 IPSJ SIG Technical Report. (0,0). ク入力の軌跡に対して保持している全ての軌跡との距離を求め，最も近いストローク入力に. (75,0) Esc. 半角全角. F1. F2. F3. F4. F5. F6. F7. F8. F9. F10. F11 F12. NumLK. Ins. 関連付けられた機能を実行する．. Del. Back 2 3 4 5 6 7 8 9 0 - ^ ¥ space Tab Q W E R T Y U I O P @ [ Enter Caps A S D F G H J K L ; : ] Shift Z X C V B N M , . / ¥ Shift. 1. (0,25). Fn Ctrl Win Alt. Space. 無変換. 変換かな Context Ctrl. ↑ ← ↓. 3.4 問題点ユーザによる評価実験からストロークの直観性が確認されたが，縦方向の移動の認識精度が低い，コマンドに引数の入力機構がない，という問題点が明らかになった．. →. 縦方向の移動の認識. 図 2 キー座標のマッピング Fig. 2 The coordinate mapping of each key. ストローク識別アルゴリズムでは，図 3 に示すようにキーダウンがあった順に線をつないで特徴量を計算しているため，縦方向の移動の際に押されたキーの順番の影響が大きい．. 3 W. 4 E. 5 R. 6 T. 7 Y. 具体的な例を挙げると，V キーから T キー方向へ移動するストロークでは図 2 に示すよう. 8 U. に F キーと G キーを通ると予想されるが，「V，F，G，T」の順に押された場合と「V，G，. I. F，T」の順に押された場合では逆方向の移動が検出される．逆方向の移動の検出は認識精 A. S Z. D X. F C. G V. H B. J N. K. 度を大幅に低下させる．. M. 引数の入力機構提案したストローク識別アルゴリズムでは，引数は入力できない．そのため，サイズ変更. 図 3 キー入力から文字列への変換 Fig. 3 The conversion from key inputs to string. など数値を指定する機能や，色の変更など複数の候補から選択する機能は，その引数ごとにストロークを登録する必要があり，実行する機能は同じため類似した図形のストロークを関. 途切れるまではタイピングが続くものとして，システムは履歴を保持せず直ちに出力する．. 連付ける可能性が高い．しかし，類似図形の登録は認識精度を下げる要因となり，ユーザの. 入力が途切れるまでタイピングの早期検出がされなかった履歴は特徴量を計算して識別す. 記憶を難しくする上，登録の煩わしさも増える．. る．予備実験の結果から，キーダウンからキーダウンまでの間隔 (ms) の平均 t1 が t1 < 100，. 4. 提案手法. 最初のキーダウンから最後のキーダウンまでの時間 (ms)t2 が t2 > 200，キー遷移の移動距離の平均 c が c < 8 の条件を満たす時をストロークとする．. 本章では前章で述べた従来手法の改良について述べる．. ストローク識別アルゴリズム. 4.1 システム構成. コマンド識別アルゴリズムでストロークと認識された履歴は，DP マッチングによる文字. 提案システムの動作フローを図 4 に示す．過去の評価実験では，タイピングのほとんど. 列比較9) をストロークの識別に特化させた手法を用いて，その図形が識別される．DP マッ. がコマンド識別アルゴリズムにおいて早期検出され，特徴量計算される履歴に含まれるキー. チングを用いた文字列比較では，文字列の不一致の原因として「挿入・削除」と「置き換. イベントは多くが 1，2 キーのものであった．そこで，システムは一定以上の履歴を保持し. え」の 2 種類を定義し，それぞれに適当なコスト Costdel−ins ，Costreplace を定めて文字. た後は，入力の途切れを待たずにストロークの図形を認識する．各ストロークにはそれぞれ. 列同士の乖離度をスコア化する．一般的なキーボードのアルファベットキーは周囲のキーと. 3 種類の動作が関連付けられている．まず，キー入力ごとに入力ストロークの候補の絞り込. 6 方向で接しているため，入力キーの遷移を 6 種類の文字列に置き換える．置き換えの例を. みを行い，候補が一つに絞り込まれると「開始処理」が実行される．開始処理では，引数の. 図 3 に示す．本アルゴリズムでは，Costdel−ins を 1 に設定し，Costreplace を軌跡のずれ. 読み込みなどの初期化が行われる．次に，入力ストロークが決定された後のキー入力ごとに. の角度の大きさに 2，4，6 の 3 段階に設定した．システムにはあらかじめ全てのストロー. 「引数入力」が実行される．最後に，入力が途切れた際に「終了処理」が実行される．従来. ク入力の軌跡を文字列に変換したものと出力する機能の組を保持しておき，未知のストロー. のシステムで実行していた機能は，この 3 種類のうちの終了処理にあたり，引数を伴わない. 4. c 2012 Information Processing Society of Japan ⃝.

(5) Vol.2012-HCI-147 No.10 2012/3/21. 情報処理学会研究報告 IPSJ SIG Technical Report キー入力 YES 《引数入力》実行. 入力ストローク決定済. 200ms以上入力なし. 単独押下時間：80ms. 入力ストローク決定済. NO. 履歴を出力. YES. 単独押下時間：10ms. 《終了処理》実行. ≧15. 入力距離計算. 入力距離計算. ≧15. ストローク識別アルゴリズム. ＜15 履歴を保持. NO. 入力ストローク決定済. 登録ストローク. 単独押下時間：100ms. ストローク識別アルゴリズム. 基準点間距離. 従来の座標列. ＜15. NO. 入力ストローク. 単独押下時間：10ms. NO. タイピング早期検出. 200ms入力が途切れるまで履歴を保持しない. YES. 重み付けされた座標列. 履歴を出力. 図 5 座標列の重み付け Fig. 5 The weighted coordinates. 200ms入力が途切れるまで履歴を保持しない. 図 6 入力/登録ストローク間の距離計算 Fig. 6 The distance calculation between input/registed strokes. YES 《開始処理》実行. 図 4 改良動作フロー Fig. 4 The improved operation flow. L(S ′ ) =. n−2 √ ∑. ′ (x′k+1 − x′k )2 + (yk+1 − yk′ )2. k=1 ′ ′ ′ ), c′i,2 (x′i,2 , yi,2 ), · · · , c′i,n−1 (x′i,n−1 , yi,n−1 )} 登録ストロークの座標列が Si′ = {c′i,1 (x′i,1 , yi,1. 機能が関連付けられたストロークは終了処理のみを実行する．. 4.2 ストローク識別アルゴリズム. の時，入力ストロークとの距離は以下のように計算する．. L(S ′ ) < L(Si′ ) の場合，Si′ から L(S ′ ) だけ切り出したものと比較する．まず，それぞれ. 座標列の重み付け. の座標列を c′1 と c′i,1 が (0, 0) となるように平行移動する．履歴に含まれる打鍵数が n の時，. 従来のストローク識別アルゴリズムでは，キーダウンがあったキー座標を順につないだ座. L(S ′ ) n−2. ′′ ′′ ′′ ′′ ′′ 毎に座標を切り出し，S ′′ = {c′′ 1 (x1 , y1 ), c2 (x2 , y2 ), · · · ,. 標列をストロークの特徴としていた．そのため，ほぼ同時に 2 キーが押されるようなスト. 平行移動後の座標列から. ロークでは，その入力順が逆になると逆方向への移動が検出される．. ′′ ′′ ′′ c′′2(n−2) (x′′2(n−2) , y2(n−2) )} と，Si′′ = {c′′i,1 (x′′i,1 , yi,1 ), c′′i,2 (x′′i,2 , yi,2 ), · · · , ′′ c′′i,2(n−2) (x′′i,2(n−2) , yi,2(n−2) )} を求める．入力ストロークと登録ストロークの座標列間の距. 改良したストローク識別アルゴリズムでは，従来の座標列 S = {c1 (x1 , y1 ), c2 (x2 , y2 ), · · · ,. 離 D(S ′ , SI′ ) は以下の式で計算される．. cn (xn , yn )} に対して各キーが単独で押下されていた時間に基づいた重み付けを行い，新た. ∑2(n−2) √. ′ な座標列 S ′ = {c′1 (x′1 , y1′ ), c′2 (x′2 , y2′ ), · · · , c′n−1 (x′n−1 , yn−1 )} を求める．ci と ci+1 のキー. の単独押下時間 (ms) がそれぞれ ti ，ti+1 の時，重み付け後の座標. x′i =. c′i. D(S. は. ′. yi × (ti + 1) + yi+1 × (ti+1 + 1) xi × (ti + 1) + xi+1 × (ti+1 + 1) ′ , yi = ti + ti+1 + 2 ti + ti+1 + 2. L(S ) >. ′. , Si′ ). =. L(Si′ ). ′′ 2 (x′′k − x′′i,k )2 + (yk′′ − yi,k ). k=1. 2(n − 2) の場合は，S から L(Si′ ) だけ切り出したものを比較した距離と，S ′ と Si′ ′. をそのまま比較した距離の小さい方を D(S ′ , Si′ ) とする．全てのストロークの座標列 Si′ (i = 1, 2, · · · , m) との距離を計算した後，候補の枝切りを. で計算される．ここで，定数を加えることで単独の押下時間が ti = ti+1 = 0 の時に対処す ′. る．以上の計算により n 個の座標列 S から n − 1 個の重み付けされた座標列 S を取り出. 行い，候補の登録ストロークが 1 つに絞りこまれた時にそのストロークに関連付けられた. す．n = 4 の時の重み付けの例を図 5 に示す．. 開始処理を実行する．また，候補の絞り込みが終わる前に入力が途切れた際は，S ′ と Si′ を. ストローク間の距離計算 ′. そのまま比較した距離が最も小さいものを入力ストロークとし，そのストロークの終了処理 ′. 入力された座標列 S に対して，タイピングの早期検出がされないままその距離 L(S ) が. を実行する．それによって，引数を伴わないストローク入力にも対応する．. 15 を超えると，それまでの履歴をストロークであるとみなし，以後のキー入力毎に逐次的. 4.3 引数入力. に登録ストロークとの距離計算を行う．ここで，L(S ′ ) は以下の式で計算される．. 入力ストロークが決定してからのキー入力によって引数入力が実行される．引数として. 5. c 2012 Information Processing Society of Japan ⃝.

(6) Vol.2012-HCI-147 No.10 2012/3/21. 情報処理学会研究報告 IPSJ SIG Technical Report. (1). (3). (2). (5). (4). (6). 図 8 実験に用いたストローク Fig. 8 The strokes for experiment 図 7 選択型の引数入力 Fig. 7 The parameter selecting. 100 識 80 別精 60 度 40 % 20. は，数値型と選択型を想定している．. 数値型引数. ]. 数値型の引数をもつ機能としては，文字サイズ変更やカーソル移動などが挙げられる．引. [. 数値型の引数入力. 引数なし選択型引数. 0. 数はストロークの図形入力後に指をそのまま動かした長さに応じて決定される．数値型の引. (1). 数をもつ機能が関連付けられたストロークが入力された時，開始処理で機能を選択し，その. (2). (3) (4) 入力ストローク. (5). (6). 図 9 ストロークの識別精度 Fig. 9 The recognition accuracy. 後もストロークが続く間はキーダウン毎に引数を増加させる．また，スペースキーを押下している間はキーダウン毎に引数を減少させる．終了処理で引数の入力を決定する．選択型の引数入力. 5.1 実験手順. 選択型の引数をもつ機能としては，フォントの種類や色，文字修飾，文字揃えの切り替え. 被験者はまず図 8 に示す 6 種類のストロークを登録する．その後，各ストローク毎に，引. などが挙げられる．引数はストロークの図形の入力後に指を離した位置に応じて決定され. 数をもたない入力，数値型の引数をもつ入力，選択型の引数をもつ入力をそれぞれ 6 回ず. る．まず，選択型の引数をもつ機能が関連付けられたストロークが入力された時，開始処理. つ入力してもらった．つまり，各被験者毎に 108 回の入力を収集し，全被験者では 432 回. で図 7 に示すような引数選択画面を提示する．引数選択画面では，文字キーに対して引数. の入力を収集した．数値型の引数をもつ入力は，目標の引数を 6，12，18 と変更させて，1. が割当てられており，最後にキーダウンがあったキーが濃く表示され，そのキーに割当てら. キーダウン毎に引数を更新する場合と 2 キーダウン毎に引数を更新する場合について入力. れている引数が選択された状態になっている．終了処理で，選択中の引数，つまり最後に. させた．選択型の引数をもつ入力は，引数が 6 種類，12 種類，18 種類と変更させて，その. キーダウンがあったキーに割当てられている引数が決定される．. 中からランダムに目標の引数を指示して入力させた．次に，被験者が自由文章をタイピング. 5. 評. した際のデータを収集する．集まったデータは一人あたり平均約 400 キーで，このデータ. 価. を元に認識精度を評価する．. 5.2 識別精度. 提案システムの評価として，図形の識別精度と入力速度を調査した．被験者は 4 名でいずれも上級者とする．初心者の場合，タイピングの識別精度を調査する際，入力距離が 15 に. ストロークの識別精度を図 9 に示す．全ストロークの平均の精度は 96.9%と高い値となっ. 到達する前に入力が途切れてしまうためである．提案コマンドの記憶の容易さなどの直観性. た．入力精度を下げた要因として，入力ストローク候補の枝切りのミスと，同一キーの連続. に関する調査は以前行い，有効性を示したので今回は行わない．. 打鍵によるタイピングの誤検出がある．枝切りのミスは，(2) の入力に特に多く発生した．. 6. c 2012 Information Processing Society of Japan ⃝.

(7) Vol.2012-HCI-147 No.10 2012/3/21. 情報処理学会研究報告 IPSJ SIG Technical Report 表 1 入力時間 Table 1 The input time 引数なし平均/標準偏差 (ms). 6. 考. 数値型引数引数増加率. 1/1key 1146.9/449.4 1/2keys. 察. 選択型引数. 目標引数. 平均/標準偏差 (ms). 6 12 18 6 12 18. 5659.2/2194.5 5154.8/1503.6 6038.5/3960.0 4546.3/1623.7 5304.8/1091.3 5983.8/1458.7. 項目数. 平均/標準偏差 (ms). 6. 3436.9/1283.8. 12. 3520.8/1315.2. 18. 3461.5/1479.1. 前章で述べた実験結果から提案手法の改良案について考察する．. 6.1 認識率の向上タイピング今回の実験では日本語の自由文章を入力した際のデータを収集したが，英語の文章を入力した場合は “were” など隣接キーが連続する単語も存在するため，誤認識しやすい単語を辞書登録するなどの仕組みが必要だと考えられる．ストローク. 1 辺目の斜線を入力する際に，登録時よりも垂直に近いストロークを入力すると (3) や (5). 枝切りアルゴリズムのパラメータ調整が必要である．今回実験に用いたアルゴリズムで. を誤認識していた．同一キーの連続打鍵は，特に (2) や (3) の角の入力時に多く発生した．. は，入力ストロークではないと判定する距離の閾値が低かったために，枝切りが誤って発生. 引数入力の誤入力は発生しなかった．. した．また，ストローク中の同一キーの連続打鍵によるタイピングの誤検出を低減するため. また，今回の実験中にはタイピング時のストロークの誤検出は発生しなかった．入力キー. に，ストロークの座標列が鋭角に変化した際には同一キーの連続打鍵を許可する機構が必要. のうち一人あたり 300 キー以上がストロークの対象となる文字キーの入力だったが，多く. である．. が 2，3 打鍵以内に早期検出されたため，タイムラグによるユーザビリティの低下を防いだ．. 6.2 引数入力速度の向上. 被験者からも，タイピングの際に違和感を感じたという意見はなかった．. 数値型引数. 5.3 入力時間. 目標引数が小さい時に目標引数を通り越してしまう事例が多く発生し，入力速度の低下に. ストロークの入力時間を表 1 に示す．ここで，入力時間とは最初のキーダウンから終了. 繋がるため，引数増加率を小さく設定する必要がある．一方で，目標引数が大きい時は入力. 処理が実行されるまでに要した時間を表す．表 1 より，数値型の引数入力には約 4 秒，選択. の煩わしさを低減するため，引数増加率を大きく設定することが好ましい．そこで，入力ス. 型の引数入力には約 2 秒を要していることが分かる．. トロークの決定直後は引数増加率を低く設定し，入力継続時間に応じて引数増加率を指数的. 数値型の引数入力では，目標引数を通り越してスペースキーを押しながら引数を減少させ. に大きくすることで両方の問題を解決できると考えられる．選択型引数. た時の入力時間が大きくなり，平均の入力時間を伸ばした．目標引数を通り越してしまう入力は，(5) のような短いストロークで多く発生し，さらに引数増加率が 1/1key の時に多. 今回の実験時のストローク入力のほとんどがキーボードの中央で行われていたため，よく. くみられた．一方で，引数増加率が 1/2key の時には目標引数を通り越す入力は少なかった. 選択される項目を中央に提示することで，入力時間を短縮できると考えられる．また，項目. が，目標引数が大きくなると入力が煩わしいという意見が被験者から得られた．また，引数. 数が多い際には，例えば色選択ではグラデーションで表示するなど，項目の位置関係に意味. 入力の方法としては，同じ図形を繰り返し入力するものと X 軸方向の数キーを往復して入. をもたせることで，目的引数の位置をあらかじめ予想でき，引数を探す時間を短縮できる．. 力するものが観察された．. 7. おわりに. 選択型の引数入力では項目数が増えても入力時間に差は見られなかった．今回の実験では候補が n 種類の時，左から順に 1 ∼ n の数字を提示して，その中から目標引数を入力させ. 本研究では，キーボードの上を一筆書きの要領で指を滑らせるストロークと呼ばれる図形. たため，候補数が増えても目標引数の出現場所が予想できたためであると考えられる．. 型コマンド入力に対して，引数を入力する機構を提案した．ストロークは，キーストロークダイナミクスを用いて識別されるため，特別な装置を用いることなく，文字入力中にシー. 7. c 2012 Information Processing Society of Japan ⃝.

(8) Vol.2012-HCI-147 No.10 2012/3/21. 情報処理学会研究報告 IPSJ SIG Technical Report. ムレスにコマンド入力が行える．評価から，ストロークは 96.9%と高い精度に識別できることが分かり，さらに識別精度を上げられる可能性があることが確認できた．また，引数の種類として，数値型引数と選択型引数の入力方法を提案し，引数入力の精度は 100%となった．今後は，識別精度の向上と入力時間の短縮を行い，継続的に使用した際の使用感などを調査していく予定である．そのために，提案システムのプロトタイプを公開して幅広いユーザからフィードバックを収集する予定である．謝辞本研究の一部は，科学技術振興機構戦略的創造研究推進事業（さきがけ）のおよび文部科学省科学研究費補助金基盤研究 (A)(20240009) によるものである．ここに記して謝意を表す．. 参. 考. 文. 献. 1) 塚田有人, 星野剛史: Pointing Keyboard: キー入力／ポインティングが可能な入力デバイス, 第 10 回インタラクティブシステムとソフトウェアに関するワークショップ (WISS 2002), pp. 61–66 (2002). 2) F. Block, H. Gellersen, and N. Villar: Touch-Display Keyboards: Transforming Keyboards into Interactive Surfaces, Proceedings of the 28th international conference on Human factors in computing systems, pp. 1145–1154 (2010). 3) J. Rekimoto: ThumbSense: Automatic Mode Sensing for Touchpad-based Interactions, CHI 2003 extended abstracts on Human factors in computing systems, pp. 852–853 (2003). 4) K. Iwasaki, T. Miyaki, and J. Rekimoto: Expressive Typing: A New Way to Sense Typing Pressure and Its Applications, Proceedings of the 27th international conference extended abstracts on Human factors in computing systems, pp. 4369–4374 (2009). 5) D. Gunetti and C. Picardi: Keystroke Analysis of Free Text, ACM Transactions on Information and System Security, Vol. 8, Issue 3, pp. 312–347 (2005). 6) R. Joyce, G. Gupta: Identity Authentication Based on Keystroke Latencies, Communications of the ACM, Vol. 33, Issue 2, pp. 168–176 (1990). 7) C. Epp, M. Lippold, and R. L. Mandryk: Identifying Emotional States using Keystroke Dynamics, Proceedings of the 2011 annual conference on Human factors in computing systems, pp. 715–724 (2011). 8) P. O. Kristensson and S. Zhai: Command Strokes with and without Preview: Using Pen Gestures on Keyboard for Command, Proceedings of the SIGCHI conference on Human factors in computing systems, pp. 1137–1146 (2007). 9) P. A. V. Hall and G. R. Dowling: Approximate String Matching, ANC Computing Surveys, Vol. 12, pp. 381–402 (1980).. 8. c 2012 Information Processing Society of Japan ⃝.

(9)