ウェアラブル計算環境における環境の変化を考慮した入力インタフェースの構築

全文

(1)社団法人情報処理学会研究報告 IPSJ SIG Technical Report. 2004−MBL−28 (6). 2004／3／4. ウェアラブル計算環境における環境の変化を考慮した入力インタフェースの構築庄司武†. 中村聡史‡. 塚本昌彦†. 西尾章治郎†. † 大阪大学大学院情報科学研究科 ‡ 大阪大学大学院工学研究科近年，計算機の小型化や高性能化によりウェアラブル計算環境に対する注目が高まっている．ウェアラブル計算環境では，ユーザは計算機を常時装着して利用するため，装着型のデバイスを用いたジェスチャ入力インタフェースが有効となる．本研究では，ウェアラブル計算環境における環境変化を考慮した，ジェスチャによる入力インタフェースを実現する．特に，環境の変化に伴う腕の可動に関する制約を考慮し，さまざまな環境での制約条件と，制約条件下での操作方法について考察を行う．また，プロトタイプシステムを実装し，マウス操作や文字入力操作など適用した．さらに，環境別のジェスチャ認識精度を調べる実験を行った．. Construction of an Input Interface for Changing Environment in Wearable Computing Takeshi SHOJI† Satoshi NAKAMURA‡ Masahiko TSUKAMOTO† Shojiro NISHIO† †Graduate School of Information Science and Technology, Osaka University ‡Graduate School of Engineering, Osaka University In a wearable computing environment, gesture input using a device worn by a user is eﬀective for him/her to make use of his /her computer always in his/her daily life. In this paper, we propose a gesture input interface for changing environment in wearable computing. Since user actions are restricted in various ways according to a given environment, we consider the operation methods under some restriction of action. We construct a prototype system and apply it to the mouse operation, the text input and the window operation. In addition, we also show how the constructed gesture input interface is useful in various environments in our experiments.. 1. はじめに. におけるユーザの環境の変化については考慮されていない．ウェアラブル計算環境では，どのような環境においてもユーザの望む操作が行えることが重要であると考えられる．. 近年，計算機の小型化や高性能化に伴い，ウェアラブル計算環境に対する注目が高まっている．ウェアラブル計算環境では，ユーザは計算機を常時装着し，利用することが想定されている．計算機を常時装着することで，これまでは計算機を使用する場所として想定されていなかった，さまざまな場所や状況でも計算機を使用できるようになり，その使用環境も次々に変化する．ウェアラブル計算環境では，入力したいときにすぐ利用できることが望ましいため，入力デバイスを「持って」使用するのではなく，「装着したまま」使用することが有効であると考えられる．装着型のデバイスを利用した入力としてはジェスチャ入力が一般的であり，これまでにグローブ型 [1, 4] や手指型 [7, 9, 10]，アクセサリ型 [6]，腕時計型 [3, 5] などさまざまなデバイスで腕や手の動作の検出を行うものが実現されている．なかでも腕時計型のデバイスは，腕時計を常時身につけて生活している人が大勢いることからも明らかなように，常装着が容易で，装着による日常生活への影響も少ない．しかし，これまでの研究ではデバイスの装着性については注目しているものの，ジェスチャの入力. そこで本研究では，ユーザの環境の変化を考慮した入力インタフェースを構築することを目的として，腕時計型のデバイスを用いたジェスチャ入力インタフェースを実現する．また，環境の変化によるユーザの動作制約を考慮し，限定された動作と実際の計算機操作への割当てについて議論する．さらに，いくつかの環境におけるジェスチャの認識精度に関する評価実験を行い，システムの有用性についても考察を行う．以下では，2 章で関連研究について述べ，3 章でユーザの環境変化に伴う動作の制約について説明する．4 章では本研究で提案する入力システムの設計について述べ，5 章ではプロトタイプシステムの構築について説明する．6 章で実施した評価実験とその結果を整理し，7 章で考察を行う．最後に 8 章で本研究のまとめと今後の課題について説明する．. 1. −39−.

(2) 2. 関連研究. 問題がある． GesturePendant[6] は，ペンダント型のデバイスに赤外線 LED とカメラを組み込み，手の動きをカメラで撮影し，画像処理を行うことでジェスチャを認識する．ユーザは GesturePendant を利用することにより，手の動きで家電の操作を簡単に行うことができる．しかし，カメラで撮影できる範囲でジェスチャを行わないと入力できないため，荷物を持っている時や電車の中でつり革を持っている時など，手が自由にならない状況では，入力が行えないという問題がある．これは，カメラで撮影した画像を用いてジェスチャ認識を行うシステム全般に共通の問題点である．これまでの研究は，デバイスの装着性について考慮したものが多く，特に腕時計型のデバイスはその装着性が高いといえるが，ユーザがジェスチャの入力を行う際の環境の変化についてまで考慮しているものは少ない．環境によっては腕や手の動作が制限されてしまい，ユーザが望む操作を行えなくなると考えられる．本研究では，デバイスの装着性だけでなくユーザの環境変化も考慮に入れ，動作の制限に応じたジェスチャと操作の割り当てを行う．. 装着型デバイスを利用したジェスチャ入力インタフェースについて，さまざまな研究がなされている．手の形状を詳細に取得可能な装着型デバイスとして，グローブ型デバイスがある．Perng らの提案した Acceleration Sensing Glove[4] では，グローブの指先と手の裏側の部分それぞれに 2 軸の加速度センサを装着し，各センサの加速度の変化からユーザのジェスチャ入力を取得する．Mikael らは，指の位置変化による電界の変化を測定するセンサをグローブに取り付け，指の関節一つ一つを携帯電話のボタンに見立て，親指で指の関節を押して入力するグローブ型のデバイスの提案している [1, 2]．グローブ型のデバイスは，手の形状を詳細に取得可能であるため，VR(Virtual Reality) の分野における入力や，手話の入力などに利用されている．しかし，装着時に手全体を覆ってしまうため，常時装着して利用するには日常生活に及ぼす影響が大きくなるという欠点がある．常装着での利用に適したデバイスとして，手や指の一部にデバイスを装着する手指型のデバイスがある．FingeRing[9, 10] は，各指の付け根に装着した加速度センサによって，指の打鍵操作を捉えることで入力を行う．FingeRing のユーザは，複数の指による打鍵操作を組合せることで，文字やコマンドの入力を比較的高速に行うことができる．指の打鍵面も，机や壁だけでなくユーザ自身の身体を用いることができる．Ubi-Finger[7] は，人差し指に加速度センサやタッチセンサなどを組み合わせたデバイスを装着して，手指のジェスチャで家電操作を行うことを目的とした入力デバイスである．これらのデバイスはさまざまな環境での入力が可能であるが， FingeRing では 5 本の指全てに指輪型のデバイスを装着する必要があり，Ubi-Finger では装着した指全体が覆われてしまうため，常時装着することによる煩わしさは無視できない．装着時に手や指を覆うことがなく，また装着による煩わしさもほとんどないデバイスとして，腕時計型デバイスがある．TiltType[3] は，デバイスの傾きとボタン入力を合わせて文字入力を行うもので，普段は手首に装着して持ち歩き，使用時に取り外して使用するタイプのデバイスである．GestureWrist[5] は，加速度センサとバンドの内側に，静電容量を測定するための電極を組み込んだ腕時計型のデバイスで，腕の向きと手の形状を検出できる．ただし，これらの研究ではユーザの環境変化を考慮に入れていないため，環境によってはデバイスを使用できない．例えば，TiltType ではデバイスの傾きによる入力を想定しているため，電車の中など，周りの環境から加速度が加わる場合は正確な入力が行えないという問題がある．また，GestureWrist で使用している静電容量は，電極と接触する腕の部分で測定しており，腕を動かしたり物を掴むなどの動作をすることによって腕時計の装着位置がずれると，同じ手の形状でも測定できる値が変化してしまうという. 3. 環境の変化と動作の制約. ウェアラブル計算環境では，計算機を常時装着して日常生活の中で利用していくことから，ユーザの環境はさまざまに変化する．例えば，朝起床して会社へ出勤し，夜就寝するまでを考えてみる．朝食をとった後に，歩いて駅まで行き，会社の最寄駅まで電車で移動する．会社につくとデスクワークやミーティングのプレゼンテーションなどの仕事をこなす．仕事の休みに昼食をとって，また仕事に戻り，夜になると電車に乗って自宅へ帰る．このように，ユーザのおかれている状況はユーザの移動や時間の経過により随時変化する．環境が変化すると，ユーザの手や腕の可動に関する制約も変化するため，さまざまな環境におけるユーザの制約について考える必要がある．. 3.1. 環境の変化. 静止中：静止している場合，どちらの手も自由に動かすことができるうえ，他からの影響を受けにくいため，細かな動作の認識が可能であると考えられる．従来のジェスチャを用いた入力システムでは，ほとんどの場合はユーザは静止していることを前提としている．実際の状態としては，順番待ちしている場合や座ってテレビを見ている場合などが挙げられる．歩行中：手には何も持たずに歩いている場合，どちらの手も自由に動かすことができるため，さまざまなジェスチャが入力可能である．しかし，歩くことによる振動がユーザに加わるため，細かな動作の認識が困難になると予想される．荷物を持っている状態：図 1(a) のように片手に荷物を持っている場合，荷物を持っている手は下. 2. −40−.

(3) a) 片手. b) 両手1. c) 両手2. 図 1: 荷物を持っている状態. 図 2: 電車でつり革を持って立っている状態表 1: 環境ごとの動作制約. 方向に固定され，自由に動かすことはできなくなる．ただし，もう一方の手は自由に動かせるので，荷物を持つ手と組み合わせたジェスチャが入力可能だと考えられる．. 静止歩行荷物片手両手 1 両手 2 電車つり革着席自転車プレゼン中食事中. 図 1(b) のように左右それぞれの手に荷物を持っている場合，可能な動作は図 1(a) の場合と同様であるが，両手を組み合わせてジェスチャを入力することは困難となる．図 1(c) のように両手で荷物を抱えて持っている場合は，各々の手で独立してジェスチャを行うことは困難であり，動作は抱えている荷物を左右に動かす程度に限定されると考えられる．電車の中：図 2 のように電車の中でつり革を持って立っている場合，つり革を持つ手は上向きで固定される．もう一方の手は自由に動かすことができるが，電車の振動がユーザへと加わるため，歩行中と同様，細かな動作の認識が困難になると予想される．着席している場合は，静止時と同じく両手を自由に動かすことができる．ただし，立っている場合も着席している場合も，周囲が混雑している場合は腕を大きく動かすような動作は迷惑行為となる．. 動作小左右 ○ ○ ○ ○ ○ ○ ○ ○ × × ○ ○ ○ ○ △ △ ○ △ ○ ○. 動作大左右 ○ ○ ○ ○ ○ × × × △ △ △ × △ △ × × ○ ○ × ×. 両手 ○ ○ △ × × △ ○ × △ ×. で行う動作は，両手を繋いで振るといったように，両手を組合せて一つの動作を行うもので，片手を独立させて行うジェスチャの組合せは除く．片手で何かを持つ場合は全て右手で持つものとし，一方向のみなど，動作に制限がある場合は△で示した．本研究では，ほとんどの環境で入力が可能と予想される，動きの小さな動作を中心に入力システムを構築する．. 自転車に乗っている時：自転車に乗ってる時は，両手はハンドルに固定されており，さらに歩行中や電車に乗っている時以上に振動が加わるため，ほとんどジェスチャの入力は行えない．. 4 4.1. システムの提案と設計システムの概要. 装着デバイスには，常装着での利用を考慮し腕時計型のデバイスを用いる．ジェスチャの認識は，デバイスに装着した加速度センサで行う．この加速度センサを搭載した腕時計型デバイスを両手に装着することで，両手を組み合わせたジェスチャの入力を可能とする．さらに，腕を自由に動かせるように，デバイスとウェアラブル計算機の間は無線で通信を行う．図 3 に提案するシステムの概要を示す．. プレゼンテーション中：差し棒を持って研究発表などをしている場合は，他の環境に比べ，手を大きく動かすこと自然であり，容易になると考えられる．しかし，場にそぐわない不自然なアクションは好ましくない．食事中：食事中は椅子に座って静止しており，環境からの影響はほとんど受けない．しかし，食事中はマナーの点から，腕を大きく動かすような動作は好ましくない．. 3.2. 繊細左右 ○ ○ × × ○ × × × × × × × × × × × ○ △ ○ ○. 4.2. ジェスチャ. 加速度センサを搭載した腕時計型デバイスで認識できるジェスチャとしては，腕の角度，腕のひねり，腕の移動，両手を組合せた動作が挙げられる．. 動作制約. 表 1 に各環境における動作制約を予想した．動作は繊細な動作，動きの小さな動作，動きの大きい動作，両手で行う動作の四種類に分けて考えた．繊細な動作は，歩行中や電車の中など環境から振動が加わると入力が困難になる動作のことを指す．両手. 腕の角度腕に加わる加速度が重力加速度のみと考えた場合，加速度の値から腕の角度が計算できる．この角度の値を随時反映することで，腕の角度変化に応じた値の入力が可能となる．この. 3. −41−.

(4) 加速度データのサンプリング. 腕時計型デバイス無線通信機能. 加速度センサ. 加速度データの平滑化（ローパス）. ジェスチャ. 腕の向き検出垂直. 加速度データ. 特徴量. ウェアラブル計算機. 応じて，垂直ならば特徴量を，平行ならば DP マッチングを用いてジェスチャの認識を行う．腕の向きは認識方法の変更だけでなく，それ自体を入力としても使用する．. 図 3: システムの概要表 2: 実装環境 Sony Vaio PCG-SRX7S/PB Microsoft Windows XP Microsoft Visual Basic 6.0 Microsoft Visual C++ 6.0. 5.1.1 腕の向き検出腕の向きの検出には，加速度データの平均と分散を利用する．分散が非常に小さい状態が一定時間経過すると，腕がある向きで静止しているとみなし，それぞれの軸の平均値から，地面に対して垂直か平行かを調べる．垂直は上向きと下向きの 2 種類を，平行は上向きと外向き，内向きの 3 種類を検出できる．なお，平行時の内と外の区別は，身体に対する手の甲の向きである．. ジェスチャは，環境からユーザに加速度が加えられると入力が困難になる．腕のひねり手首を中心として腕をひねるジェスチャは，腕を動かす範囲が小さいため，動きが小さい動作である．腕のひねりは，自分の身体に向けてひねる内向き，身体と反対に向けてひねる外向きの 2 種類が可能である．. 5.1.2 特徴量を用いた認識特徴量を用いた認識では，平均値や分散，最大値と最小値の現れる順番などを用いて，どのジェスチャが入力されたか認識する．ジェスチャとしては腕のひねり（内向きと外向き）とノックの 3 種類を認識できる．ジェスチャの開始は，静止している状態から分散が閾値を超えた時点とする．開始から一定回数加速度データを受信すると，ジェスチャが終了したとみなして特徴量を調べる．ここで，Y 軸の分散があらかじめ指定しておいた閾値を超えている時はノック動作とみなす．これは，腕を地面に対して垂直にしたままひねった場合は，Y 軸の値はほとんど変わらないが，ノックの場合は Y 軸に大きな変動が現れることを利用している．Y 軸の分散が閾値を超えない場合はひねり動作とみなす．腕のひねりの内向きと外向きの区別は，最大値と最小値の現れる順番で区別する．最大値が先に現れるときは内向きで，その逆が外向きとなる．図 5 に，垂直上向きの時の加速度と分散の例を示す．. 腕の移動腕を移動させる動作は，肘を支点として動かす動作で，動きの大きな動作である．移動の方向は，自分の身体に近づける内向き，身体から離す外向きの 2 種類が可能である．両手を組合せた動作両手を組合せて一つの動作を行うものとしては，一方の腕をもう一方の手で叩く動作（ノック）や，両手を繋いで上下に振る動作などが考えられる．ノック動作は，片手を自由に動かすことができない場合でも，もう一方の手で行うことができる．. 5. システムの実装. プロトタイプシステムを実装するにあたり，腕時計型デバイスに WatchPadTM を使用した．WatchPad には，2 軸の加速度センサや無線通信機能の Bluetooth などが搭載されている．WatchPad で取得した加速度の値は，Bluetooth の仮想シリアル接続でウェアラブル計算機へと送信される．ウェアラブル計算機は，受信した値をもとにジェスチャの認識を行う．表 2 に実装環境を示す．. 5.1. DPマッチング. 図 4: ジェスチャ認識の流れ. ジェスチャ認識. 使用計算機使用 OS 開発言語. 平行. 5.1.3 DP マッチングを用いた認識 DP マッチングでは，入力された加速度データとあらかじめ用意しておいた基準データ同士の類似度を各々のデータ列を比較することにより求める．図 6 に基準データの一例を示す．また，ジェスチャを行ったときの腕の傾きの影響をできるだけ少なくするため，データの平均値が 0 になるよう正規化してから，DP マッチングを行う．ジェスチャとしては，腕のひねり（内向きと外向き）とノック，腕の移動（外向きと内向き）の 5 種類を認識できる．. ジェスチャ認識. ジェスチャ認識の流れを図 4 に示す．まず， WatchPad で加速度データのサンプリングを行う．加速度データは 1 秒間に 100 回程度取得し，過去 15 個との平均を計算することで平滑化を行う．次に，腕の向きの検出を行い，検出された腕の向きに WatchPad は IBM Corporation の商標です．. 4. −42−.

(5) 0.16 0.12 0.08 0.04 0.00 -0.04. 0. 100. 200. 300. 400 500 X軸の加速度 Y軸の加速度. -0.08 ひねる（外向き）. ノック. ひねる（内向き）. ノック. 0.0012 X軸の分散 Y軸の分散. 0.001 0.0008 0.0006 0.0004 0.0002 0 0. 100. 200. 300. 400. 500. 図 5: 垂直上向き時の加速度と分散の例 0.15. X軸の加速度 Y軸の加速度. 0.1 0.05 0 -0.05. 0. 100. 200. 300. -0.1 -0.15 ひねる（内向き）. ひねる（外向き）. ノック. ノック. 移動(内向き). 図 6: DP マッチング用基準データ例. 5.1.4 ジェスチャ一覧図 7 に，プロトタイプシステムで認識可能なジェスチャの一覧を示す．上から順に腕の角度変化，ひねり外向き，ひねり内向き，移動外向き，移動内向き，ノックを表している．. 5.2. 操作方法図 7: ジェスチャ一覧. 以上のジェスチャおよび腕の向きを組み合わせて，マウス操作，文字入力，ウィンドウ操作のそれぞれの操作を実装した．それぞれの操作は，入力できるジェスチャが限定されている場合を考え，複数の方法を実装した．表 1 にあるように，動作の小さいジェスチャ（ひねり）は多くの環境で入力可能と考えられるため，腕のひねりを中心として操作の割り当てを行っている．. 向きにクリックすると右クリックを行える．両手のひねり 1 左手に上下，右手に左右と別々の軸を割当てて，それぞれひねる動作でカーソルを移動させる．両手のひねり 2 左手に方向，右手に移動量を割当てて，それぞれひねる動作でカーソルを移動させる．. 5.2.1 マウス操作マウス操作としては，カーソルの移動と左右ボタンのクリック操作がある．. 5.2.2 文字入力文字入力は，メールやメモを作成したり，ウェブで欲しい情報の検索を行う場合など，さまざまな場面で行う重要な操作である．. 角度変化とひねり細かな動作を入力可能であれば，腕の角度変化とひねりでマウス操作を行える．まず，カーソル移動は腕の角度変化を逐一反映することで，右に移動するならば腕を右に，上に移動するならば腕を上に傾けるといったように直観的に操作することができる．ボタン操作はもう一方の手のひねりで行う．例えば左手で移動を行い，右手でボタン操作をする場合，右手を内向きにひねると左クリックを行え，外. 両手のひねり子音と母音を左右の腕に割り当て，それぞれを腕のひねりで回転させ，入力する文字を選択する．図 8 に，両手のひねりで文字入力を行っている様子を示す．両手の角度腕の角度に子音と母音を割り当てて入力する．角度と文字が直接関連付けられており，ひねり動作を用いた場合に比べ入力速度が. 5. −43−.

(6) 実行できる．メニュー操作では，ノック動作でメニュー選択を開始し，ひねり動作での選択とノック動作での決定を繰り返すことで，目的の操作を実行する．ひねりのみウインドウスクロールは，ひねり動作のみで行う．外向きひねりで上に，内向きひねりで下にウインドウをスクロールすることができる．. 図 8: 両手のひねりを用いた文字入力ま. あか. は. 6. たあ. さ. 3 章において述べたように，環境によって入力できるジェスチャが限定されると考えられる．そこで，環境ごとの入力可能な動作を調べるため，ジェスチャ認識精度を評価する実験を行った．. なやら. a)横. 評価実験. b)縦. 図 9: 両手の角度を用いた文字入力. 6.1. 評価方法. この実験における被験者と手続きは以下の通り．被験者：大学院生 10 名 (平均年齢 23.5 歳)．全員が本システムの初心者である．手続き：まず始めに，本プロトタイプシステムで認識可能なジェスチャについて簡単な説明をし，椅子に座った状態で実際に入力をしてもらう．その後，被験者にはいくつかの環境でのジェスチャ入力試行に挑戦してもらう．被験者は，毎回ランダムに提示される課題にそったジェスチャを入力する．このとき，課題と入力されたジェスチャ，課題で指定したジェスチャの入力までにかかった時間，実験中の全加速度データ列などを記録した．環境：実験では，静止中，片手に荷物を持って立っている状態，歩行中，片手に荷物を持って歩行，電車の中の 5 種類の環境で被験者にジェスチャ入力試行に挑戦してもらった．なお，電車の中では，片手でつり革を持ち，その腕でジェスチャの入力を行ってもらった．課題：静止中と歩行中はひねり (内向きと外向き)，ノック，移動 (内向きと外向き) の 5 種類のジェスチャを，荷物を持っている状態と電車の中ではひねり (内向きと外向き) とノックの 3 種類のジェスチャを，それぞれ 10 回ずつ入力をしてもらった．また，各課題につき成功するまで 5 回入力することができ，5 回入力に失敗するとその課題は入力できないとして，次の課題を被験者に提示した．. 図 10: 片手のひねりを用いた文字入力速くなる．図 9 に左手の角度と子音の対応を示す．地面に対して腕を平行にした状態を基準の「あ」として，左に傾けると「か」「さ」，上に傾けると「は」「ま」と傾けた角度に応じて入力する文字の行が選択される．片手のひねりひらがなを 50 音順に一列に並べ，腕をひねることで対象を左右にスライドさせ，入力する文字を選択する．この方法の中では，入力に時間がかかるものの，片手をひねるだけで入力できるため，多くの場面で利用可能である．図 10 に，片手のひねりで文字入力を行っている様子を示す．入力する文字を選択する場合，短くひねった場合はひとつずつ文字がスライドし，長くひねった場合は行頭を順次ジャンプさせることができる．これらの文字入力手法をユーザのおかれた環境により切り替え利用することで，ウェアラブル計算環境での環境の変化を考慮した文字入力が可能となる．. 5.2.3 ウインドウ操作ウインドウ操作としては，前面の表示するウインドウを切り替えることにより操作対象を変更したり，ウェブページの閲覧中にウインドウをスクロールするなどの操作が挙げられる．以下の各操作は，入力時の腕の向きで，操作内容を選択する．. 6.2. 結果. 表 3 は，それぞれの環境において，各動作を一度の入力で正しく認識できた確率をまとめたものである．上段の値は認識率を示しており，単位は%である．下段の値はユーザごとの分散を表している．表 3 から，静止状態の時は，歩行中や電車の中など環境からの加速度がユーザに加わる場合と比較して，全体的に認識率が良いことが分かる．特に静止状態で片手に荷物を持っている場合は，ひねり (内向. ひねりとノックウインドウの切り替えやメニュー操作では，ノック動作で操作の開始や終了を，ひねり動作で候補の選択操作を行う．ウィンドウ切り替えにおいては，まずノック動作で切り替え操作を開始し，表示された候補を内向きと外向きのひねりで選択した後，再度ノック動作をすることで，ウインドウの切り替えを. 6. −44−.

(7) 表 3:実験結果 (%). 表 4:課題ごとの認識結果 (%)(歩行中) 認識結果. ひねり（内）. ひねり（外）. ノック. 移動（内）. 移動（外）. 9. 8. 9. 1. 48. 19. 3. 18. 環境動作. 静止. 静止（荷物）. 歩行. 歩行（荷物）. 電車（つり革）. ひねり（内向き）. 88 （3.36）. 96 （0.44）. 73 （5.01）. 56 （7.84）. 59 （5.69）. ひねり（内）. 73. ひねり（外）. 12. ひねり（外向き）. 73 （2.41）. 85 （1.45）. 48 （4.56）. 38 （2.16）. 75 （2.65）. ノック. 30. 5. 51. 8. 6. 移動（内）. 83. 8. 3. 4. 2. ノック. 70 （4.8）. 88 （0.96）. 51 （1.49）. 79 （3.69）. 71 （6.69）. 移動（外）. 17. 78. 2. 0. 3. 移動（内向き）. 76 （2.44）. 4 （0.44）. 移動（外向き）. 54 （5.24）. 3 （0.41）. 100 90 80 70 60 50 40 30 20 10 0. 課題. 行中は大きな動作が可能としたが，その大きな動作の認識が歩行中は困難であるといえる．この歩行中の移動動作における認識率の低下には，歩行による振動に深く関係がある．移動動作は，ひねり動作やノック動作と比べて Y 軸の変動が大きく，現在はその特徴を利用して認識を行っているが，歩く振動が Y 軸の加速度に加わることで，DP マッチングの際に基準データとの距離が大きくなって識別できていないものと考えられる．この点については，移動動作の基準データとの距離を調べる際に，データ列の最大値が 1 になるよう正規化するなどの方法により対処できる．. ひねり(内向き) ひねり(外向き) ノック移動(内向き) 移動(外向き). 1. 2. 3. 4. 5. 電車の中でつり革を持って行ったジェスチャは，ひねり (内側) の認識率がひねり (外側) やノックと比べて低くなっている．電車でつり革を持って立っている状態は，電車の振動が加速度としてユーザに加わるものの，ユーザ自身が移動する歩行中と比べると環境から受ける加速度は小さく，ほぼ静止状態に近い．ひねり (内向き) の認識率が低いのは，つり革を持つことにより腕が固定されてしまったためだと考えられる．つり革を持つと手の甲が身体の正面に対して平行になる．この状態からひねり動作をすると，身体の構造上外向きへのひねりは容易に行えるが，内向きへのひねりは困難となる．ここで，あらかじめ少し外向きへひねっておけば内向きへのひねりが容易となることに気付いた被験者の結果は，高い認識率 (90%以上) となっている．そのため，ユーザが入力する際のコツをつかめば，ひねり (内向き) の認識率はもっと高い値になる．. 図 11: 入力回数と認識率 (歩行中) きと外向き) とノック共に全ての環境において最高の認識率を示しており，ユーザごとの分散も非常に小さい値となっている．歩行中は歩く振動が加わるため，移動動作の認識率が非常に低くなっている．電車の中でつり革を持つ手でジェスチャをする場合は，ひねり (外向き) とノックについては比較的高い認識率となっているが，ひねり (内向き) の認識率が低くなっている．歩行中の各動作について，入力回数と認識率の関係を図 11 に示す．また，歩行中の各動作について， 1 回目の入力に対する認識結果を表 4 に示す．図 11 の横軸は成功するまでに入力した回数を，縦軸はその回数における認識率を表している．図 11 と表 4 から，移動動作については 5 回入力したとしても 10-20%程度しか認識できておらず，そのほとんどがひねり動作として認識されていることがわかる．ひねりとノック動作については，2 回入力するといずれの動作も認識率が 70%を越え，ほぼ静止状態での認識率と同じになっていることがわかる．また，誤認識された場合，ひねり動作についてはまんべんなく他の動作に認識されているが，ノック動作のほとんどがひねり (内向き) に認識されてしまっており，動作ごとに誤認識される結果が異なることがわかる．. 7 7.1. 図 11 から，歩行中は 1 回だけの入力では認識率はあまり高くないが，2 回繰り返すと，静止中と同程度の認識率が得られることがわかる．ここで，表 4 から，歩行中はひねり (外向き) であれば，ノックか移動 (外向き) と誤認識されることが多く，ノック動作はひねり (内向き) と誤認識されることが多いことが分かる．このように，入力された動作ごとに，誤認識されてしまう動作には偏りがあるため，この偏りを考慮して認識アルゴリズムを改良することで，1 回目の入力で 2 回入力した結果と同程度の認識率を得られるものと考えられる．こうした誤認識の偏りは環境ごとに変わり，例えば静止状態でノック動作を行ったときの誤認識として最も多いのは移動 (内向き) である．こうした環境ごとの誤認識の偏りを考慮した認識アルゴリズムの改良は，今後の課題である．. 考察認識率. 歩行中の各ジェスチャの認識率は，静止状態と電車の中での認識率に比べ全体的に低い．特に，移動動作はほとんど認識できていないため，3 章で，歩. 7. −45−.

(8) 7.2. 入力に対する習熟. プログラム「ネットワーク共生環境を築く情報技術の創出」，および，文部科学省科学技術振興調整費研究課題「モバイル環境向 P2P 型情報共有基盤の確立」の研究助成によるものである．ここに記して謝意を表す．. 今回の実験では，全ての被験者が本システムの初心者であり，各ジェスチャの試行回数も 10 回程度と入力に対する習熟の度合いまではわからない．そこで，習熟しているユーザ 1 名に対して同様の参考実験を行った．その結果，歩行時以外の環境においては，全てのジェスチャで高い認識率 (90%以上) となった．電車の中での入力も，静止中とほぼ同程度の確率で認識できていた．しかし，歩行時については他の被験者とそれ程差はなく，測定される加速度データに対して歩くことによる振動が与える影響が，他の場合と比べて大きいといえる．被験者の中には，実験中に入力に対する習熟を見せたものもいた．ある被験者は，歩行中のノック動作について，入力課題として 1 回目から 5 回目までほとんど入力に失敗していたが，6 回目から 10 回目までは 1 回から 2 回の試行で入力に成功していた．この結果はあくまで参考データであるが，入力に対して習熟をしてから実験をすることで，それぞれのジェスチャの認識率も今回の実験結果よりも向上できると考えられる．. 7.3. 参考文献 [1] Mikael Goldstein and Didier Chincholle: “The Finger-Joint Gesture Wearable Keypad,” in Porceeding of 2nd Workshop on Human Computer Interaction with Mobile Devices (Mobile HCI’99), pp.9–18 (Aug. 1999). [2] Mikael Goldstein, Orlando Baez and Peter Danielsson: “Employing Electrical Field Sensing for Detecting Static Thumb Position Using the Finger-Joint Gesture Keypad Input Paradigm,” in Proceeding of 4th International Symposium on Wearable Computers (ISWC 2000), pp.173–174 (Oct. 2000). [3] Kurt Partridge, Saurav Chatterjee and Roy Want: “TiltType: Acceleromter-Supported Text Entry for Very Small Devices,” in Proceedings of the 15th annual ACM symposium on User interface software and technology (UIST’02), pp.201– 204 (Oct. 2002).. 認識アルゴリズムの個人化. プロトタイプシステムでは，ジェスチャの認識に利用する DP マッチング用の基準データや識別時の閾値などは，全てシステム構築者に合わせていた．評価実験において，基準データや閾値はシステム構築者用のものをそのまま使用した．ある同一の動作を行ったとしても，その時に計測される加速度データには個人差があり，この個人差を認証に利用する研究 [8] も行われている．今回の実験においても，移動 (内向き) は正確に認識されるものの，移動 (外向き) の動作がまったく認識されない，その逆で移動 (外向き) は正確に入力できるが，移動 (内向き) が入力できないといった被験者ごとの差が現れることがあった．そのため，基準データや閾値といった認識アルゴリズムのためのパラメータをユーザごとに用意することにより，認識率を向上できると考えられる．特に DP マッチング用の基準データは動作ごとの加速度データ列をそのまま利用しているため，ユーザごとに用意することが有効である．. 8. [4] John Kangchun Perng, Brian Fisher, Seth Hollar and Kristofer S. J. Pister: “Acceleration Sensing Glove (ASG),” in Proceeding of the 3rd International Symposium on Wearable Computers (ISWC’99), pp.178–180 (Oct 1999). [5] Jun Rekimoto: “GestureWrist and GesturePad: Unobtrusive Wearable Interaction Devices,” in Proceeding of 5th International Symposium on Wearable Computers (ISWC’01), pp.21–27 (Oct. 2001). [6] Thad Starner, Jake Auxier, Daniel Ashbrook and Maribeth Gandy: “The Gesture Pendant: A Selfilluminating, Wearable, Infrared Computer Vision System for Home Automation Control and Medical Monitoring,” in Proceeding of 4th International Symposium on Wearable Computers (ISWC 2000), pp.87–94 (Oct. 2000). [7] Koji Tsukada and Michiaki Yasumura: “UbiFinger: Gesture Input Device for Mobile Use,” in Proceeding of 5th Asia Pacific Conference on Computer Human Interaction (APCHI ’02), pp.388–400 (Nov 2002).. まとめ. [8] 太田雅敏, 行方エリキ, 石原進, 水野忠則: “加速度センサを用いた手の動きによる個人認証に関する検討,” マルチメディア, 分散, 協調とモバイル (DICOMO2003) シンポジウム論文集, Vol.2003, No.9, pp.261–264 (June 2003).. 本稿では，環境の変化に伴う腕の可動に関する制約を考慮し，各制約下で可能なジェスチャを用いた操作についての考察と，プロトタイプシステムの実装を行った．また，さまざまな環境でのジェスチャ認識率に関する評価実験から，各ジェスチャの環境別の有効性について検討した．今後は，加速度センサの値からユーザの現在の環境を自動で判断し，操作モードを変更する機能や，新たなジェスチャを追加する予定である．また，ジェスチャの認識率向上などについても検討していく予定である．謝辞. [9] 福本雅朗, 平岩明, 曽根原登: “ウェアラブルコンピュータ用キーボード FingeRing,” 電子情報通信学会 A, Vol.J79-A, No.2, pp.460–470 (Feb. 1996). [10] 福本雅朗, 外村佳伸: “Wireless FingeRing：人体を信号経路に用いた常装着型キーボード,” 情報処理学会論文誌, Vol.39, No.5, pp.1423–1430 (May 1998).. 本研究の一部は，文部科学省 21 世紀 COE. 8 -E. −46−.

(9)