6.1 概要
14種類の音付ジェスチャのデータを採集し，認識精度の調査，またユーザの好みの調査を行っ た．認識精度による定量的評価，アンケートによる定性的評価を行った．
今回採用した音付ジェスチャを図6.1，図6.2に示す．図6.1はクラップ，机タップ，机ノックを 使用したもの（6種）で，図6.2はスナップを用いたもの（8種）である．単発音は前述した4種
（クラップ，机タップ，机ノック，スナップ）を採用してある．単発音と組み合わせるハンドジェス チャは先行研究である長谷川らの研究[5]を参考にし，直線的でシンプルな8種類のハンドジェス チャ（上，下，右，左，右上，左下，奥，手前へスライド）を採用した．
図6.1: 音付ジェスチャ（クラップ，机タップ，机ノック使用）
6.2. 実験システム 音付ジェスチャ認識実験
図 6.2: 音付ジェスチャ（スナップ使用）
6.1.1 被験者
本研究室の学生5名で，前述した単発音分類実験に参加した被験者である．単発音分類実験で採 集した単発音データをもとにあらかじめトレーニングデータを作成した．
クラップ，机タップ，机ノックを使用した音付ジェスチャは5回ずつを3セッション，スナップ を使用した音付ジェスチャは2回ずつを2セッション行い，各被験者から122サンプル計610サ ンプルを得た．スナップを使用した音付ジェスチャの種類が多いことと，スナップを繰り返し行う と指が痛くなることが予備調査より分かっているため，回数が少なくなっている．
6.2 実験システム
Kinect内臓マイクを使用した．サンプリングレートは16000Hzである．
使用計算機のスペックはCPUがcorei5，メモリ4G，OSはwindows7を使用した．ソフトウェ アの開発にはProcessing，Java，SimpleOpenNI1 を使用した．
指示通りのハンドジェスチャと何かしらの単発音が1000ms以内に検出された場合に音付ジェス チャ検出とし，フィードバックが得られる．フィードバックが得られたらキーボードのスペース キーを押下し，次の指示に進む．
6.2.1 実験画面
実験中の画面を図6.3に示す．
1http://code.google.com/p/simple-openni/
6.3. 実験環境 音付ジェスチャ認識実験
ユーザはリアルタイムに認識されるハンドジェスチャの種類を確認できる．このため，ハンド ジェスチャの認識に関するエラーはなく，単発音の認識エラーが音付ジェスチャの認識エラーに関 わることになる．
図6.3: 実験中の画面
6.3 実験環境
静穏環境で実験を行った．Kinectから3ｍ離れた場所に立って音付ジェスチャを行わせた．実 際の実験環境を図6.4，図6.5に示す．
実験中はビデオカメラにより，被験者の動作を記録しておく．
図6.4: 実験環境１ 図 6.5: 実験環境２