手の情報より操作を行う3Dユーザインターフェース

(1)

産業応用工学会全国大会2019 講演論文集，2019 年 9 月 18-20 日 Proceedings of IIAE Annual Conference 2019, September 18-20, 2019

手の情報より操作を行う３

D ユーザインターフェース

西本渉

a

_{北園優希}

a a

_{北九州工業高等専門学校}

1. はじめに

現在マウスやキーボードでの操作やタッチパネルによる操作がユーザインターフェースの主流となっている。しかし、マウスやキーボードを使っての操作では汎用性は高いが3 次元での分かりやすい操作をすることができない。 3 次元での分かりやすい動作をするユーザインターフェースの開発が進んでいてよりコンピュータ空間が現実に近づいてきている。そして、3D 空間での操作も需要が高まってきている。(1)しかし、タッチディスプレイでは入力情報がタッチポイントの座標しか持たないため操作のバリエーションが少なく操作に限りがある。そこで我々は現在主流となっているマウスやキーボードでの操作での多彩な操作とタッチディスプレイや VR で可能となっている3 次元での分かりやすい操作の両立ができるインタラクションの開発の研究を行う。非接触のデバイスを考える。非接触のデバイスで多彩な操作を行うにはハンドジェスチャが適していると考える。(2)ハンドジェスチャといってもひとくちに手の形でショートカットを作成するだけでなく動的な情報も得ることができるためタッチディスプレイよりも情報量が多く現実により近づけることができる。(3)したがって，本研究ではハンドジェスチャを用いた非接触の 3D ユーザインターフェースを研究する。(4)

2. 原理

2.1 構造構造としてはグローブ型の入力装置と赤外カメラから成り立つ。グローブ型の入力装置には赤外線LED と超音波センサを人差し指の指先に取り付け、曲げセンサを各指に取り付けている。そして、手の甲に加速度センサ、人差し指の側面には感圧センサを取り付ける。また、センサの制御のために Arduino を用いていて，モデルの作成をUnity で行っている。 2.2 X-Y 座標の取得非接触のデバイスでのX-Y 座標の情報を取得するための方法として赤外カメラと赤外 LED を用いて 2 値化した画像の光の重心を出すことでＸ－Ｙ座標を取得する。 2.3 両手のX-Y 座標の取得手に取り付けたLED をそれぞれ認識する。輪郭を認識することで2 つ以上の点を検出できる。これをラベリングしてそれぞれの点の重心を求める。必要のない複数の小さな点を認識してしまう場合や2 つの点が重なってしまう場合が起こってしまう。縮小処理を繰り返すことでこれらの問題を解消できる。８近傍のいずれかが黒であればその点を黒にする処理を行う。また、縮小処理を行っても生活光などのノイズが発生する可能性がある。それぞれのひとつなぎの白い点の面積の大きさが大きい順に 2 つの点を両手に取り付けた LED の光であると認識する。 2.4 Z 座標の取得 Z 座標の情報を取得するため人差し指の指先に超音波センサを取り付けスクリーンからの距離を測定しZ 座標を取得する。 2.5 ジェスチャの取得手の指の曲げ伸ばしの認識をグローブ型の入力装置の内部に曲げセンサに設置して行う。曲げセンサからの出力を Arduino で取得しモデル上で指の曲げ伸ばしの組み合わせで行動を行うようにすればショートカットが作られる。 2.6 手の傾きの取得手の甲に取り付けた加速度センサを用いて手の傾きの取得を行う。 2.7 操作の入力の決定人差し指の側面に取り付けた感圧センサによって圧力を測定し閾値を設定してジェスチャや操作の確定を行う。 2.8 通信の無線化両手で制限なく操作するにあたって無線での通信を行った.Bluetooth モジュールを用いて無線で通信を行う。 2.9 動作確認モデルの作成片手での基本的な動作を行う動作モデルを Unity 上で作成した。モデルを作成するに当たって正方形の空間に対象を作成しその対象の動きを入力装置によって操作するように設定した。Ｘ-Ｙ座標の移動はカメラを中心として手を動かした場所に移動できるよう対象物を座標移動させるように設定している。Z 座標の移動はスクリーンを1 番奥の状態として手を手前や奥に動かした分動くように設定した。他にも、ジェスチャを複数作成し対象物の大きさをジェスチャによって変化させるように設定 3D user interface that operates from hand information

Wataru Nishimotoa_{, Yuuki Kitazono}a a_NITKIT

(2)

3. 実験

3.1 X-Y 座標の取得赤外線 LED の光を赤外カメラで画像を取得した。また、画像を赤外線LED の光のみを判別できるように閾値を200 に設定して 2 値化した。その重心を出してＸ－Ｙ座標を取得した。これを Unity 上のモデルで行い、赤外カメラでグローブに取り付けた赤外 LED を撮影しその手の動きと同じように動くように設定した.これを図 1 に示す。 3.2 両手のX-Y 座標の取得ここでは両手のＸ－Ｙ座標が正しく取得できるかの実験を行った。元の画像図2 に示す。ラベリングを行い１まとまりの点にランダムに色をつけ動作の確認を行った。これを図2 に示す。次に縮小処理を行い８近傍のいずれかが黒の場合黒にする様にしてその作業を繰り返した。これにより2 つの光の重心を求めることが可能となった。これを図2 に示す。最後に、2 点の重心の距離を求めた。これを図2 に示す。 3.3 Z 座標の取得 Arduino 上で超音波センサによりスクリーンとの距離を測定しモデルを操作できるように設定した.これを図 3 に示す。この図はわかりやすいように上から見た図を示している。 3.4 ジェスチャの入力 Arduino 上で曲げセンサによりジェスチャを認識して Unity 上で作成した.モデルで Z 軸の移動の許可のコマンドや対象物の大きさの変化のコマンドとして実装した。 3.5 手の傾きの取得加速度センサを用いて対地角を求めた。実際にxyz 軸それぞれの動作を確認した.それぞれの軸に対し傾けた分の角度が検出できた。 3.6 動作モデルの作成部屋に家具を配置するシミュレーションを行えるようなモデルを作成する。原理に記述した機能を実装する。ジェスチャによって家具を配置する.このイメージを図 4 に示す。作成した家具を手の傾きによって傾ける。このイメージを図5 に示す。手の広げ幅によって家具の大きさを変化させる。このイメージを図6 に示す。これはモデルの作成を先に行っているので実際の動きに対して動作を行えていないため設定が必要である。必要なデータの数値は前に述べた実験で取得できるためモデルとの調整が必要である。

文献

(1) 児玉浩卓，“手動作を用いた三次元形状操作インターフェース”，pp,1-2，2003. (2) 土屋太二，高橋和彦，“ハンドジェスチャによる拡張現実感システムの構築”pp,1-2，2009.

(3) Hayato Takahashi, Seiichi Serikawa, and Yuhki Kitazono: "Extending Three-Dimensional Space Touch Interaction using Hand Gesture", Social Science 2017 (4) 西本渉，北園優希：「ハンドジェスチャを用いた 3D ユーザインターフェースの提案」，第70 回電気・情報関係学会九州支部連合大会講演論文集，pp.189-190，2017 （a）右上 (b)左下図1 X-Y 座標の実装 (a) 元画像 (d)重心同士の距離図2. 2 点の重心（a）手前（b）奥図3. Z 座標の実装（a）曲げなし（b）ジェスチャの入力図4 ジェスチャの実装 (a)右回転（b）左回転図5 回転（a)縮小 (b)拡大図6 大きさの変更 51