VGB Kinect v2 VGB VGB Kinect v2 3 VGB VGB Discrete Continuous 2 Discrete : Jump, Sit, NicoNii AdaBoost (Confidence) Visual Studio 2013 or 2012 () Kine

(1)

Kinect v2

×

Visual Gesture Builder

でファイトだよっ！

Buu

†

C87

版

2014.12.30

1 はじめに

近年、Kinect for Windows、Leap Motion、RealSense

など人間の動作・ジェスチャー等をリアルタイムにトラッキングする「モーションキャプチャ」のための技術や製品が開発、実用化されてきている。それらを用いることで、動作検出用マーカー装着や大掛かりな設備を必要とせず、RGBカメラと赤外線センサー等を1つの筐体に収めた小型の装置のみで、非接触かつ非侵襲的に生体に関するさまざまな情報を得ることができるようになった。それらの中でも、Kinect for Windowsはもともとゲームなどエンターテイメント用途の入力インターフェースとして開発されたが、教育現場、人流計測、インタラクティブなデジタルサイネージ、手術現場における非接触入力支援システムなど身近な活用事例の多いデバイスのひとつとして注目されている[1]。もちろんエンターテイメント用途への応用は2010年のKinect for Xbox 360発売直後より常に活発であり、

2012年にニコニコ動画に投稿された「初音ミクとデートしてみた」という作品[2]などはネット上で大きな話題となった[3]。またKinectを筐体に組み込んだアーケードゲーム「DanceEvolution ARCADE」のような活用事例もある。

そして2014年夏、Kinect for Windows v2 (Kinect v2)が登場。旧モデルに比べカメラの高解像度化、キャプチャ可能人数の増加、深度検出方式としてTime of flight (TOF)を採用するなど、大きな変化を遂げた。さらに、本稿のテーマでもあるVisual Gesture Builderが公開され、モーションキャプチャによるジェスチャー認識精度が格段に向上した。

2 Visual Gesture Builder is

何？

Visual Gesture Builder (VGB)は、機械学習（machine learning）によってジェスチャーの特徴を学習・認識するために用いるKinect v2向けツールである。このツールはKinect for Windows SDK 2.0に付属しており、SDK

のインストール時に一緒に導入される。 †_{Twitter: @buu0528} 従来、ジェスチャーの判定は、リスト1のように取得した骨格位置についてif文などの条件分岐を駆使して行っていた。リスト1 従来のジェスチャー判定 if((body.Joints[JointType.Head].Position.Y < body.Joints[JointType.HandLeft].Position.Y) { return true; } else { return false; } この従来手法では、ジェスチャーが複雑になるほど判定に要するコードの量が増加し、開発の際の負担も大きくなるという問題がある。実際に筆者が着席判定を行った結果、骨格の位置関係を調べるのに30行分費やしても、その程度の記述では十分に正確な判定を行うことができなかった。Microsoftの資料[3]によれば、「ジャンプして屈む」動きの判定をするだけでも2000行のコードが必要である。そこで、機械学習でジェスチャーを学習させ、その結果を利用してKinect v2でジェスチャー判定を行うためのツールとしてVGBが登場した。VGBは2014年12 月1日現在まだプレビュー版であるが、筆者が試してみた結果、あんなジェスチャーやこんなジェスチャー*1_の判定に十分活用でき、従来手法に比べてプログラミングの手間もかなり省けそうなことが分かった。これは業務や研究でジェスチャー判定を行いたい人々だけでなく、最先端技術でいろいろと遊びたいギークな人たちにとっても夢が広がりんぐである。ジェスチャー判定部は、リスト2のような単純な記述をするだけでよい。リスト2 VGBを活用したジェスチャー判定 var result = gestureFrame.DiscreteGestureResults[niconii]; if (result.Detected) { Console.WriteLine("にっこにっこにー♪"); } *1どんなジェスチャーかは読者のご想像にお任せする。

(2)

しかし、VGBを使って簡単にジェスチャーの判定ができるようになったものの、未だに日本語の文献は少なく活用するためのハードルは高い。そこで本稿では、 Kinect v2とVGBを用いたジェスチャーの学習と、自作プログラム中でのその活用方法について解説していく。ただし筆者もVGBやKinect v2の使用に関しては初心者であるため、記述に不十分な点が多いことに関してはご了承いただきたい。

3 VGB

の機械学習アルゴリズムと特徴

VGBではDiscreteとContinuousとよばれる2種類の方式でジェスチャーの学習を行うことができ、それぞれ特徴や用いられるアルゴリズムが異っている。 ■Discrete（離散的、個々のジェスチャー）

• 例: Jump, Sit, NicoNii

• AdaBoostアルゴリズム • 結果はブール型（ジェスチャーしているか、していないか） • 複数のジェスチャーを同時に判断できない • 正確さ(Confidence)の値を用いることにより判断基準を任意にすることもできる ■Continuous（連続的ジェスチャー）

• 例: JumpProgress, SitProgress, NicoNicoNii

• Random Forestアルゴリズム • 結果は浮動小数点型（ジェスチャー進に応じ変動） • 個々のジェスチャーだけでなく、個々のジェスチャーの組み合わせにも対応 • 複数のジェスチャーの前後関係を決定するには個々のジェスチャーとの紐付けが必要機械学習はVGB内部ですべて自動的に行われるので、これら2種類があることを覚えておけば問題ない。なお現在C87参加の前日であり時間的な制約が大きいため、本稿ではDiscreteなジェスチャーの使用方法のみ扱う。大変申し訳ないが、続編を書く予定なのでしばらくお待ちいただきたい…。

4 準備

さて、前置きが長くなってしまったが、本章より具体的なVGB活用方法に迫っていこう。 VGBを使用するためには、以下の環境が必要である。

• Kinect for Windows v2 (Kinect v2)

• USB 3.0 (IntelかRenesasチップ)を搭載したPC

• Microsoft Windows 8.1 (x64)

• Visual Studio 2013 or 2012 (無償版も使用可能)

• Kinect for Windows SDK 2.0

Kinect v2を使用するための要件はMSDNに詳しく掲載されているので、目を通しておくとよいかもしれない

[5]。この要件を満たしている場合でもチップセット等の制約からKinect v2が動作しない場合もあったので注意が必要である[6]。

本稿では、既にKinect for Windows SDK 2.0がインストール済みの環境を想定して解説を進める。また、プログラミング言語としてVisual C#を用いる。

5 ジェスチャーデータの収集

ジェスチャーを学習させ学習結果をジェスチャーデータベースとして出力するために、まずはKinect Studio を用いて実際の動きを収集する。Kinect StudioもVGB 同様Kinect SDKに付属しており、SDKインストール時に一緒に導入されるツールのひとつである。まずKinect v2をPCへ接続し、スタート画面より Kinect Studioを起動する。図1 Kinect Studio

Kinect Studioが起動したら「RECORD」タブへ移動する。さらに、電源プラグのようなマークのボタンをクリックしてKinect v2とKinect Studioを接続する。

図2 Kinect v2とKinect Studioの接続

Connected状態になると、図3のようにKinect v2からデータが送られてくる。図3は、深度データがカラーで表示されている様子である。ここでKinect Studio左端のサイドバーに多くのチェックボックスがあるが、このチェックボックスによって Kinectから取得するデータを選択することが可能であ

(3)

図3 深度データ表示中のKinect Studio る。データ保存の際、チェックボックスの状態が_✓となっているデータのみが保存される仕様となっており、ジェスチャーの学習には最低限以下のデータが必要であるため必ずチェックをつけておかなければならない。 • Nui Depth • Nui IR

• Nui Body Frame • Nui Opaque Data • Nui Calibration Data

チェックボックスを確認したら、●ボタンをクリックして記録開始後、Kinectの前に立って記録したいジェスチャーを行う。再度このボタンをクリックすると、記録が終了する。記録されたデータは特に保存先を設定していない場合、C:\Users\ユーザ名 _{\Documents\Kinect} Studio\Repositoryに保存される。図4 記録開始 Uncompressed Color（RGBカメラの非圧縮ストリーム）の記録も行っているが、約1Gbpsの転送レートで毎秒120MBほどのデータが保存されることになるため、ストレージに余裕がない場合は記録しなくてもよい。今回、図5のように、T氏に協力してもらいジェスチャーの記録を行った。このジェスチャーは「ラブライブ！」[7]の登場人物である矢澤にこ氏が行う自己アピール[8]であり、一般的には「にこにー」と呼ばれている*2_。図6のように身体から指先まで全身を使うため、認識のテストには最適であると考えられる。図5 にっこにっこにー図6 にこにーを行う宇宙No.1アイドル矢澤にこ[9] このジェスチャーをVGBで学習・認識させることで、手の形状の違いなど細部の差異まで正確に判別することができるのであろうか？次章の手順に従ってDiscrete ジェスチャーとして認識させ、ジェスチャーデータベースに出力していく。

6 Discrete

ジェスチャーの学習

先ほど使用したKinect Studioは終了し、スタート画面より「Visual Gesture Builder - PREVIEW」を選択してVGBを起動してみよう。

図7 スタート画面上のショートカット

*2_{アニメ「ラブライブ！」2 期 6 話の穂乃果のセリフ「にこちゃ}

(4)

VGBのメインウィンドウの様子を図8に示す。起動直後のとてもシンプルなUIはどう操作すればいいのか少し戸惑う。主にこのウィンドウでジェスチャーの設定を行っていく。

図8 Visual Gesture Builder

頻繁に使用するのが図8中の

⃝

1 および

⃝

2 部分であり、 1

⃝

のサイドバーはジェスチャーの学習に用いるファイルの追加やジェスチャーデータベースのビルド、

⃝

2 のペインは時間軸上でのジェスチャーを行っている位置の設定等に用いる。最初にソリューションの作成を行う。ソリューションは複数のジェスチャーを内包できる枠組みのようなものである。メニューの「File」→「New Solution」を選択。今回は、「niconii.vgbsln」として新規ソリューションを作成した。

図9 新規ソリューションの作成

ソリューションが作成できたら、メニューより「Help」 →「Gesture Wizard」を開く。Gesture Wizardを使用することで、図10のように対話形式でジェスチャーに最適なプロジェクトの作成行うことができる。ソリューションの中には、複数のプロジェクトを含ませることができる。（構造的にはVisual Studioに似ている）図10 Gesture Wizardの例 Wizardの質問は基本的にすべて英語で表示される。おおまかに訳すと、以下のような質問である。英語だがかなり丁寧に質問の解説が書いてあるため分かりやすい。 1. ジェスチャーの名前はなんですか？ 2. そのジェスチャーは下半身の動きを伴いますか？ 3. 手の状態（グー、チョキ、パーのいずれか）を使用しますか？ 4. 腕を使用しますか？（左右両方、右のみ、左のみ、使用しない） 5. 左右どちらかの半身だけで行うジェスチャーですか？ 6. ジェスチャーは左右対称ですか？ 7. ジェスチャーの動きの途中過程を検出しますか？（「Jump」ジェスチャーなら「JumpProgress」を検出するか。）にこにー判定ができるように、Gesture Wizardによって、図11のような設定でプロジェクトを作成した。ジェスチャー名は「niconii」とした。図11 Gesture Wizardの設定確認作成が完了すると、左サイドバーに項目が追加され、ソリューション内に「niconii」「niconii.a」という2つのプロジェクトが作成される。Kinect Studioでジェスチャー記録したファイルを読み込ませるため、図12のように「.a」がついていないほうのプロジェクトを右クリック→「Add Clip」する。「.a」が付いているプロジェクトは分析用のため、今回のジェスチャーデータベース作成には使用しない。データが読み込まれたら、図13ように「Control」内のタイムラインに対してジェスチャー位置を設定していく。細かい操作方法が小さく緑色で表示されているが、基

(5)

図12 ジェスチャーが記録されたClipを追加図13 ジェスチャー位置の設定図14 ジェスチャー位置の設定（Control部拡大）本的には左右矢印キーでカーソル移動、Shift＋矢印キーでジェスチャー部分の選択（図14中心の緑色のバーが選択された部分）、Enterキーで決定（決定した領域には青いマーカーが表示）である。今回はT氏がにこにーを行っている部分だけにマーカーを設定した。設定終了後に左サイドバー等をクリックすると、図16 のように設定を保存してもよいか確認されるので「はい」を選択して保存する。最後にジェスチャーをデータベースファイルとして書き出すためのビルド作業を行う。図17のように左サイドバーのソリューション（橙色の円筒型アイコン）を右クリックし、「Build」を選択する。ジェスチャーデータベースの保存先を尋ねられるので、任意の場所を指定。ビルドが開始されると自動的にジェスチャーの学習図15 ジェスチャー領域設定後の様子図16 設定保存の確認図17 ジェスチャーデータベースのビルドが行われる。今回はGesture Wizardで「ジェスチャーの動きの途中過程を検出しない」と回答しているので、 AdaBoostアルゴリズムのみが使用された。Bodyのどのような情報を使ったか、などの学習過程の出力が図18 に示すように「Output」欄に出力される。図18 学習過程のoutput

SUCCESS: The build completed successfully and has been saved to D:\niconii.gbd.のように表示されたらジェスチャーデータベースの作成が完了。保存先には拡張子が「gbd」（Gesture Builder Database

(6)

の略？）のファイルができる。

7 ジェスチャー認識の動作プレビュー

あとはプログラムからデータベースを読み込んで使用するだけ…の前に、出力したジェスチャーデータベースにより正しくジェスチャー認識を行うことができるかプレビューしてみよう。PCにKinect v2を接続後、VGB

のメニューから「File」→「Live Preview」を選択し、ファイル指定ダイアログで先ほど出力したデータベースファイルを指定する。データベースが読み込まれると、図19に示すような黒いウィンドウが表示され、Kinect v2の前に立って実際にジェスチャーを行ってみることで簡易的にジェスチャー認識の確認を行うことができる。図19 Live Preview ここではジェスチャー学習の際に協力を依頼したT 氏とは別の人物であるM氏に協力してもらい、ジェスチャー認識が正しく行えるかプレビューを行った。図 20および図21が、Live Previewのウィンドウからジェスチャー表示結果のみを抜粋したものである。図20でにこにーを行った結果、図の右側にグラフとして表示されるConfidence（にこにーらしさ）の値が急上昇した。また、図21で別のジェスチャーを行った場合にはグラフの表示が行われず、ジェスチャーの違いによって明確な差が見られた。図20 あなたのハートににこにこにーっ図21 ファイトだよっ

8 自作プログラム中でのジェスチャー認識

前章までの手順で作成したDiscreteジェスチャーのデータベースを、自作のプログラムから活用してみる。ここではVisual Studio 2013を使用しC#でプログラムを作成する方法について解説する。 8.1 プロジェクトの初期設定まずVisual Studioを起動し、メニューより「ファイル」→「新規作成」→「プロジェクト」を選択してC#の WPFアプリケーションプロジェクトを新規作成する。図22 新規WPFプロジェクトプロジェクトが作成できたら、Visual Studioのメニューより「プロジェクト」→「プロパティ」を選択してプロパティを開く。図23のように「ビルド」タブへ移動し、「すべての構成」のプラットフォームターゲットを「x86」に設定する。図23 プラットフォームターゲットの変更

(7)

さらに、「ビルドイベント」タブへ移動し、「ビルド後に実行するコマンドライン」にリスト3のコマンドを入力して、ビルドしたアプリケーションと同じ場所にジェスチャー関連のDLLを自動的にコピーするよう設定しておく。リスト3 ビルド後に実行するコマンドライン xcopy "$(KINECTSDK20_DIR)Redist\VGB\x86\vgbtechs" "$(TargetDir)\vgbtechs" /S /R /Y /I 図24 ビルド後に実行するコマンドライン次に、メニューより「プロジェクト」→「参照の追加」を選択し、参照マネージャーの左サイドバーから「アセンブリ」→「拡張」を開いて「Microsoft.Kinect」と「Microsoft.Kinect.VisualGestureBuilder」にチェックをつける。 VGBのアセンブリにはx86とx64の2 種類があるが、今回はプラットフォームターゲットの設定に合わせてx86を選択する。図25 アセンブリ参照の追加これで初期設定は完了したので、いよいよコーディング作業である。紙面の関係上、コードの中で必要不可欠な部分に的を絞って解説を行う。ジェスチャーを認識させるためのサンプルは筆者のGitHubリポジトリに pushしてあるので、必要に応じて参照してほしい。*3*4 *3_{https://github.com/buu0528/KinectV2Gesture} *4あまり綺麗でないコードなので、読みづらかったら申し訳ありません… 8.2 メンバー変数の宣言ジェスチャーを認識するためにはKinect v2からの Bodyの情報取得が必須となる。認識したいジェスチャーの数だけGesture型の変数を用意しておく。リスト4 メンバー変数 // Body

private Body[] bodies; // Gesture Builder private VisualGestureBuilderDatabase gestureDatabase; private VisualGestureBuilderFrameSource gestureFrameSource; private VisualGestureBuilderFrameReader gestureFrameReader; // Gestures

private Gesture niconii;

8.3 ジェスチャーデータベースと定義の読み込みファイル名を指定するだけでデータベースが読み込まれる。foreach文でループ処理させてデータベースの中からすべてのジェスチャーを取り出し、 gestureFrame-Sourceにジェスチャーとして登録していく。複数ジェスチャーを使用する場合、リスト 6 のif文はジェスチャーの数だけ必要。リスト5 ジェスチャーデータベースの読み込み gestureDatabase = new VisualGestureBuilderDatabase(@"niconii.gbd"); gestureFrameSource = new VisualGestureBuilderFrameSource(kinect, 0); リスト6 使用するジェスチャーをデータベースから取り出す

foreach (var gesture in

gestureDatabase.AvailableGestures) { if (gesture.Name == "niconii") niconii = gesture; this.gestureFrameSource.AddGesture(gesture); } 8.4 Bodyの取得とTrackingIDの設定

Kinect v2からBody Frameが送られてくる毎に、人が認識されていればTrackingID（認識されたBodyごとに割り当てられる固有のID）をジェスチャー判定の対象として設定する。Bodyが最大6人まで認識可能なため、ジェスチャーが同時に認識できるのもできるのも最大 6人。TrackingIdが不正な場合、 VisualGesture-BuilderFrameのIsTrackingIdValidプロパティがfalse

となりジェスチャー認識ができない。

リスト7 Bodyの取得とTrackingIDの設定 if (bodyFrame != null)

{

(8)

foreach (var body in bodies) {

if (body != null && body.IsTracked) { // ジェスチャー判定対象としてbodyを選択 gestureFrameSource.TrackingId = body.TrackingId; // ジェスチャー判定開始 gestureFrameReader.IsPaused = false; } } } 8.5 ジェスチャーの判定 GestureFrameのFrameArrivedイベントに合わせてジェスチャー判定を行い、その結果に応じた処理を行う。 DiscreteジェスチャーのConfidenceは0∼1 の間で変化するので、それを利用した処理を行っても良い。リスト8 では Discreteジェスチャーの判定結果を result.Detectedで取得し条件分岐させたが、GitHubに上げたサンプルではContinuousジェスチャーに対する Progress取得処理も行っているので参考にしてほしい。リスト8 ジェスチャーの判定 if (gestureFrame != null &&

gestureFrame.DiscreteGestureResults != null) { var result = gestureFrame.DiscreteGestureResults[niconii]; // ジェスチャーの状況を表示 if (result.Detected) { TextBlock1.Text = "にっこにっこにー♪"; } else { TextBlock1.Text = "イミワカンナイ！"; } // 確からしさを可視化 ProgressBar1.Value = result.Confidence; }

9 まとめ

本稿では、Kinect v2とVisual Gesture Builderを使用して簡単なジェスチャー判定を行い、プログラムでのジェスチャー認識活用方法について解説した。にこにーの実験からは、機械学習によって細かな手先の違いも識別できることが明らかとなった（スクリーンショットは載せられなかったが、手をチョキやパーなどにするとにこにー認識されない）。今後はContinuousの解説や、複数人から学習した賢いデータベース作成、ジェスチャーで楽しめるアプリの作成など、、がんばるぞい！（余裕があれば）最後までお読みいただきありがとうございました！

参考文献

[1] Microsoft, Kinect for Windows様々な活用事例

http://download.microsoft. com/download/E/A/F/ EAF8AC3F-4405-4742-93D9-44FFA3B0A937/ PT-002_shinjich.pdf（2014/11/18参照） [2] alsione,初音ミクとデートしてみた http://www.nicovideo.jp/watch/sm18255743 (2012/07/03投稿) [3] ねとらぼ, Kinect＋HMDでミクさんとデートできる装置がついに完成 http://nlab.itmedia.co.jp/nl/articles/ 1207/06/news104.html (2012/07/06 掲載) [4] Microsoft, Visual Gesture Builder: A

Data-Driven Solution to Gesture Detection

http://aka.ms/k4wv2vgb (2014/12/01 参照) [5] Microsoft, System Requirements - Kinect for

Windows SDK 2.0

http://msdn.microsoft.com/en-us/library/ dn782036.aspx (2014/12/01参照)

[6] Buu Labs, KINECT V2でRENESAS純正ドライバを使ったときの「コード10」問題 http://buu0528.com/?p=298 (2014/07/25掲載) [7] プロジェクトラブライブ！ http://www.lovelive-anime.jp/ [8] にっこにっこにーとは -ニコニコ大百科 http://dic.nicovideo.jp/a/にっこにっこにー (2014/12/28参照) [9] Android/iOSアプリ「ラブライブ！スクールアイドルフェスティバル」、R矢澤にこ（スマイル） http://lovelive.bushimo.jp/ Buu : 当サークルの会長であると思われる。 主に屋上か地下に生息。目玉焼きはひっくり返さない派、カレーはで食べる派。毎年変人度が上昇していると言われるが、そうでもないと思っている。期日までに原稿を終わらせようとしていたが直前になって体調を崩し進ダメです状態に陥り、本に入らずにこのような形での配布となった。好きなラブライブ！の登場人物は穂乃果ちゃん。でもみんなかわいくて困る。 T is extraordinary. M is awesome.