画像処理技術を利用した Kinectの応用

(1)

はじめての

Kinect for Windows v2

2014/09/24,26 東京エレクトロンデバイス株式会社主催

Kinect for Windows v2最新情報セミナー

(2)

自己紹介

中村薫

フリーランスで主にDepthセンサー系の仕事をしています

アプリケーション開発、講演、ハンズオンセミナー、執筆など

Microsoft MVP for Kinect for Windows

[email protected]

(3)

(4)

はじめに

(5)

大きな流れ・1

(6)

大きな流れ・1

Microsoft

Intel

(7)

大きな流れ・2

(8)

注意事項

Kinect v2

のソフトウェアやハードウェア、

API

は暫定的なものであり、

(9)

ゴール

• Kinect for Windows v2の概要を知る

• Kinect for Windows v2の使いどころを知る

• Kinect for Windows v1とv2の違いを知る

(10)

デモ

(11)

KINECT FOR WINDOWS V2

(12)

Kinect for Windows v2を使う理由

• より高精度なデータ(Color,Depthなど)

• 体のより詳細な動き(関節の向きなど)

• 体の内面の検出、推定(表情など)

• WinRT,Unityへの公式な対応

(13)

Kinect for Windows v2を使わない場面

• 複数のKinectを1PCで利用したい場合

• 加速度センサーを利用したい場合

(14)

Kinect v2

• 2013年11月

– 米国などでXbox Oneが発売(Kinect v2同梱)

• 2013年12月

– Kinect for Windows v2 Developer Previewの発売開始

• 2014年07月

– Kinect for Windows v2 Public Previewの発売開始

• 2014年09月

– 日本でXbox Oneが発売

(15)

Kinect for Windows v2

• Xbox One

に付属の

Kinect

と同等

• 2014

年

7 月時点でオープンベータとしてリ

リース

₍

センサーはリリース版

₎

http://www.microsoftstore.com/store/msjp/ja_JP/pdp/productID.298959900 16

(16)

事例(旧バージョン)

(17)

医療

http://www.youtube.com/watch?v=624N3-nIieI

(18)

リハビリ

(19)

アミューズメント

(20)

仮想試着

http://www.facebook.com/photo.php?fbid=3392874617478

(21)

空中ディスプレイ

(22)

現実世界へのインタラクション

(23)

Photo by Ben Lorph

Kinect x 8台

(24)

KINECT FOR WINDOWS SDK V2の機能

(25)

Kinect for Windows SDK v2

• 2013

年

12 月：

Developer Preview

• 2014

年

07 月：

Public

Preview 1407

• 2014

年

08 月：

Public

Preview 1408

• 2014

年

09 月：

Public

Preview 1409

Kinect for Windows Dev Center

で配布

直リンク：

Kinect for Windows SDK 2.0 Public Preview

(26)

Kinect から送られてくるデータ

Kinect for Windows v2

アプリ

カラー画像

Depth(距離)データ

赤外線画像

プレイヤー番号

体の情報(関節など)

音声データ

Kinect for Windows

SDK v2

Kinect

サービス

(27)

Kinect for Windows SDK v2

Color:カラー画像 Depth：距離データ

Body:体の情報(関節など)

Audio:音声データ Infrared:赤外線画像

PlayerIndex:プレイヤー番号

(28)

Kinect for Windows SDK v2

Control:

ユーザーインタフェース(NUI)

Fusion:

3次元モデルの再構築

Face:

顔の情報(表情など)

HD Face:

高精度の顔情報(3Dモデルなど)

Speech:

音声コマンド認識

Gesture:

ユーザー定義のジェスチャー

29

(29)

Kinect for Windows SDK v2

Kinect Studio:

Kinectデータの記録と再生

Visual Gesture Builder:

ポーズやジェスチャーの作成

Kinect v2 Configuration Verifier:

ハードウェアが要求を満たして

いるかチェックする

(30)

Kinect for Windows SDK v2

• 現状では重心および心拍は含まれていない

(31)

KINECT FOR WINDOWS V2の仕様

(32)

ハードウェア要求

対応OS(*)

Windows 8 (x64)

Windows 8.1 (x64)

Windows Embedded 8 (x64)

Windows Embedded 8.1 (x64)

CPU

Core i7 3.1GHz以上の 64bit CPU

メモリ

_4GB以上

USBバージョン(*)

USB 3.0

USBホストコントローラー(*)

IntelまたはRenesas

グラフィック(*)

DirectX 11 対応グラフィックカード

(33)

Kinect for Windows v2の仕様(1)

Color画像

1920x1080

Depth画像

512x424

Depthセンシング方式

TOF(Time of Fright)

Depth認識範囲

500mm-8000ｍｍ(Ｄｅｐｔｈ)

500mm-4500mm(Body)

水平視野角

_70度

垂直視野角

_60度

(34)

Kinect for Windows v2の仕様(2)

人の検出

_6人

人の骨格検出

_6人

検出骨格数

_25点/一人

手指検出

親指と指先

手のポーズ検出

グー、チョキ、パー

35

(35)

Kinect for Windows v2の仕様(3)

ジェスチャー

○ マイク

_{4つのマイク(マイクアレイ)}

音声入力

○ チルトモーター

なし

加速度センサー

△

(ハード的には実装されているらしい)

36

(36)

Kinect for Windows v2の仕様(4)

USB

USB 3.0

1PCで複数Kinectの同時利用

×

1PCで複数アプリからの同時利用

○

(37)

対応言語および開発環境

• Visual Studio 2012以降(Expressも可)

– ネイティブ(C++)

– マネージ(.NET:C#、VBなど)

– WinRT (Windowsストアアプリ：C#、

HTML&JavaScriptなど)

• Unity(Proが必要：C#)

(38)

環境による利用できる機能の相違

ネイティブ

マネージ

WinRT

Unity

基本ストリーム

○

○ Control

×

○

○ ×

Fusion

○

○ ×

Face

○

○ ×

HD Face

○

○ ×

Speech

○

○ ×

×

Gesture

○

○ ×

(39)

KINECT FOR WINDOWS V1とV2の比較

(40)

センサーの仕様比較

Kinect v1

Kinect v2

Color画像

640x480,1280x960

1920x1080

Colorフレームレート

30FPS,12FPS

30FPS,15FPS(暗所)

Depth画像

80x69,320x240,630x480

512x424

Depthフレームレート

30FPS

Depthセンシング方式

Light Coding

TOF(Time of Fright)

Depth認識範囲

800mm-4000mm(Default)

400mm-3500mm(Near)

400mm-10000mm(Extend)

500mm-8000mm

水平視野角

_57度

_70度

垂直視野角

_{43度(±27度:チルトモーター)}

_60度

41

(41)

センサーの仕様比較

Kinect v1

Kinect v2

人の検出

_6人

人の検出距離範囲

800mm-4000mm(Default)

400mm-3500mm(Near)

500mm-4500mm

人の骨格検出

_2人

_6人

検出骨格数

_20点/一人

_25点/一人

手指検出

×

_{△(親指と指先)}

手のポーズ検出

△

(Kinect Interaction：グー、パー)

○(グー、チョキ、パー)

42

(42)

センサーの仕様比較

Kinect v1

Kinect v2

ジェスチャー

△

(Kinect Interaction:入力支援)

○ マイク

_{4つのマイク(マイクアレイ)}

音声入力

○

○ チルトモーター

あり

なし

加速度センサー

あり

_{APIとしては未公開}

43

(43)

センサーの仕様比較

Kinect v1

Kinect v2

USBバージョン

USB 2.0

USB 3.0

1PCで複数Kinectの同時利用

4台まで

1台

1PCで複数アプリからの同時利用

×

○

(44)

アプリケーションから見る

KINECT FOR WINDOWS V1とV2の比較

(45)

Depth

Kinect v1

Kinect v2

Kinect v2のソフトウェアやハードウェア、APIは暫定的なものであり正式版では変更される可能性があります。 46

(46)

Depthセンシング方式(v1:Light Coding)

ランダムな点を照射し、

歪みを計測する

(47)

物

Kinect v2

壁

台

反射の時間を測る

Depthセンシング方式(v2:ToF)

(48)

骨格検出

(49)

全身の骨格検出数

Kinect v1 : 20点/一人

Kinect v2 : 25点/一人

(50)

骨格検出数の追加

(51)

水平視野角

http://www.innovotion.co.jp/blog/2013/11/27/22/

(52)

垂直視野角

http://www.innovotion.co.jp/blog/2013/11/27/22/

(53)

KINECT FOR WINDOWS SDK

(54)

使用するライブラリ(マネージ)

基本ストリーム

Microsoft.Kinect.dll

Control

Microsoft.Kinect.Wpf.Controls.dll

Fusion

Microsoft.Kinect.Fusion.dll

Face

Microsoft.Kinect.Face.dll

HD Face

Microsoft.Kinect.Face.dll

Speech

Speech SDK

Gesture

Microsoft.Kinect.VisualGestureBuilder.dll

(55)

使用するライブラリ(ネイティブ)

基本ストリーム

Kinect20.lib

Control

×

Fusion

Kinect20.Fusion.lib

Face

Kinect20.Face.lib

HD Face

Kinect20.Face.lib

Speech

Speech SDK

Gesture

Kinect20.VisualGestureBuilder.lib

(56)

使用するライブラリ(WinRT)

基本ストリーム

WindowsPreview.Kinect

Control

Microsoft.Kinect.Toolkit.Input

Microsoft.Kinect.Xaml.Controls

Fusion

Microsoft.Kinect.Fusion

Face

Microsoft.Kinect.Face

HD Face

Microsoft.Kinect.Face

Speech

×

Gesture

Microsoft.Kinect.VisualGestureBuilder

(57)

使用するライブラリ(Unity)

• Unityパッケージ

– K4W_Unity_XXXX_1(ProOnly).unitypackage

(58)

Kinect for Windows SDK v1からのデータ(参考)

• ColorImageStream

– RGB または IR

• DepthImageStream

– Depth と PlayerIndex

• SkeletonStream

(59)

Kinect for Windows SDK v2からのデータ

• ColorFrameReader

• DepthFrameReader

• InfraredFrameReader

• BodyIndexFrameReader

• BodyFrameReader

• LongExposureInfraredFrameReader

• AudioBeamFrameReader

• MultiSourceFrameReader

(60)

改善点

• DepthとPlayerIndex(BodyIndex)が分離された

– V1ではDepthとPlayerIndexがひとまとまりだった

• ColorストリームとIRストリームを同時に読み込むこと

ができる

– V1ではColorとIRストリームは排他(PrimeSense系センサーの

仕様?)

• AudioBeamにBodyIndexが関連付けられた

– 音声方向の人の判別が容易になった

(61)

データ取得の大まかな流れ

Sensor

Source

Reader

Frame

Data

(62)

初期化(マネージド)

void Initialize()

{

// Kinectを開く

kinect = KinectSensor.GetDefault();

kinect.Open();

// カラーリーダーを開く

colorFrameReader = kinect.ColorFrameSource.OpenReader();

colorFrameReader.FrameArrived += colorFrameReader_FrameArrived;

}

(63)

データを取得する(マネージド)

void colorFrameReader_FrameArrived( object sender, ColorFrameArrivedEventArgs e )

{

// カラーフレームを取得する

using ( var colorFrame = e.FrameReference.AcquireFrame() ) {

if ( colorFrame == null ) {

return;

}

// BGRAデータを取得する

colorFrame.CopyConvertedFrameDataToArray( colorBuffer, ColorImageFormat.Bgra );

// 処理する

...

}

(64)

まとめ

(65)

Kinect v2を使う理由および進化点

• より高精度なデータ(Color,Depthなど)

• 体のより詳細な動き(関節の向きなど)

• 体の内面の検出、推定(表情など)

• WinRT,Unityへの公式な対応

(66)

情報源

• 中村(MVP for Kinect)

–

http://www.naturalsoftware.jp/

• 杉浦さん(MVP for Kinect)

–

http://unanancyowen.com/

–

http://www.buildinsider.net/small/kinectv2cpp

• 初音さん(MVP for Visual Basic)

–

http://www.buildinsider.net/small/kinect2dp

(67)

困ったときは

• Kinect for Windows 好きの集まり(Facebookグループ)

–

https://www.facebook.com/groups/320184018036066/

• Tokyo MotionControl Network(Facebookページ)

–

https://www.facebook.com/TokyoMotioncontrolNetwork

• TMCN forum(Facebookグループ)

–

https://www.facebook.com/groups/271384549699385/

(68)

www.naturalsoftware.jp

画像処理技術を利用した Kinectの応用

はじめての

Kinect for Windows v2

2014/09/24,26 東京エレクトロンデバイス株式会社主催

Kinect for Windows v2最新情報セミナー

自己紹介

中村 薫

フリーランスで主にDepthセンサー系の仕事をしています

アプリケーション開発、講演、ハンズオンセミナー、執筆など

Microsoft MVP for Kinect for Windows

[email protected]

はじめに

大きな流れ・1

大きな流れ・1

Microsoft

Intel

大きな流れ・2

注意事項

Kinect v2

のソフトウェアやハードウェア、

API

は暫定的なものであり、

ゴール

• Kinect for Windows v2の概要を知る

• Kinect for Windows v2の使いどころを知る

• Kinect for Windows v1とv2の違いを知る

デモ

KINECT FOR WINDOWS V2

Kinect for Windows v2を使う理由

• より高精度なデータ(Color,Depthなど)

• 体のより詳細な動き(関節の向きなど)

• 体の内面の検出、推定(表情など)

• WinRT,Unityへの公式な対応

Kinect for Windows v2を使わない場面

• 複数のKinectを1PCで利用したい場合

• 加速度センサーを利用したい場合

Kinect v2

• 2013年11月

– 米国などでXbox Oneが発売(Kinect v2同梱)

• 2013年12月

– Kinect for Windows v2 Developer Previewの発売開始

• 2014年07月

– Kinect for Windows v2 Public Previewの発売開始

• 2014年09月

– 日本でXbox Oneが発売

Kinect for Windows v2

•

Xbox One

に付属の

Kinect

と同等

•

2014

年

7

月時点でオープンベータとしてリ

リース

(

センサーはリリース版

)

事例(旧バージョン)

医療

http://www.youtube.com/watch?v=624N3-nIieI

リハビリ

アミューズメント

仮想試着

http://www.facebook.com/photo.php?fbid=3392874617478

空中ディスプレイ

現実世界へのインタラクション

Photo by Ben Lorph

Kinect x 8台

KINECT FOR WINDOWS SDK V2の機能

Kinect for Windows SDK v2

•

2013

年

12

月：

Developer Preview

•

中村薫

₍

₎