Kinect を用いたダンス学習支援
システムの開発
北原研究室
山内雅史
篠本亮
Development of Dance Training Support
System Using Kinect
目次
●研究題目
●研究の背景・目的
●先行研究
●課題と解決策
●システムの構成
●評価実験と考察
●まとめ
研究の背景
●
近年において、ダンスは我々にとって身近な存
在となりつつある。
EXILE AKB48 K-POP
●
テレビでダンス番組が放送されたり、動画サイ
トで「踊ってみた」動画の投稿などが盛んに行
われている。
研究の背景
●
教育の分野では、昨今小中学校の体育でダ
ンスが必修化された。
●
ダンス学習支援を目的とした研究が行われて
研究の目的
●ダンス学習上の問題
– 学習者が正しく踊れているかを独力で判定 し、改善すること ●本研究では個人のダンス学習支援が出来る
ようなシステムを提案する。
先行研究
●先行研究
– 小学校体育授業における表現運動「学習支援 デジタル教材」の開発と評価 (安藤 幸/2009) – モーションキャプチャ装置を用いたサンバリズ ム習得過程の分析(石川 幸平/2006) – ダンスの初心者指導について (宮川 則子/2005) – ダンス教育支援を目的とした自動振付システ ムの試作(曽我 麻佐子/2007)モーションキャプチャ装置を用いたサン
バリズム習得過程の分析
● 初心者に特徴的なリズムのサンバダンスを指導
● 練習によるリズム感の向上を客観的に観察
Kinectを用いた関連事例
●
Dance Evolution(KONAMI)
● 振り付けの要所にマーカー(判定ポイント)があり、指
先行研究・事例との違い
モーションキャプチャ装置を用いたサンバリズム習得過程の 分析(石川 幸平/2006) ● ダンスなど技能取得の要素を「技」と「リズム感」と し、特にリズム感に着目した研究である。 ● リズム感の向上の過程の観察を主な研究目的とし ており、支援という部分には触れていない。 本研究では、「技」と「リズム感」の双方を考慮し、 ユーザのダンス学習支援ができるようなシステムを 目指す。先行研究・事例との違い
Dance Evolution(KONAMI)
●ダンスの正確さに基づいて決まるスコアを競
うもので、初心者がじっくりダンスを学ぶとい
う視点のものではない。
本研究ではゲーム性を追求せずに、初心者が
ダンスを学ぶための機能について検討する。
課題と解決策(1)
●ユーザが正しく踊れていない状況では、以下
の場合が考えられる。
1.そもそもリズム自体を正しく取れて いない 2.リズムは正確に取れているが、体の 動かし方(以降振り)を習得してい ない。
課題と解決策(2)
●この２つの状況をKinectの観測データのみで
区別することは困難である。
● ワイヤレスミニマウスでリ ズム感判定 ● Kinectで振り判定リズム感と振りの正確さをそれぞれ区別して
判定
Kinectとは
● Kinectとは、MicrosoftがXbox360向けに発売した ゲームデバイス。 ● カメラより取得した骨格情報を使いコントローラを使 わず操作できる。 ● モーションキャプチャーより安価である。Kinectによるユーザ認識
●
Kinectが認識できる関節の数は図で示す
システムの構成
(1) Kinectによるユーザ認識 (2) 見本映像の事前確認 (3) 練習の実行 (4) 改善点の提示 (5) 練習結果の判定 2回繰り返す 適切な振りorテンポ をユーザに提示（２）見本映像の事前確認
● 右画面：見本の映像の表示
● 左画面：リアルタイムでの映像の表示
（３）練習の実行
● マウス・振りの比較判定の開始
● 音楽の再生
Kinectによる振り習得判定(1)
● ユーザーのダンスに対してリアルタイムで関節座標 を求め、予め用意した見本の座標データの比較を行 う。 肩座標 手座標上
下
右
左
● 振りの種類は「腕を動かす」 に限定 ● 肩を基準に上下左右に領域 を分ける ● 見本と同じ領域であれば「一 致」とみなすKinectによる振り習得判定(2)
●前スライドの判定処理は、音楽再生時より計
測される四分音符のビート時刻で行う。ビート
時刻は予め付与しているものとする。6割以上
の一致が習得条件。
上 左 上 上 上 上 右 右不一致
ワイヤレスマウスによるリズム感判定
●
リズムの判定範囲は現在のビート時刻と次の
ビート時刻の差を４等分したもの
に、JUST,SLOW,FASTを設定する。
ワイヤレスマウスによるリズム感判定
● ユーザのクリック時刻と、予め用意したビート時刻の 差が許容誤差以内である時、リズムは正しくとれて いると判断する。 ● 7割以上正しくリズムを取れることが条件 許容 誤差 許容 誤差 許容 誤差 許容誤差FAST! JUST! SLOW! JUST!
ビート時刻(ms)
改善点の提示
ビート毎の両手の領 域の表示 リズムの結果例 • よいリズム感です • 走っています • 遅れています 見本と一致 見本と不一致練習結果の判定
●2回の練習結果から、以下のような条件で、次
の練習への指示を行う。
判定 振り→○ 振り→× リズム→○ テンポを上げる 振りを難しくする テンポを下げる リズム→× 振りを簡単にする テンポを下げる 振りを簡単にする ● 指示の例。リズムも振り も○だったので、振りか テンポを上げる選択を 表示。評価実験
●
実験環境
評価実験
●実験環境
– 百周年の会議室４ 100cm 75cm 100cm 200cm 250cm 被験者 スクリーン Kinect評価実験
● 実験方法 – システムの説明・練習（２５分） – 休憩（５分） – システム有り＋テスト（１５分＋α） – 休憩（１０分） – システム無し＋テスト（１５分＋α） ● １回あたりの練習時間:８小節(32拍)評価実験
●被験者４人
– 男性３人、女性１人 – ダンス未経験者 – ２つのグループで実施 システム有り→システム無し システム無し→システム有り ●使用音楽
– RWC研究用音楽データベース ジャンル：ダンス(ソウル/R&B)評価実験
●システム有り
– レベルが１番高い振りで音楽のテンポが１番 速いものから始める – マウスクリックと振りの一致度を判定する – 判定結果を表示する – 判定結果によってユーザに適切な振りやテン ポを提示するシステム有の練習の例
振付のレベル(３段階) テンポの速さ(３段階)レベル３
レベル２
レベル１
等速
ゆっくり
超ゆっくり
システム有の練習の例
振付のレベル(３段階) テンポの速さ(３段階)レベル３
レベル２
レベル１
等速
ゆっくり
超ゆっくり
2回練習 リズム感→× 振付をテンポシステム有の練習の例
振付のレベル(３段階) テンポの速さ(３段階)レベル３
レベル２
レベル１
等速
ゆっくり
超ゆっくり
2回練習 リズム感→○ 振付かテンポシステム有の練習の例
振付のレベル(３段階) テンポの速さ(３段階)レベル３
レベル２
レベル１
等速
ゆっくり
超ゆっくり
評価実験
●システム無し
– レベルが１番高い振りで音楽のテンポが１番 速いものから始める(有りと同様) – マウスクリックと振りの一致度の判定は被験 者に見えない形で行う – 判定結果に関わらず、振りのレベル・テンポは 変わらないシステム無しの練習の例
振付のレベル(３段階) テンポの速さ(３段階)レベル３
レベル２
レベル１
等速
ゆっくり
超ゆっくり
実験アンケート
● スポーツが好きですか ● 目標の振り付けを習得することが出来ましたか ● 振り付けのレベルやテンポの変更の指示は適切だと思いまし たか ● 結果画面の内容は分かりやすかったですか ● 上下左右、リズムの判定を練習に活かすことが出来ましたか ● 独りで行う練習で、本システムは有用だと思いましたか ● 練習を楽しめましたか ● 意見・感想・アドバイスをお願いします実験結果・考察
●
間違い減少率(%)
減少率(%)＝{1－(最後に間違えた振りの回数 / 最 初に間違えた振りの回数)}×100
実験結果・考察
●１５分間の練習での振りの間違い減少率では
大きな差は見られなかった
●被験者Bのシステム有りでの練習では間違い
減少率が
９０％以上
の高い数値が得られた
●被験者A・Dでは間違い減少率が
低い
被験者B・Cでは間違い減少率が
高い
実験結果・考察
●
被験者B・Cでは間違い減少率が
高い
●
１５分間の練習でレベル３、等速の振りに戻って
来られた
実験結果・考察
● 被験者A・Dでは間違い減少率が低い
● １５分間の練習でレベル３、等速の振りに戻って
