音声・センサ・画像の情報統合による音楽指導の支援手法

全文

(1)2C-4. 情報処理学会第66回全国大会. 音声・センサ・画像の情報統合による音楽指導の支援手法豊田実香†. 永田章二†. 柳田益造†. 金田重郎†. †. 新谷公朗‡ 芳賀博英†. ‡. 同志社大学工学部知識工学科. 常磐会短期大学幼児教育科. 1. はじめに幼稚園・保育所では，子どもの個性や感性を伸ばし，養うことを重視している．音楽についてもリズムやテンポを感じ取ったり，体で表現したりすることで豊かな表現力を養うよう配慮がされている．一方，保育者には，それぞれの子どもを観察し，発達段階に応じた指導・介助を行うことが求められる．図１のようにピアノを演奏しながらとなれば，かなりの熟練を要する．また，子どもを，どのように指導するか，ピアノの演奏にはどのような配慮が必要かを経験の浅い保育者や学生が，現場を目で観察しているだけでは，理解することは難しい．そこで，著者らは，子どもの動きから質的情報を抽出し，子どもの観察・記録に活かす方法について検証を試みた。その具体的な手法として，音楽に合わせてタクトを振る動作に着目し，マーカートラッキングを用いた幼児音楽教育の支援手法を提案した[1]．本稿では，保育現場の照明条件でもトラッキングできる LED マーカーを用いた改良版を提案する．更に，ピアノの演奏から拍を抽出し，画像データと統合することで精度を上げることを試みた（図 1）．また，加速度センサーの導入により，従来の画像データだけでは得られなかった子どもの腕の微細な動きを読みとれた．. 2. 従来手法の課題と新システムの構成従来研究では，タクトの周期を，時間軸方向にグラフ化した．これにより，初学者には，一見「うまい」と思われた子どもでも，後半になると周期が伸び，リズムが変わっていることを観察できた．しかし，従来手法では，1）マーカートラッキングは困難であり，手操作によるトラッキングが不可欠．2） 30fps の市販デジタルビデオカメラでは残像が残り，トラッキング困難． 3) 実際の演奏・歌声から拍の長さを求めなければ，テンポやリズム変化への対応が困難．等の課題が指摘された．これら課題を解決する方法として今回の実験では、フレームレートが従来よりも高い，民生用ハイビジョンカメラ (60fps)を使用し，マーカーのロストを防ぐために，LED をマ A Support Method for Infant Music Education by Integration with Sounds, Sensors, and Images †. Mika TOYODA, Syoji NAGATA, †MasuzoYANAGIDA,†Shigeo KANEDA, ‡Kimio SHINTANI, †Hirohide HAGA † Doshsha University, Faculty of Engineering, Knowledge Engineering and Computer Sciences ‡ Tokiwakai College, Infant Education. 図 1. LED/加速度センサ付きタクトを振る子ども. y. g. ２軸加速度センサー＋ LED 搭載タクト. D ig ita l V id e o C a m e ra. ♪. LE D. ♪. 点滅. ♪. ♪. ♪. 赤色フィルタR６４. T im e S ta m p ♪. LAP T O P P C ADコンバータ PCカード. M ic ro p h o n e. ♪. 図 2. 新システムの概念図. ーカーとして使用した．また，画像データよりも細やかな動きが観察できる，加速度センサーを導入した．図２は，システム構成の概念図である．システムの特徴は以下の通りである． z マーカーとしては赤色LEDを用い，赤色フィルター (Kenko R64)を装着した民生用HDカメラで撮影（子ども達の様子は，別のビデオカメラで撮影）1． z テレビ画像と加速度センサーデータの同期用に，10 秒に１回点滅するタイムスタンプマーカーを作製. z 音声については，ピアノ音から自動的に拍の頭を検出．このため，マイクによりピアノの演奏を録音．音声もにタイムスタンプが必要な場合は，音声信号用の AD コンバーターボードにタイムスタンプ信号を入力．これらにより，画像，加速度センサー，及び音声を統合し，より精細な子どもの運動の質的分析を試みた． 1. 幼稚園での実験では、青色ＬＥＤで行った．しかし，青色ＬＥＤでは、照明条件によってはＬＥＤの青色が白っぽく撮影され，マーカーがロストするため赤外線撮影に仕様を変更した．実際に赤色LEDを用いた２つのタクトを赤色フィルター付きカメラで撮影したところ，タクトの先端マーカーとタイムスタンプマーカー（点灯時）以外はまったく見えない．このため，輝度のみでのトラッキングが可能となった．. 4−359.

(2) 350. 3. 実験結果. 300. 300 250 250 200 200. 実験は，常磐会短期大学付属幼稚園において 5 歳児の音楽指導の時間に行った．指導者のピアノあるいは、歌に合せて 3 人の子どもが実験用タクトを振る様子をビデオカメラで撮影した．ピアノの音は DAT に小型マイクを接続し，ピアノ内部に入れて録音した．以下に実験結果の概要示す．. 100 100 50 50 0 0. 89 133 507 705 8 9 1111 1 1 13 3 155 1 55 177 17 7 199 19 9 221 22 1 243 24 3 265 2 65 287 28 7 3309 09 3331 3 1 353 3 53 375 3 7 5 397 39 7 419 4 19 441 44 1 463 46 3 485 48 5 50 7 5529 29 551 55 1 573 5 73 595 59 5 617 6 17 639 6 3 9 661 6 61 683 6 83 70 5 727 7 27 749 74 9 771 77 1 793 7 9 3 815 81 5 837 8 37. 6. 8. 2. 4. 4. 14. 17. 20. 96. 52. 08. 4. 6. 8. 24. 64. 3. 2. 27. 30. 33. 36. 76. 32. 2. 4. 6. 8 .4. 88. 44. 7. 43. 8. 2. 4. 加速度センサー（横軸）（秒） 46. 52. 68. 2. 6. 34 56. 8. 59. 8. 62. 36. 72. 65. 688. 92. 4. 6. 8. 52. 4. 76. 768. 821. 2. 4. 6. 8. 884. 48. 941. 964. 927. 8. 画像（Y 座標）でのタクトの動き. 49. 67 67. 56. マーカートラッキングと加速度センサー. 23 2 3 45 45. 12. 11. 080. z. 150 150. 00. 図 3 は、動画からマーカートラッキングによって得たデータと加速度センサーから得たデータをグラフ化したものである．各グラフとも上部がマーカートラッキングのデータ，下部が加速度センサーのデータをグラフ化したものである．画像データのグラフを比較すると指導者と子どものグラフには若干のばらつきがあるものの大差は見られない．しかし，加速度センサーのデータを見比べると，両者の運動の違いが見て取れる．指導者のセンサーデータのグラフは，きれいに整った鋭いピークが現れ，周期もほほ等しい波形となっている．一方，子どものグラフは，データがばらつき，ピーク，周期ともばらついている．また，センサーデータからは，両者のタクトの振り方のｔｉｇａｉｗｏ見て取れる．指導者は，タクトを「Ｖ字」を描くように振り，タクトの描く軌跡の最下点で力をいれてリズムを取っている．一方，子どもは，タクトが振れる軌跡の水平方向の振幅でリズムを取っている場合が多い．今回の実験では，２軸の加速度センサーを利用したが，軸の方向はタクトの持ち方によって変化するため，必ずしもカメラ画像との対応は単純でない．センサーの軸の固定方法等は，今後の課題であるが，前述したように，子どものタクトの振り方（手首と腕の運動の質）について客観的かつ，有効な結果が得られた． z. ピアノの演奏との情報統合. ピアノ演奏からの拍の抽出には，波形エンベロープを用いて，打楽器の演奏で明確に現れる波形の立ち上がりを探索し，自動分析を行った．拍抽出の結果から，ベテラン音楽指導者は，必ずしも譜面どおりに一定の拍で演奏しているのではなく，子ども達の歌の様子を伺いながら，その時々に合わせてテンポを調整している．図 4 は，子どものタクトの拍とピアノの拍の演奏時間における推移を表したグラフである．分析に使用した演奏から抽出した 1 拍の. 50. 00. 50. 0 00. 50. 0. 0. 491 505 519 533547 561 575589 603 617631 617 631 645 659673 687 701715 729 743757 771 785799 813 82 82 1 15 29 43 57 71 85 99 113 127141 155 169183 197 211225 239 253267 281 295309 323 337351 365 379393 407 421435 449463 477 491505. 0. 図３先生（上）と子供（下）の画像トラッキングデータとセンサデータ. 均は 0.8 ンポアップしている．子どもは揺らぎながらもテンポアップを感じとり後半は，速く振っているのが判る．また，センサーデータから子どもは，腕の水平方向の振幅でリズムを取りタクトを振っていると述べたが，図 4 の拍の間隔からは，遅い，速いを，ほぼ交互に繰り返しているのが判る．これは，腕を外側にふる運動能力が未発達であるために生じていると考えられる．. ４．まとめ本研究の狙いは，幼児教育科の学生が，子ども達一人一人の成長や個性をどのように把握するか，あるいは長期的に観測したときに発達をどのように見いだすかを支援することにある．今後は，保育者を目指す学生も交え分析データを精査し，子どもを長期に観測して波形の変化を見て行く必要がある．ただし，今のケーブルが繋がったタクトでは，子ども達の自由な活動を制約するため，無線で加速度センサーの情報を伝送できる，より実践的なタクトを開発したい．. 参考文献 [1] 渋谷真人,新谷公郎,坂東敏博,金田重郎,柳田益造: 幼児を対象としたマーカー追跡による音楽指導支援 FIT2003,講演番号 LN-002,2003 年 9 月. 先生の演奏の拍間隔. C（子供）の拍間隔. 演奏のはく間隔の平均（0.8）. 拍間隔（秒） 1 0 .9 5 0 .9 0 .8 5 0 .8 0 .7 5 0 .7 0 .6 5 0 .6. 25.6. 24.8. 24. 23.2. 22.4. 21.6. 20.8. 20. 19.2. 4−360. 18.4. 図４. 子どものタクトとピアノ演奏の拍の推移. 17.6. 16.8. 16. 15.2. 14.4. 13.6. 12.8. 12. 11.2. 10.4. 9.6. 8.8. 8. 7.2. 6.4. 5.6. 4.8. 4. 3.2. 2.4. 1.6. 0.8. 演奏時間（秒）.

(3)