修 士 論 文 概 要 書
2010 年 2 月提出 専攻名
（専門分野）
情報理工学専攻 氏 名 北市健太郎 研究指導名 甲藤二郎 学籍番号 5108B035-1
CD指 導
教 員 甲籐二郎 印 研 究
題 目 Wii リモコンを用いた音楽インタラクション
1. はじめに
計算機により実現された多くのインタラクティブ・システ ムの中で、音楽や音のインタラクションを組み込んだシステ ムは，従来の音楽研究にまして盛んになりつつある。音楽の 表現を豊かにする目的において開発されるシステムは、新し い試みとしてとらえることができる。しかし、既存の音楽家 向けのツールでは、音楽の知識や経験が多くないユーザが音 楽インタラクションを体験するには不十分であった。また、
既存研究では、特殊なセンサやMIDI楽器などを必要とする ものが多く、音楽にそれほど関わりのない人にとっては、そ れを準備するには敷居が高いと言える。
誰でも簡単に入手することができ、かつ感覚的に扱えるイ ンターフェースが必要である。そこで、本研究ではWiiリモ コン（任天堂株式会社）をインターフェースとして扱う。今 回試作したのは、実際の楽曲再生と同時に、ユーザがセッシ ョン感覚で演奏することができるアプリケーションである。
ユーザが自分の好きなタイミングでWiiリモコンを操作する ことで、楽曲のコード（調性）に合った音が自動で生成され る。また、事前に音色・音量などを設定しておくことで、様々 な楽器の擬似演奏を行うことができる。
2. Wii Music++の設計
本章では、Wii リモコンを用いた試作アプリケーション
Wii Music++の設計について述べる。尚、実装にはMax/MSP・
Jitter(Cycling’74)を使用した。
2.1 処理の概要
Wii Music++における処理の流れを図１に、GUI画面の図2
に示す。まず、Wii リモコンと計算機の接続を行う。次に、
楽曲ファイルを読み込み、楽曲再生を行う。それと同時に音 響信号にFFTをかけ、12次元chroma-vectorへマッピングし、
楽曲の調性に合った音を自動選択する。ユーザは、好きなタ イミングでWiiリモコンを操作することで、自動選択された 音を発音させることができる。また、連続での発音の際に非 音楽的な音列の並びになることを防ぐために、HMM を用い て再生音程を制御している。尚、ユーザによって再生される 音はMIDIを用いる。
2.2 Wiiリモコンのパラメータ取得
Wii リモコンから取得するパラメータは、3 次元加速度セ ンサの値・Wiiリモコンの向き・各ボタン情報である。これ らの値を、Bluetooth通信によって秒間50回取得する。尚、
実装の際にMax/MSP上でWiiリモコンから送信されるデー タを受信する必要があるため、Max/MSPのexternal objectで
図1 処理の流れ
図2 GUI画面
あるaka.wiiremote[2]を用いて各データの受信を行った。
通常なら、手の震えなどによる誤動作を避けるため、過去 10フレームの値から移動平均による平滑化を行い、加加速度
（単位時間あたりの加速度の変化率）などを用いて拍打を識 別するべきだが、本研究では楽曲再生と同時にリアルタイム で拍打を識別する必要がある。そこで、加速度センサの値が、
ある一定以上の値を超え、１つ前の値より小さいときにユー ザの操作による拍打が行われたとみなす。これは、加速度デ ータのピークを識別することになる。このことで、多少の誤 動作が起こる可能性はあるものの、リアルタイム性を保ちつ つ、拍打を識別することができる。
2.3 12次元chroma-vectorのリアルタイム取得
12 次元chroma-vectorとは、音高情報のうち、オクターブ
加速度データ ボタン情報
音響データ(mp3, wavなど) FFT
chroma-vectorの取得
再生音程選択
（HMM利用）
MIDI再生 ビジュアライゼーション
音響出力 Bluetooth接続
Max/MSP内処理
スピーカー Wiiリモコン
違いの同じ音階の成分を全て重ね合わせて 1 オクターブ内 の半音階の 12 音の成分に縮約したものである。楽曲の旋律 や和声は, 全体をオクターブ単位で上下に平行移動しても調 性は変化しないことから, オクターブ方向の分布の情報を取
り除く chroma-vector は, 調推定に必要な音高情報を圧縮し
ていると言える。この値を用いることによって、楽曲に合っ た音程を推定・選択することが可能となる。
12次元chroma-vectorの値を、楽曲再生と同時にリアルタ
イムに取得する。取得された 12 次元の値の内、大きいもの は楽曲に多く含まれている音と言え、小さいものは含まれて いる割合が少ないものと言える。そこで、本手法では、12
次元chroma-vectorの割合を、自動選択される音程にそのまま
割り当てる。このことによって、楽曲の再生されている部分 の調性に適した音を発音させることが可能となる。
2.4 音楽理論に基づいたHMM利用による自然な音列の 生成
ここまでで、楽曲の調性に適した音程を発音させることは 可能となった。しかし、このままでは連続で発音させたとき にランダムに様々な音が発音されることとなり、その音列は 非音楽的なものとなってしまう。そこで、HMM を用いて発 音される音程に対する前後関係を考慮することを考える。一 般的な楽曲におけるメロディの音列は、突然音高が大きく変 化することは少なく、また、同じ音高が長時間続くことも少 ない。そこで、HMM を用いて、再生音と直前の音との音程 差を確率的に定義する。それに加え、ペンタトニックスケー ルという音楽理論を利用する。以上により、楽曲に親和した 音を選択し、かつ自然な音列を生成することが可能となる。
2.5 ボタン操作による再生音機能
ユーザによって操作できるパラメータが発音のタイミン グだけでは、音楽経験者にとっては物足りないものとなって しまうので、ボタン操作によって再生音を調節・変更させる 機能を作成した。特定のボタンを押すことによって再生音の 音域を変更する、MIDI 楽器を変更する、特定のボタンを押 したままWiiリモコンを振ることによって音量を上昇させる 等の処理を行う。このようにボタン操作による処理を行うこ とで、ユーザの意図を再生音に反映させることが可能となる。
3. 主観評価実験
主観評価実験では、音楽理論適用前と適用後の双方を 22 人の方に評価して頂いた。設問は以下の通り。事後設問の結 果を以下の図3に示す。
設問1 再生される音は曲に合っていると感じる
設問2 再生されるフレーズは自然だと感じる
設問3 演奏が楽しいと感じる
設問4 今後このシステムを使ってみたい
全ての設問に対して、実験後に頂いた意見としては、時折自 分の意図とは異なる音が再生され、逆にそれがおもしろいと いうものがあった。このようなランダム性は、思いもしない 音楽をもたらすものであり、そのような経験は、新しい音楽 経験と言える。
評価実験結果（スコア）
0 0.5 1 1.5 2 2.5 3 3.5 4 4.5 5
設問1 設問2 設問3 設問4
スコア
音楽理論適用前 音楽理論適用後
図3 評価実験結果
4. おわりに
本研究では、実際の楽曲再生と同時に、ユーザがセッショ ン感覚で演奏することができるアプリケーションを提案し た。本アプリケーションによって、新しい能動的な音楽イン タラクションを実現することができた。計算機の性能向上や 開発環境の整備などにより、リアルタイムでの音響信号分析 などの高付加処理が可能となり、本アプリケーションを開発 することができた。また、誰でも簡単に入手でき、かつ、感 覚的に扱うことのできるインターフェースとしてWiiリモコ ンを用いることで、これまで敷居の高かった音楽インタラク ションを音楽知識や経験の少ないユーザでも体験すること が可能となった。
主観評価実験では、本アプリケーションでの音楽理論の適 用による有効性が確認された。また、その実験で明らかにな った問題をもとに、インターフェース機能を追加した。新た に、ユーザに自由度を持たせるような機能を加えることによ って、アプリケーションとしての有効性はさらに向上された。
また、本アプリケーションを応用することで、ライブパフォ ーマンスや音楽教育の場面での新たな音楽の楽しみ方が展 開されることも考えられる。
参 考 文 献 1) Wii Music
http://www.nintendo.co.jp/wii/r64j/index.html 2) aka.wiiremote
http://www.iamas.ac.jp/~aka/max/
3) Bernd Bruegge, Christoph Teschner, Peter Lachenmaier, Eva Fenzl, Dominik Schmidt, Simon Bierbaum：Pinocchio:
conducting a virtual symphony orchestra, Proceedings of the international conference on Advances in computer entertainment technology , pp.294-295 (2007)
4) Hyun-Jean Lee, Hyungsin Kim, Gaurav Gupta, Ali Mazalek：WiiArts: creating collaborative art experience with WiiRemote interaction, Proceedings of the 2nd international conference on Tangible and embedded interaction, pp.33-36 (2008)
5) 後藤 真孝：音楽音響信号理解に基づく能動的音楽鑑賞 インターフェース, 情報処理学会研究報告[音楽情報科 学] Vol.2007, No.37, pp.59-66, (2007)
