実ドラムと仮想ドラムを統合するための
叩打動作識別機能をもつドラムスティックの設計と実装
菅
家
浩
之
†1竹
川
佳
成
†2寺
田
努
†1,†3塚
本
昌
彦
†1 ドラムセットはさまざまな打楽器の組合せから構成されるが，個々の打楽器は大き く重いため，持ち運びが不便であったり，設置に広いスペースを必要とする．一方， モーションセンサを搭載したドラムスティックを用いて空間上の仮想打面を叩打するこ とで擬似的にドラム演奏を行う仮想ドラムは，高い可搬性をもつが，叩打時のフィー ドバックがなく演奏しづらかったり，演奏法や音色が再現できない．そこで，本研究 では実ドラムと仮想ドラムを統合するための叩打動作識別機能をもつドラムスティッ クを構築する．提案するドラムスティックは仮想ドラムの叩打と識別したときのみ，仮 想ドラムに割り当てた音色の音を出力することで，仮想ドラムと実ドラムの利点を併 せもつドラムを実現する．また，ドラム習熟者による評価実験を行い，提案手法の有 用性を検証した．Design and Implementation of a Drumstick
with Stroke Recognition Function
for Integration of Real and Virtual Drums
Hiroyuki Kanke,
†1Yoshinari Takegawa,
†2Tsutomu Terada
†1and Masahiko Tsukamoto
†1 A drum set is composed of various kinds of percussion, and has the problem of portability as percussion is heavy and big. Virtual drums have drumsticks mounting motion sensors and output sounds by stroking virtual percussion with the drumsticks. These virtual drums have high portability however, they still have the difficulty in performance and a lack of acoustic tones. Therefore, the goal of our study is to construct a drum stick with stroke recognition function for integration of real and virtual drums. The proposed system recognizes the difference between a stroke of real percussion and a stroke of virtual percussion. We have developed a prototype system, and evaluated its effectiveness.1.
は じ め に
ドラムセットはスネアドラム，バスドラム，シンバルなどさまざまな打楽器の組合せから 構成される．ドラム演奏者は楽曲に合わせてそれらを自由に組み替え演奏を行う．しかし， 個々の打楽器は大きく重いため持ち運びが不便であったり，設置に広いスペースを必要とす る．また，複数の電子パッドを平面上に並べ，各パッドに固有の音色が割り当てられいる省 スペースな電子ドラムもあるが，既存のドラムと異なるデザインであるため，ドラム演奏で 培った演奏技術を活かすことが難しい． 一方，上記に述べたような実際のドラム楽器(以降，実ドラム)ではなく，近年では空間 上の仮想打面を叩打することで擬似的にドラム演奏を行う仮想ドラム1)が提案されている． 仮想ドラムは実打面を必要としないため設置場所の制限が小さく出力音には電子音源が用 いられているため，ユーザは豊富な音色を選択できる．しかし，空間上の仮想打面を叩打す る仮想ドラムでは実打面を叩打したときのような物理的なフィードバックがないため，演奏 者はスティックを振った後に自力でスティックを止める必要がある．このことから演奏者が 正確にリズムを刻むことは難しい．また，ドラムロールやリムショットといった実ドラム特 有の演奏法が再現できないため，演奏における表現力が低下する．したがって，実ドラムに 慣れているドラム演奏者が仮想ドラムを使う場合，演奏性や表現力が著しく低下するため満 足のいく演奏をすることは難しい．このように，仮想ドラムにも実ドラムにもそれぞれ問題 点があるため，どちらかのみを利用して柔軟な演奏を行うことは難しい．ここで，ドラム セットの各打楽器は使用頻度に偏りがあるため，使用頻度の少ない打楽器に対してであれば 性能の低下を最小限に抑えた上で可搬性を高められる． そこで，本研究では実ドラムおよび仮想ドラムの叩打動作を識別することで実ドラムと仮 想ドラムを統合するドラムスティックを構築する．提案するドラムスティックはモーション センサを搭載し，加速度および角速度の変化の違いから実ドラムの叩打および仮想ドラムの 叩打をそれぞれ識別する．また，仮想ドラムの叩打と識別したときのみ，仮想ドラムに割り †1 神戸大学大学院工学研究科Graduate School of Engineering, Kobe University
†2 神戸大学自然科学系先端融合研究環
Organization of Advanced Science and Technology, Kobe University
†3 科学技術振興機構さきがけ
当てた音色の音を出力することで，仮想ドラムと実ドラムの併用を実現する． 以下，2章で関連研究について説明し，3章で設計について述べる．4章で実装について 説明し，5章で評価実験とその考察について述べる．6章で実運用とその考察について説明 し，最後に7章でまとめを述べる．
2.
関 連 研 究
空間上の仮想打面を叩打することで疑似的にドラム演奏ができるさまざまな仮想ドラム が開発されている．近年の仮想ドラムの事例としてはV-beat Air Drum1)などがある． V-beat Air Drumはドラムスティックにモーションセンサを搭載し，スティックを振る加速度 によって叩打の認識を行い，内蔵されたドラム音源を出力する．ユーザはスティックを振る 角度を変化させることで音色をコントロールできる．これらの仮想ドラムは打面を配置する 必要がないため，場所の制約を気にすることなく演奏を楽しめる． 仮想ドラムを利用した場合における演奏性の低下も指摘されている．Maki Patolaら4)は 実打面と空間中の仮想打面を叩打した場合における演奏性を評価しており，実打面を叩打し た場合と比べて仮想打面を叩打した場合の方が正確なリズムで叩くことが難しいと報告し ている．Mike Collicuttら5)は実ドラムと仮想ドラムを演奏した時の演奏者の動作変化量 を調査した．アコースティックドラムや仮想ドラムなど４種類の異なる打楽器を用いて，シ ングルストロークとダブルストロークを行った実験では手の高さの変化は実ドラムおよび仮 想ドラムとも同じような動きで，シングルストロークにおいては仮想ドラムも実ドラムと 同じ演奏性であるが，ダブルストロークは仮想ドラムでは打面の跳ね返りが存在しないた め演奏が低下したと述べている．このように，仮想ドラムは空間を叩打するという特性上， 演奏性の低下は免れない．本研究では，使用頻度の少ない打楽器に対して仮想ドラムを適用 することで，演奏性の低下を最小限に抑える．3.
設
計
1章で述べた持ち運びの不便さや設置スペースを必要とするといった実ドラムの問題およ び仮想ドラムを利用したときの演奏性の低下を解決するために，以下の方針をもとに仮想ド ラムを設計した． (1) 実ドラムの補助としての位置づけ 本研究で提案する仮想ドラムはあくまで実ドラムを構成する一部の打楽器を補完する ためのものとして使うことを想定する．これまでにさまざまな仮想打楽器が提案されて きたが，いずれも実ドラムと併用できなかったため，ライブやコンサートでの演奏にお いては，仮想打楽器の可搬性よりも，実ドラムの高い演奏性，特に，アコースティック な打楽器がもつ豊かな音色が選ばれてきた．一方，実ドラムを構成する打楽器は使用頻 度が異なる．ドラムセットの基本構成を例に説明すると，ハイハットシンバル，スネア ドラム，バスドラムは使用頻度の高い打楽器である一方で楽曲中で数回しか使われない 打楽器も存在する．このような使用頻度の低い打楽器を仮想的な打楽器に置き換えるこ とによって，演奏性の低下や音色の劣化を上回る可搬性の利点が生まれると思われる． したがって，本研究では，このような使用頻度の低い打楽器の仮想化を対象とし，実ド ラムと併用可能な仮想ドラムの構築をめざす． (2) 演奏技術の転用 既存の複数のドラムパッドを搭載した電子楽器は省スペースであり持ち運びも手軽であ るが，ドラムパッドを導入することでドラム構成が変わるため，実ドラムの演奏に慣れ た演奏者は新たなドラム構成のために訓練し直す必要がある．そこで，実ドラムで培っ た演奏技術をそのまま活かせるような設計をめざす．例えば，ドラムセットにおいてク ラッシュシンバルが存在しない場合，仮想的にクラッシュシンバルがあると想定して空 間を叩打するとクラッシュシンバルの電子音が出力される．また，実ドラムと仮想ドラ ムの叩打動作をそれぞれ識別しており，実ドラムを叩いた場合，仮想ドラムの電子音は 出力されない(図1)．このようにすることで，ドラム演奏者は提案する仮想ドラムを使 うための特別な訓練を必要とせず，既存の演奏技術を最大限活かせる．これは(1)で述 べた実ドラムとの併用も同時に満たす． 3.1 仮想ドラムの構成 図2に仮想ドラムの構成を示す．提案システムでは，無線通信機能をもつ加速度・角速度 センサを搭載したドラムスティック，PCおよびMIDI音源から構成される．演奏中におけ る叩打動作は加速度・角速度センサの値として無線通信を用いてPCに送信される．PCは， 受信したセンサデータから叩打動作認識とMIDI音源の音色や音高の制御を行う．仮想ドラ ムを叩く動作をしたと認識した場合のみMIDI音源へメッセージを送信し音声を出力する． 3.2 叩打動作の識別手法 提案する仮想ドラムは実ドラムとの併用を実現するために実打面の叩打と仮想打面の叩 打を識別する必要がある．また，楽器演奏という特性上，叩打後に認識を行い電子音を発音 すると，発音までにタイムラグが生じるためリズムに合わせた正確な演奏が行えないことか らできるだけ早い段階で叩打を識別する必要がある．仮想ドラム使用時 ⾳声を出⼒する 実ドラム使用時 ⾳声を出⼒しない 図 1 出力の制御 ①加速度・角速度のセンサデータ ②叩打動作の識別 音声制御 ③⾳声出⼒ 加速度・角速度センサ PC MIDI音源 無線通信 図 2 仮想ドラムの構成 加速度および角速度データの特性 実打面および仮想打面を叩打した場合における加速度と角速度の波形を図3に示す．仮想 打面と実打面を叩打した場合で加速度データのふるまいが大きく異なる．実ドラム叩打後の スティックの振動は実打面特有の現象であるため識別に有効であるが，図3のオレンジ色の 囲みに示すように叩打後から識別までにはタイムラグが生じる．本研究ではドラム演奏とい う特性上，叩打した瞬間に音声を出力する必要があるためスティックの振動は識別手法には 加えない． 実ドラム叩打後の振動以外の部分に着目すると，実ドラムを叩いた場合はドラムスティッ クの跳ね返りを利用できることから振る動作を止める必要がないため，叩打する瞬間まで加 速度は減速しないことがわかる．また，叩打した後はスティックの跳ね返りにより加速度が 急に変化する．一方で，仮想ドラムの場合，打面が存在しないことから自力でスティックの 加速度データ 加速度(mG) t(ms) 角速度(dps) t(ms) 実打面叩打 仮想打面振下ろし 仮想打面振上げ 角速度データ 基準強度 図 3 叩打時の加速度および角速度データ 動きを止めるため叩打する直前に加速度が減速する．このため，加速度があらかじめ定めた 閾値(以降，これを基準強度と呼ぶ)を越え，再度，基準強度を下回るまでの時間(以降，こ れを通過時間と呼ぶ)は両者で異なる．例えば，基準強度を2000mGとした時，実打面を 叩打した場合の通過時間は5ms∼30msであるのに対し，仮想打面を叩いた場合は40ms∼ 70msである．また，スティックを振り下ろす動作と振り上げる動作で波形の位相が反転(図 3の青色の枠線)するため，通過時間だけで実叩打か仮想叩打を判断する場合，スティック を振り上げた場合においても仮想ドラムの叩打と識別される．角速度データは回転する物体 の計測ができるため，スティックの振下ろしと振上げの識別を角速度で行う．なお，振り下 ろしと振り上げは加速度データからも識別できるが，角速度の方がより明確に識別できるた め，本研究では角速度を採用した．
表 1 基準強度および通過時間を変化させたときの仮想ドラムの識別回数 20 25 30 35 40 45 50 55 60 65 70 75 80 85 90 95 1000 27 27 26 24 21 19 18 16 15 14 13 13 13 12 12 12 1100 27 27 25 24 21 19 18 17 15 13 13 13 13 12 12 11 1200 26 25 24 21 20 19 17 15 14 13 13 12 12 11 11 9 1300 24 24 21 20 19 18 16 14 13 13 12 12 11 11 9 7 1400 21 21 20 19 18 17 15 14 13 12 11 11 11 9 7 6 1500 20 19 19 18 17 15 14 13 12 11 11 11 9 8 6 6 1600 19 19 18 17 16 14 12 12 11 10 9 9 8 7 6 4 1700 19 17 17 16 14 12 12 11 10 10 9 8 7 6 5 3 1800 18 18 16 14 14 12 12 11 10 10 9 8 6 5 4 2 1900 18 16 15 14 14 12 11 10 10 9 8 7 5 4 2 2 2000 18 17 16 14 14 12 11 10 10 9 8 7 4 2 2 2 基 準 強 度 (m G ) 通過時間(ms) 識別アルゴリズム 仮想ドラムと実ドラムの叩打時における加速度のふるまいの違いを活用し，それぞれの叩 打を識別する．演奏中，加速度データは逐次PCに送信されデータの解析を行う．最初に加 速度が基準強度を越えた場合，演奏者がスティックを振ったと識別する．次いでスティック の振上げと振下ろしの判定を行い，最後に仮想ドラムと実ドラムの叩打を識別する．前項で 述べたように通過時間は実ドラムに比べ仮想ドラムの方が長いため，ある叩打の通過時間が 閾値より長い場合，仮想ドラムの叩打と識別し電子音を出力する． 3.3 閾値の選定 ドラム演奏において叩打動作は演奏者によって異なると同時に演奏はやり直しが利かない ためできるだけ正確な識別が求められる．したがって，演奏者ごとに最適な基準強度と通過 時間を設定する．適切な閾値を決定するためにあらかじめ演奏者の叩打時における加速度 データを計測し，正しく識別されたときの基準強度と通過時間を閾値として設定する．例え ば，図5に示すように8ビートの先頭の拍にクラッシュシンバルを想定して仮想叩打を挿入 するフレーズを5回行った場合における識別結果を表1に示す．正しく10回識別した閾値 を見ると基準強度は1600mG∼2000mGの範囲となった．また，通過時間は55ms∼65ms の範囲となった．なお，提案手法では，基準強度と通過時間において正しく10回識別され た範囲の中間値を閾値として用いるようにした．この場合では基準強度を1800mG，通過 時間を60msと設定する． 図 4 センサを固定したドラムスティック
4.
実
装
提案するドラムスティックのプロトタイプを実装した．作成したプロトタイプは，スティッ ク状のハードウェアおよび動作を制御するソフトウェアからなる．ハードウェアとしては木 製のドラムスティックを用い，演奏者がドラムスティックを握ったときに指に接触しない位 置にワイヤレステクノロジ社の加速度・角速度センサWAA-006をマジックテープを用い て固定した(図4)．加速度・角速度のデータは5ms間隔でサンプリングされる．出力音源 はRoland社のMIDI音源モジュールSD-20を使用した．PC上のソフトウェアの開発はWindows 7上でMicrosoft Visual C++ 2008を使用した．
5.
評
価
5.1 実 験 方 法
実装したプロトタイプの有効性を示すために識別正答率について調査した．評価実験で は，以下に示す2種類のフレーズに対して60bpm(beats per minute)と120bpmの2種類 のテンポを適用させた場合における識別率を調査した． フレーズ1 8ビートはドラム演奏においてよく用いられる演奏であり，図5に示すよ うに8ビートの先頭の拍にクラッシュシンバルを想定して仮想叩打を行う． フレーズ2 図6に示すように10回の叩打において実打面を4回，仮想打面を6回叩打 する．また，ハイハットを実叩打で，クラッシュシンバルを仮想叩打で行う．フレーズ 2では仮想叩打が連続して行われるという点がフレーズ1と大きく異なる．
クラッシュシンバル（仮想叩打） バスドラム スネアドラム ハイハット 図 5 フレーズ 1 クラッシュシンバル（仮想叩打） ハイハット 図 6 フレーズ 2 表 2 フレーズおよびテンポにおける閾値 フレーズ 1 フレーズ 2 60bpm 120bpm 60bpm 120bpm 基準強度 (mG) 1900 1800 1900 1700 通過時間 (ms) 55 55 70 65 各フレーズおよび各テンポにおける基準強度および通過時間の最適な閾値を表2に示す． 閾値算出においては，各テンポでフレーズ1を5回，フレーズ2を1回繰り返したデータ を学習データとした．実験では，図5のフレーズを25回繰り返したものと，図6のフレー ズを10回繰り返したものに対し，4種類の閾値を適用した場合の識別率を調査した．また， 実験はドラム演奏習熟者である著者が行った． 5.2 結果と考察 各閾値を適用させた場合における各フレーズの識別率を表3に示す．なお，表中の実打面 は実叩打の誤認識を，仮想打面は仮想叩打の未認識をミスとした． フレーズ1(60bpm)を閾値として適用した場合がフレーズ1を120bpmで叩打した場合 を除き最も識別率が高くなった一方，フレーズ2(120bpm)を閾値として適用した場合が最 も識別率が悪くなった．また，実叩打と比べて仮想叩打の方が全体的に識別率が悪くなった． 仮想叩打の未認識は，図7に示すように加速度波形が基準強度を満たさない場合があった． 表 3 各フレーズごとの閾値を適用した場合の識別率 (a)フレーズ 1(60bpm) フレーズ 1 フレーズ 2 60bpm 120bpm 60bpm 120bpm 実打面 100 97.3 100 100 仮想打面 100 98.0 95.7 96.7 (b)フレーズ 1(120bpm) フレーズ 1 フレーズ 2 60bpm 120bpm 60bpm 120bpm 実打面 100 100 100 100 仮想打面 96.7 99.3 88.3 95.0 (c)フレーズ 2(60bpm) フレーズ 1 フレーズ 2 60bpm 120bpm 60bpm 120bpm 実打面 100 100 100 100 仮想打面 94.0 100 88.3 96.7 (d)フレーズ 2(120bpm) フレーズ 1 フレーズ 2 60bpm 120bpm 60bpm 120bpm 実打面 98.0 98.0 90.3 100 仮想打面 94.4 86.0 93.3 85.0 特にフレーズ2のように連続して仮想叩打をする場合は，打面が存在しないためスティック を振り上げるまでに遅れが生じ，ストローク（スティックの振り）が速くなりスティックの 振りが小さくなるためこの未認識が頻繁に生じた．さらに，閾値にフレーズ2が関わって いる場合に認識率80%代の低い値が集中するなど結果が悪くなった．これは，図6からも わかるようにフレーズ2の方が実叩打と仮想叩打が複雑に混ざっており仮想叩打の動作が 不安定になりやすいためだと考えられる．表4に各フレーズおよび各テンポにおける仮想 叩打時の通過時間の標準偏差を示す．フレーズ2の方が標準偏差が高くばらつきが大きい． このように，連続する仮想叩打が含まれる場合は演奏の再現が難しく，学習データとしても 演奏に利用するとしても，現行の識別アルゴリズムではうまく機能しないといえる．した がって，基準強度より以前のデータを用いた新たな識別手法などの考案が求められる．
t(ms) 基準強度 実打面 仮想打面 仮想打面 仮想打面 加速度(mG) 図 7 連続する叩打における加速度データ 表 4 フレーズ間における仮想叩打時の加速度通過時間の標準偏差 フレーズ 1 フレーズ 2 60bpm 120bpm 60bpm 120bpm 標準偏差 4.08 2.98 9.43 7.48
6.
実 運 用
2010年12月19日に行われたイルミネ神戸2010のイベントステージにてプロトタイプ を実運用した．ステージでは，プロトタイプを用いて，エレキベースとのセッションによる パフォーマンスを行った．パフォーマンスではセンサを固定した2本のスティックを用い， スティックごとに異なる電子音を出力した．実ドラムと仮想ドラムを併用することで，打楽 器の補完や音色の拡張といった新たなパフォーマンスを行えた．一方で，仮想ドラムを叩打 した場合において，仮想ドラムの音声が出力されないという未認識が生じた．演奏中におけ る音声の欠落はパフォーマンスを低下させる要因であるため，仮想ドラムを叩打する直前の 動作における角速度データの変動を解析し，より早い段階での識別を行う必要があることが 分かった．これらのセンサや動作認識はそれぞれ利点欠点があるため，今後は，それぞれの 特性を精査し，提案する仮想ドラムに適した手法を調査していきたい．7.
お わ り に
本研究では，実ドラムと仮想ドラムとの併用を実現するドラムスティックを構築した．提 案するドラムスティックは従来の単体でしか演奏できない仮想ドラムに対し，仮想ドラムと 実ドラムの叩打動作を加速度および角速度の特徴量から識別することにより両者の統合を可 能にした．これにより，実ドラムの叩打において仮想ドラムの電子音を出力させないため， 演奏者は実ドラム演奏で培った技術を活かせる．さらに，正確な識別を行うために，演奏者 に適した閾値を叩打における学習データをもとに算出した．プロトタイプシステムの評価結 果では高い精度で叩打識別ができることが明らかになった． 今後の課題としては，仮想叩打時に叩打から音が出力されるまでのディレイなど楽器とし ての性能評価や，さまざまなレベルのドラム演奏者を対象とした評価実験，仮想叩打の位置 検出による音色制御などがあげられる．8.
謝
辞
本研究の一部は，科学技術振興機構戦略的創造研究推進事業(さきがけ)，文部科学省科学研 究費補助金基盤研究(A)(20240009)および文部科学省科学研究費補助金若手(B)(21700198) によるものである．ここに記して謝意を表す．参 考 文 献
1) Silverlit V-beat AirDrumホームページ: http://www.silverlit.com/product 04.htm.
2) T. M. Patola, A. Kanerva, J. Laitinen, and T. Takala: Experiments with Virtual Reality Instruments, Proc. of the International Conference on New Interfaces for Musical Expression (NIME05), pp. 11-16, 2005.
3) S. Gelineck, N. Bottcher, and L. Martinussen: Virtual Reality Instruments capa-ble of changing Dimensions in Real-time, Proc. of the International Conference on Enactive Interfaces, 2005.
4) T. M. Patola: User Interface Comparison for Virtual Drums, Proc. of the In-ternational Conference on New Interfaces for Musical Expression (NIME05), pp. 144-147, 2005.
5) M. Collicutt, C. Casciato, and M. M. Wanderley: From Real to Virtual: A Com-parison of Input Devices for Percussion Tasks, Proc. of the International Conference on New Interfaces for Musical Expression (NIME09), 2009.
