分散配置したスマートフォンを用いた複数音源の記録と再生

(1)

分散配置したスマートフォンを用いた複数音源の記録と再生

Recording and playback of multiple sound signals by using distributed smartphones

5114E014-8 保田速人指導教員及川靖広教授

YASUDA Hayato Prof. OIKAWA Yasuhiro

概要：本研究では，スマートフォンの(1)広く普及している，(2)録音機能以外にも無線通信機能を扱える，(3)小型であり自由に配置を行える点に着目し，音源や楽器のそばに配置した複数のスマートフォンを用いた音源の記録と再生に関して提案を行う．記録に関しては，無線通信を用いた複数のスマートフォンの録音開始時間の同期手法の提案を行った．また，マイクロホンは目的の音源の近くにありマイクロホンの位置を推定できれば音源の位置を推定できるという前提のもと，部屋の位置情報に基づき複数音源の再生を行う目的で，単一マイクロホンの位置推定手法の提案を行った．加えて，それぞれに関して評価実験を行いその有効性を明らかにした．

キーワード：無線通信，自由落下，マイクロホン位置推定

Keywords: Wireless Communication, Free falling, Estimation of maicrophone positions

1. まえがき

近年，分散配置された録音機能を持つ機器を音響信号処理に用いようとする「アドホックマイクロホンアレー」

の研究が盛んに行われていて，スマートフォンを用いたアレー信号処理などが行われている[1]．

一方，楽音の演奏を録音する場合，一般的にそれぞれの楽器の近くにマイクロホンが設置されるが，こうしたマルチチャンネル録音を行うにはオーディオインターフェイスなどの機材を用意する必要がある．加えて，収録した音源をミックスする際にも，専用ソフトウェアなどが必要となる．そのため，気軽に演奏を楽しみたい人々にとって全てを用意するのは困難である．

録音の目的が外部への公開であれば，高品質な録音を行うことが重要になるが，練習の振り返りなどが目的の場合，手軽に録音し確認ができることが重要となる．

そこで本研究では，スマートフォンの録音機能以外にも無線通信機能の利用が可能である点や，自由に機器の配置が可能である点に着目し，複数のスマートフォンを用いて音源の記録と再生を行う手法に関して提案する．

2. 無線通信を用いた録音開始時間の同期

2. 1 時間同期

複数スマートフォンを用いて録音を行う場合，録音は異なるタイミングで開始されるため，録音開始時間は非同期となる．

一方，アンサンブル演奏の同期性は楽器の音に遅延が 40ms以上あるときに損なわれること[2]や，発音タイミングの異なる2つの楽器音を提示したとき50ms以上の遅延がある時に演奏が困難になること[3]が報告されている．40msよりも十分に小さい時間差で同期を行うことができれば，聴感上違和感なく音源の録音再生を行うことが可能であると考えられる．

2. 2 無線通信を用いた録音開始時間同期

本研究では，録音開始時間の同期にほとんどのスマートフォンに搭載されているBluetoothやWi-Fiの規格を用いた無線通信機能を利用する．提案する録音開始時間同期手法の概要のシーケンスを図–1に示す．

Master Slave

Step 1 コネクションの構築

Step 2 時間・ネットワーク遅延

校正用信号送信

Step 3 時間・ネットワーク遅延 の校正

Step 4 x秒から録音を開始する

ように命令を送信 Step 5 録音を開始

Step 6 録音終了後，

x秒から録音を開始したことにするようにトリミング

図–1: 提案手法のシーケンス図 2. 3 評価実験

提案手法をiOSアプリケーションとして実装し，評価実験を行った．スピーカと端末上のマイクロホンの距離が等しくなるように設置し，スピーカから再生した音源の到達時間差を求めた．結果を表–1に示す．

表–1: 音の到達時間差

校正なし提案手法

Wi-Fi (絶対値平均) [ms] 45.10 6.17

Wi-Fi (標準偏差) [ms] 31.61 3.16

Bluetooth (絶対値平均) [ms] 75.17 20.77 Bluetooth (標準偏差) [ms] 29.21 9.06

(2)

両規格ともに到達時間差が改善され，聴感上充分に同期を行うことができた．加えて，Wi-Fiを用いる場合無線アクセスポイントが必要だが，Bluetoothを用いた場合に対して録音開始時間差誤差が小さいことや，Bluetooth を用いる場合スマートフォンのみで時間同期を行うことができるが，Wi-Fiを用いた時に比べて録音開始時間差が大きくなることが分かった．

3. 再生に向けたマイクロホン位置の推定

3. 1 概要

2章において録音した複数の音源の再生にマイクロホンの位置情報を利用する目的で，その位置推定法の提案を行う．時間同期がサンプルレベルで行われていないので，従来の音の到達時間差を用いてマイクロホン位置を推定する方法[4]を利用することができない．そこで，二つの音源を自由落下させ，ドプラ効果により変動する周波数を解析することによって到達時間差を用いずにマイクロホン位置の推定を行う．

3. 2 自由落下する音源のドプラ効果の式

音源と観測点の間に速度差があるとき，観測点での周波数が元の周波数と違って観測される現象をドプラ効果という．本研究においては自由落下する音源のドプラ効果を用いるので，自由落下する音源のドプラ効果の式を示す．

F(t) =f c

c−√^gt(2h⁻^gt²⁾

4l²+(2h−gt²)²

(1)

ただし，元の周波数をf[Hz]，観測点と音源の落下線の距離をl[m]，時刻をt[s]，初期位置をh[m]，重力加速度をg[m/s²]とする．

3. 3 位置推定手法

音源B

音源A

ℓ

AB

ℓ

B

ℓ

A マイクロホン O

x z y

図–2: 音源とマイクロホンの位置関係

図–2のように，マイクロホンOをOz <0なる任意の点(Ox，Oy，Oz)に，音源Aをx軸上の点(Ax，0，0) に，音源Bを同じくx軸上の点(Bx，0，0)に設置する．

音源A．Bを地面との平行性を保ったまま同時に自由落下させ，マイクロホンOにて信号を記録する．観測され

た信号fo(t)と式(1)から得られる理論的な周波数変動の値をカーブフィッティングさせ，各変数を得る．

minimize

l，h，c ∥fo(t)−F(t)∥² (2) 式(2)を解くことによって得られるマイクロホンと音源の距離lA[m]，lB[m]，音源の初期位置h[m]を用いてマイクロホン座標は





 Ox

Oy

Oz





=







l²_B−l²_A 2l_AB

±√

l²_A−(^l^AB₂ −^l²^B_2l^−l_AB²^A)²

−h





 (3)

と表すことができる．lAB[m]は音源Aと音源B間の距離とし，その値は既知であるとする．マイクロホンOの y座標は正負の二通り求められるが，音源A，B，マイクロホンOの相対的な位置関係を考えることで決定できる．

3. 4 評価実験

提案手法の妥当性を示す目的で評価実験を無響室とゼミ室で行った．実験結果を表–2，表–3に示す．

表–2: マイクロホン位置推定実験結果(無響室)

実測値推定値

座標[m] (-0.20，-0.25，-0.15) (-0.18，-0.25，-0.13)

表–3: マイクロホン位置推定結果(ゼミ室)

実測値推定値

Mic1 [m] (0.44，-0.90，-0.82) (0.43，-0.91，-0.83) Mic2 [m] (-0.85，-1.27，0.42) (-0.90，-1.22，0.47) Mic3 [m] (-0.56，-2.30，-1.32) 測定不能

両室共に概ね推定可能であることが確認できたが，音源から遠方のマイクロホンの位置を推定することが不可能であった．

4. むすび

特別機器を用いずに複数音源の記録と再生を行うことを目的とし，無線通信を用いて複数スマートフォンの録音開始時間の同期を行う手法と，録音した音源の再生にマイクロホンの位置情報を用いる目的でマイクロホン位置推定の手法を提案した．今後は録音開始時間の同期を行うアプリケーション上に位置推定を行う機能を実装を行い一つのアプリケーション上で録音・再生を行えるようにし，コンテンツ制作や合奏練習の支援に役立てていく所存である．

参考文献

[ 1 ] 小野ら，電子情報通信学会基礎・境界ソサイエティFundamentals Review，vol.7，no.4，pp.336–347, Apr.2014

[ 2 ] 長尾ら，音講論集，pp.997–998，Mar.2012

[ 3 ] 西堀ら，情報処理学会研究報告音楽情報科学，pp.37-42，Dec.2003 [ 4 ] 中村ら，音講論集，pp.605–606，Sep.2013

分散配置したスマートフォンを用いた複数音源の記録と再生