分散配置した近接
56
0
0
全文
(2) 目 次 第 1 章 序論 ................................................................................................................ 6 1.1 1.2. 背景と目的 ................................................................................................. 6 本論文の構成 ............................................................................................. 7. 第 2 章 近接 4 点法マイクロホン ............................................................................. 8 2.1 2.2. 近接 4 点法 ................................................................................................. 8 本研究で使用した近接 4 点法マイクロホン .......................................... 9. 2.2.1 2.2.2. マイクロホン ...................................................................................... 9 座標の設定 ........................................................................................ 10. 第 3 章 実装 .............................................................................................................. 11 3.1 開発環境 ................................................................................................... 11 3.2 ライブラリ ............................................................................................... 11 3.2.1 ASIO SDK .......................................................................................... 11 3.2.2 PortAudio............................................................................................ 11 3.2.3 FFTW ................................................................................................. 11 3.2.4. DX ライブラリ ................................................................................. 11. 3.3 ハードウェア ........................................................................................... 12 3.3.1 近接 4 点法マイクロホン................................................................. 12 3.3.2 M-AUDIO Fast Track Ultra 8R .......................................................... 12 第 4 章 音響インテンシティ ................................................................................... 13 4.1 音響インテンシティとは........................................................................ 13 4.1.1 基本式 ................................................................................................ 13 4.1.2 2 マイクロホン法 ............................................................................. 13 4.1.3 クロススペクトル法 ........................................................................ 14 4.2 音響インテンシティを用いた方向推定 ................................................ 15 4.2.1 作成したプログラムの概要............................................................. 16 4.2.2 4.2.3 4.2.4. 実験内容 ............................................................................................ 17 実験結果 ............................................................................................ 18 考察 .................................................................................................... 19. 第 5 章 音源位置推定............................................................................................... 20 5.1 音源位置推定の提案手法........................................................................ 20 5.1.1 単一音源の位置推定 ........................................................................ 20 5.1.2 複数音源の位置推定 ........................................................................ 21 5.2 単一音源の位置推定 ............................................................................... 22 1.
(3) 5.2.1 作成したプログラムの概要............................................................. 22 5.2.2 実験内容 ............................................................................................ 23 5.2.3 実験結果 ............................................................................................ 24 5.2.4 考察 .................................................................................................... 24 5.3 複数音源の音響インテンシティの観測 ................................................ 25 5.3.1 作成したプログラムの概要............................................................. 25 5.3.2 実験内容 ............................................................................................ 26 5.3.3 実験結果 ............................................................................................ 28 5.3.4 考察 .................................................................................................... 30 5.4 音源位置推定実験 ................................................................................... 31 5.4.1 作成したプログラムの概要............................................................. 31 5.4.2 実験内容 ............................................................................................ 33 5.4.3 実験結果 ............................................................................................ 35 5.4.4. 考察 .................................................................................................... 41. 第 6 章 音源分離 ...................................................................................................... 42 6.1 音源分離の提案手法 ............................................................................... 42 6.2 音源分離実験 ........................................................................................... 43 6.2.1 作成したプログラムの概要............................................................. 43 6.2.2 6.2.3 6.2.4. 実験内容 ............................................................................................ 45 実験結果 ............................................................................................ 46 考察 .................................................................................................... 48. 第 7 章 総括 .............................................................................................................. 50. 2.
(4) 図目次 図－2－1 図－2－2 図－2－3 図－3－1 図－4－1 図－4－2 図－4－3. 近接 4 点法の原理 .................................................................................. 8 使用した近接 4 点法マイクロホン....................................................... 9 座標軸の設定 ........................................................................................ 10 オーディオインタフェース外観 ........................................................ 12 2 つのマイクロホンで求まる音響インテンシティ .......................... 14 近接 4 点法マイクロホンで求まる音の到来方向 ............................. 15 処理の流れ ............................................................................................ 16. 図－4－4 図－4－5 図－4－6 図－5－1. 実験の様子 ............................................................................................ 17 スピーカ 1 からの音響インテンシティ............................................. 18 スピーカ 2 からの音響インテンシティ............................................. 19 複数の近接 4 点法マイクロホンで求まる音源位置 ......................... 20. 図－5－2 図－5－3 図－5－4 図－5－5 図－5－6. 複数の音源が作る音響インテンシティ............................................. 21 処理の流れ ............................................................................................ 22 実験時の様子 ........................................................................................ 23 推定された音源位置 ............................................................................ 24 処理の流れ ............................................................................................ 25. 図－5－7 スピーカから再生した波形 上:スピーカ 1(1kHz 矩形波)，下:スピ ーカ 2(3kHz 矩形波) ............................................................................. 26 図－5－8 実験の様子 ............................................................................................ 27 図－5－9 複数の音が同時に鳴っている時の音響インテンシティ ................. 28 図－5－10 スピーカ 1 のみから音が鳴っている時の音響インテンシティ ... 29 図－5－11 スピーカ 2 のみから音が鳴っている時の音響インテンシティ ... 29 図－5－12 処理の流れ .......................................................................................... 32 図－5－13 スピーカから再生した波形 上:スピーカ 1(菅野よう子「Play Play Play」)，下:スピーカ 2(J.S.バッハ「ガボット」) ............................ 33 図－5－14 実験時の様子 ...................................................................................... 34 図－5－15 図－5－16 図－5－17 図－5－18 図－5－19 図－5－20 図－5－21 図－5－22. 推定された音源位置(1 秒後) ............................................................. 35 推定された音源位置(2 秒後) ............................................................. 36 推定された音源位置(3 秒後) ............................................................. 36 推定された音源位置(4 秒後) ............................................................. 37 推定された音源位置(5 秒後) ............................................................. 37 推定された音源位置(6 秒後) ............................................................. 38 推定された音源位置(7 秒後) ............................................................. 38 推定された音源位置(8 秒後) ............................................................. 39 3.
(5) 図－5－23 図－5－24 図－5－25 図－6－1 図－6－2 図－6－3 図－6－4 図－6－5 図－6－6. 推定された音源(9 秒後)..................................................................... 39 推定された音源(10 秒後)................................................................... 40 推定された音源位置(11 秒) ............................................................... 40 音響インテンシティの分解 ................................................................ 42 周波数スペクトルの分解の仕方 ........................................................ 43 処理の流れ ............................................................................................ 44 実験時の様子 ........................................................................................ 45 分離されたスペクトル(実験 1) ........................................................... 46 分離された波形(実験 1)....................................................................... 47. 図－6－7 用いた音源(実験 2) 上:スピーカ 1(菅野よう子「Play Play Play」)， 下:スピーカ 2(J.S.バッハ「ガボット」) ............................................ 47 図－6－8 マイクロホンで観測された混合音 ...................................................... 48 図－6－9 分離された波形(実験 2)....................................................................... 48. 4.
(6) 表目次 表－4－1 表－5－1 表－5－2 表－5－3 表－5－4 表－6－1 表－6－2. 実験時の配置 ........................................................................................ 17 実験時の配置 ........................................................................................ 23 表示する色と周波数帯域の対応表..................................................... 25 実験時の配置 ........................................................................................ 26 実験時の配置 ........................................................................................ 33 実験時の配置 ........................................................................................ 45 用いた音源 ............................................................................................ 45. 5.
(7) 第1章 序論 1.1. 背景と目的. 人間はカクテルパーティや電車内のような雑踏の中でも対話の相手の話 し声など特に聞きたい音や，自分に関連にある単語などを注意して聞き分け ることができる。この効果をカクテルパーティ効果と呼ぶ。クテルパーティ 効果とは選択的聴取[1]のことで，人間は脳で耳から入ってきた音を処理して 必要な情報のみを再構築しいていると言われている。 一方，コンピュータの音声認識等において，複数の音が同時に鳴っている 時に音声の認識率が低下してしまうことがある。また，雑音下においてボイ スレコーダなどで録音した音を後から聞いても，聞きたい音が雑音に埋もれ て聞き取りづらいことがある。さらに，聴覚障がい者の方が補聴器で音を聞 く際に，雑踏の中では対話相手の声などが聞こえづらくコミュニケーション が難しくなってしまうという問題も起こっている。コンピュータや録音機器 には人間のように特定の必要な音を自ら選択して増幅させることができない ためこのような現象が起こる。 この，人間が当たり前のように行っている音の聞き分けは，音源分離を行 い，分離された信号の中から必要な情報を選択することにより再現可能であ ると考えられる。音源分離とはマイクロホンで収録された混合音に信号処理 などを行うことによりそれぞれの信号に分離することである。 音源分離の手法としては，これまでに信号の統計的性質を利用した独立成 分分析を応用した手法[2][3]，ガウシアンカーネルを用いる手法[4]などや，信 号の分析・合成を行う一般化調和解析を用いた手法[5]，また，立体マイクロ ホンアレーを用い空間的情報と音圧レベルを利用する手法としては正二十面 体アレーを用いた手法[6]，パラボラ反射板による音の反射を利用した手法[7] など，多くの研究がなされてきた。 本研究では空間的情報と物理的なエネルギーの流れを利用する手法を提 案する。複数の近接 4 点法マイクロホンを分散配置し，音響インテンシティ を算出することにより音源位置の推定と音源分離をリアルタイムに行う。リ アルタイムに空間中の音源を視覚化し，聴者がその中で特に聞きたい音を選 択し，分離された該当の音を特に強調して聞くことができるようなシステム を目指す。このシステムが実用化されれば音の聞き分けが難しい人に対する コミュニケーションエイドやライブのストリーミング配信，Skype などを用 いた Web 会議，などに有用であると考えられる。. 6.
(8) 1.2. 本論文の構成. 本論文の構成を述べる。 第 1 章では本研究の背景と目的，本論文の構成について述べる。 第 2 章では近接 4 点法マイクロホンについて述べる。 第 3 章では研究に用いたプログラムの開発環境，要素技術などについて述 べる。 第 4 章では音響インテンシティについて述べる。 第 5 章では分散配置した近接 4 点法マイクロホンを用いた音源位置推定と 音源分離の提案手法について述べる。 第 6 章では第 4 章の提案手法での実験内容，実験結果，考察について述べ る。 第 7 章では本論文の総括と今後の展望について述べる。. 7.
(9) 第2章 近接 4 点法マイクロホン 2.1. 近接 4 点法. 近接 4 点法とは、図－2－1 のように同一平面上に無い 4 つの無指向なマイ クロホンに収録された信号のわずかな時間情報の相違に着目して，短時間相 互相関やインテンシティから、音源の位置や大きさ等の空間情報を算出する 手法である。本研究室ではこれまでに近接 4 点法を用いて空間中の仮想音源 の分布の測定や，音場の可視化などを行ってきた[8][9][10]。 近年では移動する音源の特定[11]や地中探査への応用[12]など，新たな試み も行われている。. rz. 仮想音源. ro ry Microphone-Z. rx d d Microphone-Y. Microphone-O. Microphone-X d. 図－2－1 近接 4 点法の原理. 8.
(10) 2.2. 本研究で使用した近接 4 点法マイクロホン. 2.2.1 マイクロホン 本研究では図－2－1 のように無指向の測定用マイクロホンを 4 つ組み合わ せた正四面体型の近接 4 点法マイクロホンを用いた。 それぞれのマイクロホンには AUDIX TM-1 を使用しており，マイクロホン の間隔は 0.05m である。. 図－2－2 使用した近接 4 点法マイクロホン. 9.
(11) 2.2.2 座標の設定 本研究では座標軸を図－2－3 のように設定した。 近接 4 点法マイクロホンを原点に配置しない場合でもそれぞれのマイクロ ホンの位置関係は Microphone-O を設置する座標の基準点として図－2－3 と 同様とする。 また，本論文において各マイクロホンの名称は図－2－3 に従うものとする。. Z Microphone-C. Y Microphone-B Microphone-A. X. Microphone-O. 図－2－3 座標軸の設定. 10.
(12) 第3章 実装 本研究では，ソフトウェアを実装し，既存のハードウェアと組み合わせて 使用することにより実験を行った。. 3.1. 開発環境. 本研究ではソフトウェアの開発に Microsoft Visual C++ Express Edition を用 い，C 言語での開発を行った。. 3.2. ライブラリ. 3.2.1 ASIO SDK ASIO(Audio Stream Input Output)とはドイツのスタインバーグが提供するオ ーディオ入出力の規格で，低遅延、高同期性、高スループットを特徴として いる。また，マシンの性能が許す限り，あらゆるチャンネル数に対応してい る。 本研究ではリアルタイムに複数の近接 4 点法を用いることを想定している ため，サウンドドライバとして ASIO を用いるのが適していると考えられる。 ASIO SDK を用いることにより，プログラムから ASIO ドライバを呼び出 して ASIO に対応したオーディオインタフェースを動かすことができる[13]。. 3.2.2 PortAudio PortAudio とは ASIO，DirectSound(Win)，WMME(Win)，WASAPI(Win)，Sound Manager(Mac)などのサウンドドライバを用いるためのラッパーライブラリで ある。 ASIO SDK を用いるよりも比較的容易にアプリケーションを実装すること ができるため，本研究では PortAudio から ASIO に対応したデバイスを動かす。 PortAudio ではサウンドカードに書き込まれたオーディオデータを任意の バイト数バッファリングすることができ，バッファリングされるごとに呼び 出されるコールバック関数内で処理することができる。. 3.2.3 FFTW FFTW(the Fastest Fourier Transform in the West)とは C 言語ベースの高速フー リエ変換のライブラリで，高速フーリエ変換を容易に行うことができるため， 本研究ではこのライブラリを用いる。. 3.2.4 DX ライブラリ DX ライブラリとは、DirectX や Windows 関連のプログラムを使い易くまと めた形で利用できるようにした C++言語用のライブラリで，本研究ではこの 11.
(13) ライブラリを GUI の表示に用いる。. 3.3. ハードウェア. 3.3.1 近接 4 点法マイクロホン 本研究では第 2 章で紹介した近接 4 点法マイクロホンを最大 2 つ用いる。. 3.3.2 M-AUDIO Fast Track Ultra 8R ASIO 2.0 に対応したオーディオインタフェースで，8 チャンネルのマイク プリアンプを搭載している。 本研究では最大で 2 つの近接 4 点法マイクロホンを用い，合計 8 チャンネ ル必要になるためこのオーディオインタフェースを用いる。 図－3－1 にオーディオインタフェースの外観を示す。. 図－3－1 オーディオインタフェース外観. 12.
(14) 第4章 音響インテンシティ 4.1. 音響インテンシティとは. 4.1.1 基本式 音響インテンシティとは，単位面積を通過する音響エネルギーの流れ量を 表したものである[14][15][16]。 平面進行波音場における音響インテンシティは，音圧𝑝[𝑃𝑎]，空気密度 𝜌[𝑘𝑔/𝑚3 ]，音速𝑐[𝑚/𝑠]，粒子速度𝑢[𝑚/𝑠]を用いて， 𝑝2 (1) 𝐼= = 𝑝𝑢 [𝑊/𝑚2 ] 𝜌𝑐 と表される。 平面進行波音場と見なせない音場においては，音響インテンシティを +𝑇. 𝐼⃗ = lim ∫ 𝑝(𝑡) ∙ 𝑢 ⃗⃗(𝑡)𝑑𝑡 [𝑊/𝑚2 ]. (2). 𝑇→∞ −𝑇. のように音圧と粒子速度の積の積分で表す。 ここで，粒子速度，求まる音響インテンシティはいずれも測定した単位面 積に垂直な方向のベクトル量とする。. 4.1.2 2 マイクロホン法 1 点で粒子速度を測定することは不可能なので，近接した 2 つのマイクロ ホンを用いた 2 マイクロホン法が実用化されている。 2 マイクロホン法では𝑑[𝑚]離れた 2 点の音圧𝑝1 [𝑃𝑎]と𝑝2 [𝑃𝑎]を計測し， ⃗𝑢⃗(𝑡) ≈. 1 𝑡 ∫ [𝑝 (𝜏) − 𝑝1 (𝜏)]𝑑𝜏 𝜌𝑑 −∞ 2. (3). 𝑝(𝑡) ≈. [𝑝1 (𝑡) + 𝑝2 (𝑡)] 2. (4). のように有限差分近似した𝑢 ⃗⃗(𝑡)および 2 点間の中心の音圧を近似した𝑝(𝑡)か ら音響インテンシティを算出する。 (2)(3)(4)式よりインテンシティは 𝑡 1 𝐼= [𝑝 (𝑡) + 𝑝2 (𝑡)] ∫ [𝑝2 (𝜏) − 𝑝1 (𝜏)]𝑑𝜏 2𝜌𝑑 1 −∞. (5). と表される。 ここで，(5)式で求まる音響インテンシティは図－3－1 の方向成分の音響イ ンテンシティである。 13.
(15) I. p1. p2 d. Microphone 2. Microphone 1. 図－4－1 2 つのマイクロホンで求まる音響インテンシティ. 4.1.3 クロススペクトル法 (5)式を周波数領域に直して音響インテンシティを算出する手法をクロス スペクトル法という。クロススペクトル法におけるインテンシティは 𝑓2 1 [𝐼(𝐺12 (𝑓))] 𝐼= ∫ 𝑑𝑓 (6) 2𝜋𝜌𝑑 𝑓1 𝑓 により求められる。 (6)式におけるℑ(𝐺12 (𝑓))は，二つの信号のクロススペクトル密度関数 1 (7) 𝐺12 (𝑓) = [𝑋1 ∗ (𝑓)𝑋2 (𝑓)] 𝑇 の虚部を表す。 (6)式において，積分区間𝑓1 ，𝑓2 を任意の周波数に設定することにより，特 定の周波数帯域における音響インテンシティを算出することが可能である。. 14.
(16) 4.2. 音響インテンシティを用いた方向推定. 近接 4 点法マイクロホンにクロススペクトル法を用いることにより図－3 －2 に示すように正四面体の 3 辺の方向成分のインテンシティを求めること ができる。これらのベクトルを合成することにより空間中の音の到来方向を 求めることが可能と考え，妥当性を検証するためにクロススペクトル法を用 いて音響インテンシティを表示するプログラムを作成して実験を行った。. 音の到来方向. abc. Z. c. Microphone-C. Y Microphone-A. b. a Microphone-B. X. Microphone-O. 図－4－2 近接 4 点法マイクロホンで求まる音の到来方向. 15.
(17) 4.2.1 作成したプログラムの概要 コンピュータに接続されたオーディオインタフェース，近接 4 点法マイク ロホンを用い，音を収録する。収録された音を 0.085 秒ずつバッファリング し，高速フーリエ変換を行った後(6)(7)式に代入することによって音響インテ ンシティ𝑎⃗，𝑏⃗⃗，𝑐⃗を算出する。 その後 𝑥= 𝑦=. 1 (|𝑏⃗⃗| − |𝑐⃗|) 2 |𝑎⃗| √3. −. 1 2√3. (8). (|𝑏⃗⃗| + |𝑐⃗|). (9). 2 𝑧 = √ (|𝑎⃗| + |𝑏⃗⃗| + |𝑐⃗|) 3. (10). により座標をデカルト座標系に変換しベクトルを求める。 線分の長さは音響インテンシティの大きさを表しており，100 ピクセルで 1 W/m2 を表している。 処理の流れを図－4－3 に示す。. 音響インテンシティ計算. START 座標変換. 表示 マイクロホンの音を バッファリング. FFT END. 図－4－3 処理の流れ. 16.
(18) 4.2.2 実験内容 近接 4 点法マイクロホンの Microphone-O を原点として表－4－1 に従って 近接 4 点法マイクロホン 1 つとスピーカ 2 台を配置した。それぞれのスピー カから別々に 1kHz の正弦波を再生し，音響インテンシティの様子を観察し た。 実験の様子を図－4－4 に示す。 なお，本実験は早稲田大学 61 号館 5 階無響室で行った。 表－4－1 実験時の配置 マイクロホン x[m] y[m] z[m]. スピーカ 1 0 0 0. スピーカ 2 -0.12 0.28 0. 図－4－4 実験の様子. 17. 0.23 0.38 0.
(19) 4.2.3 実験結果 スピーカ 1 から 1kHz 正弦波を再生した時の観測された音響インテンシテ ィを図－4－5 に，スピーカ 2 から 1kHz 正弦波を再生した時の観測された音 響インテンシティを図－4－6 に示す。 原点付近で測定された音圧レベルは，スピーカ 1 からのみ再生している時 は 70.4 dB，スピーカ 2 からのみ再生している時は 68.9 dB であった。. 図－4－5 スピーカ 1 からの音響インテンシティ. 18.
(20) 図－4－6 スピーカ 2 からの音響インテンシティ. 4.2.4 考察 図－4－5，図－4－6 より，X-Y 平面に関しては表－4－1 に示した音源方 向と音響インテンシティの方向がほぼ一致していることが分かる。 しかし，Z 方向には想定される音響インテンシティの方向よりも下の方向 に音響インテンシティが観測されてしまった。これはマイクロホンの接合部 分などにより反射が起こったためであると推察される。 また，図－4－5 と図－4－6 を比較してみると，スピーカ 2 から出る音の 音響インテンシティはスピーカ 1 から出る音の音響インテンシティよりも小 さいことが分かる。これはスピーカ 2 の方がスピーカ 1 よりも遠くにあり， 近接 4 点法マイクロホンに到達した音のエネルギーが，スピーカ 1 よりもス ピーカ 2 の方が小さかったためであると推察される。. 19.
(21) 第5章 音源位置推定 5.1. 音源位置推定の提案手法. 5.1.1 単一音源の位置推定 4.2 にて行った実験により音響インテンシティを求めることにより音源の 到来方向が求まることが分かった。しかし 1 つの近接 4 点法マイクロホンだ けでは音源の位置までは特定することができない。 音源が単一の場合は図－5－1 のように近接 4 点法マイクロホンを 2 つ以上 用い，音響インテンシティの交点を求めることにより音源位置を求めること ができる。. 図－5－1 複数の近接 4 点法マイクロホンで求まる音源位置. 20.
(22) 5.1.2 複数音源の位置推定 音源が複数ある場合，図－5－2 のように求まるインテンシティはそれぞれ の音源が生成する音響インテンシティの合成ベクトルとなる。従って複数の 音源が同時に鳴っている場合には実際の音源位置を求めることができない。 ここで，(6)式を用いることにより，任意の周波数帯域ごとに音響インテン シティを求めることができる。各音源から違う音が鳴っている時，周波数帯 域ごとに音の強さの割合が異なるはずであるため，推定される音源位置は周 波数帯域によって異なるはずである。 一方，単一の音源からしか音が鳴っていないときにはどの周波数帯域にお いても音響インテンシティは単一の音源方向を向くはずである。 従って，長時間音響インテンシティの観測を行うことにより，単一方向か らしか音が鳴っていない区間を特定することができるため，音源の位置を特 定することができ，また，音響インテンシティの交点を記録していくと音源 位置の付近に交点が多く密集することになるはずである。. 推定される音源位. 図－5－2 複数の音源が作る音響インテンシティ. 21.
(23) 5.2. 単一音源の位置推定. 音響インテンシティの交点から音源位置を求めることができるのかを検 証するため，単一音源の位置を算出するプログラムを作成し， 実験を行った。. 5.2.1 作成したプログラムの概要 コンピュータに接続されたオーディオインタフェース，2 つの近接 4 点法 マイクロホンを用い，音を収録する。近接 4 点法マイクロホン 2 つ分の音響 インテンシティを算出し，マイクロホンの位置からの音響インテンシティを 表示する。 線分の長さは音響インテンシティの大きさを表しており，音響インテンシ ティの交点にあたる部分が音源位置となっている。座標軸は 100 ピクセルで 0.2 メートルを表している。 処理の流れを図－5－3 に示す。. START 音響インテンシティ計算. 座標変換. マイクロホンの音を バッファリング. 表示. FFT. END. 4 チャンネルずつ データ分割. 図－5－3 処理の流れ. 22.
(24) 5.2.2 実験内容 2 つの近接 4 点法マイクロホンの中央を原点として表－5－1 に従って近接 4 点法マイクロホン 2 つとスピーカ 1 台を配置した。スピーカから 1 kHz の 正弦波を再生し，音響インテンシティの様子を観察した。 実験の様子を図－5－4 に示す。 なお，本実験は早稲田大学 61 号館 5 階無響室で行った。 表－5－1 実験時の配置 x[m] y[m] z[m]. マイクロホン 1 －0.2 0 0. マイクロホン 2. スピーカ 0.2 0 0. 図－5－4 実験時の様子. 23. 0.04 0.21 0.08.
(25) 5.2.3 実験結果 実験結果を図－5－5 に示す。 この時，2 つの近接 4 点法マイクロホンの中央付近での音圧レベルは 86dB であった。. 図－5－5 推定された音源位置. 5.2.4 考察 図－5－5 に示す通り，2 つの近接 4 点法マイクロホンで観測された音響イ ンテンシティの交点が実際の音源位置付近にあることが分かる。 このことから，音源が単一である時には近接 4 点法マイクロホンが 2 つあ れば音源位置を推定することが可能であるということが分かった。 しかし，2 つの近接 4 点法マイクロホンと音源のなす角が 0 度に近づくほ ど音源位置を求める精度が悪くなってしまうと予測される。近接 4 点法マイ クロホンの個数を増やすなどし，求まった交点の位置の平均を取るなどによ り精度を上げることができると考えられる。. 24.
(26) 5.3. 複数音源の音響インテンシティの観測. 周波数帯域ごとに音響インテンシティがどのように出るのかを観測する ため，近接 4 点法マイクロホンで周波数帯域ごとの音響インテンシティを求 めるプログラムを作成し，実験を行った。. 5.3.1 作成したプログラムの概要 コンピュータに接続されたオーディオインタフェース，近接 4 点法マイク ロホンを用い，音を収録する。近接 4 点法マイクロホンの音響インテンシテ ィを算出し，周波数帯域ごとにマイクロホンの位置からの音響インテンシテ ィを表示する。 線分の長さは音響インテンシティの大きさを表しており，100 ピクセルで 1 W/m2 を表している。また，線分の色は周波数帯域を表しており，色と周波 数の対応は表－5－2 に従うものとする。 処理の流れを図－5－6 に示す。 表－5－2 表示する色と周波数帯域の対応表 周波数 [Hz]. 色. 90～ 180 #ff0000. 180～ 360 #ff8800. 360～ 710 #ffff00. 710～ 1410 #00ff00. START. 1410～ 2820 #00ff88. 2820～ 5630 #00ffff. 5630～ 11300 #0000ff. 音響インテンシティ計算. 座標変換. マイクロホンの音を バッファリング. 表示. FFT. END. 周波数帯域ごとに データ分割. 図－5－6 処理の流れ. 25. 11300～ 22500 #ff00ff.
(27) 5.3.2 実験内容 近接 4 点法マイクロホンの Microphone-O を原点として表－5－3 に従って 近接 4 点法マイクロホン 1 つとスピーカ 2 台を配置した。スピーカ 1 から 1kHz 矩形波，スピーカ 2 から 3kHz 矩形波を再生した。ただし，どちらのスピー カにも必ず音が鳴らない区間がある。 再生した波形を図－5－7 に，実験の様子を図－5－8 に示す。 なお，本実験は早稲田大学 61 号館無響室で行った。 表－5－3 実験時の配置 マイクロホン x[m] y[m] z[m]. スピーカ 1 0 0 0. スピーカ 2 -0.12 0.28 0. 図－5－7 スピーカから再生した波形 上:スピーカ 1(1kHz 矩形波)，下:スピーカ 2(3kHz 矩形波). 26. 0.23 0.38 0.
(28) 図－5－8 実験の様子. 27.
(29) 5.3.3 実験結果 図－5－9 に複数音源が同時に再生されている時のインテンシティの様子 を示す。 また， 図－5－7 の 3～5 秒，6～8 秒にそれぞれ音のなってない区間がある。 この時のインテンシティの様子を図－5－10，図－5－11 に示す。. 図－5－9 複数の音が同時に鳴っている時の音響インテンシティ. 28.
(30) 図－5－10 スピーカ 1 のみから音が鳴っている時の音響インテンシティ. 図－5－11 スピーカ 2 のみから音が鳴っている時の音響インテンシティ 29.
(31) 5.3.4 考察 図－5－9 より周波数帯域によってインテンシティの方向が違うことが見 てとれる。 音が単一の方向からしか鳴っていない時，すべての周波数帯域において音 響インテンシティが同一方向を向くと予想していたが，図－5－10 では少し ずれた方向を向いてしまっていることが見て取れる。これは各マイクロホン の周波数特性の差異によって起こったものと考えられる。 また，4.2 の実験同様，Z 方向の音響インテンシティは想定される音響イン テンシティよりも，上下してしまっている。 表 5－2 と照らし合わせてみると， 1kHz 付近の音は実際よりも下向きに，3kHz 付近の音は実際よりも上向きに 出てしまっている。これはマイクロホンの接合部の反射と，各マイクロホン の周波数特性の差異によって起こったものではないかと考えられる。 図－5－10，図－5－11 のベクトルを合成すると概ね図－5－9 のような図に なることがわかる。. 30.
(32) 5.4. 音源位置推定実験. 音響インテンシティの交点を長時間観測し，複数音源の音源位置を推定す るプログラムを作成し，実験を行った。. 5.4.1 作成したプログラムの概要 コンピュータに接続されたオーディオインタフェース，2 つの近接 4 点法 マイクロホンを用い，音を収録する。2 つの近接 4 点法マイクロホンの音響 インテンシティを算出し，周波数帯域ごとに音響インテンシティの交点を求 め，点をプロットする。 マイクロホンの距離が d，それぞれのマイクロホンの中心からの音響イン テンシティの方向ベクトルが(xL, yL, zL)，(xR, yR, zR)である時 x-y 平面におけ る交点は， 𝑑 𝑥𝐿 ∗ 𝑦𝑅 + 𝑥𝑅 ∗ 𝑦𝐿 𝑥= ( ) (11) 2 𝑥𝐿 ∗ 𝑦𝑅 − 𝑥𝑅 ∗ 𝑦𝐿 𝑦𝐿 ∗ 𝑦𝑅 𝑦 = 𝑑( ) (12) 𝑥𝐿 ∗ 𝑦𝑅 − 𝑥𝑅 ∗ 𝑦𝐿 により求まる。 点の位置は音響インテンシティの交点を表しており，座標軸は 100 ピクセ ルで 0.2m を表す。また，点の色はその時に最も強かった周波数帯域を表し ており，色と周波数の対応は表－5－2 に従うものとする。 処理の流れを図－5－12 に示す。. 31.
(33) START. マイクロホンの音を バッファリング. FFT. 4 チャンネルずつ データ分割. 周波数帯域ごとに データ分割. 音響インテンシティ計算. 座標変換. 交点算出. 表示. END. 図－5－12 処理の流れ. 32.
(34) 5.4.2 実験内容 2 つの近接 4 点法マイクロホンの中央を原点として表－5－4 に従って近接 4 点法マイクロホン 2 つとスピーカ 2 台を配置した。スピーカ 1 からピアノ の音，スピーカ 2 からバイオリンの音を再生し，音源位置推定を行った。 再生した波形を図－5－13，実験の様子を図－5－14 に示す。 なお，本実験は早稲田大学 61 号館 5 階無響室で行った。 表－5－4 実験時の配置 x[m] y[m] z[m]. マイクロホン 1 －0.2 0 0. マイクロホン 2 0.2 0 0. スピーカ 1 －0.05 0.32 0. 図－5－13 スピーカから再生した波形 上:スピーカ 1(菅野よう子「Play Play Play」)， 下:スピーカ 2(J.S.バッハ「ガボット」). 33. スピーカ 2 0. 4 0.22 0.
(35) 図－5－14 実験時の様子. 34.
(36) 5.4.3 実験結果 実行結果を動画としてキャプチャした。 描画を始めてから 1 秒後，2 秒後，3 秒後，4 秒後，5 秒後，6 秒後，7 秒 後，8 秒後，9 秒後，10 秒後，11 秒後の様子を図－5－15～図－5－25 に示す。. 図－5－15 推定された音源位置(1 秒後). 35.
(37) 図－5－16 推定された音源位置(2 秒後). 図－5－17 推定された音源位置(3 秒後). 36.
(38) 図－5－18 推定された音源位置(4 秒後). 図－5－19 推定された音源位置(5 秒後). 37.
(39) 図－5－20 推定された音源位置(6 秒後). 図－5－21 推定された音源位置(7 秒後). 38.
(40) 図－5－22 推定された音源位置(8 秒後). 図－5－23 推定された音源(9 秒後). 39.
(41) 図－5－24 推定された音源(10 秒後). 図－5－25 推定された音源位置(11 秒). 40.
(42) 5.4.4 考察 図－5－15 から図－5－25 にかけて徐々に点が増えていっていることが見 て取れる。 また，点が増える位置は秒数によって異なり，いずれかのスピーカからし か音が鳴っていない区間を特定できているということが分かる。点は表－5 －4 に示したスピーカの位置付近に密集しているので音源位置推定がうまく いっていると言うことができる。 一方，実際の音源位置とは離れた位置にも点が描画されている。これは， スピーカ 1 とスピーカ 2 から同時に音が鳴っていた区間であると推察される。 点の色は黄～シアンが多く，表－5－2 と照らし合わせてみるとピアノやバ イオリンの周波数帯域と一致していることが分かる。 また，プロットされた点をクラスタリングし，各クラスタの座標の平均値 を計算したところ(-0.05,0.34)という点と(0.44,0.20)という点が求まった。これ は音源位置に極めて近いと言える。. 41.
(43) 第6章 音源分離 6.1. 音源分離の提案手法. 第 5 章の手法により音源位置が求まった時，音響インテンシティを図－6 －1 のように求まった音源方向に分解することができる。この時分解された 音響インテンシティの大きさは，スピーカの出す音のエネルギーの大きさと いうことになる。従って，分解されたベクトルの大きさの比は各音源のパワ ースペクトルの比に等しい。 (6)式により周波数帯域ごとの音響インテンシティを求め，図－6－2 のよう に Microphone-O で観測された信号を高速フーリエ変換し，周波数帯域ごとに 音響インテンシティの比で分け，逆フーリエ変換をすることにより音源分離 を行うことが可能である。 求まった音源位置 求まった音源位置. 求まった音響インテンシティ. 図－6－1 音響インテンシティの分解. 42.
(44) 5：5. 4：6. 1：0. 図－6－2 周波数スペクトルの分解の仕方. 6.2. 音源分離実験. 音響インテンシティの比から音源分離を行うプログラムを作成し，実験を 行った。. 6.2.1 作成したプログラムの概要 コンピュータに接続されたオーディオインタフェース，近接 4 点法マイク ロホンを用い，音を収録する。近接 4 点法マイクロホンの音響インテンシテ ィを算出し，周波数帯域ごとに音響インテンシティを求め，音源方向にベク トルを分解する。分解されたベクトルの大きさの比を求め，収録された信号 の周波数スペクトルをその比で分け，逆フーリエ変換をする。 また，分解された周波数スペクトルから音圧レベルを求め，グラフとして 表示する。. 43.
(45) START. マイクロホンの音をバッファリング. FFT. 周波数帯域ごとにデータ分割. 音響インテンシティ計算. 音響インテンシティをベクトル分解. 周波数スペクトルを分解. 逆 FFT 表示 再生. END. 図－6－3 処理の流れ. 44.
(46) 6.2.2 実験内容 近接 4 点法マイクロホンの Microphone-O を原点として表－6－1 に従って 近接 4 点法マイクロホン 1 つとスピーカ 2 台を配置し，表－6－2 の音源を再 生した。 実験の様子を図－6－4 に示す。 なお，本実験は早稲田大学 61 号館無響室で行った。 表－6－1 実験時の配置 マイクロホン x[m] y[m] z[m]. スピーカ 1 0 0 0. スピーカ 2 -0.2 0.2 0. 0.2 0.2 0. 表－6－2 用いた音源 実験 1 実験 2. スピーカ 1 1kHz 正弦波 菅野よう子「Play Play Play」 (piano). スピーカ 2 3kHz 正弦波 J.S.バッハ「ガボット」 (violin). 図－6－4 実験時の様子 45.
(47) 6.2.3 実験結果 実験 1 の結果表示されたスペクトルを図－6－5 に，分離された波形を図－ 6－6 に示す。 また，実験 2 の用いた音源の波形を図－6－7 に，マイクロホンで収録され た混合音を図－6－8 に，分離された波形を図－6－9 に示す。. 図－6－5 分離されたスペクトル(実験 1). 46.
(48) 図－6－6 分離された波形(実験 1). 図－6－7 用いた音源(実験 2) 上:スピーカ 1(菅野よう子「Play Play Play」)， 下:スピーカ 2(J.S.バッハ「ガボット」). 47.
(49) 図－6－8 マイクロホンで観測された混合音. 図－6－9 分離された波形(実験 2). 6.2.4 考察 実験 1 において図－6－5 のように観測されたスペクトルはそれぞれ 1kHz と 3kHz にピークが立っており，正しく分離されたと言える。 低い周波数帯域において音圧レベルが高いのは暗騒音などの影響による ものと考えられる。 また図－6－6 のように分離された波形は正弦波に近い形となっている。 実験 2 において図－6－9 の分離された波形は図－6－7 の音源の波形に近 い形となっており，正弦波のような定常的な音でなくても音源の分離ができ ることが分かる。 しかし，実際に音源から音が鳴っていない周波数帯域においては雑音など 48.
(50) の影響で想定している音源位置とは違う位置から音響インテンシティが観測 される。このため，スピーカから音が鳴っていない周波数帯域においては音 響インテンシティの比がマイナスの値を取ってしまうことがある。今回はマ イナスの値を取ったインテンシティを 0 と見なした。いずれの実験において も分離された音に雑音が聞こえてしまったのはこのためであると考えられる。. 49.
(51) 第7章 総括 今回，分散配置した近接 4 点法マイクロホンを用いて，音源位置推定と音 源分離をリアルタイムに行う手法を提案し，実験と考察を行った。音源位置 推定と音源分離には音響インテンシティという物理的なエネルギーの流れ量 を用いる。 始めに，近接 4 点法マイクロホンで音響インテンシティを求めることによ り音源方向が推定できるのかどうか検証を行った。その結果，x－y 平面にお いて，音響インテンシティの方向と音源の方向が一致していることが分かっ た。しかし z 方向では正しい方向が求まらなかった。これは反射などの影響 を受けたものと考えられる。 次に 2 つの近接 4 点法マイクロホンで観測される音源方向の交点を求める ことにより音源位置が推定できるかどうか検証を行った。その結果，概ね正 しい位置に音源位置が推定されることが分かった。 また，周波数帯域ごとに音響インテンシティを観測した。その結果，周波 数帯域ごとに音響インテンシティが求まること，さらに単一音源の時はすべ ての周波数帯域において音響インテンシティがほぼ同じ方向成分を持つこと が分かった。従って長時間にわたり信号を観測することにより，音源が単一 になる区間がわかるため音源が複数ある場合でも音源位置の推定が可能であ る。 音響インテンシティの交点を長時間観測する実験を行った結果，音響イン テンシティの交点は音源位置付近に分布することが分かった。 また，今回，音源位置から計算できる音響インテンシティの大きさの比を 用いた音源分離手法を提案した。 音響インテンシティはベクトル量なので，音源方向に音響インテンシティ を分解することができる。音響インテンシティの大きさはエネルギーの強さ を表しているため，観測された周波数スペクトルの実部と虚部を分解された 音響インテンシティの大きさの比の 2 乗根で分けることにより，分離された 周波数スペクトルを求めることができる。 音響インテンシティの比を用いた音源分離の実験を行った結果，概ね音源 が分離できていることが確認できた。 今回提案し，実験した手法は音源が移動しないことを前提にしているため， 移動音源にも対応できるよう手法を改善していきたい。また，分離された音 には雑音が乗ってしまっているため S/N の改善も図っていきたい。 今後は空間中の音源位置を視覚化し，音源分離を行うことで，聴者が自由 に特に聞きたい音を選択し，聞くことができるようなシステムを作っていき 50.
(52) たいと考えている。しかし，実用の面から考えると，ある程度の分解能を保 証するためには 2 つの近接 4 点法マイクロホンの距離を離して配置する必要 があり，全体として大きなシステムとなってしまう。今後，システムの簡素 化，小型化を図り，実用に耐えうるものにしていきたい。. 51.
(53) 参考文献 [1] [2]. D.E. Broadbent, “Perception and Communication”, Pergamon Press, 1958. A. Hyvarinen, J. Karhunen and E. Oja, “Independent Component Analysis”, John Wiley & Sons, 2001.. [3]. 牧野昭二，荒木章子，向井良，澤田宏， ”独立成分分析に基づくブライ ンド音源分離”，信学技報，EA2003-45, Vol.103, No.129, pp.17-24, Jun. 2003.. [4]. F. R. Bach and M. I. Jordan, “Kernel independent component analysis,” J. Machine Learning Res., vol. 3, pp. 1-48,2002.. [5]. 大内康裕，山﨑芳男， “一般化調和解析を用いた音源分離，”日本音響学 会講演論文集，pp.557-558, Sep. 1998. 坂文貴，速水悟， “マイクロフォンアレイを用いた実環境音の認識によ. [6] [7] [8]. る音源定位，” 日本音響学会講演論文集，2-6-17, pp.615-616, Mar. 2005. 小林万理恵，“パラボラリフレクタを用いた音源方向推定と音源分離”， 早稲田大学卒業論文，Mar. 2009. YoshioYamasaki, Takeshi Itow, “Measurement of spatial information in sound fields by closely located four point microphone method”, J. Acoust. Soc. Jpn. Feb. 1989.. [9]. 山崎芳男，伊藤毅，“近接 4 点法によるコンサートホールの音響測定，” JAS Journal, pp.27-37, 1987.. [10] 大内康裕，中沢誠，山崎芳男，“ 一般化調和解析を用いた近接 4 点法 による音場分析， ”日本音響学会誌，Vol.6, pp.654-661, 2009. [11] 小野政一郎，田中巧，及川靖広，山崎芳男（早大理工） ， “近接 4 点法を 用いた屋外の移動音源の計測，”日本音響学会講演論文集, pp.489-490， Sep.2000. [12] 金子千穂，後藤理，山崎芳男， “地中における音速導出と音源位置推定，” 日本音響学会春季研究発表会講演論文集, pp.715-716, Mar.2011. [13] 松下耕二郎， “信号処理のためのプログラミング入門，”片岡巌，株式会 社技術評論社，2009. [14] 橘秀樹，“音響インテンシティ法による音響測定， ”建材試験センター 建材試験情報２，2008. [15] 清山信正，鈴木大介，村田清孝，伊勢史郎，山崎芳男，伊藤毅，“近接 4 点法へのインテンシティの適用，”日本音響学会講演論文集， pp.553-554，Oct. 1987. [16] 清山信正，金允起，中村聡延，山崎芳男，伊藤毅， “近接 4 点法を用い 52.
(54) た短時間インテンシティによる音場の評価，”日本音響学会講演論文集， pp.517-518，Mar. 1988.. 53.
(55) 謝辞 本研究を進めるにあたり，ご指導いただいた及川靖広准教授に心から感謝 いたします。不勉強のせいで研究に行き詰ることが多かった私ですが，先生 の的確なアドバイスと励ましのおかげでなんとかここまで来ることができま した。夜遅くまで論文の執筆にお付き合いいただいたご恩は忘れません。ま た，ゼミなどで多くのご助言を頂いた山﨑芳男教授に深く感謝いたします。 私と同じ高校の御出身ということで親しげに声をかけていただいたことが今 でも心に残っています。 大内康裕氏には右も左もわからない学部生の頃，私の初めての実験にご協 力いただきました。ここまで来られたのもその時の経験のおかげだと思って います。小西雅氏には研究に際しアドバイスをしていただきました。私が普 段あまり行き慣れない 55 号館の研究室に少し緊張しながら行くといつも小 西氏がいらっしゃり，安心感を覚えることができたことを覚えています。武 岡成人氏は研究室に入りたてで緊張していた私に気さくに声をかけてくださ いました。その後無事に研究室に馴染めたのも武岡氏のおかげだと思います。 後藤理氏はムードメーカー的な存在でした。どんなに疲れていても後藤氏の 笑い声を聞くと元気になることができました。八十島乙暢氏には実験にご協 力していただきました。八十島氏は小さなことでも褒めて下さり，それが自 信につながりました。野口紗生氏は後輩から慕われる先輩で私にとってはあ こがれの存在でした。大学院に入りたての時に突然任された合宿係は野口氏 のご協力なしでは成し遂げられなかったと思います。小森智康氏には発表等 の際に鋭い指摘をしていただきました。合宿でお酒を片手に助言をしていた だいたのもいい思い出です。 髙橋和康氏は同輩ながら経験豊富で，この研究を進めるにあたっても多く のアドバイスをして頂きました。常に先を行く彼の存在を励みに研究を頑張 ることができたといっても過言ではありません。修士 1 年の皆様は私よりも この研究室にいた期間が長かったため後輩ながらある意味先輩のような存在 でした。修士ゼミなどでこの代と一緒に勉強をさせて頂いて本当に良かった と思います。連日の徹夜を乗り越えられたのは同時期に研究を乗り越えた学 部 4 年の皆様のお陰です。疲れが吹き飛ぶような楽しいメンバーでした。 最後に夜遅くに研究室に出かける私に毎日お弁当を持たせてくれて，生活 のサポートをしてくれた両親に深く感謝したいと思います。あまり寝ていな いのではと心配をかけたと思いますがここまでやって来られて本当に良かっ たと思います。. 54.
(56) 研究業績 種類 講演. 題名，発表・発行掲載雑誌名，発表・発 行年月日，連名者 分散配置した近接4点法マイクロホンに よる音源位置推定と音源分離， 日本音響学会研究発表会,2012年3月, ☆小林万理恵，及川靖広，山﨑芳男. 55.
(57)
関連したドキュメント
Ruby を用いて GPGPU プログラミングを行うことを扱っ た研究として，Ikra[12] がある．Ikra は，GPU のメモリに実
また, 公共交 通機関の利用割合が自動車の利用割合とほぼ等しい都市 圏では新型コロナウイルスの影響により,
Genetic Information Research Institute の反復配列データベー スである RepbaseU pdate [5] に登録されている反復配列のオカ レンスを Repeat
いてはアクセス性能を重視する Direct Mode without Size
ービス)
FreeBSD などの OSSD で使用されている CVSup の 2 つの動作モード exact, non exact を模倣した... exact
2.3 GPS を用いた速度計測 アンドロイド SDK[20] で使用できる GPS の機能は G3,WiFi を利用したネット ワーク GPS
4.1 検証方法
