第 6 章 ノードリファレンス 45
6.1.1 AudioStreamFromMic
モジュールの概要
マイクロホンアレーからマルチチャネル音声波形データを取り込む.サポートするオーディオインタフェース デバイスは,システムインフロンティア製RASPシリーズ,東京エレクトロンデバイス製TD-BD-16ADUSB,
ALSAベースのデバイス(例,RME Hammerfall DSP Multifaceシリーズ)である.また,デバイス以外にも,
IEEE Float形式のマルチチャネルの音響信号のrawデータをTCP/IPソケット接続で受信することも可能であ る.各種デバイスの導入は,第8章を参照のこと.
必要なファイル 無し.
使用方法
どんなときに使うのか
このモジュールは,HARKシステムへの入力として,マイクロホンアレイから得られた音声波形データを用 いる場合に使用する.
典型的な接続例
図6.1にAudioStreamFromMicモジュールの使用例を示す.
図6.1:AudioStreamFromMicの接続例
デバイスの写真
AudioStreamFromMicモジュールがサポートするデバイスのうち,以下を写真で紹介する.
1. 無線RASP,
2. RME Hammerfall DSPシリーズMultiface (ALSA対応デバイス).
1.無線RASP 図6.2は無線RASPの外観である.HARKシステムとの接続には,無線LANによるEthernet を通じて行う.無線RASPへの電源供給は,付属のACアダプタで行う.
無線RASPは,プラグインパワーに対応しており,プラグインパワー供給のマイクロホンをそのまま端子に 接続できる.マイクロホンプリアンプを使用せずに手軽に録音ができる利点がある.
図6.2:無線RASP
2.RME Hammerfall DSP Multifaceシリーズ 図6.3,6.4はRME Hammerfall DSPシリーズMultifaceの外 観である.32bit CardBusを通じてホストPCと通信を行う.6.3 mm TRS端子を通じてマイクロホンを接続で
きるが,入力レベルを確保するために,別途マイクロホンアンプを使用する(図6.4).例えば,マイクロホンを RME OctaMic IIに接続し,OctaMic IIとMultifaceを接続する.OctaMic IIは,ファンタム電源供給をサポー トしており,ファンタム電源を必要とするコンデンサマイクロホン(例えば,DPA社4060-BM)を直接接続可 能である.しかし,プラグインパワー供給機能がないため,プラグインパワー供給型のマイクロホンを接続す るためには,別途プラグインワパー用の電池ボックスが必要である.例えば,電池ボックスはSony EMC-C115 やaudio-technica AT9903に附属している.
図6.3: RME Hammerfall DSP Multifaceの正面
図6.4: RME Hammerfall DSP Multifaceの背面
モジュールの入出力とプロパティ
表6.2:AudioStreamFromMicのパラメータ表 パラメータ名 型 デフォルト値 単位 説明
LENGTH int 512 [pt] 処理を行う基本単位となるフレームの長さ.
ADVANCE int 160 [pt] フレームのシフト長.
CHANNEL COUNT int 8 [ch] 使用するデバイスのマイクロホン入力チャネル数.
SAMPLING RATE int 16000 [Hz] 取り込む音声波形データのサンプリング周波数.
DEVICETYPE string WS 使用するデバイスの種類.
GAIN string 0dB RASPを使用する場合のゲイン.
DEVICE string 127.0.0.1 デバイスへのアクセスに必要な文字列.“plughw:0,1”な
どのデバイス名や,RASPを使用する時はIPアドレスな ど.
入力
無し.
出力
AUDIO :Matrix<float>型.行がチャネル,列がサンプルのインデックスである,マルチチャネル音声波形 データ.列の大きさはパラメータLENGTHに等しい.
NOT EOF :bool型.まだ波形の入力があるかどうかを表す.録音波形に対する繰り返し処理の終了フラグと して用いる.trueのとき,波形の取り込みを続行し,falseのとき,読み込みを終える.常にtrueを 出力する.
パラメータ
LENGTH :int型.512がデフォルト値.処理の基本単位であるフレームの長さをサンプル数で指定する.値 を大きくすれば,周波数解像度が上がる一方,時間解像度は下がる.音声波形の分析には,20∼40 [ms]
に相当する長さが適切であると言われている.サンプリング周波数が16000 [Hz]のとき,デフォルト値 は32 [ms]に相当する.
ADVANCE :int型.160がデフォルト値.フレームのシフト長をサンプル数で指定する.サンプリング周波 数が16000 [Hz]のとき,デフォルト値はフレーム周波数10 [ms]に相当する.
CHANNEL COUNT :int型.使用するデバイスのチャネル数.
SAMPLING RATE :int型.16000がデフォルト値.取り込む波形のサンプリング周波数を指定する.処理 の中でω[Hz]までの周波数が必要な場合,サンプリング周波数は2ω[Hz]以上の値を指定する.サンプ リング周波数を大きくとると,一般にデータ処理量が増えるので,実時間処理が困難になる.
DEVICETYPE : string 型.ALSA, RASP, WS, TDBD16ADUSB, RASP24-16, RASP24-32, RASP-LC, NET-WORKから選択する.ALSAベースのドライバをサポートするデバイスを使用する場合にはALSAを選 択する.RASP-2を使用する場合にはRASPを選択する.無線RASPを使用する場合はWSを選択する.
TD-BD-16ADUSBを使用する場合にはTDBD16ADUSBを選択する.RASP-24を16bit量子化ビット数 の録音モードで使用する場合にはRASP24-16を選択する.RASP-24を24bit量子化ビット数の録音モー ドで使用する場合にはRASP24-32を選択する.RASP-LCをPCと無線LANによる接続で使用する場合 にはRASP-LCを選択する.(RASP-LCをPCに直接USB接続する場合はALSAで構わない.)TCP/IP接 続を介してIEEE float形式のrawデータを受信したい場合はNETWORKを選択する.
GAIN : string型.0dBがデフォルト値.マイクの録音ゲインを設定する.0dB, 12dB, 24dB, 36dB, 48dBの
中から選択する.RASP-24を録音デバイスとして利用する時のみ有効になる.
DEVICE :string型.DEVICETYPE毎に入力内容が異なるため,以下の説明を参考のこと.
モジュールの詳細
HARKがサポートするオーディオデバイスは,以下の通り.
1. システムインフロンティア製RASPシリーズ
• RASP-2
• 無線RASP
• RASP-24
• RASP-LC
2. 東京エレクトロンデバイス製TD-BD-16ADUSB.
3. ALSAベースのデバイス.以下は例.
• Microsoft製Kinect Xbox
• Sony製PlayStation Eye
• Dev-Audio製Microcone
• RME Hammerfall DSPシリーズMultiface
4. TCP/IPソケット接続で送られる音響信号(IEEE float wav形式) 以下ではそれぞれのデバイスを用いる際のパラメータ設定を記す.
RASPシリーズ:
• RASP-2のパラメータ設定 CHANNEL COUNT 8
DEVICETYPE WS
DEVICE RASP-2のIPアドレス
• 無線RASPのパラメータ設定 CHANNEL COUNT 16
DEVICETYPE WS
DEVICE 無線RASPのIPアドレス
備考 RASPシリーズはモデルによって16チャネル中マイクロホン入力とライン入力 が混在しているものがある.混在する場合には,ChannelSelectorモジュールを,
AudioStreamFromMicモジュールのAUDIO出力に接続しマイクロホン入力チャネ ルだけを選択する必要がある.
• RASP-24のパラメータ設定 CHANNEL COUNT 9の倍数
DEVICETYPE RASP24-16またはRASP24-32
DEVICE RASP-24のIPアドレス
備考 録音の量子化ビット数を16bitにする場合はDEVICETYPE=RASP24-16を,量子 化ビット数を24bitにする場合はDEVICETYPE=RASP24-32 を指定する.CHAN-NEL COUNTは,9の倍数を指定する.録音チャネルは0番目〜7番目のチャネル はマイクロホン入力,8番目のチャネルはライン入力となる.マイクアレイ処理に は,ChannelSelectorモジュールを,AudioStreamFromMicモジュールのAUDIO 出力の後段に接続しマイクロホン入力チャネルだけを選択する必要がある.
• RASP-LCのパラメータ設定
CHANNEL COUNT 8
DEVICETYPE ALSAまたはRASP-LC
DEVICE DEVICETYPE=ALSAに指定した場合はplughw:a,bと指定する.設定の詳細は
下記のALSA対応デバイスを参照.DEVICETYPE=RASP-LCに指定した場合は RASP-LCのIPアドレスを指定する.
備考 RASP-LC の USB インターフェイスを直接 PC に接続する場合は
DEVICE-TYPE=ALSA に設定する.RASP-LC を 無線 LAN を通じて PC と接続する場 合はDEVICETYPE=RASP-LCに設定する.録音チャネルは全てマイクロホン入 力となる.
東京エレクトロンデバイス製デバイス:
• TD-BD-16ADUSBのパラメータ設定 CHANNEL COUNT 16
DEVICETYPE TDBD16ADUSB
DEVICE TDBD16ADUSB
ALSA対応デバイス:
ALSA対応デバイスの場合,DEVICEパラメータはplughw:a,bと指定する.aとbには正の整数が入る.a には,arecord -lで表示されるカード番号を入れる.音声入力デバイスが複数接続されている場合には,カード 番号が複数表示される.使用するカード番号を入れる.bにはarecord -lで表示されるサブデバイス番号を入れ る.サブデバイスが複数あるデバイスの場合,使用するサブデバイスの番号を入れる.サブデバイスが複数あ る場合の例としては,アナログ入力とディジタル入力を持ったデバイスが該当する.
• Kinect Xboxのパラメータ設定 CHANNEL COUNT 4
DEVICETYPE ALSA
DEVICE plughw:a,b
• PlayStation Eyeのパラメータ設定 CHANNEL COUNT 4
DEVICETYPE ALSA
DEVICE plughw:a,b
• Microconeのパラメータ設定 CHANNEL COUNT 7
DEVICETYPE ALSA
DEVICE plughw:a,b
• RME Hammerfall DSPシリーズMultifaceのパラメータ設定 CHANNEL COUNT 8
DEVICETYPE ALSA
DEVICE plughw:a,b
ソケット接続( DEVICETYPE=NETWORKを選択した場合):
DEVICEパラメータは音響信号を送信する側のマシンのIPアドレスを指定する.その他のパラメータは送
られてくる音響信号に合わせる必要がある.送信したい音響信号がMチャネルで,1フレーム毎にT サンプ ルのデータを取得できる場合,以下のように送信すれば良い.
WHILE(1){
X = Get_Audio_Stream (Suppose X is a T-by-M matrix.) FOR t = 1 to T
FOR m = 1 to M
DATA[M * t + m] = X[t][m]
ENDFOR ENDFOR
send(soket_id, (char*)DATA, M * T * sizeof(float), 0) }
ここで,XはIEEE float wav形式であり,−1≤X≤1である.
Windows版DirectSound対応デバイス:
Windows版HARKでは,無線RASP,RASP-24,ソケット接続に加えてDirectSoundに対応したオーディオ インタフェースデバイスを使用できる.DEVICEパラメータにデバイス名を入力することでデバイスの指定が 可能である.DEVICEパラメータへのマルチバイト文字の入力には対応していない.
デバイス名の確認方法は,デバイスマネージャなど使う方法と,Windows版HARKで提供しているSound Device Listをつかう方法がある.後者の場合は, [スタート]→[プログラム]→[HARK]にあるInput Sound Device Listをクリックすると,図6.5に示すように現在接続中のデバイス名が表示される.DEVICEパラメータは部 分一致でも設定可能となっているので,図6.5の場合は単に”Hammerfall”を設定するだけでもよい.このとき, 複数のデバイス名が部分一致した場合は上位に表示されているデバイスが選択される.
また, Kinect Xbox,PlayStation Eye,Microcone,RASP-ZXに関しては,正確なデバイス名を入力しなくと も下記に示すパラメータを設定することで利用できる.
ただし,RASP-ZXについてはWindows7使用時に限りオートゲインがかかってしまうため注意が必要である.
Windows版ASIO対応デバイス:
ASIO対応デバイス,たとえばMicroconeやRME Hammerfall DSPシリーズMultifaceを利用したい場合は,
HARKのASIOプラグインをHARKウェブページからダウンロードしてインストールする必要がある.また,
ASIO対応デバイスはWindows標準のドライバでは認識しないため,デバイスメーカが配布するドライバをイ ンストールする必要がある.
ASIO対応デバイスではAudioStreamFromMicのかわりにAudioStreamFromASIOを使用する.
• Kinect Xboxのパラメータ設定 CHANNEL COUNT 4
DEVICETYPE DS
DEVICE kinect
• PlayStation Eyeのパラメータ設定