Web-DBサーバと連携する音声ラベリングプログラムの開発

全文

(1)Title. Web-DBサーバと連携する音声ラベリングプログラムの開発. Author(s). 小杉, 風友; 今野, 英明; 金光, 秀雄. Citation. 北海道教育大学紀要. 自然科学編, 64(1): 31-38. Issue Date. 2013-09. URL. http://s-ir.sap.hokkyodai.ac.jp/dspace/handle/123456789/6978. Rights. Hokkaido University of Education.

(2) 平成 25{ I 8月. 北海道教育大学紀要(自然科学編)第 6 4巻第 1号 J o u r n a lo fHokkaidoU n i v e r s i t yo fE d u c a t i o n( N a t u r a lS c i e n c e s )Vo . l64，No. l. ご. August，2 0 1 3. Web-DBサーバと連携する音声ラベリングプログラムの開発小杉風友・今野英明・金光秀雄. 北海道教育大学函館校情報基礎研究室. Developmento fSpeechL a b e l i n gProgramCommunicatingw i t h Web-DatabaseS e r v e r KOSUGIKazetomo，KONNOH i d e a k i，andKANEMITSUHideo D e p a r t r n e n to fI n f o r r n a t i o nS c i e n c e s .HakodateC a r n p u s .HokkaidoU n i v e r s i t yo fE d u c a t i o n .Hakodate，040-8567. 概要音声データベースを一元化して複数の利用者で共有し，ネットワークを介して利用できるようにシステム化すれば，音声データの収集や管理および配布にかかるコストの削減が期待できる。一方，著者らは Web データベース汎用システムを開発して活用している。このシステムに音声データと，それに付随する種々のデータを関連付けて格納することにより，音声データベースシステムとしての利用が可能になる。そのために，本研究ではシステムに格納された音声データを取得し，. GUIによる操作で音素ラベリングを行うため. のプログラムを開発した。また，このプログラムが音素ラベリングの結果を即時にシステムに送信し，それを元の音声データと関連付けてサーバに格納できることを動作試験により確認した。. 1.はじめに音声認識や音声合成を始めとする今日の音声処理では，確率モデルの構築や統計的処理のために. タ(音素ラベル)，話者の情報等が必要となることが多い。そのため，音声データベースでは，音声波形のデータからその音声に関わる各種データを作成し，提供する必要がある。. 大量の音声データが必要である。音声の音響的特. 青木らは音声合成用の音声データベースをオー. 徴を調査することを目的とする音声分析において. プンコンテンツ化することを目的とした研究を. も多くのデータは欠かせない。このような大量の. 行っている. 音声データを音声データベースとして一元化して. E x t e n s i b l eMarkupL a n g u a g e ) 種情報を XML (. 複数の利用者で共有し，ネットワークを介して利. で記述し，それを WAV ( R I F F ) 形式のファイル. 用できるようにすれば，音声データの収集や管理. 内に格納した。この WAVファイルは通常の音声. および配付にかかるコストの削減が期待できる。. ファイルとして再生処理等が可能であり，さらに. [ l J。この研究では音声のラベルや各. また，一般に音声処理では，音声波形のデータ. 単一のファイル内に音声波形のデータと付加情報. に加え，発話の開始・終了時刻や音素位置のデー. が入っているためデータの管理効率が良い。ただ. 3 1.

(3) 小杉風友・今野英明・金光秀雄. し， WAVファイルはバイナリファイルであるた. る。ただし，プログラムの作成には時間と手聞が. め， XMLデータの記述と閲覧には専用のエディ. かかる。後者のアプローチ 2)では，既存の外部. タが必要となり，データの汎用性は低下する。. プログラムをそのままで，あるいは若干の変更だ. 著者らは Webデータベース汎用システムを開. けで利用できることが利点である。一方で，変更. 発し，授業での資料提示やオンライン試験，研究. が不可能な外部プログラムの場合，インター. 室内向け文書の保存等に利用してきた。このシス. フェースプログラムとの通イ言カ tできず，システム. テムは，. Webページを通じて種々のデータを関. 係データベースに格納し，利用者に提示するもの. を利用できない可能性が生じる。本稿では，アプローチ 1)に基づき， Webデー. であり，以下の特徴がある。. タベース汎用システムのサーバから音声データを. ( a ) 自動的に生成される IDでデータを識別する. 取得し，それを基に作成したデータを即時に元の. ため，データの登録時にデータ名の重複を意識. データと関連付けてサーバに格納するプログラム. する必要がない。このため，通常のファイルに. について述べる。特に，音声波形のデータを基に. 比較してデータ管理が容易である。. 音素ラベルを作成する処理(音素ラベリング)は. ( b ) ユーザ認証機能を利用して，データの登録や. ある程度の自動化が可能であるものの，正確なラ. 取得に関する種々の権限を設定できることか. ベリングは人手による作業を要する手間のかかる. ら，不特定利用者へのデータ公開の用途に加え，. 処理である。そこで，このラベリング処理を主と. 特定の利用者間でのデータの共有にも適してい. して行う GUI ( G r a p h i c a lUserI n t e r f a c e ) を持. る。. つアプリケーションプログラム(以降“ GuiAudio". ( c ) データおよびそのデータから派生したデータ. と呼ぶ)を作成したので，これについて報告する。. を，データ聞の関係と共にシステムに格納できる。従って，このシステムに音戸データと，それに付随する種々の情報や分析結果等を格納すれば，特定の利用者間で音声データベースを共有するためのシステムとして利用できる [210. 2 . Webデータベース汎用システムの動作. 概要本研究で作成したアプリケーションプログラム GuiAudioは Webデータベース汎用システムに. このシステムの操作は基本的に Webブラウザ. おけるクライアントとして動作する。クライアン. のみで行えるものの，データ処理の用途には，処. トを含む Webデータベース汎用システムの構成. 理を行う外部プログラムがデータを取得し，その. は図 1のとおりである。このシステムでは，クラ. 処理結果をシステムのサーバに送信で、きる必要が. イアントが HTTPプロトコルでリクエストを. ある。そのためのアプローチとして次の二つが考. HTTPサーバに送る。サーバは指定された URL. えられる。 S e r v e r. 1)システムと直接に通信する外部プログラムを. 自ら作成する. [3ι]。. 2)タト音E プログラムとシステムとの聞のインター. 向 t s. ト. C l i e n t. H T T P s e r v e r w i t h. フェースプログラムを用意する。タト部プログラムはインターフェースプログラムを通じて，システムとデータの受け渡しをする問。 βLW. M曲. 9U. 9 u w. h υ. D. 前者のアプローチ 1)の利点は，作成者がプログラムの詳細を把握しているため，さまざまな局面に柔軟に対応でき，容易に改良ができることであ. 3 2. 図 1 Webデータベース汎用システムの構成.

(4) Web-DBサーバと連携する白戸ラベリングプログラムの開発. に応じてサーバサイドスクリプトを実行し，デー. D a t a b a s eManagement タの読み書きを DBMS (. 4 . 開発言語. System) に要求する。 DBMSはデータベース内. 本研究では，標準ライブラリの豊富さ等の理由. のデータを HTTPサーバに渡し，これを使って. から Java言語を用いることとした。 Java言語. 動的に生成された Webページを HTTPサーバが. によるプログラミングでは，. クライアントに送信する。. ションとアプレットの形態が考えられる。. Javaアプリケー. 西村らは Javaアプレットを Webページに埋. 3. GuiAudioの機能本研究で開発した G uiAudioは次のは)から ( e )の. め込むことによって音声入力用の GUIインターフェースを実装し. Webを使った音声データの. 収集システムを作成することに成功している. [ 6 J。. 機能を持つ。. また，青木らはサーバから送信する音声データを. ( a ) ユーザ認証への対応機能. Webブラウザで再生するために Javaアプレット. サーバにデータを送信する場合にユーザ認証が. avaアプレットにを用いている [710 このように J. uiAudioでは c h a l l e n g e r e s p o n s e 必要となる。 G. は Webページに組み込んでクライアントの Web. 方式のユーザ認証に対応しており，そのためのロ. ブラウザ上で音声を扱える利点がある半面，セ. グイン IDやパスワードを送信できる。. avaアプレットによるキュリティ上の理由から J. ( b ) 簡易ブラウザ機能. ローカルファイルへのアクセスは厳しく制限され. GuiAudioはサーバから送信される HTMLを. ている. [810. このためクライアントで、行った処理. 解釈して表示する。この簡易ブラウザ機能は処理. 結果をファイルに保存する場合，処理結果をサー. する音声データをサーノ tから選択する際に使われ. バに送信することが困難になる。そこで，本研究. る。. では，プログラムによるローカルファイルへのア. ( c ) 音声データの再生・波形表示・スベクトログ. クセスの自由度を優先し，クライアントで通常の. ラム表示機能. avaアプリケー方法でプログラムを起動させる J. 簡易ブラウザ機能を使ってダウンロードした音. ションとしてプログラムを開発することとした。. 声データの再生や波形表示，スベクトログラム表示を行う。これらの機能はラベリングの操作において必要となる。 ( d ) ラベリング機能. ( c )で示した機能を利用して，プログラムの利用. 5. GuiAudioの構成 GuiAudioの構成を図 2に示す。 GuiAudioは Mainモジ、ュールが各種モジュールを呼び出し，. 者がラベリングを行える。音素などの入力には. その結果を受け取って必要な機能を利用者に提供. キーボードを利用し，その音素の開始時刻と終了. する。. 時刻の確定はマウスを利用する。 ( e ) データの送信機能. PreAccessモジュールでは事前に必要なログインなどの処理を行い，セッションを継続するため. ( d )までの機能を利用して行ったラベリングの結. のクッキーを保持する。 DownloadDataモジ、ユー. 果を格納したファイルや，音声データの諸情報を. ルではクッキーを使ってサーバから音声データを. 格納したファイルなどを Webデータベース汎用. ダウンロードする。. システムのサーバに送信する。このとき音声デー. A u d i o P l a y e rモジ、ユールは音声再生機能を提供. タと各種データを関連付けるための情報も送信さ. する。音声データの再生は任意の時聞から可能で. れる。. ある。 A udioAnalyzeモジ、ュールでは，音声データからサンプリング周波数や量子化ピット数など. 3 3.

(5) 小杉風友・今野英明・金光秀雄. MainMo 伽l e. 、凶. e l. ，・. Audiol • C l i p， Cookie， II Wave Notic~ Data IP姐 el， v AudioI n f o P r e A c c e s s Module DownloadD a t a Module. A u d i o P l a y e r Module. 11. を入力する。次にログイン先を選択して L ogin ボタンを押すと，サーバへログインを試みる。ログインが正常に完了すると，サーバから送信される HTMLデータを受け取り，図 3に示すとおり，. D a t a W r i t e r Module. l l. awze MakeMUHiP A山 Module II Module. タブ STEPl内に Webページが出力される。利用者が処理対象となる音声データを Web ページより選択すると，タブは STEP2に遷移し，ラベリングのための GUIを提供する。図 4に単. Waveform Module. 11. S e n d S e l e c t e d DataModule. 語/ a i s a t s u /を選択した後のタブ STEP2の画面を. 示した。波形パネル上の任意の位置にマウスポイ図 2 クライアントプログラムの構成. ンタを置き，右クリックすると音声データをその位置から再生できる。ここでは利用者が，再生機. の諸情報の抽出し，音声波形の振幅値の復号化や. 能や波形，サウンドスベクトログラムを手がかり. FFT演算を行う。 Waveformモジ、ユールでは. に音素ラベリングを行う。波形パネル上では 1度. AudioAnalyzeモジュールで取り出した音声デー. 目の左クリックで音素の開始時刻が入力され，. タの振幅値を元にして音声波形を描画するための. 度目の左クリックで終了時刻が入力される。音素. 数値列を生成する。. の開始時刻と終了時刻を確定した後，音素をテキ. DataWriterモジ、ユールでは，サーバに送信す. 2. ストフィールドに入力して S e tボタンを押すと，. るデータをファイルとしてクライアントの単一の. 右側のテキストエリアに音素とその開始時刻，終. ディレクトリに保存する。町I akeMultiPartモ. 了時刻が入力される。この一連の操作を繰り返し. ジュールでは，書き出したファイルをサーバに送. てラベリングを行う。 C ompleteボタンを押すと. 信するために必要となる HTTPリクエストボ. テキストエリア内のデータが保存され，送信の際. ディ内のマルチパート部を作成する。. Send-. S e l e c t e d D a t aモジュールでは，マルチパートに. に利用される。また，画面がタブ STEP3に遷移する。. HTTPリクエストヘッダを付加して HTTPリク. タブ STEP3では送信の操作を行う(図 5)。ま. エストを完成させ，サーバに送信する。元の音声. ず，送信したい項目をチェックボックスで選択す. データと送信データを関連付けるための情報も送. る。 Phoneme欄は利用者が入力する音素列，. 信する。. Comment欄は話者の情報などが入力されたコメント，. 6 . 実行過程 GuiAudioの開発では，限られたウインドウス. A u d i o I n f oは音声データのサンプリング周. i t数，バイト 1 ) 買などの諸情報，波数や量子化 b Amplitudeは振幅値列， Label Da t aはラベリングの結果，. FFTは FFT演算の結果である o. ペースを有効に使うため，操作のステップ別にタ. Sendボタンを押すとチェックした項目のデータ. ブを用意した。利用者は STEPl:S e l e c tAudio. と共に，音声データと各種データを関連付けるた. Data， STEP2:L a b e l i n g， STEP3:SendR e s u l t. めの情報がサーバへ送信される。サーバではこの. の順にタブ内で操作を行う。各タブにおける操作. 関連付け情報を元に，音声データと各種データを. が完了すると次のタブへ自動で遷移する。. 関連付けて格納する。. まず，. 34. GuiAudioを起動して IDと Password.

(6) Web-DBサーバと連携する高戸ラベリングプログラムの開発. ー l o g i n l O : 6. 0>. P薗 sword:. 仁豆亙コ ~副コ. S e r v e r. 「至ゴ日e p 1 .Se胞団削蜘￨日 e l I Z .L a b e l 同 ! 日e l 1 3 . S e n d陶. S附. ￨. ￨岡山叫 (user，staff)> .1. rn. 位二L 上エぇil 殴孟lL上 " /7 三ニ三1l 1 ! 2 . 門 : : : . . E き. 5 n 聖e c hDBT~~t S l t e・， s t a i P・. 温墨圭二五l ロ工中k主主邑. GuiAudioTestPage ， . . . ， . 閲覧可 ;0 同鳩Y量緑可，来認証ユ ω ザーは学内からのみ閲覧可. I D. 僚題. 旦斗♀ MA リl 凹 03w 引. 形式. 更新日. サイズコメシト pho鵬首..凪晶 l a b e l昌司. 郎. d i . 刷局. v1 / 3 0Mon1 9 : 5 66 4 5 5 6. 岨斗三. 迫斗主辺斗よ辺斗♀迫斗立. 辺監1MA リl 凹0 5. wava u d i o/悶: Y1 / 3 0Mo n1 9 : 0 35 4 3 1 6. 岨辺旦. 且辺旦辺辺三辿辺且且辺工. 辺監ユIvl Aリl 凹肘 m va u ' 蜘/悶，y1 / 3 0Mo n1 9 : 0 25 6 3 6 4. 岨辺生. 且迫ユ辿辿旦辿止上辺辺五. 辿2 五1MA リ10002wava u d i o l 明，y1130M 岨 1 9 : 0 23 9 9 8 0. 岨盟主. 且盟ユ辿盟旦辿但上辺盟主. Mon1 9 : 0 245100. 岨盤旦. 且位五辿邸主辿盤且且盤工. 胡. 辿~且MÆ!JJ!.QQl京&y 副d印刷制 1/30. 踊星孟=ロエヰ止主観. ￨叩 ut<kosugi加ser，st脚. 民 i 上ヱぇ4 陛車 L 上斗三三ニ斗[バ Z η ー E支 : A J. l. 図 3 音声データの選択画面. &. l o g i n l D. P描 sword. じ三盃己亡~. S e r v e r. 仁豆コ. 州1 仙川い一一一. •" _-~.~. t . . . . . h :1 . 3 5 < T i me:唱 014785. 図 4 音声の再生・表示・ラベリング画面. 3 5.

(7) 小杉風ぷ・今野英明・金光秀雄 " ' ー l o g i n l D : 6. Passw町 d : Se間 T. 亡亙コ日刑制e c 1A u d i o. 回 P加冊帽回 C酬 m酬. rel)Z.labeling r. 割帆 S endRe s 旧民. 日. L. 巳三a句 u 同五百. 回a 凶刷冊。回l a b e l D a t a. l町内山古山. 凶川口口附. 回 'mp 蜘 d e " '叩， ~. ' 0 . 7 0 5 6 9 7 0 . 7 8 1 0 3 0a ' 0 . 7 8 1 0 3 0 08 8 9 5 9 9 1 s 8 8 回目1 i O . .0 1 4 7 8 5u ，. 回F F T. コ. 仁二亘E. 図 5 分析結果とラベリング結果の送信画面. 丘4 日立2腿室J lb2三三L J[ L i ユ2二盗豆j 障基王ニ凶ロzi&孟盤l. 孟且旦且♀且主旦旦担〉且旦f>. GuiAudioT e s t P a g e : s 1 a f f閲覧司; Owner量録可，来箆証ヱ」ザーは学内由Vうゆみ閲覧可. I D I. 闘ーコ ~j.\コ|. 更新里コ. pイズ. 足当回虫・ m・i 耐陥b e l amp. n t. 10110凶且凶盟旦主主 audio 削 av1 1 3 0Mon195664556. 10115. 10114101111011210113. 10084MAU10 口05川町 audio附 av1130Mon19:0354316. 旦辺皇. 旦 108旦旦E旦盟主旦旦Z. 10083MAU10004wavaudiolwav1 1 3 0Mon190256364. 10104. 101口31口10010101 10102. 10081 MAU10002wavaudiolwav1 1 3 0Mon190239980. 10094. 100931009010091 10092. 1 盟主旦凶A μ辺皇立 1. w皇 yaudio 加 av1130Mon190245100. 10089. 10088100851008610087 踊室主ことJ I2zi&孟盆l. 丘4日立乏J I l 車劉l 上 d 三二三J ILi22こと変重j. 同 o u t< k o 叫 l (胤. 拘ゆ. l. 図 6 データ送信後の webページ. リックすることで，その内容を確認することがで. 7 . 送信結果の確認. きる。. データが正しくサーバに送信されたことを確認. これらの関連付けの情報は Webデータベース. するために，図 3に示した Webページを Web. 汎用システムのサーバ内で、は，関係データベース. ブラウザで表示したものが図 6である。. のテーブルに格納される。表 1に IDが 1 0 0 8 0の. 図 6において，. phoneme，i n f o，l a b e ，l amp， f f t. の各列に記述された数値は，. ID列と標題列に示. 音声データに関する行のみを例示する。このテー. r ci d列とブルではデータに付与された IDを s. された元の WAV形式の音声データに関連付け. desti d列に格納し，. られたデータの IDであり，図 5においてサーバ. d e s ti dの関連を示すキーワードを格納すること. Webブラウザ上でク. によってデータ聞の関係を保持する。表 1の第一. に送信したものである。. 3 6. l i n k列には srci dと.

(8) Web-DBサーバと連携する白戸ラベリングプログラムの開発. 表 1 関連付け情報を格納するテーブル. 9 . まとめ. s r ci d. d e s ti d. l i n k. 1 0 0 8 0. 1 0 0 8 9. phoneme. 1 0 0 8 0. 1 0 0 8 8. i n f o. 得し，. 1 0 0 8 0. 1 0 0 8 5. l a b e l. プログラムを開発した。また，音素ラベリングの. 1 0 0 8 0. 1 0 0 8 6. amp. 結果と各種情報を即時にサーバに送信し，それら. 1 0 0 8 0. 1 0 0 8 7. f f t. と元の音声データを関連付けてサーバに格納する. 本研究では，. Webサーバから音声データを取. GUIによる操作で音素ラベリングを行う. ことができた。音声データと，それに付随する各行では，. GuiAudioによるデータ送信によって，. 種データは膨大な量となるため，管理が煩雑にな. 元の音声データの IDである 10080が s r ci d列に，. らないよう即時に関連付けて保存できる意義は大. 音素列データの IDである 10089が desti d列に入. きい。また，このプログラムを複数のコンビュー. り，. タで利用すれば，手作業が避けられないラベリン. l i n k列に phonemeというキーワードが入る. ことによって， IDカ'10080のデータと IDが 10089. グを分担して行うことが可能であり，作業の効率. のデータが phonemeという関係で保持されたこ. イヒを図ることカ王できる。. とを示している。音素以外のデータについても，. 本研究で開発したアプリケーションプログラム. 元のデータとの関連が link列の内容によって保. をさらに発展させる手法としては，プラグイン等. 持されている。システム内ではこの情報を基に，. の形式で Webブラウザに機能を組み込むことが. 図 6に示したような webページを生成しており，. 考えられる。これにより，音声分析やラベリング. データ聞の関連を含むデータ送信の成功が確認で. の作業をブラウザのみで完結させることが可能に. きた。. なる。. 8 . ラベリングの試行実験本研究で開発したプログラムによる音素ラベリングの結果を確認するために，音素ラベルが提供されている市販の音声データベースを用いて，本プログラムの開発者が音素ラベリングを試みた。. 参考文献 [ l J 青木直史，伊藤￨専之，津田)乱須藤健次， "XMLによる音声データベースのオープンコンテンツ化"電子 1 )，情報通信学会総合大会講演論文集，情報・システム (. n o .SD-1-1， p p ." S 1 " " S 2 "，March2 0 0 4 . [ 2 J 今野英明，金光秀雄，高橋仲幸，外山淳，新保勝，. 使用した音声データベースは電気通信基礎技術研. Webデータベース汎用システムの開発と音声データ “. 究所 (ATR)の日本語音声データベース [9Jであり，. 管理システムとしての利Jtj， "電子情報通信学会技術報. 話者 M A Uの音声データ 3単語(1aikawarazu/，. 告，. n o .DE2005-16，pp. 1 9 2 4，2 0 0 5. [ 3 J 小杉風友，今野英明，“音声分析を日的とした GUI. /aikyo:/，/ a i s a t s u / ) の延べ 20音素のラベリング. クライアントアプリケーシヨンの試作"日本産業技術. を行った。. 教育学会北海道支部研究論文集. データベース付属のラベルと，開発したプログラムによるラベリング結果の差は， 20音素全ての. n o . 2 4， pp. 1 9 2 2，. 2 0 11 . [ 4 J 小杉風Jx:..今野英明，金光秀雄，“音声データの効率的管理を口的とした WebDBシステムの開発. 平均で 19ミリ秒であった。音素レベルでのラベリ. ライアントの試作. ングについては，音素聞の過渡部における境界決. 講演論文集. n o . C 5，p p . 7 5一7 6，2 0 1 1 .. 定が難しく，音素の境界規則によって結果が大きく異なる。またラベラーの熟練度の違いを考慮すると妥当なラベリング結果が得られたと考えられる。. GUIク. ，情報処理北海道シンポジウム 2 0 1 1. [ 5 J 今野英明，小杉風友，金光秀雄，高橋伸幸，“ Webベースデータ管理システムを片jいた音声分析 " 日本音響学会講演論文集. n o. 1 R 1 5，p p .4 6 3 4 6 4，March2 0 1 2. [ 6 JR .N isimura，] .M iyake，H.Kawahara，andT.I r i n o， “D evelopmento fS p e e c hI n p u tMethodf o rI n t e r a c t i v e. 3 7.

(9) 小杉風友・今野英明・金光秀雄. VoiceWebSystems， "i nHuman-ComputerI n t e r a c t i o n， P a r tI I，LectureNotesi nComputerS c i e n c e，Volume 5 61 1 ，e d，lAJ a c k o，pp， 71 0 7 1 9，S p r i n g e r V e r l a g，Ber. l i n . 2 0 0 9 [ 7 J 青木直史，ブルガーアレキサンダー，山本強，青木由直，“ XMLによる音声データベースの構築とクライアント/サーバー音声合成システムの開発"電子情報通信学会技術報告，. no.DE2001-112， pp.33-38，. 2 0 0 1 .. .Harold，Javaネットワークプログラミング，オ [ 8 JE .R ライリー・ジャパン，東京， 2 0 01 .. [ 9 J 武田一哉，匂坂芳典，片桐滋，桑原尚夫，“音声データベース構築のための視察に基づく音韻ラベリング". ATRT e c h n i c a lRepor ， tn o . T R I 0 0 1 9，1 9 8 8 .. (小杉風友株式会社エイチ・アイ・デイ). (今野英明函館校准教授) (金光秀雄函館校教授). 3 8.

(10)