• 検索結果がありません。

パターン認識における有意差検定と音声認識システ ムの評価法

N/A
N/A
Protected

Academic year: 2022

シェア "パターン認識における有意差検定と音声認識システ ムの評価法"

Copied!
7
0
0

読み込み中.... (全文を見る)

全文

(1)

Kyushu University Institutional Repository

パターン認識における有意差検定と音声認識システ ムの評価法

中川, 聖一

豊橋技術科学大学情報工学系

高木, 英行

松下電器産業中央研究所

http://hdl.handle.net/2324/4488440

出版情報:日本音響学会誌. 50 (10), pp.849-854, 1994. 日本音響学会 バージョン:

権利関係:

(2)

本音 響学会誌50巻 10号 (1994> pp.849−854 849

解 説

おけ 有意差検定

音声 テ厶の評 価法

中 川 聖

豊 橋 技 術 科 学 大 学 情 報 学 系 )**

高 木

電 器 産 業   中 央究 所)’*’

1

.は じ め に

 今ま で ター認識研究数 多 発表さ れ

た が リ ズ 実験有効 性検定 あま り はなさ れ て なか 発 表

ア イデア の お も し ろ さ は読れ て 本当に

有効な手法な の か どか の確 認を する こ とが な

な か で き な か 研究 活動石を落 す が ごと く他研 究者社会波 紋広 げ 学術 発 展に寄 与し て く もの と思 う 発 表の有 効 性 確 認で き で は を 広 げ が で

発表者して も す ば ら し ア イ デ ア

検定

さ な た が た め

評価さ れ る で あ る

  筆 者 ら は統計 学を専 門 と し て る わ け で は な く と し て統 計検定利 用し て こ の

立場か ら 教科 書的厳 密性多少 犠牲に し て で ター認 識 る 工学 者が す ぐ使

る こ と を意 図し て解 説行う実務立 場 か ら 具体 的音 声認 識検定現状 も触

論す る

解説

筆者

ら が

に研究表 し た 資5を も と て い 手 困難な研 究会資料 も あ り 何か の役 に立

ば と う 思 再 掲 ・加 筆 し た もの で あ る

2

有 意

検 定

方 法

1 (2

項 分

  平

認識 対 象 データ 共 有し た上で認 識性

 

Statistical

 methods  for comparing  pattern recogni −   tion algorithms  and  comments  on  evaluating  speech   recognition  performance

Seiichi Nakagawa (Department of InfQrmatlon  and   Computer Sciences, Toyohash University of Tech −   nology  Toyohash441)

串 宰 零 Hideyuki Takagi Central Research Laboratories,

  Matsushita  Electric  Industrial Co ., Ltd,,  Kyoto ,

  619−02)

比 較 す場 合検 定方法 近 は共通 音声 デー 整備な ど に よ 複数研究 機 関 開発 認識 比較 す

とが可能 て き た 本 節検 定方 法 はの よ う場 合同一研究 機 関 る ア

比 較利用で き る

 

検 定 方法

1

2

項 分布を 正規 分布

と に基 る。以 後の議 論 は 実用 上の 近似 条 件 一1が 満 た さ れて い る 場 合 有効 ある

 

2

1

  問 題の 定 式 化

      

問題

nA 個の データ を 用 識 方法

A

性 能 調と こ ろ 誤認識 数

T

で あ

一方

nB 認 識 方法

B

の性 能 調 た と 誤認 識数が

T

で あ 認識 方法

A

B

の間性能 差る か

 個々 の す る認識 1 (誤認 識 )

0

(認識)の 2 値を そ れ ぞ れ 確率

P

(1 −

P

確 率変数

X

変 数

X

2

項 分布

B 1

P

ま り (

O

1

)分布従 う

さ が

るの で 正確

2

項分布 と は言え な 近 似 的

2

項 分布 あ るす る 評価 用 デー異 な る 母 集 団抽 出 あ れ ば 両 ア ム は直接 比 較 で き な

母集団か ら抽 出さ れ た サ と す る

 以 下 確 率 変 数

Y

 nX =Σ 導 入し て議 論展開す

  2 .2 検定 ための モ化   確 率変 数

X

2

項 分布    

B

1

P

に従 う 確 率 変 数

Y

は 付 録 の定 理

1

よ り

2

項 分 布

(3)

850

表一1 本 手 法が適 用条 件 誤 確 認 率

p

n 条件

0 .1〜0 .3

e

3

−−

O

4

0 .4〜0 .6 0 .6〜0 .7

0

,7〜

0

.9

200以 上

100

以 上

50

100以 上

200以 上 n はデー

   

B

(n,

P

従 う。表

1

条 件 満 た さ れ る と き 付 録の

2

項 分布の正 規 分 布 近 似 確率変 数

y

は 正規 分 布

   N

nP  nP

1−

P

従 う近似 き る。付 録の定 理

2

よ り確率変 数

X

は 正規分布

    N P

2

1 ;

,)

に従 確 率変 数

X

の誤 認識 率確 率変 数

X

の 誤 認識

ff

 

p

  Z3   誤認 職 串の薤分布有意差検定

 

認 識 方 式誤 認識 率差 ρA

加 を 考え よ う 確 率 変

tWXA

XB

は 付 録の補助 定 理 1

よ り規分布

    N        PA

          

PB

PA 1

nA

PA

2

1

に従う

  今 仮 説

H

PA

PB

 

p

(既り立

とし よ う す る (1)式 と付録の系

       

T

 

T

              nA   nB

      (

2

)    

z

     P

( 1

th ) 1

1

                  nA                         nB

は規 準規 分布

N

0

1

従う

 

な お 実 際の パ 認 識

Pe

か ら最尤推定

    ^  鉱 +

T

   

P

       nA nB

を求

A

推 定値 と し

 規 分布表

   1

IZI

1

96

0

05

で ある す なわ ち 確率

5

%で

  { Zl

1 .96

3

が起 き れ 仮説

H

を否 定ら な け れ ば危

日本 音 響 学 会 誌 50 10号 (1994) 表一2 有な 認識率

誤 認 識 率 サ 数  

Po

      nA nB

有 意 水準 危険率) 5%   10%   20%

5

 

200

 5001

,0002

0005

000

4 .27  3 .59  2 .78 % 2.70    2.27     1.76 1,91    1.61     1 ,25 1.

35

    

1

14

     

0

88 0

85

    

0

.72    0 .56

      200

          500 10%     1,000        

2

000

        5 ,000

5

88

   

4

95

3.72    3 .13 2 .63    2.21

1

86

    1.57 1.18    0.99

3

842

.431

.721

,210

77

     

200

          500 15%     1 ,

000

       

2

,000         5

000

7

00

   5.

89

4 .43   3.73

3

16

    2 .66 2 .21    1.86

1

40

    

1

18

4 .572

892

.061

450

91

     

200

          500 20%     

1

000

        2 ,000        

5

000

7 .84    6.60 4 .96   4.

17

3 .51   2.95 2 .48    

2

09 1

57

    

1

32

5.123

.242

.291

621

02

          200

          500 30%   1,

000

        2,000        

5

000

8 .98    7 .56

5

68

   

4

78

4.02    3 .38 2.84    2 .39

1

80

    

1

.51

5 .873

712

.621

.851

,21

険率

5

仮説め る こ と (厳密 は仮 説

H

を否定 き な だ けで あるが)

認 識

2

2

似 条 件 場 合の検定は 事 象

     際

                

1

96

         (

4

     Pt

P

( 去

が成 か ど を判定 成 り立 ば認識 結 果有意差あり 成 り立た な ば認識性 能有 意差な し と す る た だ し

p

3

)式代 用 す

 

5

%以外危 険率有意差 検定を す場合正 規 分布

1

96

わ るを 用 え ば

危険率 1%

10

20

%の場合正規分 布表

2 .58 1 .

65

1 .28 をそ れぞれ 用 れ ばよ 表一2

は主 n

P

危険率

5 1020

す る有 意差認 識率差を 示し て

(4)

お け る意 差定 と声 認シ ス の 評価 法 851  

2

2

条件た さ 場 合 連 続 型

分 布で な た めの補正 と して

2

)式分子

  

講      

(・

を加え る と よ 符 号分 子の大き さ小 さ く な る よ うに決め る2 }

 

2A

  検 定 方 法

1

の ま とめ

 初め に表一

1

の適 用 条件か ど を調

1

)式が成 り立か どか で危 険率 5%有 意 差 判 定行 う

4

)式 中

p

3

)式

代 用 し記 号 は

2

1

問題 を参照の こ

危険率

1

% や 10%で検定 す

1

96

代わ りに

2

58

1

65

を 用 簡 易 的に は表一

2

を参 考す る

表一3 符 号 検 定 表。3 .1節 ra小 さ 数 値

 れ ば 有 意 差 あ (N n2ns) 危険 率 (% ) 危 険 率 (% )

1V   1    5   10 N 1    5    10

3

.有 意 差 検 定 方法

2

符 号 検

 

sign  

test

 

2

検 定 方法

1

を 現実音声 認 識 適 用 し よ う と する と 有意差を 示た め 必要数が 不足す る と が わ れ る 現実 音 声 デース の規模か ら す る と 数 千の テ トデータ を 用意す る と は相 当困難 あり 認 識 率

100

近 く 認識

差 が 少 な 合 は有 意 差検定 が ほと ん ど不可能 て し まう

  よ う な 場 符号検 定 テ ス ト ータ 数 を 大 き く 削 減 する と がで きる そ の代

り認 識デー を 共

る だ な く

ト デ対 す 認 識 結 果 を 比較す る

こ と が求め ら 他研究機 関手 法 比 較 す る 場 合に は 何 番目 データ誤認識を起 し た

う データ を 必 要が ある

  3 .1 検定 方

            問題

認 識 方 法

A

B

を同 集 合に適 用 して認識実 験 を行 た結 果の よ

結 果ら れ た

 

A

B

とも正解 …・… ……… …・・nl

 

方 法

A

で 正解 方法

B

誤 認識 ……n2

 

方 法

A

で誤 認識 方法

B

正解 …… m   方 法 A ,B と も誤認 識 … ……… ……n4 個 認識

A

B

性 能差る か

123456789012345678901234567890123456789012345

               

111111111122222222223333333333444444

00001112223334445566677788999001112233

                                                       

111111111

0001112223344455566777889990011222334455

                                                   

1111111111

11

00011

22333445556677788990001122333445566

                                               

1111111111111111

464748495051525354555657585960616263646566676869707172737475767778798081828384858687888990111111111111111222222222222222222222222333333344555667778899000112223344555667788899001112111111111122222222222222222222222333333333333566778889900111223344555667788899001122233445111111122222222222222222222222333333333333333

677889900011223344455667788899001122333445566

こ こ で 認 識結 果異なn2 n3 い て

え る

N

nn3 と し

2V

が決ま た と う条 件 n3 の 起 こ る確 率

Pi

A

(5)

852

も し方 法

A

と 方 法

B

の問性能 差が なけ れ ば m と n3 は大体 同じ数なる はず

 仮

H

A

ρ2

1

2

と し よ こ の とき

実際 観 測 値 n2n3 で も よ )は

2

項 分布

B

N

1

2

従 う。そで前 節同様       n2

1

>/

2

   

z

==

     師

と お

Z

規 準規分布 N (

0

1)従うか ら

前節 同様手 順検 定で き る。実 際に は

5

) 式 同様

   

n2

2

±

112

   

z

      (

6

      駟

と お く 以下で は と簡 便利用 手順 を紹 介

 n2と n3 が 大体 同じ か どうか は表一

3

い て 検 定 合計 数

N

nn)個 検定 危険 率

n2 n3数値 り 等 し 小 さ 場 合 は n2n3 は大体 同じ と

えず有 意 と判 断 する

1V

が 90 を 越 え

る場合は

  

N

1

)/

2

再 ア

よ り小 整数採用 比較す た だ し 々 は危 険 率が 1

5

10

の と き そ れ

1

2879

0

9800

0

8224

で あ23 g

 

3

2

 例     題

  例 の認識 方法結果 調 n2 12 個 n3

28

場 合考 えて み よ う 合計

40

る か

2

N

40

を 見て み る と n2 とn3 の小 さ方の数 が

11

個以 下で あ れ ば 危 険率 1意 差 あ り

13

あ れば危 険率

5

有意 差 あ り と言 える の例 題場合小 n2 ・ ・ 

12

個なの で 危険

1

で は有意る と は言え 危 険率

5

で は認 識 方法

B

の 方有 意 性 能 言 え る もち ろ ん

6

)式

IZI

2

37

な の

で 同じ結論 が言える

4

有 意

差 検

定方

3 ( 整

合 対 検

  Matched

Pair

 

test

34

トサ 集 合 分割 そ れ それ の グメ トで 誤 り数の差 が 測定 場合 次の検定 法利用 き る。

日本 音 響 学 会 誌 50 IO号 (1994)

問題

ト サ

集合

n部 分 集 合 分 割 部 分 集 合

i

の認識方 法

A

B

に よ る誤認 識 数を

TAi

 

T

t

す る σ

1

2

n) 認識手 法

A

B

の間性 能差

ある か

   

T

TA

T

. , (

i

1

 

2

 … , n

   T

歯 1

        i1

   v

t

T

T 1

と お く 仮 説

H

T

O

が 成 り立 と き

T

分散

の推定 値

  

σT

y2

        n

とな り n が十分 大 き き (例え ば n

50

   z

2

        σT

規 準正規 分 布

N

0

1

)に従 う。従 仮 説

H

T

O

の検 定

2

同 様の手 順 で検 定 きる厳 密に は

Z

は自由 度 n−

1

t

分布従 う

か ら n が小 さ と き は 検定 る必 要 あ る3

 

メ ン 分割 方法

T

定義は誤 り が メ ン ト間独立 あ る 限 り任

えば音韻 認識

1

文 ごと置換誤 り

誤 り 挿入誤 り総数の差 を

T

と定 義し て よ ,不特 定話 者 認識 実験で は 話者の 二

リズム に よ る誤 り数の差を

T

と し て も よ

5

.評 価 法適用 と

声 認 識 研 究   現 状 分 析

 

以 上 統計 的検 定法 を 音 声 認ス テ ム に 適用 す 注 意 す き点を列挙す

  1

2

た検定

1

nA トサ     nB 個の テ ス ト サ 同一

  

あ る仮 定 し

  

音 声認

評 価場 合 両者

  

場 合 こ の

  

場 合

3

符 号検定 法の方 が適切

2検 定 方 法 1 よ り有意差条 件少 し ゆ る く な る と思 わ れる

(6)

に お け る有 意 差 検 定 音 声 認 識シ ス ム の評 価

  2

1

話 者の

1

000

個の データ と

10

人 の話

  

100

データ を 用た と き

そ れ ぞ

  

認識 率生 じ 統計 的に は

  

じ で 後 者信 頼 結 果     言 な ぜな ら 話者代わ れば ター

  

分布 認 識 ズ ム が

異 な     分布 け に整 合する こ と が除 外 き る か ら     ある すな わ ち

2

章 (

3

章 )検 定方 法     で は 同一 母集 団 (同一     集合〉か ら得 られ て る と う仮 定     ある特 定話者の み 非 常有効     あ り話 者に は り有効 な く

  

と し有効る と う結論な る     も あ る こ の場合は

4

た方法が     適切 あ る

  3

.上 記

2

と本 質 的 に同 じと だ が同じ発話 環

  

け よ り も 環境

  

ん で 頼 性 例 え ば

  

単位認 識す る 場 合

1

か所 の

    母 音 数 多くの フ レ を サ と し     る の はあ り意 味

 

手軽入 手 資料過 去

2

1989 年〜

1990

年)の 日本音 響 学会誌電子情報通信 学 会論 文誌音声 認識 論 文

37

し て

2

検 定 方法 1 適用 し 調査 し た5 ) め結果 発表 論文有効 結論 け ら れ た 方 法の うち

4

以 上 有意 水 準

5

3

割 以 上 が有意 水準

10

%で有 意で な 言え た

3

章の符 号検 定を 用 れ ば更救 済論文 も 増 え たか も知 れ な が,一般 に論文で は符 号検 定必要なデータは

示 さ れ な の で各 著者に お。 6.

声 認 識 シ ス の 評価法 と研 究 指 針

 

最近 音 声 デー 充実 して き 評価 用 データ も多量 な り 結 果報告て き た研究 成果 が 蓄積れる た め に

必 要 な項 目列挙して お

  1

.共 通 デース の

(他機 関比     較のため)

  2

.実験 条件明記 (学習サ ンル の話者 数

  

話 者数と サ

  

数 (特 定/多数話 者 /不 特定 ) 語 彙 数

  

録音 条件な

853

3

。標 準 と なる方 式 との 同じ デ 用   た 比較 (同一機 関 内 評 価た め

  

準 認 識 方 式 と して は

DP

    

HMM

式多 層

     イズ の次識別関数 チテ     ー ト法 な どがえ られ る

  

て は

LPC

ケ プ

   

ト ラ ム帰係併 用 な ど がえ ら      れ る

4

2

章で述 た検 定方 法

1

に よ て基準 と な

 

方式

方式 の認 識 率

 

有意を 示 その方 式 は有 効

 

そ れ が 必 ず し

 

意 味 あ る あ る と は 限 ら な

 

方式あ る は 目 的 と す る 認識 率が

  90

%の と き 従 来比 較 対 象 方 式 70

  れ に比 提 案す 方 式 75

 

し そ の有 意

90

% と比

 

れ ば あ に も過 ぎ話者 適応 や

 

で の音 声 認研 究 こ の研   究 例多 く れ る抜本 的 方式

 

及 す

5

.本 解説で 述 た検定

1

位 候 補 認 識

 

結果 よ る の で 当然

1

位 候 補

 

識 率 じ で 第 2 位 候 補 以 内

 

ま れ る と 全

 

異なる の差 有意で ある か ど うか に

 

も 同 じ手 法 が使単語認 識結 果

数 個   出 力 (単 語ラ テ ス) これ を 用 て文 を   場 合

1

候 補認 識 同 じで も   差 出て くるどの程 度る かは 別の

 

評 価 法

6

6

.棄却 率も性 能の評 価 尺度 と して重要

 

妥 当 な棄 却 法採 用す

 

認識 率

却率

相 関が ある こ とを   見 出 して7)

7

.ま  と  め

本 文で は ター と に認 識 方式

A

B

の認 識結 果対 応を

え な 場 合 考え場 合検定 方 法紹 介し 音声 認識 適 用し て私 見を 述

 

統計 く検 定 はあ る仮 定行 わ れ

(7)

854

え ばデー一定以 上 必要 あ ると か

認 識タ の認識難 易度はほ ぼ同 じで

2

項 分布が 仮 定 きるな どで あ 検 定

信頼性

の よ う な条件吟味必要る が 従来 多 く の発 表見 られ た ような検 定を する こ とな く感 覚 的提 案手 法性 能 そ う だ と結 論 付 け る よ りは よ ほ ど読者の た めな り は学 寄与に役 立 と信 さ りと て 筆者発 表 で も も検 定結果を 述 るわけ で はな

自戒を 込 め た解説と し た

         謝   辞

 

検定 方 大 阪 工業学 経営 学科 奥田徹示 教 授 と久留米 大学商 学部 河野和 教授

の ご指導 を 御礼 申

文 献

D

裏西 久男 加 納省吾 河 野 和常 民 統 計 解 析 入 門 修 正 13 (廣書 店,東 京,1974>.

2)奥津   恭お け る推計学 問 題と そ解き方 (共 立 出 版 東 京 1951).

3)森繁一

統 計的 方 法 新 編 改 訂 版 (日本 規 格 協 会, 東京 1989).

4)L ,Gilick and  S.

J

 Cox ,“Some statistical issues in the comparison  of speech  recognition  algorithms IEEE Int. Conf. Acoustic Speech Signal Process.

(ICASSP ’89,532−535 (1988). 5)中川 聖

高 木 英 行

認 識に お 有 意 差 音 声 認 識シ ス テ ム の評 価

信 学 会 第 2種 研 資 SPREC − 91−7 (1991.7).

6)中川 聖

“音 声認識・ム の評 価

”信 学誌73 1304−1310 (1ggO). 7) 甲斐 充彦川 聖

“未 知 語 検 出 率の シ

孤 立単 語及 び 文音 声認識 よ る評 価, 信 学 技 報

SP 94−25 (1994).

【定理

1

日本 音 響学会 誌 50巻 10号 (1994)

付 録

1

 

標本 確率 変

tw

 

X

1

i

n 確 率

p

1

確率

1

p

0

の値をす る と                 n

  

Y

 ・ = nX Σx               i1

2

項分布

B

N

p

従 う 平均分散

  E

y

]=nP

  1

Y

nP

1

1

o   【定

2

 

確 率変数

X

が 正規分 布

N

μσ2と き

任意実数 σ

b

(a

0

対して 確率 変数

Y

aX

b

は正規分 布

N

a

b

σ2σ2従 う

  【補 助定

1

 

独 立 確 率変 数 瓦 そ れ ぞ れ 正規分布

N

k ,r

2) と

N

,ay2)従う な ら ば

0

で な実 数 α

b

に対 確 率 変

ta

 aX

by

正規 分 布

N

ak +

b

μy α2

σノ+がσ従う

  【

確率 変数

x

が正 規 分布

N

μ σ2

従 う

   z

2 ⊆

E

          σ

準正

布 N 0

1

  【

2項 分 布 規 分 布 近 似

 n 大 き く

p

0

又 は 1 近 く な

2

項 分 布

B

n

p

) を 正 規 分

N

nP  

mp

1

p

す る と が き る

参照

関連したドキュメント

06-01065 認識タスクを考慮した雑音下音声認識の性能推定の研究 山 田 武 志 筑波大学大学院システム情報工学研究科准教授 1

音声の認識 次に,授業コーパス 2013 の授業音声の認識について述 べる.授業コーパス 2013 中の 4

概要:本稿では,日本語

音声の認識 次に,授業コーパス 2013 の授業音声の認識について述 べる.授業コーパス 2013 中の 4

In addition, we also describe a wireless headset using Bluetooth technologies and Android version of VoiceDo as a trial to extend the applicable area of speech

音声入力型情報検索のための音声認識手法と検索要求生 成手法について検討を行った.具体的には,ベイズリスク 最小化音声認識を行い,その結果得られた

Estimation, Evaluation and Guarantee of the Reverberant Speech Recognition Performance based on Room Acoustic

定する.これにより,検索結果に影響を与えない確