• 検索結果がありません。

パターン認識における有意差検定と音声認識システ ムの評価法

N/A
N/A
Protected

Academic year: 2022

シェア "パターン認識における有意差検定と音声認識システ ムの評価法"

Copied!
7
0
0

読み込み中.... (全文を見る)

全文

(1)

Kyushu University Institutional Repository

パターン認識における有意差検定と音声認識システ ムの評価法

中川, 聖一

豊橋技術科学大学情報工学系

高木, 英行

松下電器産業中央研究所

http://hdl.handle.net/2324/4488440

出版情報:日本音響学会誌. 50 (10), pp.849-854, 1994. 日本音響学会 バージョン:

権利関係:

(2)

本音 響学会誌50巻 10号 (1994> pp.849−854 849

解 説

おけ 有意差検定

音声 テ厶の評 価法

中 川 聖

豊 橋 技 術 科 学 大 学 情 報 学 系 )**

高 木

電 器 産 業   中 央究 所)’*’

1

.は じ め に

 今ま で ター認識研究数 多 発表さ れ

た が リ ズ 実験有効 性検定 あま り はなさ れ て なか 発 表

ア イデア の お も し ろ さ は読れ て 本当に

有効な手法な の か どか の確 認を する こ とが な

な か で き な か 研究 活動石を落 す が ごと く他研 究者社会波 紋広 げ 学術 発 展に寄 与し て く もの と思 う 発 表の有 効 性 確 認で き で は を 広 げ が で

発表者して も す ば ら し ア イ デ ア

検定

さ な た が た め

評価さ れ る で あ る

  筆 者 ら は統計 学を専 門 と し て る わ け で は な く と し て統 計検定利 用し て こ の

立場か ら 教科 書的厳 密性多少 犠牲に し て で ター認 識 る 工学 者が す ぐ使

る こ と を意 図し て解 説行う実務立 場 か ら 具体 的音 声認 識検定現状 も触

論す る

解説

筆者

ら が

に研究表 し た 資5を も と て い 手 困難な研 究会資料 も あ り 何か の役 に立

ば と う 思 再 掲 ・加 筆 し た もの で あ る

2

有 意

検 定

方 法

1 (2

項 分

  平

認識 対 象 データ 共 有し た上で認 識性

 

Statistical

 methods  for comparing  pattern recogni −   tion algorithms  and  comments  on  evaluating  speech   recognition  performance

Seiichi Nakagawa (Department of InfQrmatlon  and   Computer Sciences, Toyohash University of Tech −   nology  Toyohash441)

串 宰 零 Hideyuki Takagi Central Research Laboratories,

  Matsushita  Electric  Industrial Co ., Ltd,,  Kyoto ,

  619−02)

比 較 す場 合検 定方法 近 は共通 音声 デー 整備な ど に よ 複数研究 機 関 開発 認識 比較 す

とが可能 て き た 本 節検 定方 法 はの よ う場 合同一研究 機 関 る ア

比 較利用で き る

 

検 定 方法

1

2

項 分布を 正規 分布

と に基 る。以 後の議 論 は 実用 上の 近似 条 件 一1が 満 た さ れて い る 場 合 有効 ある

 

2

1

  問 題の 定 式 化

      

問題

nA 個の データ を 用 識 方法

A

性 能 調と こ ろ 誤認識 数

T

で あ

一方

nB 認 識 方法

B

の性 能 調 た と 誤認 識数が

T

で あ 認識 方法

A

B

の間性能 差る か

 個々 の す る認識 1 (誤認 識 )

0

(認識)の 2 値を そ れ ぞ れ 確率

P

(1 −

P

確 率変数

X

変 数

X

2

項 分布

B 1

P

ま り (

O

1

)分布従 う

さ が

るの で 正確

2

項分布 と は言え な 近 似 的

2

項 分布 あ るす る 評価 用 デー異 な る 母 集 団抽 出 あ れ ば 両 ア ム は直接 比 較 で き な

母集団か ら抽 出さ れ た サ と す る

 以 下 確 率 変 数

Y

 nX =Σ 導 入し て議 論展開す

  2 .2 検定 ための モ化   確 率変 数

X

2

項 分布    

B

1

P

に従 う 確 率 変 数

Y

は 付 録 の定 理

1

よ り

2

項 分 布

(3)

850

表一1 本 手 法が適 用条 件 誤 確 認 率

p

n 条件

0 .1〜0 .3

e

3

−−

O

4

0 .4〜0 .6 0 .6〜0 .7

0

,7〜

0

.9

200以 上

100

以 上

50

100以 上

200以 上 n はデー

   

B

(n,

P

従 う。表

1

条 件 満 た さ れ る と き 付 録の

2

項 分布の正 規 分 布 近 似 確率変 数

y

は 正規 分 布

   N

nP  nP

1−

P

従 う近似 き る。付 録の定 理

2

よ り確率変 数

X

は 正規分布

    N P

2

1 ;

,)

に従 確 率変 数

X

の誤 認識 率確 率変 数

X

の 誤 認識

ff

 

p

  Z3   誤認 職 串の薤分布有意差検定

 

認 識 方 式誤 認識 率差 ρA

加 を 考え よ う 確 率 変

tWXA

XB

は 付 録の補助 定 理 1

よ り規分布

    N        PA

          

PB

PA 1

nA

PA

2

1

に従う

  今 仮 説

H

PA

PB

 

p

(既り立

とし よ う す る (1)式 と付録の系

       

T

 

T

              nA   nB

      (

2

)    

z

     P

( 1

th ) 1

1

                  nA                         nB

は規 準規 分布

N

0

1

従う

 

な お 実 際の パ 認 識

Pe

か ら最尤推定

    ^  鉱 +

T

   

P

       nA nB

を求

A

推 定値 と し

 規 分布表

   1

IZI

1

96

0

05

で ある す なわ ち 確率

5

%で

  { Zl

1 .96

3

が起 き れ 仮説

H

を否 定ら な け れ ば危

日本 音 響 学 会 誌 50 10号 (1994) 表一2 有な 認識率

誤 認 識 率 サ 数  

Po

      nA nB

有 意 水準 危険率) 5%   10%   20%

5

 

200

 5001

,0002

0005

000

4 .27  3 .59  2 .78 % 2.70    2.27     1.76 1,91    1.61     1 ,25 1.

35

    

1

14

     

0

88 0

85

    

0

.72    0 .56

      200

          500 10%     1,000        

2

000

        5 ,000

5

88

   

4

95

3.72    3 .13 2 .63    2.21

1

86

    1.57 1.18    0.99

3

842

.431

.721

,210

77

     

200

          500 15%     1 ,

000

       

2

,000         5

000

7

00

   5.

89

4 .43   3.73

3

16

    2 .66 2 .21    1.86

1

40

    

1

18

4 .572

892

.061

450

91

     

200

          500 20%     

1

000

        2 ,000        

5

000

7 .84    6.60 4 .96   4.

17

3 .51   2.95 2 .48    

2

09 1

57

    

1

32

5.123

.242

.291

621

02

          200

          500 30%   1,

000

        2,000        

5

000

8 .98    7 .56

5

68

   

4

78

4.02    3 .38 2.84    2 .39

1

80

    

1

.51

5 .873

712

.621

.851

,21

険率

5

仮説め る こ と (厳密 は仮 説

H

を否定 き な だ けで あるが)

認 識

2

2

似 条 件 場 合の検定は 事 象

     際

                

1

96

         (

4

     Pt

P

( 去

が成 か ど を判定 成 り立 ば認識 結 果有意差あり 成 り立た な ば認識性 能有 意差な し と す る た だ し

p

3

)式代 用 す

 

5

%以外危 険率有意差 検定を す場合正 規 分布

1

96

わ るを 用 え ば

危険率 1%

10

20

%の場合正規分 布表

2 .58 1 .

65

1 .28 をそ れぞれ 用 れ ばよ 表一2

は主 n

P

危険率

5 1020

す る有 意差認 識率差を 示し て

(4)

お け る意 差定 と声 認シ ス の 評価 法 851  

2

2

条件た さ 場 合 連 続 型

分 布で な た めの補正 と して

2

)式分子

  

講      

(・

を加え る と よ 符 号分 子の大き さ小 さ く な る よ うに決め る2 }

 

2A

  検 定 方 法

1

の ま とめ

 初め に表一

1

の適 用 条件か ど を調

1

)式が成 り立か どか で危 険率 5%有 意 差 判 定行 う

4

)式 中

p

3

)式

代 用 し記 号 は

2

1

問題 を参照の こ

危険率

1

% や 10%で検定 す

1

96

代わ りに

2

58

1

65

を 用 簡 易 的に は表一

2

を参 考す る

表一3 符 号 検 定 表。3 .1節 ra小 さ 数 値

 れ ば 有 意 差 あ (N n2ns) 危険 率 (% ) 危 険 率 (% )

1V   1    5   10 N 1    5    10

3

.有 意 差 検 定 方法

2

符 号 検

 

sign  

test

 

2

検 定 方法

1

を 現実音声 認 識 適 用 し よ う と する と 有意差を 示た め 必要数が 不足す る と が わ れ る 現実 音 声 デース の規模か ら す る と 数 千の テ トデータ を 用意す る と は相 当困難 あり 認 識 率

100

近 く 認識

差 が 少 な 合 は有 意 差検定 が ほと ん ど不可能 て し まう

  よ う な 場 符号検 定 テ ス ト ータ 数 を 大 き く 削 減 する と がで きる そ の代

り認 識デー を 共

る だ な く

ト デ対 す 認 識 結 果 を 比較す る

こ と が求め ら 他研究機 関手 法 比 較 す る 場 合に は 何 番目 データ誤認識を起 し た

う データ を 必 要が ある

  3 .1 検定 方

            問題

認 識 方 法

A

B

を同 集 合に適 用 して認識実 験 を行 た結 果の よ

結 果ら れ た

 

A

B

とも正解 …・… ……… …・・nl

 

方 法

A

で 正解 方法

B

誤 認識 ……n2

 

方 法

A

で誤 認識 方法

B

正解 …… m   方 法 A ,B と も誤認 識 … ……… ……n4 個 認識

A

B

性 能差る か

123456789012345678901234567890123456789012345

               

111111111122222222223333333333444444

00001112223334445566677788999001112233

                                                       

111111111

0001112223344455566777889990011222334455

                                                   

1111111111

11

00011

22333445556677788990001122333445566

                                               

1111111111111111

464748495051525354555657585960616263646566676869707172737475767778798081828384858687888990111111111111111222222222222222222222222333333344555667778899000112223344555667788899001112111111111122222222222222222222222333333333333566778889900111223344555667788899001122233445111111122222222222222222222222333333333333333

677889900011223344455667788899001122333445566

こ こ で 認 識結 果異なn2 n3 い て

え る

N

nn3 と し

2V

が決ま た と う条 件 n3 の 起 こ る確 率

Pi

A

(5)

852

も し方 法

A

と 方 法

B

の問性能 差が なけ れ ば m と n3 は大体 同じ数なる はず

 仮

H

A

ρ2

1

2

と し よ こ の とき

実際 観 測 値 n2n3 で も よ )は

2

項 分布

B

N

1

2

従 う。そで前 節同様       n2

1

>/

2

   

z

==

     師

と お

Z

規 準規分布 N (

0

1)従うか ら

前節 同様手 順検 定で き る。実 際に は

5

) 式 同様

   

n2

2

±

112

   

z

      (

6

      駟

と お く 以下で は と簡 便利用 手順 を紹 介

 n2と n3 が 大体 同じ か どうか は表一

3

い て 検 定 合計 数

N

nn)個 検定 危険 率

n2 n3数値 り 等 し 小 さ 場 合 は n2n3 は大体 同じ と

えず有 意 と判 断 する

1V

が 90 を 越 え

る場合は

  

N

1

)/

2

再 ア

よ り小 整数採用 比較す た だ し 々 は危 険 率が 1

5

10

の と き そ れ

1

2879

0

9800

0

8224

で あ23 g

 

3

2

 例     題

  例 の認識 方法結果 調 n2 12 個 n3

28

場 合考 えて み よ う 合計

40

る か

2

N

40

を 見て み る と n2 とn3 の小 さ方の数 が

11

個以 下で あ れ ば 危 険率 1意 差 あ り

13

あ れば危 険率

5

有意 差 あ り と言 える の例 題場合小 n2 ・ ・ 

12

個なの で 危険

1

で は有意る と は言え 危 険率

5

で は認 識 方法

B

の 方有 意 性 能 言 え る もち ろ ん

6

)式

IZI

2

37

な の

で 同じ結論 が言える

4

有 意

差 検

定方

3 ( 整

合 対 検

  Matched

Pair

 

test

34

トサ 集 合 分割 そ れ それ の グメ トで 誤 り数の差 が 測定 場合 次の検定 法利用 き る。

日本 音 響 学 会 誌 50 IO号 (1994)

問題

ト サ

集合

n部 分 集 合 分 割 部 分 集 合

i

の認識方 法

A

B

に よ る誤認 識 数を

TAi

 

T

t

す る σ

1

2

n) 認識手 法

A

B

の間性 能差

ある か

   

T

TA

T

. , (

i

1

 

2

 … , n

   T

歯 1

        i1

   v

t

T

T 1

と お く 仮 説

H

T

O

が 成 り立 と き

T

分散

の推定 値

  

σT

y2

        n

とな り n が十分 大 き き (例え ば n

50

   z

2

        σT

規 準正規 分 布

N

0

1

)に従 う。従 仮 説

H

T

O

の検 定

2

同 様の手 順 で検 定 きる厳 密に は

Z

は自由 度 n−

1

t

分布従 う

か ら n が小 さ と き は 検定 る必 要 あ る3

 

メ ン 分割 方法

T

定義は誤 り が メ ン ト間独立 あ る 限 り任

えば音韻 認識

1

文 ごと置換誤 り

誤 り 挿入誤 り総数の差 を

T

と定 義し て よ ,不特 定話 者 認識 実験で は 話者の 二

リズム に よ る誤 り数の差を

T

と し て も よ

5

.評 価 法適用 と

声 認 識 研 究   現 状 分 析

 

以 上 統計 的検 定法 を 音 声 認ス テ ム に 適用 す 注 意 す き点を列挙す

  1

2

た検定

1

nA トサ     nB 個の テ ス ト サ 同一

  

あ る仮 定 し

  

音 声認

評 価場 合 両者

  

場 合 こ の

  

場 合

3

符 号検定 法の方 が適切

2検 定 方 法 1 よ り有意差条 件少 し ゆ る く な る と思 わ れる

(6)

に お け る有 意 差 検 定 音 声 認 識シ ス ム の評 価

  2

1

話 者の

1

000

個の データ と

10

人 の話

  

100

データ を 用た と き

そ れ ぞ

  

認識 率生 じ 統計 的に は

  

じ で 後 者信 頼 結 果     言 な ぜな ら 話者代わ れば ター

  

分布 認 識 ズ ム が

異 な     分布 け に整 合する こ と が除 外 き る か ら     ある すな わ ち

2

章 (

3

章 )検 定方 法     で は 同一 母集 団 (同一     集合〉か ら得 られ て る と う仮 定     ある特 定話者の み 非 常有効     あ り話 者に は り有効 な く

  

と し有効る と う結論な る     も あ る こ の場合は

4

た方法が     適切 あ る

  3

.上 記

2

と本 質 的 に同 じと だ が同じ発話 環

  

け よ り も 環境

  

ん で 頼 性 例 え ば

  

単位認 識す る 場 合

1

か所 の

    母 音 数 多くの フ レ を サ と し     る の はあ り意 味

 

手軽入 手 資料過 去

2

1989 年〜

1990

年)の 日本音 響 学会誌電子情報通信 学 会論 文誌音声 認識 論 文

37

し て

2

検 定 方法 1 適用 し 調査 し た5 ) め結果 発表 論文有効 結論 け ら れ た 方 法の うち

4

以 上 有意 水 準

5

3

割 以 上 が有意 水準

10

%で有 意で な 言え た

3

章の符 号検 定を 用 れ ば更救 済論文 も 増 え たか も知 れ な が,一般 に論文で は符 号検 定必要なデータは

示 さ れ な の で各 著者に お。 6.

声 認 識 シ ス の 評価法 と研 究 指 針

 

最近 音 声 デー 充実 して き 評価 用 データ も多量 な り 結 果報告て き た研究 成果 が 蓄積れる た め に

必 要 な項 目列挙して お

  1

.共 通 デース の

(他機 関比     較のため)

  2

.実験 条件明記 (学習サ ンル の話者 数

  

話 者数と サ

  

数 (特 定/多数話 者 /不 特定 ) 語 彙 数

  

録音 条件な

853

3

。標 準 と なる方 式 との 同じ デ 用   た 比較 (同一機 関 内 評 価た め

  

準 認 識 方 式 と して は

DP

    

HMM

式多 層

     イズ の次識別関数 チテ     ー ト法 な どがえ られ る

  

て は

LPC

ケ プ

   

ト ラ ム帰係併 用 な ど がえ ら      れ る

4

2

章で述 た検 定方 法

1

に よ て基準 と な

 

方式

方式 の認 識 率

 

有意を 示 その方 式 は有 効

 

そ れ が 必 ず し

 

意 味 あ る あ る と は 限 ら な

 

方式あ る は 目 的 と す る 認識 率が

  90

%の と き 従 来比 較 対 象 方 式 70

  れ に比 提 案す 方 式 75

 

し そ の有 意

90

% と比

 

れ ば あ に も過 ぎ話者 適応 や

 

で の音 声 認研 究 こ の研   究 例多 く れ る抜本 的 方式

 

及 す

5

.本 解説で 述 た検定

1

位 候 補 認 識

 

結果 よ る の で 当然

1

位 候 補

 

識 率 じ で 第 2 位 候 補 以 内

 

ま れ る と 全

 

異なる の差 有意で ある か ど うか に

 

も 同 じ手 法 が使単語認 識結 果

数 個   出 力 (単 語ラ テ ス) これ を 用 て文 を   場 合

1

候 補認 識 同 じで も   差 出て くるどの程 度る かは 別の

 

評 価 法

6

6

.棄却 率も性 能の評 価 尺度 と して重要

 

妥 当 な棄 却 法採 用す

 

認識 率

却率

相 関が ある こ とを   見 出 して7)

7

.ま  と  め

本 文で は ター と に認 識 方式

A

B

の認 識結 果対 応を

え な 場 合 考え場 合検定 方 法紹 介し 音声 認識 適 用し て私 見を 述

 

統計 く検 定 はあ る仮 定行 わ れ

(7)

854

え ばデー一定以 上 必要 あ ると か

認 識タ の認識難 易度はほ ぼ同 じで

2

項 分布が 仮 定 きるな どで あ 検 定

信頼性

の よ う な条件吟味必要る が 従来 多 く の発 表見 られ た ような検 定を する こ とな く感 覚 的提 案手 法性 能 そ う だ と結 論 付 け る よ りは よ ほ ど読者の た めな り は学 寄与に役 立 と信 さ りと て 筆者発 表 で も も検 定結果を 述 るわけ で はな

自戒を 込 め た解説と し た

         謝   辞

 

検定 方 大 阪 工業学 経営 学科 奥田徹示 教 授 と久留米 大学商 学部 河野和 教授

の ご指導 を 御礼 申

文 献

D

裏西 久男 加 納省吾 河 野 和常 民 統 計 解 析 入 門 修 正 13 (廣書 店,東 京,1974>.

2)奥津   恭お け る推計学 問 題と そ解き方 (共 立 出 版 東 京 1951).

3)森繁一

統 計的 方 法 新 編 改 訂 版 (日本 規 格 協 会, 東京 1989).

4)L ,Gilick and  S.

J

 Cox ,“Some statistical issues in the comparison  of speech  recognition  algorithms IEEE Int. Conf. Acoustic Speech Signal Process.

(ICASSP ’89,532−535 (1988). 5)中川 聖

高 木 英 行

認 識に お 有 意 差 音 声 認 識シ ス テ ム の評 価

信 学 会 第 2種 研 資 SPREC − 91−7 (1991.7).

6)中川 聖

“音 声認識・ム の評 価

”信 学誌73 1304−1310 (1ggO). 7) 甲斐 充彦川 聖

“未 知 語 検 出 率の シ

孤 立単 語及 び 文音 声認識 よ る評 価, 信 学 技 報

SP 94−25 (1994).

【定理

1

日本 音 響学会 誌 50巻 10号 (1994)

付 録

1

 

標本 確率 変

tw

 

X

1

i

n 確 率

p

1

確率

1

p

0

の値をす る と                 n

  

Y

 ・ = nX Σx               i1

2

項分布

B

N

p

従 う 平均分散

  E

y

]=nP

  1

Y

nP

1

1

o   【定

2

 

確 率変数

X

が 正規分 布

N

μσ2と き

任意実数 σ

b

(a

0

対して 確率 変数

Y

aX

b

は正規分 布

N

a

b

σ2σ2従 う

  【補 助定

1

 

独 立 確 率変 数 瓦 そ れ ぞ れ 正規分布

N

k ,r

2) と

N

,ay2)従う な ら ば

0

で な実 数 α

b

に対 確 率 変

ta

 aX

by

正規 分 布

N

ak +

b

μy α2

σノ+がσ従う

  【

確率 変数

x

が正 規 分布

N

μ σ2

従 う

   z

2 ⊆

E

          σ

準正

布 N 0

1

  【

2項 分 布 規 分 布 近 似

 n 大 き く

p

0

又 は 1 近 く な

2

項 分 布

B

n

p

) を 正 規 分

N

nP  

mp

1

p

す る と が き る

参照

関連したドキュメント

06-01065 認識タスクを考慮した雑音下音声認識の性能推定の研究 山 田 武 志 筑波大学大学院システム情報工学研究科准教授 1

概要:本稿では,日本語

音声の認識 次に,授業コーパス 2013 の授業音声の認識について述 べる.授業コーパス 2013 中の 4

In addition, we also describe a wireless headset using Bluetooth technologies and Android version of VoiceDo as a trial to extend the applicable area of speech

音声入力型情報検索のための音声認識手法と検索要求生 成手法について検討を行った.具体的には,ベイズリスク 最小化音声認識を行い,その結果得られた

Estimation, Evaluation and Guarantee of the Reverberant Speech Recognition Performance based on Room Acoustic

定する.これにより,検索結果に影響を与えない確

音声の認識 次に,授業コーパス 2013 の授業音声の認識について述 べる.授業コーパス 2013 中の 4