第 5 章 音声中の検索語検出のための検 索方法の改善索方法の改善
5.3 編集距離ベースの誤検出抑制パラメータの組合せによ る検索性能 (2)る検索性能(2)
5.3.3 評価実験
5.3 編集距離ベースの誤検出抑制パラメータの組合せによ
表 5.4: 誤検出抑制パラメータの組み合わせ(2)
検索方法 誤検出抑制パラメータ
Only EditDist ——————–
+ Voting Cost “Only EditDist” + Voting
+ CM Cost “Only EditDist” + CMCor + CMDel + CMIns + ArcWidth Cost “Only EditDist” + ArcWidth
+ CM(cor) “Only EditDist” + CMCor
+ CM(del) “Only EditDist” + CMDel
+ CM(ins) “Only EditDist” + CMIns
+ Vot+CM Cost “Only EditDist” + Voting + CMCor + CMDel + CMIns + Vot+CM(cor) “Only EditDist” + Voting + CMCor
+ Vot+CM(del) “Only EditDist” + Voting + CMDel + Vot+CM(ins) “Only EditDist” + Voting + CMIns
+ Acw+CM Cost “Only EditDist” + ArcWidth + CMCor + CMDel + CMIns + Acw+CM(cor) “Only EditDist” + ArcWidth + CMCor
+ Acw+CM(del) “Only EditDist” + ArcWidth + CMDel + Acw+CM(ins) “Only EditDist” + ArcWidth + CMIns + Vot+Acw Cost “Only EditDist” + Voting + ArcWidth + Vot+Acw+CM(cor) “Only EditDist” + Voting + ArcWidth + CMCor + Vot+Acw+CM(del) “Only EditDist” + Voting + ArcWidth + CMDel + Vot+Acw+CM(ins) “Only EditDist” + Voting + ArcWidth + CMIns
+ All Cost All Parameters
VotingとArcWidthを加味した距離計算に対して1種類の誤検出抑制パラメータを加
えた場合のRecall-Precisionカーブを表す．図5.9は，編集距離のみに対して2種類の 誤検出抑制パラメータを加えた場合のRecall-Precision カーブを表す．
実験結果から示されるように，CM スコアを利用する計算式を変更したことによっ て，検索性能の低下が軽減された．また，MRPにおいては，編集距離のみの場合と比 較して，検索性能が僅かではあるが向上していることがわかる．
以上より，CM スコアの導入方法を検討することによって，更なる検索性能の改善 が行える可能性が示された．
表 5.5: 誤検出抑制パラメータの組み合わせによる検索性能の比較2
検索方法 F-measure MAP MRP
Only EditDist 0.64 0.81 0.75 + Voting Cost 0.71 0.86 0.81
+ CM Cost 0.60 0.80 0.76
+ ArcWidth Cost 0.63 0.82 0.78
+ CM(cor) 0.62 0.81 0.76
+ CM(del) 0.64 0.80 0.76
+ CM(ins) 0.63 0.80 0.75
+ Vot+CM Cost 0.61 0.82 0.77 + Vot+CM(cor) 0.64 0.82 0.77 + Vot+CM(del) 0.71 0.85 0.79 + Vot+CM(ins) 0.71 0.86 0.79 + Acw+CM Cost 0.58 0.81 0.76 + Acw+CM(cor) 0.58 0.81 0.77 + Acw+CM(del) 0.63 0.82 0.78 + Acw+CM(ins) 0.63 0.82 0.76 + Vot+Acw Cost 0.74 0.85 0.79 + Vot+Acw+CM(cor) 0.64 0.82 0.78 + Vot+Acw+CM(del) 0.73 0.85 0.79 + Vot+Acw+CM(ins) 0.72 0.85 0.78 + All Cost 0.62 0.82 0.79
2011/1/25
1
0%
10%
20%
30%
40%
50%
60%
70%
80%
90%
100%
0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%
Precision[%]
Recall[%]
Only EditDist All Cost + Voting Cost + CM Cost + ArcWidth Cost
図 5.4: 1種類の誤検出抑制パラメータを導入した検索性能の比較
2011/1/25
0%
10%
20%
30%
40%
50%
60%
70%
80%
90%
100%
0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%
Precision[%]
Recall[%]
Only EditDist + CM Cost + CM(cor) + CM(del) + CM(ins)
図 5.5: CM スコアを導入した検索性能の比較
59
2011/1/25
1
0%
10%
20%
30%
40%
50%
60%
70%
80%
90%
100%
0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%
Precision[%]
Recall[%]
Only EditDist + Voting Cost + Vot+CM Cost + Vot+CM(cor) + Vot+CM(del) + Vot+CM(ins)
図 5.6: VotingにCMスコアを導入した検索性能の比較
2011/1/25
0%
10%
20%
30%
40%
50%
60%
70%
80%
90%
100%
0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%
Precision[%]
Recall[%]
Only EditDist + ArcWidth Cost + Acw+CM Cost + Acw+CM(cor) + Acw+CM(del) + Acw+CM(ins)
図 5.7: ArcWidthにCM スコアを導入した検索性能の比較
60
2011/1/25
1
0%
10%
20%
30%
40%
50%
60%
70%
80%
90%
100%
0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%
Precision[%]
Recall[%]
Only EditDist + Vot+Acw Cost + Vot+Acw+CM(cor) + Vot+Acw+CM(del) + Vot+Acw+CM(ins)
図 5.8: VotingとArcWidthにCMスコアを導入した検索性能の比較
2011/1/25
0%
10%
20%
30%
40%
50%
60%
70%
80%
90%
100%
0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%
Precision[%]
Recall[%]
Only EditDist All Cost + Vot+Acw Cost + Vot+CM Cost + Acw+CM Cost
図 5.9: 複数の誤検出抑制パラメータを導入した検索性能の比較
61
5.4 まとめ
本章では，複数の音声認識システムの出力を利用したネットワーク型インデックス に対する，誤検出を抑制した検索語の検出方法について述べた．
誤検出を抑制するパラメータとして，3種類の情報を利用し，導入の方法によって 計5種類の誤検出抑制パラメータを検討した．これらの誤検出抑制パラメータを，DP の距離計算式に導入することによって，誤検出が抑制されることが実験結果より示さ れた．
特に，音素を認識した音声認識システムの数であるVotingを導入することによって，
大幅に検索性能が改善された．他のパラメータにおいても，編集距離のみを用いたDP の距離計算式を用いた場合より誤検出が抑制され，検索性能が改善された．しかし，CM スコアに関しては，導入する方法を再検討した結果，MRPにおいて僅かに改善された 程度であった．
これらの誤検出抑制パラメータの導入方法をさらに検討することによって，STDの 性能がより改善されることが期待できる．
本手法は，2011年12月に開催されたNTCIR-9 (Proceedings of NTCIR-9 Workshop Meeting) のSTDタスクにおいて最も優れた検索性能を示した[47]．