評価実験

図6.1に検索語の音素数に応じたパラメータ適応後のRecall-Precision カーブを，表 6.4にグラフ上において最も高いF-measureとMAP値示す．

表 6.3: 探索パラメータの組み合わせ 検索方法 探索パラメータ Only EditDist EDf +N U LLf

Voting1 ED_f +N U LL_f + Voting Voting2 ED_d + N U LL_f + Voting Voting3 ED_d +N U LL_d + Voting

Vot+Acw1 ED_f +N U LL_f + Voting + ArcWidth Vot+Acw2 ED_d + N U LL_f + Voting + ArcWidth Vot+Acw3 EDd +N U LLd + Voting + ArcWidth

0%

10%

20%

30%

40%

50%

60%

70%

80%

90%

100%

0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%

Precision[%]

Recall[%]

Only EditDist Voting1 Voting2 Voting3 Vot+Acw1 Vot+Acw2 Vot+Acw3

図6.1: 検索語の音素長に応じたパラメータ適応による検索性能の比較(Recall-Precision カーブ)

Only EditDistに比べてVoting1とVot+Acw1の検索性能が向上していることから，

誤検出抑制パラメータを使用することで，Recallが80%以下の領域において大幅に検索 性能が改善していることが確認できる．また，Voting1やVot+Acw1に比べてVoting2

やVot+Acw2の検索性能が向上していることから，音素長が10未満の検索語に対す

る編集距離のコストを高くすることで，湧き出し誤検出を抑制し，Recallが70%前後 で検索性能が改善していることが確認できる．さらに，Voting2やVot+Acw2に比べ

てVoting3やVot+Acw3の検索性能が向上していることから，検索性能が改善してい

表 6.4: 検索語の音素長に応じたパラメータ適応による検索性能の比較(F-measureと MAP)

パラメータ 全体 10音素未満 10音素以上 F-measure MAP F-measure MAP F-measure MAP Only EditDist 0.63 0.80 0.59 0.60 0.77 0.89

Voting1 0.71 0.87 0.70 0.80 0.79 0.90

Voting2 0.74 0.87 0.70 0.80 0.79 0.90

Voting3 0.75 0.87 0.72 0.81 0.78 0.89

Vot+Acw1 0.73 0.86 0.71 0.80 0.79 0.89

Vot+Acw2 0.73 0.86 0.70 0.80 0.79 0.89

Vot+Acw3 0.75 0.87 0.72 0.81 0.77 0.89

ることが確認できる．これは，NULL遷移のコストをVotingによって決定することで，

個々のNULL遷移の信頼度に応じたコストを与えることができたためであると考えら れる．また，音素長が10未満の検索語に対するNULL遷移のコストを高くすること

で，F-measureが最大となる閾値を高くすることが可能であることが確認できる．ま

た，音素長が10以上の検索語におけるF-measureが最大となる閾値に近づけることが 可能であることが確認できる．

図6.2，図6.3に，それぞれ音素長が10未満，10以上の検索語について求めた

Recall-Precision カーブを示す．この結果を明らかであるように，音素長が10未満の検索語

について，誤検出抑制パラメータ(Voting)を導入することによってSTD性能が大幅に 改善されている．Voting1→Voting3の比較やVot+Acw3の結果より，誤検出抑制パラ メータやNULL遷移のコストを調整することで，更なる改善が得られていることが確 認できる．

一方で，音素長が10以上の検索語についても，F-measure等の性能改善は達成され たが，短い音素長がの検索語と比べ改善の幅は僅かである．

以上より，誤検出抑制パラメータを使用することで誤検出が減少し，検索性能が改 善することが示された．また，音素長が10未満の検索語に対して編集距離のコストを 高くすることで，検索性能が改善することが示された．さらに，NULL遷移のコスト

をVotingによって決定することで，NULL遷移の信頼度に応じたコストを与えること

が可能であり，検索性能が改善することが示された．このとき，音素長が10未満の検 索語に対するNULL遷移のコストを高く設定することで，F-measureが最大となる閾 値を高くすることが可能となり，音素長が10以上の検索語におけるF-measureが最大 となる閾値に近づけることで，検索性能が改善することが示された．

0%

10%

20%

30%

40%

50%

60%

70%

80%

90%

100%

0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%

Precision[%]

Recall[%]

Only EditDist Voting1 Voting2 Voting3 Vot+Acw1 Vot+Acw2 Vot+Acw3

図 6.2: 音素長が10未満の検索語に対する検索語の音素長に応じたパラメータ適応に よる検索性能の比較(Recall-Precision カーブ)

6.2 ネットワーク型インデックスの複雑さに着目した検索