結果

ヘルドアウトデータでの評価の結果に基づいて、３つの分類器を組み合わせる実験を 行った。表6.8は、テストデータにおける評価実験の結果である。「混合モデル」は組み 合わせアルゴリズムを用いて作成した分類器である。また、比較のため各分類器単体の評 価も併記した。評価の基準として精度、再現率、F値、適用率を求めた。F値は、

2×精度×再現率 精度+再現率 とした。適用率は、

システムが出力を返すことができた数 全入力

とした。本研究は、読解支援システムでの使用を目的として作成されたので、この指標を 用いた。各項目で最も数値がよいものをボールド体にした。

表6.9は、混合モデル分類器において選択された分類器の数である。

表 6.8: テストデータにおける各手法の評価 精度 再現率 F値 適用率 混合モデル 0.7172 0.7341 0.7256 0.9070 用例 0.4498 0.0898 0.0955 0.1497 文法情報 0.5396 0.1875 0.2783 0.2272 SVM 0.8016 0.7107 0.7534 0.8867

表 6.9: 混合モデルで選択された分類器の数 用例 文法情報 SVM 回答なし

442 847 11,883 1,350

混合モデル分類器ははSVM分類器と比べて精度は8 %強、F値は約3 %落ちた。一方 で再現率は2 %強、適用率は2 %近く上昇した。これは、精度の低い用例分類器、文法情 報分類器を組み合わせることによって混合モデルの精度は落ちたが、複数の分類器を同時 に使用することによって再現率が向上したと考えられる。本研究の目的は、読解支援シス テムでの使用を前提とし、複数の知識源を用いた分類器を組み合わせることにより、より 多くの単語について語義の曖昧性を解消することにある。言い換えれば再現率の向上を第 一の目的としている。本結果から、この目的がある程度達成されたことが確認された。

さらに、再現率を向上させる方法としてベースライン分類器と組み合わせる方法が考え られる。ベースライン分類器の精度は0.7836、再現率は0.766、F値は0.7447、適用率は

0.9774であった。これは、混合モデルよりも性能がよい。したがって、本研究で提案した

分類器とベースライン分類器と組み合わせることにより更なる性能の向上が期待できる。

第 7 ^{章 おわりに}

本論文では、より多くの単語を扱うことのできる語義曖昧性解消手法を提案した。3種類 の分類器を作成し、これらを組み合わせることを試みた。3種類の分類器のうち、SVM分 類器では様々な素性集合の中から最適な素性集合を調査した。他2種類は岩波国語辞典の 用例と文法情報を用いて分類器を実装した。

最後に、今後の課題を３つ挙げる。

1.コーパスを使用した分類器の最適な素性と学習アルゴリズム選択

今回の実験では、学習アルゴリズムにSVMを用いたところ、比較的シンプルな素性 の方が結果が良かった。一方、村田ら[27]は、本論文と素性は異なるが、SVMより もシンプルベイズ法のほうが精度がよい、という報告をしている。多義性解消という タスクがSVMに適しているか、その他の学習アルゴリズムの方が適しているかをさ らに調べる必要がある。

2.データの過疎化の問題

本論文では、多くの単語を扱うために複数の異なる言語資源を利用した。しかし答え を返すことができない単語も一割ほど残っている。2章でも言及したが、利用可能な 膨大なドキュメントから語義タグの付与された文を獲得し、訓練データに加える方法 が提案されている。答えを返す単語を増やすためには、教師なし学習を行う手法を併 用するべきかもしれない。しかし、この方法は、学習がうまくいかないと精度を落と す原因になるので、扱いが難しい。

3.語の区切りの問題

実際にシステムを実装する際は形態素解析が必要である。しかし、形態素解析システ ムの辞書と岩波国語辞典では、辞書間の見出しの表記や区切り、品詞体系が異なるた め辞書が引けない事態も考えられる。したがって、形態素解析の出力と岩波国語辞典 の見出しの対応付けを行う必要がある[25]。

謝辞

本研究を進めるにあたり，終始熱心な御指導を賜わりました白井清昭助教授に心から感謝 致します．さらに数多くの御教授を頂きました島津明教授に厚く御礼申し上げます．山田 寛康助手ならびに自然言語処理学講座の皆様には，貴重な御意見、討論をして頂きました 事を感謝致します．

関連図書

[1] E. Agirre, G. Rigau, L. Padr´o, and J. Atserias. Combining supervised and unsuper-vised lexical knowledge methods for word sense disambiguation. Computers and the Humanities, Vol. 34, No. 1,2, pp. 103–108, 2000.

[2] Kenneth C.Litkowski. Sense Information for Disambiguation: Confluence of Su-pervised and UnsuSu-pervised Methods. Proceeding of the SIGLEX/SENSEAVAL Workshop on Word Sense Disambiguation ,Association for Computational Linguis-tics(ACL), pp. 47–53, 2002.

[3] Jim Cowie, Joe Guthrie, and Louise Guthrie. Lexical disambiguation using simulated annealing. Proceeding on the International Conference on Computational Linguistics, pp. 359–365, 1992.

[4] Radu Florian and David Yarowsky. Modeling consensus: Classifier combination for word sense disambiguation. In Proceedings of the 2002 Conference on Empirical Methods in Natural Language Processing, A meeting of SIGDAT, a Special Interest Group of the ACL held in conjunction with ACL 2002, pp. 25–32, 2002.

[5] Atsusi Fujii, Kentaro Inui, Takenobu Tokunaga, and Hozumi Tanaka. To what extent does case contribute to verb sense disambiguation? In COLING-96: The 16th Inter-national Conference on Computational Linguistics -Copenhagen-, Vol.1, pp. 59–64, 1996.

[6] Koiti Hasida, Hitoshi Ishihara, Takenobu Tokunaga, Minako Hshimoto, Shiho Ogino, Wakako Kashino, Jun Toyoura, and Hironobu Takahashi. The rwc text databases.

Proceeding on the first International Conference on Language Resources and Evalu-ation, pp. 457–462, 1998.

[7] Adam Kilgarriff. SENSEVAL: An exercise in evaluating word sense disambiguation programs. In LREC 1998: First International Conference on Language Resources and Evaluation, vol.1, pp. 581–585, 1998.

[8] Dan Klein, Kristina Toutanova, H.Tolga Ilhan, Sepandar D.Kamvar, and Christopher D.Manning. Combining Heterogeneous Classifiers for Word-Sense Disambiguation.

Proceeding of the SIGLEX/SENSEAVAL Workshop on Word Sense Disambiguation ,Association for Computational Linguistics(ACL), pp. 74–80, 2002.

[9] Sadao Kurohashi and Makoto Nagao. A method of case structure analysis for japanese sentences based on examples in case frame dictionary. IEICE Transactions on Infor-mation and Systems, Vol. E77-D, No. 2, 1994.

[10] Sadao Kurohashi and Kiyotaka Uchimoto. SENSEVAL-2 Japanese Translation Task.

自然言語処理, Vol.10 No.3, pp. 25–37, 2003.

[11] Michale Lesk. Automated sense disambiguation using machine-readable dictio-naryies:How to tell a pine cone from an ice cream cone. In SIGDOC Connference, pp. 24–26, 1986.

[12] Ted Pedersen. A simple approach to building ensembles of naive baysian classifiers for word sense disambiguation. Proceeding on the 1st Meeting of the North American Chapter of the Association for Computational Linguistics, pp. 63–69, 2000.

[13] Bernhard Sch¨olkopf, Alex J. Smola, R. Williamson, and P. Bartlett. New support vector algorithms. Neural Computation, Vol. 12, pp. 1083–1121, 2000.

[14] Hiroya Takamura, Hiroyasu Yamada, Taku Kudoh, Kaoru Yamamoto, and Yuji Mat-sumoto. Ensembling based on feature space restructuring with application to wsd.

In NLPRS2001: Proceedings of the Sixth Natural Language Processing Pacific Rim Symposium, pp. 41–48, 2001.

[15] Kentaro Torisawa. An unsupervised learning method for associative relationships between verb phrases. In COLING 2002: The 19th International Conference on Computational Linguistics Vol.2, pp. 1009–1015, 2002.

[16] Vladimir N. Vapnik. Statistical Learning Theory. A Wiley-Interscience Publication, 1998.

[17] David Yarowsky. Unsupervised word sense disambiguation rivaling supervised meth-ods. Proceeding on the Annual Meeting of the Association for Computational Lin-guistics, pp. 189–196, 1995.

[18] David Yarowsky. InProceedings of SENSEVAL-2, 2002.

[19] 玉垣隆幸, 白井清昭. 読解支援システムのための語義曖昧性解消に関する研究. 言語 処理学会第9回年次大会発表論文集, pp. 481–484, 2003.

[20] 池原悟, 宮崎正弘, 白井論, 横尾昭男, 中岩浩巳, 小倉健太郎, 大山芳史, 林良彦. 日本 語語彙体系−全五巻−. 1997.