5. 自動獲得した目的 / 主体役割の精度評価および考察 17
5.4 目的/主体役割の選別法の検討
ここまでに,目的/主体役割について適切な順に「助詞 +動詞」のペアを並べ た順位リストを獲得する提案手法,およびその結果について述べてきた.この節 では,提案手法により獲得した順位リストの中から,各役割として扱う要素をど のように選別するかについて検討する.
選別する方法としては,名詞ごと獲得した順位リストの上位N 個の要素を役 割とする方法と,SVMrankにより出力された値について閾値を定め,出力値が 閾値以上の要素を役割とするものが考えられる.
この2つの手法を比較するため,名詞ごと獲得した順位リストの上位N 個の 要素を役割とする方法を“Top-N method”,SVMrankにより出力された値が閾値 以上の要素を役割とする方法を“Threshold method”として,それぞれN,閾値 を変化させ,そのときに役割として選別した要素について,人手で付けたスコア が7以上の要素の再現率と適合率を計算した.それぞれの役割選別手法を用いて,
目的役割について役割の選別を行ったときの人手で付けたスコアが7以上の要素 の再現率・適合率曲線を図8に,主体役割について役割の選別を行ったときの人 手で付けたスコアが7以上の要素の再現率・適合率曲線を図9に結果を示す.
このとき再現率は,
recall= 選別した要素中で人手スコア7以上の要素の数
すべての役割順位リストに含まれる人手スコア7以上の要素の総数 とし ,適合率は,
precision= 選別した要素中で人手スコア7以上の要素の数
選別した要素の総数 とする.
“Top-N method”で,再現率と適合率の調和平均が最大になるのは,目的役割
の場合,N = 20のときで,この時,再現率は0.758,適合率は0.549で,調和平
均値は0.637であり,主体役割の場合,N = 6のときで,この時,再現率は0.337,
調和平均値は0.658であり,主体役割の場合,閾値が1.92のときで,この時,再 現率は0.457,適合率は0.547で,調和平均値は0.498だった.
図8, 9の再現率・適合率曲線から,いずれも“Threshold method”の曲線の方 が,“Top-N method”より右上に寄っていることが見て取れる.再現率と適合率 の両方が,高ければ高いほど適切に役割が選別できていると言えるので,再現率・
適合率曲線は右上に寄っている方が望ましい.
したがって,選別手法としては,SVMrankの出力する値に対して閾値を定め,
出力値が閾値以上の要素を各役割として選別する手法が良いと言える.
0 0.2 0.4 0.6 0.8 1
0 0.2 0.4 0.6 0.8 1
Precision
Recall
Top-N method Threshold method
図 8 目的役割を選別したときのスコア7以上の要素の再現率・適合率曲線
0 0.2 0.4 0.6 0.8 1
0 0.2 0.4 0.6 0.8 1
Precision
Recall
Top-N method Threshold method
5.5 獲得した順位リスト に関する考察
獲得できた順位リストと人手でスコア付けした順位の並びで,大きく異なる部 分は少なかった.
しかし,順序リスト上位の並びに注目すると,あまり適切ではない並びになっ ている場合もあった.例えば,「先生」について獲得した目的役割の順位リストに おいて,「先生」に特有の「が 教える」よりも,頻度が高い「が 書く」や「が 作 る」が上位に並んだり,「鉛筆」について獲得した目的役割の順序リストにおいて は,「で 書く」や「で描く」に対して,より具体的な「で デッサンする」や「で スケッチする」などの要素が上位に多く並び,結果的に人が鉛筆の目的役割とし て一番最初に思い浮かべるであろう「で書く」や「で 描く」などは,その下位に 並んだりした.
前者は,上位のカテゴ リとの間の共起度を計算し,要素が対象特有のものであ るかど うかを考慮に入れることによって解決するのではないかと考えている.後 者は,「で 書く」に,「で デッサンする」や「で スケッチする」などの要素をまと めあげるなど ,並び替え対象のリスト中で,同じような表現のものや上位下位関 係にある要素が存在した時に,出現頻度の高い代表的な動詞を含む要素一つにま とめあげることによって,役割としてより適切な要素がより上位に並ぶようにな る可能性がある.
6. おわりに
本研究では,ランキング学習を用いて,与えられた名詞に対する目的役割と主 体役割の順位リストを自動で獲得する手法を提案した.実験では,獲得タスクに ついて順位相関係数を用いて,ランキング学習を用いた提案法と2値分類による 手法との比較をした.その結果,提案法の結果が,目的役割と主体役割のど ちら においても2値分類を用いた手法の結果を上回っており,ランキング学習の有効 性が示された.また,各役割として扱う要素を選別する手法の検討を行い,名詞 ごと獲得した順位リストの上位N個の要素を役割とする方法よりも,SVMrank により出力された値について閾値を定め,出力値が閾値以上の要素を役割とする 手法の方が良いことを示した.
今後の課題としては,ランキング学習の素性として,対象名詞に特有の要素に 重みを与えるような素性を追加したり,名詞ごとの並び替えリスト中で同義関係 や上位下位関係にある要素を代表的な要素にまとめあげることで,役割の順位リ ストを,より精度高く獲得するように改善していくことが挙げられる.また,最 終的な目標として,項構造や事象構造に関しても,自動獲得もしくは,既存のリ ソースの変換をし,日本語名詞句「AのB」の広範な意味解釈に用いることがで きるような,包括的な生成語彙論的なリソースを作成することを考えている.
謝辞
本研究を進めるにあたり,主指導教員である自然言語処理学研究室 松本 裕治 教授には,様々な助言とご指導をいただきました.心より感謝いたします.
また,ご多忙の中,本論文の審査を担当して下さった計算メカニズム学研究室 関 浩之教授,自然言語処理学研究室 新保 仁准教授に深く感謝いたします.
また,研究について相談に乗っていただき,数多くの助言をいただいた自然言 語処理学研究室 小町 守助教に厚く感謝いたします.
最後に,学生生活を共に過ごし,研究やその他様々なことを,助けていただい た諸先輩,後輩,そして同期の皆様方に心よりお礼申し上げます.