IPSJ SIG Technical Report
質問応答のための情報検索への応用を目的とした
確率型検索モデルとブーリアン検索モデルの組み合わせ
吉
岡
真
治
†1 効率的な文書データベースに基づいた質問応答システムを構築するためには、情報 検索システムの性能の向上が不可欠である。ここで、特定の人や組織に関する質問応 答を目的とする場合を考えると、対象となる文書に、これらの人や組織に関する情報 が入っていることは不可欠であり、ブーリアン検索モデルに基づいた検索式を利用す る事が望ましい場合がある。本研究では、人名や組織名に多く存在すると考えられる 表記バリエーションのリストと動詞の同義語を考慮することによって、質問応答を考 慮した適切なブーリアン検索式を構築すると共に、確率型検索モデルとブーリアン 検索モデルを組み合わせた情報検索システム ABRIR (Appropriate Boolean query Reformulation for Information Retrieval) を利用したシステムを提案する。また、 本システムを地理情報などに関する質問応答のタスクである NTCIR8-GeoTime タ スクに適用し、その有効性を検証した。On a Combination of Probabilistic and Boolean
IR Models for Question Answering
Masaharu Yoshioka
†1In order to make a good question answering (QA) system based on text database, it is better to have a good information retrieval (IR) system that can find an appropriate relevant document sets from a given query. To make a good IR system for QA about particular named entities, it is better to use Boolean IR model by using appropriate Boolean query with named entity information. In this paper, we propose to use ABRIR (Appropriate Boolean query Reformu-lation for Information Retrieval) for this problem. In this system, appropriate list of synonyms and variation of Japanese katakana description of given query are used for constructing Boolean query. Evaluation results shows that ABRIR works effectively for the task of IR for QA (NTCIR8-Geotime).
1. は じ め に
質問応答(Question Answering)とは、自然言語で与えられた質問(例えば、「富士山の高 さは？」とか「坂本竜馬とはどんな人ですか？」)に対する答を、文書データベースから探 しだして答えるという課題である。一般に、質問応答のシステムでは、関連する文書を見つ け出すという情報検索の段階と、文書から答を見つけ出すという情報抽出の段階の二つの段 階に分けて構成されることが多い。また、一般的に、後者の情報抽出の段階では、構文解析 やパターンマッチといった複雑な言語処理を要求することが多いため、初期段階での情報検 索システムの検索性能を向上することが、システム全体の性能向上に貢献すると考えられ ている。このような意識のもとに、質問応答のための情報検索(Information Retrieval for Question Answering)1)–3)という課題が設定され、様々なシステムが提案されている。 提案されているシステムについて調べたところ、ほとんどのシステムにおいて、確率型検 索モデル・言語モデルを利用した検索モデル・ベクトル空間検索モデルといった、検索質問 との部分適合を行う検索モデルを利用していた。 これに対し、本研究では、質問応答(特に、特定の固有名詞に関する質問応答)のための 情報検索においては、特定の固有名詞の情報を含まない文書は、たとえ、周りのキーワード が似ていても、役に立たない文書と考えられるという仮説に基づき、ブーリアン検索の考え 方を応用することがシステムの性能向上に寄与すると考えた。 我々は既に、部分適合の検索モデルである確率型検索モデルにブーリアン検索モデルの考え 方を組み合わせた情報検索システムABRIR (Appropriate Boolean query Reformulation for Information Retrieval)4)を提案している。本システムは、初期検索式と、初期検索式による検索結果の上位で作成する疑似適合文書を比較することによって、適切なブーリアン 検索式を構築すると共に、ブーリアン検索式とマッチしない文書のスコアにペナルティを与 えるという形で、二つの検索モデルの組合わせを実現している。 本論文では、Web文書検索のために作成されたABRIRについて簡単に紹介した後に、 今回の質問応答のための情報検索に応用するための手法を提案する。また、本システムを、 地理情報に関する質問応答のための情報検索タスクであるNTCIR8におけるGeoTimeタ スクのデータに適用したところ、単純な確率型検索モデルを用いたシステムより、有意に性 能を向上することが確認された。 †1 北海道大学大学院情報科学研究科
2. ABRIR(Appropriate Boolean query Reformulation for
Informa-tion Retrieval)
2.1 検索モデルの特徴を生かした検索要求の表現 情報検索のモデルとして、代表的な手法に、本手法が用いる確率型検索モデルに加え、ベ クトル空間モデル、ブーリアン検索モデルなどがある。確率型検索モデルおよびベクトル空 間検索モデルとブーリアン検索モデルの一番の違いは、ユーザの検索式に対する考え方に ある。 確率型検索モデルおよびベクトル空間モデルはユーザが与えた検索式に含まれる語集合 と文書中に含まれる語集合の重なりに注目したモデルとなっている。そのため、場合によっ ては、ユーザが欲しいと思って書いた検索語が存在しなくても上位の適合文書として提示 されることがある。これは、検索式との部分照合(Partial Match)を行うという考え方と 考えることができる。これに対し、ブーリアン検索モデルでは検索式との完全照合(Exact Match)を行うことを考えているため、ユーザが欲しいと思って書いた検索語が存在してい ない場合は、適合文書から除外される。 よって、確率型検索モデルおよびベクトル空間モデルは、ユーザが検索要求を検索語とし てうまく表現できないということを前提にしたモデルであり、ブーリアン検索モデルはユー ザが検索要求をうまく表現できるという事を前提としたモデルと考えることができる。 しかし、一般に、ブーリアン検索式の作成は容易ではない。例えば、多くの検索語をand の条件で加えて、検索式を満たす文書が極端に少なくなったり、高頻度語を用いたor条件 を設定することにより、ブーリアン検索式による絞り込みの効果が少なくなり検索式を満た す文書が多くなり過ぎたりすることという問題が起こる5)。よって、ブーリアン検索モデル を利用するためには、ユーザがブーリアン検索式を作成する際の支援が不可欠であると考 える。 2.2 適合文書を利用したブーリアン検索式の修正 ABRIR4)では、全ての適合文書には、検索者の要求を表現する検索語が必ず含まれてい るという仮定に基づき、適合文書に応じた形でブーリアン検索式を修正する方法を提案す る。この修正手順は以下の通りである。ただし、現在のシステムでは、演算子としてand とorのみを取り扱うこととし、notについては考慮していない。 ( 1 ) 初期検索の実行 初期のブーリアン検索式の入力に基づき、初期検索を行なう。ただし、ユーザが最初 に入力した初期ブーリアン検索式は不十分であることが多いため、初期検索では、そ れ以外のandやorの演算子については、無視をして、確率型検索モデルに基づいた 検索を行なう。 ( 2 ) (疑似)適合文書の選択 初期検索の結果から、適合文書を選択する。ユーザとのインタラクションを仮定しな い場合には、確率型検索モデルに基づいた初期検索の上位5件を疑似適合文書として 選択する。ユーザとのインタラクションを仮定する場合には、ユーザによる適合文書 の選択を求める。また、ユーザとのインタラクションを仮定する場合には、追加で、 ブーリアン検索式を厳密に適用してフィルタリングを行なった結果の提示と、適合文 書の選択を行なっても良い。 ( 3 ) ブーリアン検索式の修正(図1) 得られた(疑似)適合文書と初期ブーリアン検索式を比較し、次の手順により、ブー リアン検索式の修正を行なう。 ( a ) 検索語の網羅性のチェック 検索語として用いた語が全ての適合文書に網羅的に含まれているかどうかを調 べる。網羅的に含まれている場合には、ブーリアン検索式を作成するために利 用できる検索語とする(図1の“A”と“C”)。 ( b ) or要素の追加 基本的には、(a)の手順で求めた検索語をand演算子でつないだブーリアン検 索式を作成するが、初期ブーリアン検索式において、先の手順で全ての適合文 書に網羅的に含まれていた検索語を、or演算子と組み合わされて利用されて いた場合(図1の“C”に対する“C or D”)には、対応する部分を検索語と置 き換える。 A,B,C,E A,C,D,E A,C,E : A and B and (C or D) A and C A and (C or D) 図 1 ブーリアン検索式の修正 2.2.1 情報検索におけるブーリアン検索モデルと確率型検索モデルの統合 ブーリアン検索モデル単独では、文書のランキングを行なうことができない。よって本手IPSJ SIG Technical Report 法では、ブーリアン検索式の考え方と確率型検索モデルと組み合わせる事により、文書のラ ンキングを行なう。2.2節で述べたブーリアン検索式の修正手法により、ユーザが与えた初 期ブーリアン検索式を修正することが可能になったが、全ての適合文書集合と比較を行なっ ているわけではないので、作成したブーリアン検索式が、完全に全ての適合文書を見つける ことができるブーリアン検索式であるという保証がない。 よって、本手法では、ブーリアン検索式を満たさない適合文書がある可能性を考慮した上 で、次の2つの確率型検索モデルとの組み合わせ手法を提案する。 • ブーリアン検索式を適合文書判定のためのフィルタとして利用 確率型検索モデルによる検索を実行し、スコアによるランク付きの検索結果を得る。こ の結果に対し、ブーリアン検索式を満たすかどうかをチェックし、ブーリアン検索式を 満たさない文書については、そのスコアに関わらず、検索結果から除外する。 • ブーリアン検索式を満たさない文書にペナルティを付与 確率型検索モデルによる検索を実行し、スコアによるランク付きの検索結果を得る。こ の結果に対し、ブーリアン検索式を満たすかどうかをチェックし、ブーリアン検索式を 満たさない文書については、ブーリアン検索式との違いに応じたペナルティを与え、ス コアを下げ、ランキングをやり直す。このペナルティについては、各検索式における検 索語の重要度に応じた値を設定する。 本手法で作成したブーリアン検索式が、適合文書の全てを網羅できる形で作成できる場合 には、ブーリアン検索式を満たさない文書を除外する前者の方法が有効であると考えられ る。一方、作成したブーリアン検索式が不十分である場合には、前者の方法では、正解文書 の一部を完全に取り除くことになり、後者の方法が(特に、再現率を重視する場合に)有効 になると考えられる。 2.3 ABRIR ABRIRでは、Webのテキストといった大規模なテキストデータベースを利用するため の検索エンジンとして、汎用連想計算エンジンGETA?1を利用した。また、本システムで は、形態素解析器として茶筅6)を利用し、主に名詞を抽出し、インデックス語とした。さら に、名詞が連接している場合には、連接した2つの語を組み合わせたフレーズ語7)を作成 し、インデックス語とした。情報検索の確率型検索モデルとしては、Okapi BM258)を利用 した。Okapi BM25においては、文書dのスコアS(d)を式1のように定義する。 ?1 http://geta.ex.nii.ac.jp/ S(d) =
∑
T∈Q w(1)(k1+ 1)tf K + tf (k3+ 1)qtf k3+ qtf (1) ただし、w(1)は検索語T の重みで、以下のRoberson/Sparck Jonesの式により求めら れる。 w(1)= log (r + 0.5)/(R− r + 0.5) (n− r + 0.5)/(N − n − R + r + 0.5) (2) Qは検索式に含まれる全ての検索語の集合、Nはデータベース中の全ての文書数、nは検 索語T を含む全ての文書数、Rは与えた適合文書数、rは適合文書中でT を含む文書数、 tfとqtfはTの文書中と検索式中での頻度、k1, k3, Kは制御用のパラメータである。本手 法では、k1= 1, K =avdldl , k3= 7を利用した(dlは検索文書中に含まれる検索語の延べ総 数、avdlは全ての文書におけるdlの平均を示す)。 この式において、w(1) (k3+1)qtf k3+qtf の部分が、検索式における検索語の重要度の値を示す部 分であると考え、パラメータβを利用し、ブーリアン検索式を満たさない場合のペナルティ として、以下の式を利用した。 P enalty(T ) = β∗ w(1)(k3+ 1)qtf k3+ qtf (3) また、or式を満たさない場合には、or式に含まれる語の内、最も重要だと考えられる語 の値を用いてペナルティとした。このペナルティの計算を、先の図1の例に基づき、具体的 に説明する。まず、最初に、検索式に含まれる語(“A,” “C,” “D”)のペナルティを式3を 用いて計算する。ここで、P enalty(C)≥ P enalty(D)だと仮定する。この時、“A,” “C,” “D”のいずれも含まない文書は、P enalty(A) + P enalty(C)を確率型検索モデルによるス コアから減算し、“D”を含むが “A,” “C”を含まない文書は、P enalty(A)だけ減算を行 なう。 また、検索語拡張の際には、疑似適合文書との相互情報量の高い単語から300語を選択 し、検索語に追加し、最終の検索式を作成する。3. ABRIR の質問応答への応用
3.1 Web文書検索と質問応答のための情報検索の違い 前節で紹介したABRIRは、主に、Web文書検索のためにシステムが構築されていたた め、そのままの設定では、質問応答のための情報検索システムには不適当であると考えられる。以下では、特に重要となる違いを列挙し、その各々の項目に対する対応方法を提案する。 ( 1 ) 動詞を検索インデックスとする必要性 「Aさんが亡くなったのはいつですか？」といった質問を扱うためには、動詞の情 報をインデックス語に追加することが不可欠である。また、動詞は多くの同義語を持 ち、これをうまく扱わないと、質問に対応する文書を見つけられないという問題が起 こりやすくなると考えられる。 ( 2 ) 固有名詞(名付き実体：Named Entity)の取り扱い 固有名詞に関する質問に対する文書には、固有名詞に関する情報が含まれていること が不可欠であるという考えを適用するためには、固有名詞を認識する技術が必要であ る。また、特に、外来語から派生したカタカナで記述される固有名詞については、表 記のバリエーションについて、その対応方法を検討する必要がある。 ( 3 ) 適合文書の数 本課題における適合文書は、所定の事実に関しての記述を完全に含んでいる必要が あるため、一般のWeb検索課題に比べて、一つの事柄についての適合文書が少ない 可能性が考えられる。このような課題に対して多くの疑似適合文書を用いることは、 元のトピックからずれた検索要求を作る危険性が存在する。よって、疑似適合文書 フィードバックなどを行う際の文書数については、Web検索に比較して、少ない文 書を使った方が、元の検索意図から大きくずれることがないと考えられる。 ( 4 ) 検索語拡張の語数 質問応答のための情報検索システムでは、再現率よりも精度を優先したい場合が多 い。そのため、検索語拡張の語数は、少なくした方が良いと考える。 3.2 同義語と表記バリエーションの生成 3.1節で述べたように、適切なブーリアン検索式を作るためには、動詞の同義語や、カタ カナ表記のバリエーションを生成し、それらの情報を用いて、検索式を作る必要がある。 動詞については、EDR電子化辞書9)を利用した。具体的には、一つの動詞に対して、対 応する一つまたは複数の意味IDを調べ、その意味IDに対応する語を同義語の候補とした。 カタカナ表記の語に対応する正規化の手法としては、次の2種類を用意した。 ( 1 ) 以下の異表記生成ルールにより、様々な表記を作成し、異表記候補とする。 • オリジナルの表記から「ー」を削除する。 • オリジナルの表記から小さいカタカナ(例：“ァィゥェォャュョヮヵヶッ”)を削除する。 • 小さいカタカナ(e.g., “ァィゥェォャュョヮヵヶッ”)を大きいカタカナ(e.g., “アイウ エオヤユヨワカケツ”)に置き換える。?1 ( 2 ) Wikipediaのリダイレクトを利用する方法 Wikipediaのリダイレクトの情報から、カタカナの表記違いのものを抽出し、表記の バリエーション生成リストとして利用する。ただし、全く関係ないカタカナへリダイ レクトされる場合がある10)ので、編集距離1?2のものに限定した。また、「・」で分 割されることが多い、人名については、「・」ごとにアラインメントが取れる場合に は、分割して対応関係を生成した?3 )。 この結果、「ヘップバーン」からは、1.の方法だと「ヘップバン」,「ヘプバーン」 「ヘ ツプバーン」の3種類の候補となるが、2.の方法では、「ヘプバーン」のみが候補となる。 一方、「キャサリン」からは、1.では「キヤサリン」2では、「キャスリン」が候補となる。 3.3 質問応答用ABRIR 検索用インデックスの作成は、Web文書用のものとほぼ同じものを利用するが、動詞を 扱うために、動詞をインデックスとして追加する。このインデックスに対して、以下の手順 で検索式を作成する(図2) ( 1 ) 質問文に特有の表現を削除 “のはいつですか？”といった質問内容に関係のない質問文に特有の表現を削除する。 ( 2 ) 形態素解析と固有名詞のタグ付け Web文書用とほぼ同じものを利用するが、インデキシング時と同様に、動詞も抽出 する。また、固有名詞の抽出のために、Cabocha11)を利用し、人名・組織名・地名 などを固有名詞の候補として抽出する。 ( 3 ) 同義語リストの作成 抽出した動詞に対してEDRを利用して同義語リストを作成する。 ( 4 ) カタカナの表記ぶれリストの作成 書き換え規則もしくは、Wikipediaのリダイレクトを利用して同義語リストを作成 する。 ( 5 ) 初期検索 確率型検索モデルを利用して、疑似適合文書を検索する。3.1に述べたように、適合 文書の数が少ない課題が存在する可能性を考慮し、今回は、上位3件の文書を疑似適 ?1 大きいカタカナを小さいカタカナに置き換えるのは、無駄な表記を作成する可能性が高いので利用しなかった。 ?2 1 文字の追加・削除・変更のみが行われているもの ?3 6077 対の対応関係から 10303 の異なり表記に対するバリエーション候補のリストを作成した。
IPSJ SIG Technical Report ᅚఝ , 䉥䊷䊄䊥, 䊓䉾䊒䊋䊷䊮, 䊓䊒䊋䊷䊮, 䈒䈭䉎, ᱫ䈯, 䊨䊷䊙, ભᣣ, … 1. ⾰ᢥ䈮․䈱䉕㒰 2. ᒻᘒ⚛⸃ᨆ䈫࿕ฬ⹖䋨NE䋩䉺䉫ઃ䈔 5. ೋᦼᬌ⚝ 3. ห⟵⺆䊥䉴䊃䈱ᚑ, 4.䉦䉺䉦䊅⸥䈹䉏䊥䉴䊃䈱ᚑ 6. ⇼ૃㆡวᢥᦠ䈫䈱Ყセ䈮䉋䉎䊑䊷䊥䉝䊮ᬌ⚝ᑼⷐ⚛䈱ᚑ 8 ⇼ૃㆡวᢥᦠ䉕↪䈇䈢ᬌ⚝⺆ᒛ ೋᦼᬌ⚝ᑼ:ᅚఝ䈱䉥䊷䊄䊥䊶䊓䉾䊒䊋䊷䊮䈏䈒䈭䈦䈢䈱䈲䈇䈧䈪䈜䈎䋿 NE: 䉥䊷䊄䊥䊶䊓䉾䊒䊋䊷䊮 ᬌ⚝⺆䈫䉺䉟䊒 NE 䉥䊷䊄䊥䇮䊓䉾䊒䊋䊷䊮 േ⹖ 䈒䈭䉎 䈠䈱ઁ ᅚఝ Query䋺ᅚఝ, 䉥䊷䊄䊥, 䊓䉾䊒䊋䊷䊮, 䈒䈭䉎 䉥䊷䊄䊥䋺䉥䊄䊥 䊓䉾䊒䊋䊷䊮䋺䊓䊒䊋䊷䊮,䊓䉾䊒䊋䊮,䊓䉿䊒䊋䊷䊮 䈒䈭䉎䋺ᱫ䈯䇮ᱫ䇮… ᅚఝ䋺 All documents 䉥䊷䊄䊥䋺䉥䊷䊄䊥 䊓䉾䊒䊋䊷䊮䋺䊓䉾䊒䊋䊷䊮, 䊓䊒䊋䊷䊮 䈒䈭䉎䋺䈒䈭䉎, ᱫ䈯 ᅚఝ䈱䉥䊷䊄䊥䊶䊓䉾䊒䊋䊷䊮䈏䈒䈭䈦䈢 7. 䊑䊷䊥䉝䊮ᬌ⚝ᑼ䈱ᚑ 9. ᦨ⚳ᬌ⚝
ᅚఝ and 䉥䊷䊄䊥 and (䊓䉾䊒䊋䊷䊮 or 䊓䊒䊋䊷䊮) and (䈒䈭䉎 or ᱫ䈯)
合文書とする。 ( 6 ) 疑似適合文書との比較によるブーリアン検索式要素の作成 検索式中のキーワードは、固有名詞、動詞、その他に分類される。各々について、次 のような基準でブーリアン検索式を作成する。 • 固有名詞 システムが生成した固有名詞のバリエーションリストの多くは、実際の文書に現 れないデータであり、無意味であるだけでなく、場合によっては、別の意味を持 つ単語となってしまう場合が考えられる。この問題を避けるために、システム は、実際に、疑似適合文書に現れるものから、候補を選択し、異表記候補とす る。例えば、先ほどの「ヘップバーン」の例で、2つのドキュメントには、「ヘッ プバーン」があり、もう1つのドキュメントには、「ヘプバーン」がある場合に は、「ヘップバーン」or「ヘプバーン」というブーリアン検索式を作成する。 • 動詞 動詞についても同様に、実際の疑似適合文書と比較して、同義語の候補を生成 する。例えば、「亡くなる」という検索語に対して生成したリストのうち、「死 ぬ」という単語が適合文書中に存在した場合には、「亡くなる」or「死ぬ」とい うブーリアン検索式を生成する。 動詞は、固有名詞に比べ、同義語が使われる可能性が高いため、質問対象の固有 名詞に関する文書が多い場合に、注目している動詞に関係する同義語が疑似適合 文書内に見つからない可能性が高い。そこで、全ての疑似適合文書中に、同義語 が見つけられない場合には、全ての同義語を検索式に追加した追加検索を行い、 新たな疑似適合文書を得る。この疑似適合文書について、同様の処理を行うこと により、新たな動詞に関する検索式を生成する。 ただし、動詞に関する検索拡張を行った結果得られた疑似適合文書では、動詞に 関する検索語の重みが大きすぎて、以降の処理を行うのに不適切であると考えら れる。よって、実際の検索式に追加した動詞のみを追加した検索式を作成して、 再検索を行うことによって、以降で用いる疑似適合文書とする。 • それ以外の単語 固有名詞の判定間違いを行う可能性があるので、カタカナがある場合には、固有 名詞と同様の処理を行う。また、疑似適合文書に全て含まれる単語は、ABRIR と同様に、ブーリアン検索式にandとして組み入れる。
一方、今回の質問応答のための情報検索の課題のように精度重視という立場に立 つと、疑似適合文書の全てに存在しなくても、疑似適合文書中に含まれるのであ れば、ブーリアン検索式のandとして組み入れるという考え方もある。 ( 7 ) ブーリアン検索式の作成 上記の3種類の単語各々について作成したブーリアン検索式をandでつなぐことに よってブーリアン検索式を作成する。 ( 8 ) 疑似適合文書を用いた検索語拡張 ABRIRと同様に、疑似適合文書中で高い相互情報量を持つ単語を検索語拡張の候補 として追加する。ただし、3.1節の議論を踏まえ、今回は5単語のみを追加すること とした。また、これに加え、ブーリアン検索式に追加された新たな単語は全て、検索 語に追加した。 ( 9 ) 最終検索 検索語拡張した検索式に基づき、確率型検索モデルを用いて情報検索を行う。この際 に、以降のペナルティ計算で順位が逆転する可能性があることを考慮して、獲得し たい検索結果の1.5倍(1000件の問い合わせの場合には、1500件)の検索結果を返 す。この結果に対し、ブーリアン検索式と照らしあわして、ブーリアン検索式とマッ チしない部分についてペナルティを与える。ただし、固有名詞が重要であると考え、 固有名詞に対するペナルティは、式3を用いるのではなく、P enalty(T ) = 1000000 とした。
4. 評 価 実 験
4.1 実験データ 本システムの有効性を検証するために、NTCIR-8 GeoTimeタスク12)の日本語単言語 検索に参加し、その性能を評価した。本タスクは、毎日新聞の2002-2005年の記事データ (377,941件)に対し、24件の地理情報や時間情報に関する質問を与え、質問の答を含む記 事を見つけることが求められている。図3に示す質問例にあるように、特定の人物に関する 事象の起きた時間を問う質問や、位置情報を考慮した質問などが含まれる。全ての参加者 は、各々の質問に対する検索結果としては、最大1000件の結果を返すことができる。 本実験で用いたパラメータは、Web文書検索4)で用いたパラメータと同じものを利用した。 具体的には、式1, 2におけるパラメータとして、k1= 1, k3= 7, K = avdldl , c = 0.3, α = 0.7 を利用した。ここで、dlは各文書の長さ(インデックス語の延べ語数)で、avdlは、全ての • いつ、どこでアストリッド・リンドグレーンは亡くなりましたか？ • いつITERの設置とその建設予定地が決定しましたか？ • 2002年から2005年の間で、いつ、どこで、死傷者がでた列車事故が 起こったかを述べよ。 図 3 NTCIR-8 GeoTime タスクにおける質問例 文書における文書の長さの平均である。 ペナルティの式(式3)の計算においては、β = 3とした。 これらの共通設定の上に、次のような異なる設定を行った実験を行うことにより、本シス テムの特徴を分析した?1。 NE-penalty-Other-all-penalty(NpOap) 基本設定：全ての単語について、ブーリア ン検索式を満たさないものは、ペナルティ計算を行う。また、その他の単語については、 疑似適合文書中に含むか含まないかの如何に関わらず、ブーリアン検索式に追加した。 NE-filter-Other-all-penalty(NfOap) 質問の対象となっている固有名詞に関係しない 文章をフィルタリングするために、基本設定から、ブーリアン検索式の固有名詞相当部 分(図2の場合は、オードリand (ヘップバーンor ヘプバーン))を満たさないものは 検索結果から除外した。 NE-penalty-wiki-Other-all-penalty(NpwOap) カタカナの表記揺れの生成に Wikipediaの情報を利用する以外は、基本設定と同じ。 NE-penalty-Other-penalty(NpOp) 基本設定とほとんど同じであるが、その他の単 語については、疑似適合文書中に全て含まれるもののみをブーリアン検索式に追加した。 All-penalty(Ap) 従来のABRIRと同じで、固有名詞を特別扱いしないで、全て式3を を用いてブーリアン検索式のペナルティを計算した。 Baseline-Okapi(BO) ブーリアン検索によるペナルティの計算などを行わないOkapi単 独での検索。ペナルティ計算をのぞく全てのパラメータ(検索語拡張の語数や文書スコ アの計算に用いるパラメータ)は、上記のシステムと同じものを利用した。 4.2 実験結果に関する考察 表1にdescriptionのみを用いて検索した場合の、全てのシステムの評価結果を示す。評 価指標は、12)と同様に、平均精度(AP)、多値適合判定データを利用する正規化減損累積利 ?1 バグの修正と、chasen の辞書のアップデート (ipadic-2.7.0) を行って再実験を行ったため、結果は、13)のも のと異なる。IPSJ SIG Technical Report
得(nDCG：normalized Discounted Cumulative Gain)、Q-measure (Q)を利用した。こ の結果、基本設定NpOapは、NTCIR-8のGeoTimeタスクで最も良い性能を実現した。
表 1 異なる設定のシステムの評価結果
NpOap NfOap NpwOap NpOp Ap BO
AP 0.3791 0.3717 0.3739 0.3686 0.3661 0.2967 nDCG 0.4240 0.4111 0.4157 0.4128 0.4089 0.3376 Q 0.5930 0.5635 0.5814 0.5730 0.5775 0.5058 NpOap と NfOap の 比 較 か ら 、固 有 名 詞 で の み 構 成 さ れ た ブ ー リ ア ン 検 索 式 の 有 効 性 が 検 証 で き る と 考 え る 。今 回 の 質 問 の 内 、9 つ の 質 問 に つ い て は (質 問 番 号:4,10,11,16,18,21,22,23,24)、絞り混みに役立つブーリアン検索式は作成されずに、1000 件の結果を得ることとなった。しかし、11件については、1000件より少ない検索結果で、 全ての適合文書を見つけ出すことができた(質問番号:検索結果数1:8, 3:1, 5:16, 6:277, 7:1, 8:432, 9:6, 13:105, 15:109, 19:329, 20:947)。ただし、4件の検索課題では、不適切な絞り 込みをしてしまったために、これらの文書を検索結果に含めることができなかった(質問番 号：除外した適合文書数2:27/48, 12 15/19 14: 2/2, 25: 1/3)。これに対し、ペナルティの 計算を行うNpOapでは、1000件までの結果を返すことで、これらの文書を見つけること が可能であった。結果として、この4件での性能差が全体の検索性能の差となっている。 次に、仮名表記のバリエーションを作るアルゴリズムの比較を行うために、NpOapと NpwOapの結果を比較した。仮名表記のバリエーションの結果が違ったものは、1,12の2 件であり、それ以外の検索での性能は同等であった。 1では、「アストリッド・リンドグレーン」に対し、Wikipediaのエントリーがなかった ために、「アストリッド・リンドグレン」をうまく見つけられなかった。12では、「ヤーセ ル・アラファト」に対し、「ヤセル」を見つけられなかった。Wikipediaで発見できた表記 のバリエーションは、「ヘップバーン」に対する「ヘップバン」のみであるが、これは、パ ターンによる表記の生成でも見つけられるものであった。 次に、その他の単語を全てブーリアン検索式に追加する場合(NpOap)と疑似適合文書の全 てに含まれているもののみを追加する場合(NpOp)について比較する。NpOapの方が性能が 良い質問は、8件(6,8,10,11,16,21,22,23)あり、NpOpの方が良い質問は5件(1.15,18,20,25) であった。現状での差異は統計的に有意なものではなく、どちらが良いとも断定できない。 ただし、性能が向上する場合には、逆数順位が1(検索結果の1位が適合文書である)よう になる場合が4件存在し、上位の精度重視の立場に立つと、NpOapの方が良いとも考えら れる。 固有名詞を抽出することの有効性を検証するために、NpOapとApの比較を行った。こ の結果、9件(1,5,6,8,12,13,15,23,25)の質問でNpOapの方が性能が向上した。一方、2件 (2,14)の質問で、Apの方が性能が良かったため、その原因を検討する。 質問2は、「ハリケーン・カトリーナ」に関する質問であったが、固有名詞として、「ハ リケーン・カトリーナ」を抽出してしまった。そのため、「ハリケーン」を含まない「カト リーナ」を含む記事と「カトリーナ」を含まない「ハリケーン」を含む記事が同じようなス コアとなり、結果として、全体の性能の低下をまねいたと考えられる。固有名詞抽出システ ムの性能が向上することによって、解決できる問題であると考えている。また、質問14は、 「アフリカでおきた火山」に関する質問であるが、正解の文書には、「アフリカ」という単 語が存在せず、「コンゴ民主共和国」から、「アフリカ」を対応づける必要がある課題であっ た。このような問題は、本研究で仮定した検索質問の想定外の問題であった。今後は、この ような全体部分関係のような関係を扱う必要性があると考えている。 最後に、今回のシステムの中で最も性能の良かったNpOapとベースラインシステムを比 較する。この結果、20件の質問に対しては、性能が向上し、4件の質問に対しては、評価 指標の一部で性能の低下があった(2:nDCG,Q 5:nDCG 11:AP,nDCG,Q, 21:AP)。2につ いては、先ほど述べた固有名詞の抽出の失敗の影響が大きいと考えられる。また、5につい ては、「キャサリン・ヘップバーンはいつ亡くなりましたか」という課題に対して、「キャサ リン・ヘップバーンが亡くなった」ことは書いてあるが、時期は書いていないという記事の 順位が悪影響を与えただけであり、その影響もほとんどない。 11は、「列車事故について」の質問であるが、正解文書253件に対して、ブーリアン検 索式の大部分を満たすような文書が少なく、28件目からスコアが負の値になってしまった。 このようなサーベイ型の質問に対し、厳しいブーリアン検索式を作った場合には、全体のパ フォーマンスの低下をまねくので、質問タイプの推定などと組み合わせた分析などを行うこ とが望まれる。21については、APをのぞいては、提案システムの方が性能が良く、大きな 問題ではないと考えている。 また、統計的検定として、各指標に対し、t検定とWilcoxonの符合付順位検定を行っ た。危険率を5%としたt検定の両側検定では、nDCG(0.027)とQ(0.045)では、統計的 に有意であると判断されたが、AP(0.062)は統計的に有意ではないと判定された?1。また、 ?1 () 内の値は有意確率
Wilcoxonの符合付順位検定では、危険率を1%とした検定で、AP(0.001)、nDCG(0.001)、 Q(0.001)となり、統計的に有意であると判断された 4.3 今後の課題 本稿では、主に、NTCIR-8 GeoTimeタスクに参加したシステムをベースに議論を進め てきたが、検索モデルで用いているパラメータの妥当性や、検索拡張に用いる語数など様々 なパラメータの変更に対してどのような挙動を示すのかといった議論が不足している。ま た、一つのテストコレクションだけではなく、複数のテストコレクションに適用することに よって、本手法の適用可能性について、より考察を進める必要がある。 また、提案手法に関連する技術としては、固有名詞のバリエーションを単純なカタカナだ けではなく、「米国」→「アメリカ」のような組合わせを利用したり、「アフリカ」→「コン ゴ共和国」のような全体部分関係を扱うような枠組みを考える必要があると考えている。
5. お わ り に
本研究では、質問応答のための情報検索システムを作成するにあたり、ブーリアン検索の 考え方を取り入れることが性能の向上につながると考え、確率型検索モデルとブーリアン 検索モデルを組み合わせた情報検索システムABRIRに基づいた情報検索システムを提案 した。 また、本システムを、NTCIR-8 GeoTimeタスクに適用したところ、確率型検索モデル に基づく情報検索システムを利用する場合に比べて、統計的に有意な性能向上を果たすこと が確認された。謝
辞
本研究の一部は、科研費基盤研究(B) 21300029により行われた。また、NTCIR-8 Geo-Timeのテストコレクションを作成していただいたオーガナイザーの皆様に謝意を記す。ま た、有益なコメントを頂いた査読者に対しても同じく謝意を記す。参
考
文
献
1) Greenwood, M.A.(ed.): Proceedings of the 2nd workshop on Information Retrieval for Question Answering (2008). http://www.aclweb.org/anthology/W/W08/W08-18.pdf.
2) Sakai, T., Kando, N., Lin, C.-J., Mitamura, T., Shima, H., Ji, D., Chen, K.-H. and Nyberg, E.: Overview of NTCIR-7 ACLIA IR4QA Task, Proceedings of the 7th
NTCIR Workshop Meeting on Evaluation of Information Access Technologies: In-formation Retrieval, Quesiton Answering, And Cross-Lingual InIn-formation Access, pp.63–93 (2010).
3) Sakai, T., Shima, H., Kando, N., Song, R., Lin, C.-J., Mitamura, T., Sugimoto, M. and Lee, C.-W.: Overview of NTCIR-8 ACLIA IR4QA, Proceedings of the 8th NTCIR Workshop Meeting on Evaluation of Information Access Technologies: In-formation Retrieval, Quesiton Answering, And Cross-Lingual InIn-formation Access, pp.63–93 (2010).
4) Yoshioka, M. and Haraguchi, M.: On a Combination of Probabilistic and Boolean IR Models for WWW Document Retrieval, ACM Transactions on Asian Language Information Processing (TALIP), Vol.4, pp.340–356 (2005).
5) Baeza-Yates, R. and Ribeiro-Neto, B.: Modern Information Retrieval , Addison-Wesley (1999).
6) 松本裕治,北内啓,山下達雄,平野善隆,松田寛,高岡一馬,浅原正幸:日本語形態素解 析システム 『茶筌』version 2.2.1使用説明書,奈良先端科学技術大学院大学 松本研究 室(2000).
7) Toyoda, M., Kitsuregawa, M., Mano, H., Itoh, H. and Ogawa, Y.: University of Tokyo/RICOH at NTCIR-3 Web Retrieval Task, Proceedings of the Third NTCIR Workshop on research in information Retrieval, Automatic Text Summarization and Question Answering (2002).
8) Robertson, S. E. and Walker, S.: Okapi/Keenbow at TREC-8, Proceedings of TREC-8 , pp.151–162 (2000).
9) 日本電子化辞書研究所: EDR電子化辞書(第2版)仕様説明書, TR2-006(改) (2001). 10) 吉岡真治:多言語ニュースの対照分析のためのWikipedia活用手法の研究, 2009年度
人工知能学会全国大会講演論文集(2009). 2G1-NFC5-8.
11) Kudo, T. and Matsumoto, Y.: Japanese Dependency Analysis using Cascaded Chunking, CoNLL 2002: Proceedings of the 6th Conference on Natural Language Learning 2002 (COLING 2002 Post-Conference Workshops), pp.63–69 (2002). 12) Gey, F., Larson, R., Kando, N., Machado-Fisher, J. and Sakai, T.:
NTCIR-GeoTime Overview: Evaluating Geographic and Temporal Search, Proceedings of the 8th NTCIR Workshop Meeting on Evaluation of Information Access Technolo-gies: Information Retrieval, Quesiton Answering, And Cross-Lingual Information Access, pp.147–153 (2010).
13) Yoshioka, M.: On a Combination of Probabilistic and Boolean IR Models for Geo-Time Task, Proceedings of the 8th NTCIR Workshop Meeting on Evaluation of Information Access Technologies: Information Retrieval, Quesiton Answering, And Cross-Lingual Information Access, pp.154–158 (2010).
