情報検索 エ 析び
2015/3/21
難波英嗣(広島市立大学) 酒井哲也(早稲田大学)
目次び
• Reliable Informa6on Access (RIA) workshop (2003)
• RIA誤 析 用い 析 (NTCIR‐5Web NTCIR‐6CLIR)
RIA overview [Buckley+04, Harman+04] び
• NIST主催 6週間 夏合宿 2003年 invita6on‐only
• 12 IR研究機関 28 持 寄 参
• 目的: IR 有効性 ッ (検索課題) 大
く異 個々 個 失敗 析 行
依 結果 得 い 持 寄
非依 技術課題 洗い出そう!
• タ: 過去 TREC ッ 45件 適合性 定結果 (qrels) 出力(runs) 新 作成
• BoVom‐up track: 検索結果 人手 失敗 析
• Top‐down track: 間 途中結果共有 擬似適
合 バッ 有効性評価
RIA failure analysis categorisa6on
[Buckley+04, pp.10‐12] び
1. 全体的 成 : 検索 う くい い (1)び 2. 一般的 技術誤 : ン ン化 (2)
3. 観点 け 強調 う 必須語 外
い (7)び
4. 観点 け 強調 う 観点 外
い (14)び
5. 一方 観点 け 強調 い 両方必要
(5)
6. 不適 観点 強調 ッ 核心 外 い (2) 7. 一般語 対 外部拡張 必要 (4)
8. QA エ 解析 関係性 必要 (2)び
9. 人手 支援 必要 難 い観点 外 い (7)び 10. 2 観点間 近接関係 必要 (1)び
Categorisa6on done by one personび
目次び
• Reliable Informa6on Access (RIA) workshop (2003)
• RIA誤 析 用い 析
(NTCIR‐5Web NTCIR‐6CLIR)
利用可能 タび
タ び 対象文書び 出力び
NTCIR‐3‐6 言語横断検索び 新聞び ◯(NTCIR‐3, 5, 6)び
NTCIR‐9, 10 INTENTび Webび ◯び
NTCIR‐1, 2 論文検索び 論文概要び
NTCIR‐9 音声検索び 音声認識結果び ◯び
NTCIR‐4, 5, 6 特許検索び 特許び ◯び
NTCIR‐11 検索び 料理 び ◯び
NTCIR‐4, 5, 6 Web検索び Webび ◯(NTCIR‐5)び
析 用い ン 概要び
• NTCIR‐5 Web検索タ び
ップ (TNT‐3) [Fujii 2005]び
BM25 用 本文 他 ン 文 列 利用 翻 技術 こ チ PageRank 使 場合 い 結果 提出 い
本タ PageRank 使う え 検索精度 い び
び
• NTCIR‐6 CLIRタ び
ップ (TSB‐J‐J‐D‐02) [Sakai 2007]び
BM25 用 擬似適合性 バッ 利用 び
NTCIR‐5 Webび NTCIR‐6 CLIR (日)び
ッ ( エ )数び 269び 50び
検索対象文書数び 約1億
(1.36TB)び
858,400件(毎日/ 売 2000‐2001)び 評価尺度び DCG & WRRび MAP他び
析手法び
• 各 出力 結果 う Web CLIR 各10 ッ 10件 計200 例 エ
析 対象 び
• 10件 中 S A 定 正解文書
含 い い ッ 限定 析
い び び
析結果 び
(RIA‐2) 一般的 技術誤 : ン ン化
(RIA‐3) 観点 け 強調 う 必須語 外
い び
(RIA‐4) 観点 け 強調 う 観点 外
い び
(RIA‐5) 一方 観点 け 強調 い 両方必
要
(RIA‐6) 不適 観点 強調 ッ 核心 外 い (RIA‐7)一般語 対 外部拡張 必要
(RIA‐8) QA エ 解析 関係性 必要び
(RIA‐9) 人手 支援 必要 難 い観点 外 い び (RIA‐10) 2 観点間 近接関係 必要
(NextNLP‐1) 不適 エ (NextNLP‐2) 否定表現び
RIA failure analysis categorisa6on
[Buckley+04, pp.10‐12] び
1. 全体的 成 : 検索 う くい い (1)び 2. 一般的 技術誤 : ン ン化 (2)
3. 観点 け 強調 う 必須語 外
い (7)び
4. 観点 け 強調 う 観点 外
い (14)び
5. 一方 観点 け 強調 い 両方必要
(5)
6. 不適 観点 強調 ッ 核心 外 い (2) 7. 一般語 対 外部拡張 必要 (4)
8. QA エ 解析 関係性 必要 (2)び
9. 人手 支援 必要 難 い観点 外 い (7)び 10. 2 観点間 近接関係 必要 (1)び
Categorisa6on done by one personび
(RIA‐2) 一般的 技術誤 : ン
ン化 び
索引語 言語単 う (単語 or 複合語) 関
2 い (Web‐1004) いう ッ
い 電波２ いう２ 検索
(文書番号:0156422_0000001) 誤 検索
鳥 県 21世紀梨 知 い 鳥 県農協 公式
適合 (Web‐1003) いう ッ い 鳥
県 十世紀梨記念館 開設 いう 記
(文書番号: 0238963_0002136) 検索 び
(RIA‐3) 観点 け 強
調 う 必須語 外 い
び
Sample Topic 422: What incidents have there been of stolen or forged art?び
stolen or forged art(盗難 偽造さ 美 術品) い art(美術品) いう言葉 強
調さ い 検索精度 向 び
び
(RIA‐3) 観点 け 強
調 う 必須語 外 い
び
ANA 全日空 ン ンチ ッ
ッ (Web‐1006) ン ンチ
ッ 予約 ANA ン ンチ ッ
予約 い 誤 検索
環境 ン 引 起こさ 病気
脅威 関 文書 (CLIR‐14) いうタ 環境
ン 水質調査 関 記 誤 検
索 び
(RIA‐4) 観点 け 強
調 う 観点 外 い
び
EAGLES いう ッ バン 公式 検索
ッ (Web‐1012) 智大学 ン ッ
部EAGLES 誤 検索さ 正解文書
ッ バン ッ いう語 含 い
い ッ 視聴 邦楽
曲 音楽関連 用語 拡張語
得 検索
固有 検索 曖昧性 あ う わ い び
(RIA‐5) 一方 観
点 け 強調 い 両方必要び
• Sample Topic 363 What disasters have occurred in tunnels used for transporta;on?び
• disasters(災害) tunnel( ンネ ) く 両方 検索時 必要 び
ExCite 英和辞典 使い い いう課題 (Web‐1013) Excite 他 (Woman excite Excite blog) 検索さ Excite以外
英和辞典 検索さ 例 あ
Excite 英和辞典 両方 必要 び び
(RIA‐6) 不適 観点 強
調 ッ 核心 外 い び
Sample Topic 347 The spo>ed owl episode in America highlighted U.S. efforts to prevent the ex;nc;on of wildlife species. What is not well
known is the effort of other countries to prevent the demise of species na;ve to their countries. What
other countries have begun efforts to prevent such declines?び
検索 spoVed owl(
ウ) U.S. efforts(米国 試 ) いう重要 い
語 強調 い び
び び
(RIA‐6) 不適 観点 強
調 ッ 核心 外 い び
ッ バン EAGLES 公式(official)
課題(Web‐1012) 公式 official 含 い EAGLES 含 い い文書 検索
さ い 例 あ び
び び
(RIA‐7) 一般語 対 外部拡張 必要び
ンエ 社会問題 扱 記
ッ (CLIR‐18) ンエ
13歳 19歳 若者 指 いう知
識 必要
検索 文書 あ 人物 引 こ
関 あ そ 人物 年齢
21歳 あ 非適合文書 び
ッ 中 ンエ 明 あ
11歳 19歳 明自体 誤 い び
(RIA‐8) QA エ 解析 関係性 必要び
いわゆ 型質問応答 う いく
く い 問う ッ
Sample Topic 414 How much sugar does Cuba export and which countries import it?
質問語 数量表現 関係 関 概念 必要 び
エ 感染者数 増減 い 知 い(CLIR‐036) び
(RIA‐9) 人手 支援
必要 難 い観点 外 い び
違法盗聴 プ バ 侵害 特 国
家 く個人 プ バ
扱 い 文書 課題(CLIR‐24) エ ン 関 記 検索 エ ン 国家
プ バ 扱 あ いう
断 容易 い び び
(RIA‐10) 2 観点間 近接関係
必要び
ES細胞 紹 記 (CLIR‐3) タ
ES細胞 関 記 誤 検索さ
例 あ こ 例中 ES
細胞 関 記述 一部あ 非適合文
書 あ 断 難
い び
(NextNLP‐1) 不適 エ び
入力 エ 不正確 あ
一般的 表現 用い 場合 正
解文書 い 例え 鳥 県 21世紀 梨 知 い (Web‐1003) FP( ン
プ ン ン )資格試験 情報
(Web‐1014) 該当 FP資格
一般的 CFP資格 表現さ こ 多い び
(NextNLP‐2) 否定表現び
西暦2000年問題 故障(バ ) 対処 方法 管理 関連 諸産業 け 問題 (CLIR‐20) い 述 記 タ
特定 地域 問題 発生 いう記
誤 数多く検索さ こ 異常
い 否定表現 考慮 い い び
考察び
誤 い
析 誤 例数 十 い そ
多く RIA 提案さ 類
こ 誤 例
類 解釈 変わ
(RIA‐3) 観点 け 強調 う 必須語 外 い
• Sample Topic 422: What incidents have there been of stolen or forged art? stolen or forged art (盗難 偽造さ 美術品) い art (美術品) いう言
葉 強調さ い 検索精度 向 び
び
• ANA 全日空 ン ンチ ッ ッ (Web‐1006)
ン ンチ ッ 予約 ANA ン ンチ ッ 予約 い
誤 検索さ い
….. RIA‐5? RIA‐10?
(RIA‐5) 一方 観点 け 強調 い 両方必要び
• Sample Topic 363 What disasters have occurred in tunnels used for transporta;on?び
• disasters(災害) tunnel( ンネ ) く 両方 検索時
必要
(RIA‐10) 2 観点間 近接関係 必要 び
び び
考察び
検索誤 改善方法 い び
各 類 例 対処 う 技術 用い
良い ？ い 後検討 け い点 多い
(RIA‐4) 観点 け 強調 う 観点 外
い
EAGLES いう ッ バン 公式 検索 ッ
(Web‐1012) 智大学 ン ッ 部EAGLES 誤
検索さ 正解文書 ッ バン ッ いう語 含
い い ッ 視聴 邦楽 曲
音楽関連 用語 拡張語 得 検索
う 条件 う 程度検索語 拡張 ？
考察び
EAGLES いう ッ バン 例 関連 …
LaTeX 奥村先生 い 知 い (Web‐1025) いう ッ 場合 LaTeX 解 文書 検索さ LaTeX 関係
い 姓 人物 い 言及 文書 検索さ
奥村先生 いう人 曖昧性 あ LaTeX いう語 奥村先生 あ 限定 い こ EAGLES
ッ バン 関係 EAGLES 例 様
LaTeX 拡張語 用い さ TeX関連 解 文書 検
索さ う 容易 推測
誤 例 類 そ 解決方法 わ い
場合 あ び
考察び
• RIA 誤 改善 手段
query expansion エ 中 単語 重 変え こ 想定 い う 見え
(RIA‐3 ) 観点 け 強調 う 必須語 外 い (7)び
び
RIA 誤 改善 手段 query expansion エ 中 単語 重 変え こ 想定
い う 見え
1. 全体的 成 : 検索 う くい い (1)び 2. 一般的 技術誤 : ン ン化 (2)
3. 観点 け 強調 う 必須語 外
い (7)び
4. 観点 け 強調 う 観点 外
い (14)び
5. 一方 観点 け 強調 い 両方必要
(5)
6. 不適 観点 強調 ッ 核心 外 い (2) 7. 一般語 対 外部拡張 必要 (4)
8. QA エ 解析 関係性 必要 (2)び
9. 人手 支援 必要 難 い観点 外 い (7)び 10. 2 観点間 近接関係 必要 (1)び
情報検索 基本 [徳永1999]び
文書び 内部表現び
び 情報要求び
検索質問び 内部表現び
解釈び 索引付けび 比較び 現実世界び
情報び
結論び
NTCIR‐5 Web検索タ NTCIR‐6 CLIRタ
ップ 出力結果 用い エ
析 行 析 結果 10年前 実施さ
RIAワ ップ 提案さ 多く
確認さ 新 現象 多義語 問
題 否定表現 問題 見 び
後 課題び
• Web検索 関 最近行わ INTENTタ NTCIR‐3〜5 Web検索タ 違い
新聞記 検索 関 4回 わ 行わ
CLIRタ 結果 比較 予定
• 単純 BoW う く処理 い 例(否定 表現/係 け) 収集 語 語 関係び
