異言語Wikipediaを用いた
補完情報の提示手法の提案
藤原 裕也 (甲南大学)
鈴木 優 (名古屋大学)
小西 幸男 (甲南大学)
灘本 明代 (甲南大学)
☆
背景
• Wikipedia
– 特徴
• 285以上の多言語版が存在
• 誰でも記事を編集することが可能
– 問題
• ある話題に対しての情報が不足している記事が多く存在
• 他のWebから情報補完する
• 他の言語版から情報補完する etc…
言語版によって書いてある内容が異なる
情報補完
例:日本の文化
検索Query:たこ焼き
英語版 日本語版 Contents 1 Takoyaki pan 2 See also 3 References 目次 1 概要 2 材料 2.1 生地 2.2 具 2.3 味付け 3 食べ方 4 歴史 5 大阪のたこ焼き 6 器具 6.1 業務用 6.2 家庭用 7 日本国外におけるたこ焼き 7.1 朝鮮文化圏 7.2 中国文化圏 7.3 東南アジア 8 関連事項 外国人ユーザ補完
理由 •編集者が少ない •十分な知識を持っていない目的
閲覧しているWikipediaに不足している情報を
他言語Wikipediaから補完する
英語版 日本語版 Contents 1 Takoyaki pan 2 See also 3 References 目次 1 概要 2 材料 2.1 生地 2.2 具 2.3 味付け 3 食べ方 4 歴史 5 大阪のたこ焼き 6 器具 6.1 業務用 6.2 家庭用 7 日本国外におけるたこ焼き 7.1 朝鮮文化圏 7.2 中国文化圏 7.3 東南アジア 8 関連事項 外国人ユーザ 理由 •編集者が少ない •十分な知識を持っていない補完
補完情報を抽出
補完情報を抽出
比較全体の流れ
閲覧記事
関連する 記事 1同じタイトルを
持つ他言語
の記事
比較 関連する 記事 2補完情報抽出
比較対象記事
ユーザ比較対象記事の決定
比較対象領域の決定
関連する 記事 n 補完補完情報の提示
比較対象記事と比較対象領域の決定
• 言語や文化の違いから情報の粒度が異なる
→対応する記事が複数にまたがる場合がある
– 例:「剣道」
• 英語版:さんぽや狭山丘陵の説明が含まれている
• 日本語版:さんぽ,狭山丘陵の記事が各々存在する
さんぽ __________ __________ __________ __________ 狭山丘陵 __________ __________ __________ __________ Kendo --- Saya Hills ---sanpo --- となりのトトロ --- さんぽ --- 狭山丘陵 ---リンク構造解析
関連度
比較対象記事の決定
比較対象記事の分類
比較対象領域の決定
全体の流れ
閲覧記事
関連する 記事 1同じタイトルを
持つ他言語
の記事
比較 関連する 記事 2補完情報抽出
比較対象記事
ユーザ比較対象記事の決定
比較対象領域の決定
関連する 記事 n 補完補完情報の提示
補完情報の提示
閲覧記事 1 *** ・ ・ 8 *** 2 *** **** **** 補完 新規 追加補完情報抽出手法により得られた補完情報を補完し,提示
補完情報 補完情報 追加情報 新規情報 関係ない 関係ない 関係ある 補完新規情報
補完情報の提示
補完情報の提示
補完情報と閲覧記事との
関連性
に基づき閲覧記事の
適した場所に補完情報へのリンクを張りユーザに提示
目次のタイトル 目次構造関連性
類似性追加情報
追加情報の提示
①: 補完情報の目次のタイトルに注目 補完情報の目次のタイトルに注目し,タイトルの名詞を含む閲覧記事の目次に補完を行う 目次のタイトル 1. あらすじ 3.1. 初期のイメージボード 3.4. 製作体制 3. 製作の経緯 1. Plot 2. Cast 3. Production 17. 外部リンク 11. External links My Neighbor Totoroの目次 (閲覧記事) となりのトトロの目次 (比較対象記事) ・ ・ 補完情報 製作→Production 体制→System 名詞抽出 比較 閲覧言語に翻訳追加情報の提示
1. あらすじ 3.1. 初期のイメージボード 3.4. 製作体制 3. 製作の経緯 1. Plot 2. Cast 3. Production 17. 外部リンク 11. External links My Neighbor Totoroの目次 (閲覧記事) となりのトトロの目次 (比較対象記事) ・ ・ 補完情報 製作→Production 経緯→ Circumstances 名詞抽出 比較 閲覧言語に翻訳 ②: ①で補完できないかつ補完情報がサブセクションの場合 サブセクションは親セクションを詳細に記載していると考え,その親セクションに注目し, 親セクションのタイトルの名詞を含んでいる閲覧記事の目次に補完を行う 目次構造 親セクション追加情報の提示
となりのトトロ(比較対象記事) 1 あらすじ ・ ・ 2 登場人物・物 My Neighbor Totoro(閲覧記事) 1 Plot 3 Production 2 Cast ・ ・ ・ ・ 補完情報 5 作品のモチーフ 類似度(高) 比較 閾値δ以上の場合:その中で最も高い値の場所へ補完 ③: ①と②で補完できない場合関連している情報はある程度類似していると考え類似度を計算
類似性 補完追加情報の提示
となりのトトロ(比較対象記事) 1 あらすじ ・ ・ 3 製作の経緯 My Neighbor Totoro(閲覧記事) 1 Plot ・ ・ 4 Release 2 Cast ・ ・ ・ ・ 補完情報 3.5 公開後 類似度(高) 比較 閾値δ以上の場合:その中で最も高い値の場所へ補完 ③: ①と②で補完できない場合関連している情報はある程度類似していると考え類似度を計算
類似性 補完補完情報の提示
補完情報の提示
補完情報と閲覧記事との
関連性
に基づき閲覧記事の
適した場所に補完情報へのリンクを張りユーザに提示
目次のタイトル 目次構造関連性
類似性追加情報
新規情報
追加情報の提示
となりのトトロ(比較対象記事) 1 あらすじ ・ ・ 7 音楽 My Neighbor Totoro(閲覧記事) 1 Plot ・ ・ 9 See also 2 Cast ・ ・ ・ 補完情報 7.1 オープニングテーマ 比較 ③: ①と②で補完できない場合関連している情報はある程度類似していると考え類似度を計算
類似性 閾値δ未満の場合:新しい情報として関連項目の手前に補完 閾値δ未満 閾値δ未満 閾値δ未満追加情報の提示
となりのトトロ(比較対象記事) 1 あらすじ ・ ・ 7 音楽 My Neighbor Totoro(閲覧記事) 1 Plot ・ ・ 9 See also 2 Cast ・ ・ ・ 補完情報 7.1 オープニングテーマ 比較 ③: ①と②で補完できない場合関連している情報はある程度類似していると考え類似度を計算
類似性 閾値δ未満の場合:新しい情報として関連項目の手前に補完 閾値δ未満 閾値δ未満 閾値δ未満補完情報提示の実験
• 補完情報提示手法の有用性を示す実験を
行った
– 実験内容
• 補完情報抽出手法により抽出できた補完情報を用いて
最適な閾値δと補完情報提示の適合率を測った
• 比較言語版
– 閲覧言語:英語版
– 比較対象言語:日本語版
• 実験条件
– 閾値δ:0~0.2の範囲を0.05刻み
– 使用データ:12個のクエリ
補完情報提示の実験
0.5 0.55 0.6 0.65 0.7 0 0.01 0.02 0.03 0.04 0.05 0.06 0.07 0.08 0.09 0.1 0.11 0.12 0.13 0.14 0.15 0.16 0.17 0.18 0.19 0.2 平 均 適 合 率 閾値δ 補完情報提示の適合率 適合率 閾値0.07の時に最も高い適合率を得ることができた. よって本研究では閾値δを0.07とし補完情報の補完を行う. 結果• Kendo(剣道)が挙げられる.Kendoの補完情報として「年表」がKendoの 歴史について説明してある「History」に補完することができた • さらにKendoに記載されていない大会に関する情報が新しい情報とし て補完することができた
補完情報提示の実験
# クエリ 適合率 (1) My Neighbor Totoro(となりのトトロ) 0.53 (2) Ninja(忍者) 0.67 (3) Urashima Taro(浦島太郎) 0.71 (4) Yukata(浴衣) 0.5 (5) Doraemon(ドラえもん) 0.65 (6) Hello Kitty(ハローキティ) 0.65 (7) Iaido(居合道) 0.71 (8) Kendo(剣道) 0.83 (9) Kyudo(弓道) 0.75 (10) Manzai(漫才) 0.67 (11) Tempura(天ぷら) 0.61 (12) Onigiri(おにぎり) 0.5 平均 - 0.65 0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1 (1) (2) (3) (4) (5) (6) (7) (8) (9) (10) (11) (12) 適合率 結果 結果の良い例• 結果の悪かったものとしてある補完情報が本来複数の場所に補完さ れるべきである場合が存在した • 関連する記事として抽出した比較対象記事の補完情報に対しては正し く補完されない場合が存在した
補完情報提示の実験
0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1 (1) (2) (3) (4) (5) (6) (7) (8) (9) (10) (11) (12) 適合率 結果 結果の悪い例 # クエリ 適合率 (1) My Neighbor Totoro(となりのトトロ) 0.53 (2) Ninja(忍者) 0.67 (3) Urashima Taro(浦島太郎) 0.71 (4) Yukata(浴衣) 0.5 (5) Doraemon(ドラえもん) 0.65 (6) Hello Kitty(ハローキティ) 0.65 (7) Iaido(居合道) 0.71 (8) Kendo(剣道) 0.83 (9) Kyudo(弓道) 0.75 (10) Manzai(漫才) 0.67 (11) Tempura(天ぷら) 0.61 (12) Onigiri(おにぎり) 0.5 平均 - 0.65まとめと今後の課題
• まとめ
– Wikipediaの多言語性に着目し,内容の充実していな
い記事に対し他言語のWikipediaを用いて,情報の補
完を行う手法を提案した
– 提案手法
• 比較対象記事の決定
• 比較対象領域の決定
• 領域ごとの補完情報抽出手法
• 補完情報の提示手法
• 今後の課題
– 他言語との比較
– 補完情報の分類
全体の流れ
閲覧記事
関連する 記事 1同じタイトルを
持つ他言語
の記事
比較 関連する 記事 2補完情報抽出
比較対象記事
ユーザ比較対象記事の決定
比較対象領域の決定
関連する 記事 n 補完補完情報の提示
追加情報の提示
剣道(比較対象記事) 1 歴史 ・ ・ 4 服装・用具 1.1 江戸時代 Kendo(閲覧記事) 1 History ・ ・4 Equipment and clothing 2 Practitioners ・ ・ ・ ・ 補完情報 服装→equipment 用具→clothing 閲覧言語に翻訳 名詞抽出 ①: 補完情報の目次のタイトルに注目 補完情報の目次のタイトルに注目し,タイトルの名詞を含む閲覧記事の目次に補完を行う 目次のタイトル
4 Equipment and clothing
比較
追加情報の提示
剣道(比較対象記事) 1 歴史 ・ ・ 1.1 江戸時代 Kendo(閲覧記事) 1 History ・ ・4 Equipment and clothing 2 Practitioners ・ ・ ・ ・ 補完情報 歴史→History 閲覧言語に翻訳 1.5 年表 ②: ①で補完できないかつ補完情報がサブセクションの場合 サブセクションは親セクションを詳細に記載していると考え,その親セクションに注目 し,親セクションのタイトルの名詞を含んでいる閲覧記事の目次に補完を行う 名詞抽出 目次構造 比較 親セクション 1 History
英語の翻訳
GENE95辞書
Microsoft api
Google Ajax api
単語の多義性を考慮していない
全体の流れ
閲覧記事
関連する 記事 1 同じタイトルを 持つ他言語 の記事 比較 関連する 記事 2補完情報抽出
比較対象記事群
ユーザ比較対象記事の決定
比較対象領域の決定
関連する 記事 n①
②
補完補完情報提示手法
③
④
①比較対象記事の決定
リンク構造解析
リンクグラフの生成
比較対象ページの取得
関連度計算
強連結:関連性が強い 関連している記事同士は リンク関係にある 剣道家一覧 二刀流 剣道 企業 Kendo 平成 0.3 0.05 片 双 双 双 比較 関連度が 低い 双方向リンクでない補完情報抽出
閾値以下を取り除く 0.23①比較対象記事の決定
• 過去の手法
– リンクグラフのノード間をCos類似度で計算
• 適合率:35%,再現率:49%,F値:41
⇒精度が低かった
関連度
アンカー文字列の出現位置
アンカー文字列の出現回数
双方向リンク注目した
記事と記事との関連する度合い
サマリにリンクを張っている記事は 関連性が高い 記事に何度も出現する アンカー文字列は関連性が高いコンテンツの類似性
関連する記事はある程度内容が 似ている Batting Cricket①比較対象記事の決定
サマリ
セグメント
セグメント
セグメント
記事をサマリとセグメントに分割
一番初めの説明部分
関連度
①比較対象Wikipediaの記事の決定
タイトル: セグメント Aサマリ
セクション 1 セグメント B セクション 2 セグメント n セクション n双方向リンク
の記事
(例:Batting)アンカー文字列
アンカー文字列
サマリ エリア クエリがタイトルのページ (例:Cricket) 比較対象記事のアンカー文字列が基準記事のサマリ, どのセグメントに出現するかを求める関連度
アンカー文字列の出現位置
基準記事①比較対象記事の決定
タイトル: セグメント Aサマリ
セクション 1 セグメント B セクション 2 セグメント n セクション n双方向リンク
の記事
(例:Batting)出現回数計算
出現回数計算
サマリ エリア クエリがタイトルのページ (例:Cricket) 比較対象記事のアンカー文字列が出現するサマリ,セグメントに対し 比較対象記事のアンカー文字列の出現回数を求める関連度
アンカー文字列の出現回数
基準記事①比較対象記事の決定
タイトル: セグメント Aサマリ
セクション 1 セグメント B セクション 2 セグメント n セクション n双方向リンク
の記事
(例:Batting) サマリ エリア クエリがタイトルのページ (例:Cricket) 比較対象記事のアンカー文字列が出現するサマリ,セグメントに対し 比較対象記事との類似度を計算関連度
コンテンツの類似性
比較 比較 基準記事①比較対象記事の決定
タイトル: セグメント Aサマリ
セクション 1 セグメント B セクション 2 セグメント n セクション n双方向リンク
の記事
(例:Batting)アンカー文字列
アンカー文字列
比較 比較 サマリ エリア クエリがタイトルのページ (例:Cricket) i:比較対象ノード TFsumiのサマリのアンカー文字列の出現回数 Ssumiのサマリと比較対象記事との類似度 TFikのあるセグメントのアンカー文字列の出現回数 Sikのあるセグメントと比較対象記事との類似度 n:あるlのリンクを張っているセグメントの数 max(Rim):比較対象記事群のRiの最大値)
max(
/
)}
(
)
(
{
1 im ik n k ik sum sum iTF
S
TF
S
R
R
i i
・
・
・
関連度
基準記事②コンテンツの比較
・Wikipediaの記事は構造に基づいて段落に分かれている
→意味的に分かれている可能性が高い
・各々の段落におけるコンテンツ同士の類似度を求める ・全てのコンテンツに対しある閾値以下である段落を補完情報として抽出 セグメント 1 セグメント 2 セグメント n比較対象記事
セグメント 1 セグメント 2 セグメント n閲覧記事
比較②コンテンツの比較
例:フィッシュ・アンド・チップスセグメント
セグメント
セグメント
セグメント
セグメント
比較対象記事
閲覧記事
記事をセグメントという単位に分ける②コンテンツの比較
例:フィッシュ・アンド・チップスセグメント
セグメント
セグメント
セグメント
セグメント
閲覧記事の全ての
セグメントに対し
類似度が閾値以下
補完情報
比較対象記事
閲覧記事
名詞の出現頻度を抽出 名詞の出現頻度を抽出 名詞の出現頻度を抽出 名詞の出現頻度を抽出 名詞の出現頻度を抽出
y
x
y
x
j i j i y x Cos 2 2 ) , ( xi:日本語版記事の名詞の出現頻度 yi:英語版記事の名詞の出現頻度 ・各々の段落におけるコンテンツ同士の類似度を求める ・全てのコンテンツに対しある閾値以下である段落を補完情報として抽出②比較対象領域の決定
• 以前,関連度を用いて抽出した比較対象記
事に対し補完情報の抽出を行った
→
閲覧記事に関係ない情報が抽出される場合が
存在した
– 例:剣道と二刀流の場合
• 剣道の情報は一部分のみ
• 西洋剣術の二刀流など
関係のない情報比較対象領域を決定する必要がある
②比較対象領域の決定
• 比較基準記事
• 包含関係記事
• 部分一致記事
得られた比較対象記事に対し記事の分類を行う
閲覧記事と同じタイトルを持つ他言語の記事
例:「Kendo」に対する「剣道」
比較基準記事と包含関係にある記事
例:「剣道」と「剣道家一覧」の関係
記事の一部分が比較基準記事と関係する記事
例:「剣道」と「二刀流」の関係
剣道 Kendo剣道
剣道家 一覧 剣道 二刀流②比較対象領域の決定
• 比較基準記事
• 包含関係記事
• 部分一致記事
得られた比較対象記事に対し記事の分類を行う
閲覧記事と同じタイトルを持つ他言語の記事
例:「Kendo」に対する「剣道」
比較基準記事と包含関係にある記事
例:「剣道」と「剣道家一覧の関係
記事の一部分が比較基準記事と関係する記事
例:「剣道」と「二刀流」の関係
剣道 Kendo剣道
剣道家 一覧 剣道 二刀流比較基準記事
• 閲覧記事と同じタイトルを持つ他言語の記事
– 例:「Kendo」に対する「剣道」
分類方法
閲覧記事に存在する
言語間リンク
を用いて分類
英語版:Kendo 剣道 Kendo他言語へのリンク
②比較対象領域の決定
• 比較基準記事
• 包含関係記事
• 部分一致記事
得られた比較対象記事に対し記事の分類を行う
閲覧記事と同じタイトルを持つ他言語の記事
例:「Kendo」に対する「剣道」
比較基準記事と包含関係にある記事
例:「剣道」と「剣道家一覧」の関係
記事の一部分が比較基準記事と関係する記事
例:「剣道」と「二刀流」の関係
剣道
剣道家 一覧 剣道 Kendo 剣道 二刀流包含関係記事
• 比較基準記事と包含関係になっている記事
->比較基準記事と
is-a関係
になっている記事
• 例:「剣道」と「剣道家一覧」の関係
分類方法
中山らの提案する
LSP法
を用いて分類
記事の冒頭文を重要文とし,その文に比較基準記事のアンカー文字列が 存在する場合に包含関係記事として分類 剣道家一覧は、剣道で活躍した人の一覧 例:剣道家一覧 比較基準記事への アンカー文字列参考文献:Nakayama,K.: “Wikipedia Mining for Triple Extraction Enhanced by Co-reference Resolution“ Proceedings of the 1St International Workshop on Social Data on the Web (SDoW’08)
剣道
剣道家 一覧
②比較対象領域の決定
• 比較基準記事
• 包含関係記事
• 部分一致記事
得られた比較対象記事に対し記事の分類を行う
閲覧記事と同じタイトルを持つ他言語の記事
例:「Kendo」に対する「剣道」
比較基準記事と包含関係にある記事
例:「剣道」と「剣道家一覧」の関係
記事の一部分が比較基準記事と関係する記事
例:「剣道」と「二刀流」の関係
剣道 二刀流 剣道 Kendo剣道
剣道家 一覧部分一致記事
• 記事の一部分が比較基準記事と関係する記事
– 例:「剣道」と「二刀流」との関係
分類方法
比較対象記事から比較基準記事と包含関係記事を
除いたすべての記事
比較基準 記事 包含関係 記事 部分一致 記事 包含関係 記事比較対象記事
剣道 二刀流②比較対象領域の決定
• 分類
– 比較基準記事
– 包含関係記事
– 部分一致記事
• 比較領域の決定
– 比較基準記事・包含関係記事
• 記事全体を比較
– 部分一致記事
• セクションのタイトルに比較基準記事のアンカー文字列を含む場合
• サブセクションのタイトルに比較基準記事のアンカー文字列を含む
場合
• 記事本文中に比較基準記事のアンカー文字列を含む場合
②比較対象領域の決定
• 分類ごとに補完情報を抽出するために,閲覧記事
と比較対象となる領域を決定し補完情報を抽出
比較基準記事・包含関係記事
閲覧記事との関係が強いと考え記事全体を比較対象とする
セグメント
セグメント
セグメント
セグメント
セグメント
閲覧記事(Kendo)
比較基準記事(剣道)
比較
補完情報
セグメント
閲覧記事のすべてのセグメント
に対し類似度がある閾値以下
②比較対象領域の決定
部分一致記事
セクション タイトル サブセクション サブセクション セグメント 1 セグメント 2 セグメント n 閲覧記事比較
部分一致記事 セクションのタイトルに比較基準記事 のタイトルを含む場合 サブセクションのタイトルに比較基準記事 のタイトルを含む場合 記事本文中に比較基準記事のタイトルを含む場合 セクション タイトル サブセクション サブセクション セグメント 1 セグメント 2 セグメント n 閲覧記事比較
部分一致記事 セクション セクション セグメント 1 セグメント 2 セグメント n 閲覧記事比較
部分一致記事②比較対象領域の決定
セグメント 1 セグメント 2 セグメント nKendo(閲覧記事)
比較
鍔迫り合い(部分一致記事)
セクションのタイトルに比較基準記事のタイトルを含む場合 サブセクションを含めそのセクション全体を比較対象とする1 剣道における…
1.1 歴史 1.2 試合…2 西洋剣術…
比較基準記事のタイトル 比較領域②比較対象領域の決定
部分一致記事
セクション タイトル サブセクション サブセクション セグメント 1 セグメント 2 セグメント n 閲覧記事比較
部分一致記事 セクションのタイトルに比較基準記事 のタイトルを含む場合 サブセクションのタイトルに比較基準記事 のタイトルを含む場合 記事本文中に比較基準記事のタイトルを含む場合 セクション タイトル サブセクション サブセクション セグメント 1 セグメント 2 セグメント n 閲覧記事比較
部分一致記事 セクション セクション セグメント 1 セグメント 2 セグメント n 閲覧記事比較
部分一致記事比較領域
②比較対象領域の決定
セグメント 1 セグメント 2 セグメント nKendo(閲覧記事)
比較
サブセクションのタイトルに比較基準記事のタイトルを含む場合 親セクションとそのサブセクションを比較対象とする 兄弟セクションは比較基準記事と関係が弱いと 考え,比較対象領域としない二刀流(部分一致記事)
1 日本
1.1 剣術 1.2 剣道 比較領域 1.3 スポーツ… 比較基準記事のタイトル 親セクション②比較対象領域の決定
部分一致記事
セクション タイトル サブセクション サブセクション セグメント 1 セグメント 2 セグメント n 閲覧記事比較
部分一致記事 セクションのタイトルに比較基準記事 のタイトルを含む場合 サブセクションのタイトルに比較基準記事 のタイトルを含む場合 記事本文中に比較基準記事のタイトルを含む場合 セクション タイトル サブセクション サブセクション セグメント 1 セグメント 2 セグメント n 閲覧記事比較
部分一致記事 セクション セクション セグメント 1 セグメント 2 セグメント n 閲覧記事比較
部分一致記事②比較対象領域の決定
セグメント 1 セグメント 2 セグメント nKendo(閲覧記事)
記事本文中に比較基準記事のタイトルを含む場合 比較基準記事のタイトルが含まれている段落のみを比較対象とする 比較基準記事のタイトル比較
道場(部分一致記事)
比較領域補完情報抽出の実験
• 補完情報抽出手法の有用性を示す実験を行った
– 実験内容
• 提案手法とBaselineの比較
• Baseline:比較対象領域の決定を行わない場合
• 適合率,再現率,F値の比較
• 比較言語版
– 閲覧言語:英語版 – 比較対象言語:日本語版• 設定(前実験より)
– 関連度の式のα:3.0 – 関連度の閾値β:0.2 – 補完情報抽出の閾値γ:0.2)
max(
/
)}
(
)
(
{
1 im ik n k ik sum sum iTF
S
TF
S
R
R
i i
・
・
・
実験条件
結果
0.00 0.20 0.40 0.60 0.80 1.00 (1) (2) (3) (4) (5) (6) (7) (8) (9) (10) クエリ 適合率 0.00 0.20 0.40 0.60 0.80 1.00 (1) (2) (3) (4) (5) (6) (7) (8) (9) (10) クエリ 再現率 0.00 0.20 0.40 0.60 0.80 1.00 (1) (2) (3) (4) (5) (6) (7) (8) (9) (10) クエリF値 Number (1) My Neighbor Totoro(となりのトトロ) クエリ (2) Doraemon(ドラえもん) (3) Iaido(居合道) (4) Manzai(漫才) (5) Yukata(浴衣) (6) Urashima Taro(浦島太郎) (7) Pikachu(ピカチュウ) (8) Kinkaku-ji(鹿苑寺) (9) Hello_Kitty(ハローキティ) (10) Kyudo(弓道) 平均(適合率:0.60->0.86,再現率:0.68->0.62,F値:0.62->0.71)
結果の良い例
• 居合道
– Baseline
• 部分一致記事である武道の称号の範士が抽出,しかし柔道や弓
道の範士のように居合道に関係のない情報が抽出された
– 提案手法
• 範士,その中でも居合道の情報のみが抽出できた
• となりのトトロ
– Baseline
• 部分一致記事である狭山丘陵,地理情報などとなりのトトロと関
係のない情報が抽出された
– 提案手法
• 狭山丘陵,となりのトトロの舞台となったという情報が抽出できた
結果の悪い例
• 部分一致記事において補完情報と成り得な
い情報が抽出される場合が存在した
– 例:ドラえもん
• 部分一致記事として作者の藤子・F・不二雄が抽出
• 藤子・F・不二雄の記事では多くのセクションでドラえも
んのアンカー文字列が出現
• ドラえもん以外に多くの漫画を描いており,ドラえもん
の補完情報とならない情報が抽出された
• 比較対象となる領域が正しく決定できない場
合が存在
• 比較対象記事決定の閾値の設定とその精度を測った
– 実験内容
• 関連度とBaseline
• Baseline:Cos類似度
• 再現率,適合率,F値を比較
• 比較言語版
– 閲覧言語:日本語版 – 比較対象言語:英語版• 条件
– α=1〜10を1刻み – 閾値0〜1を0.05刻み)
max(
/
)}
(
)
(
{
1 im ik n k ik sum sum iTF
S
TF
S
R
R
i i
・
・
・
実験1:比較対象記事の決定
比較対象記事の 決定 補完情報抽出 Batting Laws of cricket Cricket Hockey 0.3 双方向リンクでない 0.23クエリ 正解データ数
Bannock(food) 2 Warwick Castle 2 Black dog (ghost) 7 Fish and chips 4 Goodwood Festival of Speed 2
Bowls 2
Burleque 3
Flag of Scotland 6 Gaelic handball 4
Kipper 3
Natinal Gallery of Scotland 12
Lipton 1
実験1:比較対象記事の決定
比較対象記事の 決定 補完情報抽出正解データ:比較対象記事に成り得る記事
抽出した比較対象記事
正解データ
抽出した比較対象記事
適合率
正解データ
正解データ
抽出した比較対象記事
再現率
0.2 0.25 0.3 0.35 0.4 0.45 0.5 0.55 0.6 0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1 実験1:各閾値とαにおけるF値の平均 α=1 α=2 α=3 α=4 α=5 α=6 α=7 α=8 α=9 α=10 F値 閾値 グラフよりα=3で閾値が0.2の時に最も高いF値を得ることができた よってα=3、閾値を0.2と設定する
実験1:比較対象記事の決定
比較対象記事の 決定 補完情報抽出0 0.2 0.4 0.6 0.8 1 (1) (2) (3) (4) (5) (6) (7) (8) (9) (10) (11) (12) クエリ 適合率 0 0.2 0.4 0.6 0.8 1 (1) (2) (3) (4) (5) (6) (7) (8) (9) (10) (11) (12) クエリ 再現率 0 0.2 0.4 0.6 0.8 1 (1) (2) (3) (4) (5) (6) (7) (8) (9) (10) (11) (12) クエリ F値 Number クエリ 正解データ (1) Bannock (food) 2 (2) Warwick Castle 2 (3) Black dog (ghost) 7 (4) Fish and chips 4 (5) Goodwood Festival of Speed 2 (6) Bowls 2 (7) Burlesque 3 (8) Flag of Scotland 6 (9) Gaelic handball 4 (10) Kipper 3 (11) National Gallery of Scotland 12 (12) Lipton 1 平均(適合率:0.37->0.59,再現率:0.45->0.64,F値:0.36->0.52)
実験1:比較対象記事の決定
比較対象記事の 決定 補完情報抽出• 結果の良い例(Gaelic handball)
– Baseline
• 関連する記事であるGAA Handballという
Gaelic handballの理事会の記事が抽出できなかった
• Gaelic handballとGaelic handballの理事会の場合は理
事会はGaelic handballの競技の説明をしているわけで
はない.値が低くなり抽出できなかった
実験1:比較対象記事の決定
比較対象記事の 決定 補完情報抽出 _________ _________ _________ _________ _________ _________ _________ _________Gaelic handball GAA handball 比較
• 結果の良い例(Gaelic handball)
– 提案手法
• 関連する記事であるGAA Handballが抽出
• Gaelic handballの記事の中にあるGaelic handballの理
事会を説明している部分とGaelic handballの理事会の
記事を比較.関連度が高くなり抽出できた
実験1:比較対象記事の決定
比較対象記事の 決定 補完情報抽出 _________ _________ _________ _________Gaelic handball GAA handball 比較
GAA Handball の説明
• 比較対象記事であるにも関わらず比較対象
記事として抽出されない記事が存在した
– 例:Bowls
• 比較対象記事であるWorld Bowls Eventsが抽出できな
かった
• アンカー文字列がSee also(関連項目)に出現
See also(関連項目)
コンテンツ量が豊富ではない
World Bowls Eventsについて情報がほとんどない
World Bowls Eventsのアンカー文字列が一回しか出現しない 関連度であるとBowlsのSee alsoの部分と
World Bowls Eventsの記事の内容全てとの比較し計算する 関連度が低くなり抽出できなかった
実験1:比較対象記事の決定
比較対象記事の 決定
• 得られた比較対象記事と閲覧記事を用いて補
完情報抽出を行い最適な閾値を求めた
– 内容
• コンテンツの比較の際の閾値
• 条件
– 閾値0〜1を0.05刻み
– 補完情報の適合率、再現率、F値
• 比較言語
– 閲覧言語:日本語版
– 比較対象言語:英語版
• 実験対象記事:評価実験1と同じ
比較対象記事の 決定 補完情報抽出評価実験2:補完情報抽出
セグメント 1 セグメント 2 セグメント n 比較対象記事 セグメント 1 セグメント 2 セグメント n 閲覧記事 比較図より閾値が0.2の時に適合率,再現率が交わり共に高い値となった
これにより,本研究では
閾値を0.2
と設定し補完情報の抽出を行う
比較対象記事の 決定 補完情報抽出評価実験2:補完情報抽出
• 提案手法の有用性を示すための評価実験を行っ
た
– 内容
• 提案手法で得られた補完情報の適合率、再現率、F値
• 比較言語
– 閲覧言語:日本語版 – 比較対象言語:英語版• 実験対象記事:評価実験1と同じ
• 設定
– 関連度の式のα:3.0(評価実験1より) – 関連度の閾値β:0.2(評価実験1より) – コンテンツの比較の閾値γ:0.2(評価実験2より) 比較対象記事の 決定 補完情報抽出評価実験3:提案手法の精度
クエリ 正解データ数
Bannock(food) 2 Warwick Castle 12 Black dog (ghost) 32 Fish and chips 11 Goodwood Festival of Speed 10
Bowls 9
Burleque 22 Flag of Scotland 56 Gaelic handball 16
Kipper 16
Natinal Gallery of Scotland 4
Lipton 8
正解データ:補完情報となるセグメント
抽出した補完情報
正解データ
抽出した補完情報
適合率
正解データ
正解データ
抽出した補完情報
再現率
比較対象記事の 決定 補完情報抽出評価実験3:提案手法の精度
クエリ 提案手法
適合率 再現率 F値 Bannock (food) 0.33 0.5 0.4 Warwick Castle 0.79 0.92 0.85 Black dog (ghost) 0.89 0.78 0.83 Fish and chips 0.45 0.82 0.58 Goodwood Festival of Speed 0.6 0.6 0.6 Bowls 0.5 1 0.67 Burlesque 0.71 0.45 0.56 Flag of Scotland 0.98 0.88 0.92 Gaelic handball 0.68 0.94 0.79 Kipper 0.88 0.94 0.91 National Gallery of Scotland 0.57 1 0.72 Lipton 0.71 0.63 0.67 平均 0.67 0.79 0.71
適合率の平均:0.67,再現率の平均:0.79,F値の平均:0.71
高い結果を得ることができ提案手法の有用性を示すことができた
比較対象記事の 決定 補完情報抽出評価実験3:提案手法の精度
• 結果の良い例
– Lipton
• 日本語版にはティーパックの説明しかない
• 英語版にはトーマスリプトンがイエローラベルを考えた
など情報が存在,そのイエローラベルの情報が補完情
報として抽出された
– Fish and Chips
• 比較対象記事としてマッシピーの記事が抽出
• 地域によるマッシピーの種類について情報が抽出
比較対象記事の 決定 補完情報抽出評価実験3:提案手法の精度
• 閲覧記事と関係のない情報が補完情報として
抽出される場合が存在した
– 例:Black dog (ghost)
• 関連する記事としてHanging Hillsというアメリカに存在す
る丘の記事が抽出された
• この丘はブラック・ドッグが伝承されている
• Hanging Hillsの記事にはブラック・ドッグの情報は一部分
• この丘の地理情報や地質などはブラック・ドッグの補完
情報に成り得ない
比較対象記事の 決定 補完情報抽出評価実験3:提案手法の精度
今後は関係のない情報の削除を考える必要がある
実験1
• 実際にLSP法により包含関係記事が抽出でき
るか実験を行った
– 条件
• 判定
– 比較基準記事と包含関係で
あるかどうか
– 適合率,再現率,F値
• 対象
– 比較基準記事に双方向リンク
されている全ての記事
クエリ 双方向リンクの 記事数 包含関係 記事の数 漫才 24 8 マナー 4 3 居合道 7 4 忍者 29 15 正岡子規 23 7 下駄 10 2 扇子 6 3 寿司 39 16 花札 9 5 剣道 58 32実験1
・リード部分に比較基準記事のアンカー文字列が存在しないにも関わらず 包含関係になっている記事が存在. 例:->寿司と大村寿司 ・リード部分に比較基準記事のアンカー文字列が存在するにも関わらず 包含関係ではない記事が存在 例:->正岡子規と夏目漱石考察
・適合率:0.73,再現率:0.86,F値:0.77
結果
クエリ 包含関係記事の例 漫才 浪曲漫才 ツッコミ マナー レディーファースト 日本の食事作法 寿司 稲荷寿司 ちらし寿司実験2
• 部分一致記事が抽出の精度とその比較領域の精
度を測った
– 条件
• 判定
– 比較基準記事と部分一致記事で あるかどうか – 適合率,再現率,F値• 対象
– 比較基準記事に双方向リンク されている全ての記事 クエリ 双方向リンクの 記事数 部分一致 記事の数 となりのトトロ 28 1 ドラえもん 34 2 居合道 7 2 漫才 29 2 浴衣 6 4 浦島太郎 10 5 ピカチュウ 12 3 鹿苑寺 18 4 ハローキティ 30 8 弓道 24 4・適合率:0.99,再現率:0.96,F値:0.97
結果
実験3
• 部分一致記事の比較領域の精度の測った
– 条件
• 判定
– 比較領域が閲覧記事と関係があるか
– 適合率,再現率,F値
• 対象
– 比較基準記事に双方向リンクされている全ての記事
• データセット
– 実験2と同じ
実験3
• 結果
– 適合率:0.73,再現率:0.81,F値:0.74
• 考察
– アンカー文字列が存在する段落にも関わらず比較領
域にならないものが存在(例:ドラえもん)
• 比較対象記事として作者の藤子・F・不二雄が抽出.彼は他
にも多くの漫画を描いており,ドラえもんと関係のない情報
も抽出された
– セクション全体が比較領域になるはずが段落のみに
なる場合が存在(例:浦島太郎)
• 本来,丹後国風土記のセクションである浦島伝説が比較領
域であるがアンカー文字列を含んでない
• 浦島太郎の類義語が浦島伝説
考察
• 比較対象となる領域が正しく決定できない場
合が存在
– 例:浦島太郎
• 部分一致記事として荘内半島が抽出
比較対象 荘内半島 浦島伝説は浦島太郎の同義語補完情報提示の実験
• 補完情報提示手法の有用性を示す実験を
行った
– 実験内容
• 補完情報抽出手法により抽出できた補完情報を用いて
最適な閾値δと補完情報提示の適合率を測った
• 比較言語版
– 閲覧言語:英語版
– 比較対象言語:日本語版
• 実験条件
– 閾値δ:0~0.2の範囲を0.05刻み
補完情報の提示
1. 補完情報の目次のタイトルから名詞を抽出 2. 名詞を閲覧言語に翻訳 3. 翻訳した名詞と閲覧記事の目次全てとマッチング 4. 翻訳した名詞を含んでいる閲覧記事の目次に補完情報へのリンク挿入 剣道(比較対象記事) 1 歴史 ・ ・ 4 服装・用具 1.1 江戸時代 Kendo(閲覧記事) 1 History ・ ・4 Equipment and clothing 2 Practitioners ・ ・ ・ ・ 補完情報 服装→equipment 用具→clothing 閲覧言語に翻訳 名詞抽出 パターン1 補完情報と閲覧記事との関連性に基づき閲覧記事の適した場所に補完情報へ のリンクを張りユーザに提示 補完
補完情報の提示
1. そのサブセクションの親セクションの目次のタイトルから名詞を抽出 2. その名詞を閲覧言語に翻訳 3. 翻訳した名詞と閲覧記事の目次全てとマッチング 4. 翻訳した名詞を含んでいる閲覧記事の目次に補完情報を挿入 剣道(比較対象記事) 1 歴史 ・ ・ 1.1 江戸時代 Kendo(閲覧記事) 1 History ・ ・4 Equipment and clothing 2 Practitioners ・ ・ ・ ・ 補完情報 歴史→History 閲覧言語に翻訳 1.5 年表 補完 パターン1で補完できないかつ補完情報がサブセクションの場合 サブセクションは親セクションを詳細に記載していると考え,その親セクションに注目 名詞抽出
補完情報の提示
1. 閲覧記事をセグメントに分割 2. 閲覧記事の各セグメントと補完情報との類似度を計算 3. 類似度がある閾値δ以上の場合はその中で最も高い値の場所へ補完 類似度がある閾値δ未満の場合は新しい情報として関連項目の手前に補完 剣道(比較対象記事) 1 歴史 ・ ・ 2 組織統括 Kendo(閲覧記事) 1 History ・ ・ 7 Rules of Competition 2 Practitioners ・ ・ ・ ・ 補完情報 6.6 審判員 補完 類似度(高) 類似度計算 閾値δ以上の場合 パターン1とパターン2で補完できない場合 関連している情報はある程度類似していると考え類似度が最も高い場所に補完補完情報の提示
1. 閲覧記事をセグメントに分割 2. 閲覧記事の各セグメントと補完情報との類似度を計算 3. 類似度がある閾値δ以上の場合はその中で最も高い値の場所へ補完 類似度がある閾値δ未満の場合は新しい情報として関連項目の手前に補完 剣道(比較対象記事) 1 歴史 ・ ・ 2 組織統括 Kendo(閲覧記事) 1 History ・ ・ 13 See also 2 Practitioners ・ ・ ・ ・ 補完情報 6.6 審判員 類似度計算 閾値δ未満の場合 パターン1とパターン2で補完できない場合 関連している情報はある程度類似していると考え類似度が最も高い場所に補完研究成果(1)
• Yuya Fujiwara, Yu Suzuki, Yukio Konishi, Akiyo Nadamoto, “Extracting
Difference Information from Multilingual Wikipedia”, The 14th Asia-Pacific
International Conference on Web Technologies and Applications (APWeb’12), April 11-13, 2012,Kunming, China
• Yuya Fujiwara, Yu Suzuki, Yukio Konishi, Akiyo Nadamoto,”Extracting Lack of Information on Wikipedia by Comparing Multilingual Articles”, The 14th
International Conference on Information Integration and Web-based Applications & Services(iiWAS’12), December 3-5, 2012, Bali, Indonesia. • Yu Suzuki, Yuya Fujiwara, Yukio Konishi, Akiyo Nadamoto,”Good Quality
Complementary Information for Multilingual Wikipedia”, The 13th
International Conference on Web Information System Engineering (WISE’12), November 28-30, 2012, Paphos, Cyprus.
• Yuya Fujiwara, Yu Suzuki, Yukio Konishi, Akiyo Nadamoto,” Complementary Information for Wikipedia by Comparing Multilingual Articles”, The 15th
Asia-Pacific International Conference on Web Technologies and Applications (APWeb’13), April 4-6, 2013, Sydney, Australia. (to appear)