言語間比較に基づくWikipediaの補完情報抽出手法の提案

(1)

言語間比較に基づくWikipediaの

補完情報抽出手法の提案

甲南大学大学院自然科学研究科

情報システム工学専攻灘本研究室

藤原裕也

２０１2年度修士論文発表

2013年2月15日

(2)

背景

• Wikipedia

– 特徴

• 285以上の多言語版が存在

• 誰でも記事を編集することが可能

– 問題

• ある話題に対しての情報が不足している記事が多く存在

• 他のWebから情報補完する

• 他の言語版から情報補完する etc…

言語版によって書いてある内容が異なる

情報補完

(3)

例:日本の文化

検索Query:たこ焼き

英語版日本語版 Contents 1 Takoyaki pan 2 See also 3 References 目次 1 概要 2 材料 2.1 生地 2.2 具 2.3 味付け 3 食べ方 4 歴史 5 大阪のたこ焼き 6 器具 6.1 業務用 6.2 家庭用 7 日本国外におけるたこ焼き 7.1 朝鮮文化圏 7.2 中国文化圏 7.3 東南アジア 8 関連事項外国人ユーザ

補完

理由 •編集者が少ない •十分な知識を持っていない

(4)

目的

閲覧しているWikipediaに不足している情報を

他言語Wikipediaから補完する

英語版日本語版 Contents 1 Takoyaki pan 2 See also 3 References 目次 1 概要 2 材料 2.1 生地 2.2 具 2.3 味付け 3 食べ方 4 歴史 5 大阪のたこ焼き 6 器具 6.1 業務用 6.2 家庭用 7 日本国外におけるたこ焼き 7.1 朝鮮文化圏 7.2 中国文化圏 7.3 東南アジア 8 関連事項外国人ユーザ理由 •編集者が少ない •十分な知識を持っていない

補完

補完情報を抽出

比較

(5)

全体の流れ

閲覧記事

同じﾀｲﾄﾙを

持つ他言語

の記事

比較関連する記事 2

補完情報抽出

比較対象記事

ユーザ

比較対象記事の決定

比較対象領域の決定

①

②

補完

(6)

①比較対象記事の決定

• 言語や文化の違いから情報の粒度が異なる

→対応する記事が複数にまたがる場合がある

– 例:「剣道」

• 英語版:二刀流や剣道家の説明が含まれている

• 日本語版:二刀流，剣道家一覧の記事が各々存在する

二刀流 __________ __________ __________ __________ 剣道家一覧 __________ __________ __________ __________ Kendo --- Kendoka ---Nitoryu --- 剣道 --- 二刀流 --- 剣道家一覧 ---

リンク構造解析

中間発表

比較対象記事の決定

(7)

②比較対象領域の決定

• 以前，関連度を用いて抽出した比較対象記

事に対し補完情報の抽出を行った

→

閲覧記事に関係ない情報が抽出される場合が

存在した

– 例：剣道と二刀流の場合

• 剣道の情報は一部分のみ

• 西洋剣術の二刀流など

関係のない_情報

比較対象領域を決定する必要がある

(8)

②比較対象領域の決定

• 比較基準記事

• 包含関係記事

• 部分一致記事

得られた比較対象記事に対し記事の分類を行う

閲覧記事と同じタイトルを持つ他言語の記事

例：「Kendo」に対する「剣道」

比較基準記事と包含関係にある記事

例：「剣道」と「剣道家一覧」の関係

記事の一部分が比較基準記事と関係する記事

例：「剣道」と「二刀流」の関係

剣道 Kendo

剣道

剣道家一覧 剣道二刀流

(9)

②比較対象領域の決定

• 比較基準記事

• 包含関係記事

• 部分一致記事

得られた比較対象記事に対し記事の分類を行う

閲覧記事と同じタイトルを持つ他言語の記事

例：「Kendo」に対する「剣道」

比較基準記事と包含関係にある記事

例：「剣道」と「剣道家一覧の関係

記事の一部分が比較基準記事と関係する記事

例：「剣道」と「二刀流」の関係

剣道 Kendo

剣道

剣道家一覧 剣道二刀流

(10)

比較基準記事

• 閲覧記事と同じタイトルを持つ他言語の記事

– 例：「Kendo」に対する「剣道」

分類方法

閲覧記事に存在する

言語間リンク

_{を用いて分類}

英語版：Kendo 剣道 Kendo

他言語へのリンク

(11)

②比較対象領域の決定

• 比較基準記事

• 包含関係記事

• 部分一致記事

得られた比較対象記事に対し記事の分類を行う

閲覧記事と同じタイトルを持つ他言語の記事

例：「Kendo」に対する「剣道」

比較基準記事と包含関係にある記事

例：「剣道」と「剣道家一覧」の関係

記事の一部分が比較基準記事と関係する記事

例：「剣道」と「二刀流」の関係

剣道

剣道家一覧剣道 Kendo 剣道二刀流

(12)

包含関係記事

• 比較基準記事と包含関係になっている記事

->比較基準記事と

is-a関係

になっている記事

• 例：「剣道」と「剣道家一覧」の関係

分類方法

中山らの提案する

_LSP法

_{を用いて分類}

記事の冒頭文を重要文とし，その文に比較基準記事のアンカー文字列が存在する場合に包含関係記事として分類剣道家一覧は、剣道_{で活躍した人の一覧} 例：剣道家一覧 比較基準記事への アンカー文字列

参考文献：Nakayama,K.: “Wikipedia Mining for Triple Extraction Enhanced by Co-reference Resolution“ Proceedings of the 1St_{International Workshop on Social Data on the Web (SDoW’08)}

剣道

剣道家一覧

(13)

②比較対象領域の決定

• 比較基準記事

• 包含関係記事

• 部分一致記事

得られた比較対象記事に対し記事の分類を行う

閲覧記事と同じタイトルを持つ他言語の記事

例：「Kendo」に対する「剣道」

比較基準記事と包含関係にある記事

例：「剣道」と「剣道家一覧」の関係

記事の一部分が比較基準記事と関係する記事

例：「剣道」と「二刀流」の関係

剣道二刀流 剣道 Kendo

剣道

剣道家一覧

(14)

部分一致記事

• 記事の一部分が比較基準記事と関係する記事

– 例：「剣道」と「二刀流」との関係

分類方法

比較対象記事から比較基準記事と包含関係記事を

除いたすべての記事

比較基準記事包含関係記事部分一致記事 _包含関係記事

比較対象記事

剣道 二刀流

(15)

②比較対象領域の決定

• 分類

– 比較基準記事

– 包含関係記事

– 部分一致記事

• 比較領域の決定

– 比較基準記事・包含関係記事

• 記事全体を比較

– 部分一致記事

• セクションのタイトルに比較基準記事のアンカー文字列を含む場合

• サブセクションのタイトルに比較基準記事のアンカー文字列を含む

場合

• 記事本文中に比較基準記事のアンカー文字列を含む場合

(16)

②比較対象領域の決定

• 分類ごとに補完情報を抽出するために，閲覧記事

と比較対象となる領域を決定し補完情報を抽出

比較基準記事・包含関係記事

閲覧記事との関係が強いと考え記事全体を比較対象とする

セグメント

閲覧記事(Kendo)

比較基準記事(剣道)

比較

補完情報

セグメント

閲覧記事のすべてのセグメント

に対し類似度がある閾値以下

(17)

②比較対象領域の決定

部分一致記事

セクションタイトル サブセクション サブセクション セグメント 1 セグメント 2 セグメント n 閲覧記事

比較

部分一致記事 セクションのタイトルに比較基準記事 のタイトルを含む場合 サブセクションのタイトルに比較基準記事 のタイトルを含む場合 記事本文中に比較基準記事のタイトルを含む場合 セクションタイトル サブセクション サブセクション セグメント 1 セグメント 2 セグメント n 閲覧記事

比較

部分一致記事 セクションセクションセグメント 1 セグメント 2 セグメント n 閲覧記事

比較

部分一致記事

(18)

②比較対象領域の決定

セグメント 1 セグメント 2 セグメント n

Kendo(閲覧記事)

比較

鍔迫り合い(部分一致記事)

セクションのタイトルに比較基準記事のタイトルを含む場合サブセクションを含めそのセクション全体を比較対象とする

1 剣道における…

1.1 歴史 1.2 試合…

2 西洋剣術…

比較基準記事のタイトル 比較領域

(19)

②比較対象領域の決定

部分一致記事

比較

(20)

比較領域

②比較対象領域の決定

Kendo(閲覧記事)

比較

サブセクションのタイトルに比較基準記事のタイトルを含む場合親セクションとそのサブセクションを比較対象とする兄弟セクションは比較基準記事と関係が弱いと考え，比較対象領域としない

二刀流(部分一致記事)

1 日本

1.1 剣術 1.2 剣道 比較領域 1.3 スポーツ… 比較基準記事のタイトル 親セクション

(21)

②比較対象領域の決定

部分一致記事

比較

(22)

②比較対象領域の決定

Kendo(閲覧記事)

記事本文中に比較基準記事のタイトルを含む場合比較基準記事のタイトルが含まれている段落のみを比較対象とする 比較基準記事のタイトル

比較

道場(部分一致記事)

比較領域

(23)

補完情報抽出の実験

• 補完情報抽出手法の有用性を示す実験を行った

– 実験内容

• 提案手法とBaselineの比較

• Baseline:比較対象領域の決定を行わない場合

• 適合率，再現率，F値の比較

• 比較言語版

– 閲覧言語：英語版 – 比較対象言語：日本語版

• 設定(前実験より)

– 関連度の式のα：3.0 – 関連度の閾値β:0.2 – 補完情報抽出の閾値γ：0.2

)

max(

/

)}

(

)

(

{

1 im ik n k ik sum sum i

TF

S

TF

S

R

i i











・

(24)

実験条件

(25)

結果

0.00 0.20 0.40 0.60 0.80 1.00 (1) (2) (3) (4) (5) (6) (7) (8) (9) (10) クエリ 適合率 0.00 0.20 0.40 0.60 0.80 1.00 (1) (2) (3) (4) (5) (6) (7) (8) (9) (10) クエリ 再現率 0.00 0.20 0.40 0.60 0.80 1.00 (1) (2) (3) (4) (5) (6) (7) (8) (9) (10) クエリ

F値 Number ₍₁₎ _{My Neighbor Totoro(となりのトトロ)}クエリ

(2) Doraemon(ドラえもん) (3) Iaido(居合道) (4) Manzai(漫才) (5) Yukata(浴衣) (6) Urashima Taro(浦島太郎) (7) Pikachu(ピカチュウ) (8) Kinkaku-ji(鹿苑寺) (9) Hello_Kitty(ハローキティ) (10) Kyudo(弓道) 平均(適合率：0.60->0.86，再現率：0.68->0.62，F値：0.62->0.71)

(26)

結果の良い例

• 居合道

– Baseline

• 部分一致記事である武道の称号の範士が抽出，しかし柔道や弓

道の範士のように居合道に関係のない情報が抽出された

– 提案手法

• 範士，その中でも居合道の情報のみが抽出できた

• となりのトトロ

– Baseline

• 部分一致記事である狭山丘陵，地理情報などとなりのトトロと関

係のない情報が抽出された

– 提案手法

• 狭山丘陵，となりのトトロの舞台となったという情報が抽出できた

(27)

結果の悪い例

• 部分一致記事において補完情報と成り得な

い情報が抽出される場合が存在した

– 例：ドラえもん

• 部分一致記事として作者の藤子・F・不二雄が抽出

• 藤子・F・不二雄の記事では多くのセクションでドラえも

んのアンカー文字列が出現

• ドラえもん以外に多くの漫画を描いており，ドラえもん

の補完情報とならない情報が抽出された

• 比較対象となる領域が正しく決定できない場

合が存在

(28)

まとめと今後の課題

• まとめ

– Wikipediaの多言語性に着目し，内容の充実していない記

事に対し他言語のWikipediaを用いて，情報の補完を行う

手法を提案した

– 提案手法

• 比較対象記事の決定

• 比較対象領域の決定

– 比較対象記事の分類

• 領域ごとの補完情報抽出手法

• 今後の課題

– 補完情報の提示手法

– 他言語との比較

– 補完情報の分類

(29)

研究成果(1)

• Yuya Fujiwara, Yu Suzuki, Yukio Konishi, Akiyo Nadamoto, “Extracting

Difference Information from Multilingual Wikipedia”, The 14th_Asia-Pacific

International Conference on Web Technologies and Applications (APWeb’12), April 11-13, 2012,Kunming, China

• Yuya Fujiwara, Yu Suzuki, Yukio Konishi, Akiyo Nadamoto,”Extracting Lack of Information on Wikipedia by Comparing Multilingual Articles”, The 14th

International Conference on Information Integration and Web-based Applications & Services(iiWAS’12), December 3-5, 2012, Bali, Indonesia. • Yu Suzuki, Yuya Fujiwara, Yukio Konishi, Akiyo Nadamoto,”Good Quality

Complementary Information for Multilingual Wikipedia”, The 13th

International Conference on Web Information System Engineering (WISE’12), November 28-30, 2012, Paphos, Cyprus.

• Yuya Fujiwara, Yu Suzuki, Yukio Konishi, Akiyo Nadamoto,” Complementary Information for Wikipedia by Comparing Multilingual Articles”, The 15th

Asia-Pacific International Conference on Web Technologies and Applications (APWeb’13), April 4-6, 2013, Sydney, Australia. (to appear)

(30)

研究成果(2)

• Akiyo Nadamoto, Yuya Fujiwara, Yukio Konishi, Yu Suzuki, ”Extracting

Complementary Information of Wikipedia from Different Language

Articles”, International Journal of Business Intelligence and Data Mining

(IJBIDM) (to submitted)

(31)

研究成果(3)

• 藤原裕也，鈴木優，小西幸男，灘本明代，”情報の質を考慮した多言語 Wikipedia記事の差異情報抽出手法の提案”，第4回データ工学と情報マネジメントに関するフォーラム，(DEIM2012)，2012年3月 • 藤原裕也，鈴木優，小西幸男，灘本明代，“多言語Wikipediaを用いた Wikipediaの高品質な情報補完手法の提案”，第3回ソーシャルコンピューティングシンポジウム，(SoC2012)，2012年6月 • 藤原裕也，鈴木優，小西幸男，灘本明代，“言語間比較によるWikipediaの 補完情報抽出手法の提案”，第5回Webとデータベースに関するフォーラム， (WebDB Forum2012)，2012年11月 (学生奨励賞) • 藤原裕也，鈴木優，小西幸男，灘本明代，”異言語Wikipedia を用いた補 完情報の提示手法の提案”，第5回データ工学と情報マネジメントに関するフォーラム，(DEIM2013)，2013年3月 (to appear)

(32)

研究成果(4)

• 藤原裕也，灘本明代，” Wikipediaの言語間比較による差異情報抽出手法の提 案”，第152回データベースシステム研究会，(DBS152)，2011年8月 • 藤原裕也，鈴木優，灘本明代，“多言語Wikipediaの差異情報抽出手法の提 案”，第153回データベースシステム研究会，(DBS153)，2011年11月 • 藤原裕也，鈴木優，小西幸男，灘本明代，“コンテンツの質を考慮した多言語 Wikipedia記事の差異情報抽出手法の提案”，人工知能学会第26回全国大会， (JSAI2012)，2012年6月

研究会発表：3本

(33)

研究成果(5)

• 藤原裕也，鈴木優，灘本明代，“多言語Wikipediaの差異情報抽出手法の提案”，第153回デー タベースシステム研究会，(DBS153)，2011年11月 • 藤原裕也，鈴木優，小西幸男，灘本明代，”情報の質を考慮した多言語Wikipedia記事の差異 情報抽出手法の提案”，第4回データ工学と情報マネジメントに関するフォーラム，(DEIM2012)， 2012年3月 • 藤原裕也，鈴木優，小西幸男，灘本明代，“コンテンツの質を考慮した多言語Wikipedia記事の 差異情報抽出手法の提案”，人工知能学会第26回全国大会，(JSAI2012)，2012年6月 • 藤原裕也，鈴木優，小西幸男，灘本明代，“多言語Wikipediaを用いたWikipediaの高品質な情 報補完手法の提案”，第3回ソーシャルコンピューティングシンポジウム，(SoC2012)，2012年6月 • 藤原裕也，鈴木優，小西幸男，灘本明代，“言語間比較によるWikipediaの補完情報抽出手法 の提案”，第5回Webとデータベースに関するフォーラム，(WebDB Forum2012)，2012年11月 • 藤原裕也，鈴木優，小西幸男，灘本明代，”異言語Wikipedia を用いた補完情報の提示手法の 提案”，第5回データ工学と情報マネジメントに関するフォーラム，(DEIM2013)，2013年3月 (to appear)

ポスター発表：6本

(34)

賞

• 藤原裕也，鈴木優，小西幸男，灘本明代，“言語間比較に

よるWikipediaの補完情報抽出手法の提案”，第5回Webと

データベースに関するフォーラム，(WebDB Forum2012)，

2012年11月(

学生奨励賞

)

学生奨励賞

(35)

まとめと今後の課題

• まとめ

– Wikipediaの多言語性に着目し，内容の充実していない記事に

対し他言語のWikipediaを用いて，情報の補完を行う手法を提

案した

– 提案手法

• 比較対象記事の決定 • 比較対象領域の決定 – 比較対象記事の分類 • 領域ごとの補完情報抽出手法 • 補完情報提示手法

• 今後の課題

– 補完情報の提示手法

– 他言語との比較

– 補完情報の分類

(36)

(37)

(38)

英語の翻訳

GENE95辞書

Microsoft api

Google Ajax api

単語の多義性を考慮していない

(39)

全体の流れ

閲覧記事

関連する記事 1 同じﾀｲﾄﾙを持つ他言語 の記事 比較関連する記事 2

補完情報抽出

比較対象記事群

ユーザ

比較対象記事の決定

比較対象領域の決定

①

②

補完

補完情報提示手法

③

④

(40)

①比較対象記事の決定

リンク構造解析

リンクグラフの生成

比較対象ページの取得

補完情報抽出

閾値以下を取り除く 0.23

(41)

①比較対象記事の決定

• 過去の手法

– リンクグラフのノード間をCos類似度で計算

• 適合率:35%,再現率:49%,F値:41

⇒精度が低かった

アンカー文字列の出現位置

アンカー文字列の出現回数

双方向リンク注目した

記事と記事との関連する度合い

サマリにリンクを張っている記事は関連性が高い記事に何度も出現するアンカー文字列は関連性が高い

コンテンツの類似性

関連する記事はある程度内容が似ている Batting Cricket

(42)

①比較対象記事の決定

サマリ

セグメント

記事をサマリとセグメントに分割

一番初めの説明部分

①比較対象Wikipediaの記事の決定

タイトル: セグメント A

サマリ

セクション 1 セグメント B セクション 2 セグメント n セクション n

双方向リンク

の記事

(例:Batting)

アンカー文字列

サマリエリア クエリがタイトルのページ (例:Cricket) 比較対象記事のアンカー文字列が基準記事のサマリ， どのセグメントに出現するかを求める

アンカー文字列の出現位置

基準記事

(44)

①比較対象記事の決定

サマリ

双方向リンク

の記事

(例:Batting)

出現回数計算

サマリエリア クエリがタイトルのページ (例:Cricket) 比較対象記事のアンカー文字列が出現するサマリ，セグメントに対し 比較対象記事のアンカー文字列の出現回数を求める

アンカー文字列の出現回数

基準記事

(45)

①比較対象記事の決定

サマリ

双方向リンク

の記事

(例:Batting) サマリエリア クエリがタイトルのページ (例:Cricket) 比較対象記事のアンカー文字列が出現するサマリ，セグメントに対し 比較対象記事との類似度を計算

コンテンツの類似性

比較比較基準記事

(46)

①比較対象記事の決定

サマリ

双方向リンク

の記事

(例:Batting)

アンカー文字列

比較比較 サマリエリア クエリがタイトルのページ (例:Cricket) i:比較対象ノード TFsumiのサマリのアンカー文字列の出現回数 Ssumiのサマリと比較対象記事との類似度 TFikのあるセグメントのアンカー文字列の出現回数 Sikのあるセグメントと比較対象記事との類似度 n:あるlのリンクを張っているセグメントの数 max(Rim):比較対象記事群のRiの最大値

)

max(

/

)}

(

)

(

{

TF

S

TF

S

R

i i











・

②コンテンツの比較

･Wikipediaの記事は構造に基づいて段落に分かれている

→意味的に分かれている可能性が高い

・各々の段落におけるコンテンツ同士の類似度を求める・全てのコンテンツに対しある閾値以下_{である段落を補完情報として抽出} セグメント 1 セグメント 2 セグメント n

比較対象記事

閲覧記事

比較

(48)

②コンテンツの比較

例：フィッシュ・アンド・チップス

セグメント

比較対象記事

閲覧記事

記事をセグメントという単位に分ける

(49)

②コンテンツの比較

例：フィッシュ・アンド・チップス

セグメント

閲覧記事の全ての

セグメントに対し

類似度が閾値以下

補完情報

比較対象記事

閲覧記事

名詞の出現頻度を抽出名詞の出現頻度を抽出名詞の出現頻度を抽出名詞の出現頻度を抽出名詞の出現頻度を抽出





y

x

y

x

j i j i y x Cos 2 2 ) , ( xi:日本語版記事の名詞の出現頻度 yi:英語版記事の名詞の出現頻度・各々の段落におけるコンテンツ同士の類似度を求める・全てのコンテンツに対しある閾値以下_{である段落を補完情報として抽出}

(50)

④補完情報の提示

• 補完情報抽出手法により得られた補完情報

の提示

補完情報の提示

補完情報と閲覧記事との関連性に基づき閲覧記事の

適した場所に補完情報へのリンクを張りユーザに提示

目次のタイトルページ構造

④補完情報の提示

剣道(比較対象記事) 1 歴史 ・・ 4 服装・用具 1.1 江戸時代 Kendo(閲覧記事) 1 History ・・

4 Equipment and clothing

2 Practitioners ・・・・補完情報服装→equipment 用具→clothing 閲覧言語に翻訳名詞抽出 ①：補完情報の目次のタイトルに注目補完情報の目次のタイトルに注目し，タイトルの名詞を含む閲覧記事の目次に補完を行う補完目次のタイトル

(52)

④補完情報の提示

剣道(比較対象記事) 1 歴史 ・・ 1.1 江戸時代 Kendo(閲覧記事) 1 History ・・

2 Practitioners ・・・・補完情報歴史→History 閲覧言語に翻訳 1.5 年表 補完 ②： ①で補完できないかつ補完情報がサブセクションの場合サブセクションは親セクションを詳細に記載していると考え，その親セクションに注目し，親セクションのタイトルの名詞を含んでいる閲覧記事の目次に補完を行う名詞抽出ページ構造マッチング

(53)

④補完情報の提示

剣道(比較対象記事) 1 歴史 ・・ 2 組織統括 Kendo(閲覧記事) 1 History ・・ 7 Rules of Competition 2 Practitioners ・・・・補完情報 6.6 審判員 補完類似度(高) 類似度計算 閾値δ以上の場合:その中で最も高い値の場所へ補完 ③: ①と②で補完できない場合

④補完情報の提示

剣道(比較対象記事) 1 歴史 ・・ 2 組織統括 Kendo(閲覧記事) 1 History ・・ 13 See also 2 Practitioners ・・・・補完情報 6.6 審判員 類似度計算 閾値δ未満の場合:新しい情報として関連項目の手前に補完 3: 1と2で補完できない場合

• 比較対象記事決定の閾値の設定とその精度を測った

– 実験内容

• 関連度とBaseline

• Baseline:Cos類似度

• 再現率，適合率，F値を比較

• 比較言語版

– 閲覧言語:日本語版 – 比較対象言語:英語版

• 条件

– α=1〜10を1刻み – 閾値0〜1を0.05刻み

)

max(

/

)}

(

)

(

{

TF

S

TF

S

R

i i











・

実験１:比較対象記事の決定

比較対象記事の決定 補完情報抽出 Batting Laws of cricket Cricket Hockey 0.3 双方向リンクでない 0.23

(59)

クエリ 正解データ数

Bannock(food) 2 Warwick Castle 2 Black dog (ghost) 7 Fish and chips 4 Goodwood Festival of Speed 2 Bowls 2 Burleque 3 Flag of Scotland 6 Gaelic handball 4 Kipper 3 Natinal Gallery of Scotland 12 Lipton 1

実験１:比較対象記事の決定

比較対象記事の決定 補完情報抽出

正解データ:比較対象記事に成り得る記事

抽出した比較対象記事

正解データ

抽出した比較対象記事

適合率





正解データ

抽出した比較対象記事

再現率





(60)

0.2 0.25 0.3 0.35 0.4 0.45 0.5 0.55 0.6 0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1 実験1:各閾値とαにおけるF値の平均 α=1 α=2 α=3 α=4 α=5 α=6 α=7 α=8 α=9 α=10 F値閾値グラフよりα=3で閾値が0.2の時に最も高いF値を得ることができたよってα=3、閾値を0.2と設定する

実験１:比較対象記事の決定

(61)

0 0.2 0.4 0.6 0.8 1 (1) (2) (3) (4) (5) (6) (7) (8) (9) (10) (11) (12) クエリ 適合率 0 0.2 0.4 0.6 0.8 1 (1) (2) (3) (4) (5) (6) (7) (8) (9) (10) (11) (12) クエリ 再現率 0 0.2 0.4 0.6 0.8 1 (1) (2) (3) (4) (5) (6) (7) (8) (9) (10) (11) (12) クエリ Ｆ値 Number クエリ正解データ (1) Bannock (food) 2 (2) Warwick Castle 2 (3) Black dog (ghost) 7 (4) Fish and chips 4 (5) Goodwood Festival of Speed 2 (6) Bowls 2 (7) Burlesque 3 (8) Flag of Scotland 6 (9) Gaelic handball 4 (10) Kipper 3 (11) National Gallery of Scotland 12 (12) Lipton 1 平均(適合率:0.37->0.59，再現率:0.45->0.64，F値：0.36->0.52)

実験１:比較対象記事の決定

(62)

• 結果の良い例(Gaelic handball)

– Baseline

• 関連する記事であるGAA Handballという

Gaelic handballの理事会の記事が抽出できなかった

• Gaelic handballとGaelic handballの理事会の場合は理

事会はGaelic handballの競技の説明をしているわけで

はない．値が低くなり抽出できなかった

実験１:比較対象記事の決定

比較対象記事の決定 補完情報抽出 _________ _________ _________ _________ _________ _________ _________ _________

Gaelic handball GAA handball 比較

(63)

• 結果の良い例(Gaelic handball)

– 提案手法

• 関連する記事であるGAA Handballが抽出

• Gaelic handballの記事の中にあるGaelic handballの理

事会を説明している部分とGaelic handballの理事会の

記事を比較．関連度が高くなり抽出できた

実験１:比較対象記事の決定

比較対象記事の決定 補完情報抽出 _________ _________ _________ _________

Gaelic handball GAA handball 比較

GAA Handball の説明

(64)

• 比較対象記事であるにも関わらず比較対象

記事として抽出されない記事が存在した

– 例：Bowls

• 比較対象記事であるWorld Bowls Eventsが抽出できな

かった

• アンカー文字列がSee also(関連項目)に出現

実験１:比較対象記事の決定

比較対象記事の決定

(65)

• 得られた比較対象記事と閲覧記事を用いて補

完情報抽出を行い最適な閾値を求めた

– 内容

• コンテンツの比較の際の閾値

• 条件

– 閾値0〜1を0.05刻み

– 補完情報の適合率、再現率、F値

• 比較言語

– 閲覧言語:日本語版

– 比較対象言語:英語版

• 実験対象記事:評価実験１と同じ

評価実験２：補完情報抽出

セグメント 1 セグメント 2 セグメント n 比較対象記事セグメント 1 セグメント 2 セグメント n 閲覧記事 比較

(66)

図より閾値が0.2の時に適合率，再現率が交わり共に高い値となった

これにより，本研究では

_閾値を0.2

_{と設定し補完情報の抽出を行う}

評価実験２：補完情報抽出

(67)

• 提案手法の有用性を示すための評価実験を行っ

た

– 内容

• 提案手法で得られた補完情報の適合率、再現率、F値

• 比較言語

– 閲覧言語:日本語版 – 比較対象言語:英語版

• 実験対象記事:評価実験１と同じ

• 設定

– 関連度の式のα:3.0(評価実験1より) – 関連度の閾値β:0.2(評価実験1より) – コンテンツの比較の閾値γ：0.2(評価実験2より) 比較対象記事の決定 補完情報抽出

評価実験３:提案手法の精度

(68)

クエリ 正解データ数

Bannock(food) 2 Warwick Castle 12 Black dog (ghost) 32 Fish and chips 11 Goodwood Festival of Speed 10 Bowls 9 Burleque 22 Flag of Scotland 56 Gaelic handball 16 Kipper 16 Natinal Gallery of Scotland 4 Lipton 8

正解データ:補完情報となるセグメント

抽出した補完情報

正解データ

抽出した補完情報

適合率





正解データ

抽出した補完情報

再現率





評価実験３:提案手法の精度

(69)

クエリ提案手法

適合率再現率Ｆ値 Bannock (food) 0.33 0.5 0.4 Warwick Castle 0.79 0.92 0.85 Black dog (ghost) 0.89 0.78 0.83 Fish and chips 0.45 0.82 0.58 Goodwood Festival of Speed 0.6 0.6 0.6

Bowls 0.5 1 0.67

Burlesque 0.71 0.45 0.56 Flag of Scotland 0.98 0.88 0.92 Gaelic handball 0.68 0.94 0.79

Kipper 0.88 0.94 0.91

National Gallery of Scotland 0.57 1 0.72

Lipton 0.71 0.63 0.67 平均 _0.67 _0.79 _0.71

適合率の平均：0.67，再現率の平均：0.79，Ｆ値の平均：0.71

高い結果を得ることができ提案手法の有用性を示すことができた

評価実験３:提案手法の精度

(70)

• 結果の良い例

– Lipton

• 日本語版にはティーパックの説明しかない

• 英語版にはトーマスリプトンがイエローラベルを考えた

など情報が存在，そのイエローラベルの情報が補完情

報として抽出された

– Fish and Chips

• 比較対象記事としてマッシピーの記事が抽出

• 地域によるマッシピーの種類について情報が抽出

評価実験３:提案手法の精度

(71)

• 閲覧記事と関係のない情報が補完情報として

抽出される場合が存在した

– 例：Black dog (ghost)

• 関連する記事としてHanging Hillsというアメリカに存在す

る丘の記事が抽出された

• この丘はブラック・ドッグが伝承されている

• Hanging Hillsの記事にはブラック・ドッグの情報は一部分

• この丘の地理情報や地質などはブラック・ドッグの補完

情報に成り得ない

評価実験３:提案手法の精度

今後は関係のない情報の削除を考える必要がある

(72)

実験1

• 実際にLSP法により包含関係記事が抽出でき

るか実験を行った

– 条件

• 判定

– 比較基準記事と包含関係で

あるかどうか

– 適合率，再現率，F値

• 対象

– 比較基準記事に双方向リンク

されている全ての記事

クエリ 双方向リンクの 記事数 包含関係 記事の数 漫才 24 8 マナー 4 3 居合道 7 4 忍者 29 15 正岡子規 23 7 下駄 10 2 扇子 6 3 寿司 39 16 花札 9 5 剣道 58 32

(73)

実験1

・リード部分に比較基準記事のアンカー文字列が存在しないにも関わらず包含関係になっている記事が存在．例:->寿司と大村寿司･リード部分に比較基準記事のアンカー文字列が存在するにも関わらず包含関係ではない記事が存在例：->正岡子規と夏目漱石

考察

・適合率：0.73，再現率：0.86，F値：0.77

結果

クエリ 包含関係記事の例 漫才浪曲漫才ツッコミマナーレディーファースト日本の食事作法寿司稲荷寿司ちらし寿司

(74)

実験2

• 部分一致記事が抽出の精度とその比較領域の精

度を測った

– 条件

• 判定

– 比較基準記事と部分一致記事であるかどうか – 適合率，再現率，F値

• 対象

– 比較基準記事に双方向リンクされている全ての記事 クエリ 双方向リンクの 記事数 部分一致 記事の数 となりのトトロ 28 1 ドラえもん 34 2 居合道 7 2 漫才 29 2 浴衣 6 4 浦島太郎 10 5 ピカチュウ 12 3 鹿苑寺 18 4 ハローキティ 30 8 弓道 24 4

・適合率：0.99，再現率：0.96，F値：0.97

結果

(75)

実験3

• 部分一致記事の比較領域の精度の測った

– 条件

• 判定

– 比較領域が閲覧記事と関係があるか

– 適合率，再現率，F値

• 対象

– 比較基準記事に双方向リンクされている全ての記事

• データセット

– 実験2と同じ

(76)

実験3

• 結果

– 適合率：0.73，再現率：0.81，F値：0.74

• 考察

– アンカー文字列が存在する段落にも関わらず比較領

域にならないものが存在(例：ドラえもん)

• 比較対象記事として作者の藤子・F・不二雄が抽出．彼は他

にも多くの漫画を描いており，ドラえもんと関係のない情報

も抽出された

– セクション全体が比較領域になるはずが段落のみに

なる場合が存在(例：浦島太郎)

• 本来，丹後国風土記のセクションである浦島伝説が比較領

域であるがアンカー文字列を含んでない

• 浦島太郎の類義語が浦島伝説

(77)

考察

• 比較対象となる領域が正しく決定できない場

合が存在

– 例：浦島太郎

• 部分一致記事として荘内半島が抽出

比較対象 荘内半島 浦島伝説は浦島太郎の同義語

(78)

補完情報提示の実験

• 補完情報提示手法の有用性を示す実験を

行った

– 実験内容

• 補完情報抽出手法により抽出できた補完情報を用いて

最適な閾値δと補完情報提示の適合率を測った

• 比較言語版

– 閲覧言語：英語版

– 比較対象言語：日本語版

• 実験条件

– 閾値δ：0～0.2の範囲を0.05刻み

(79)

補完情報提示の実験

0.5 0.55 0.6 0.65 0.7 0 0.01 0.02 0.03 0.04 0.05 0.06 0.07 0.08 0.09 0.1 0.11 0.12 0.13 0.14 0.15 0.16 0.17 0.18 0.19 0.2 平均適合率 閾値δ 補完情報提示の適合率 適合率閾値0.07の時に最も高い適合率を得ることができた．よって本研究では閾値δを0.07とし補完情報の補完を行う．結果 _{平均適合率0.65}

(80)

・結果の良かった例としてKyudo(弓道)が挙げられる． Kyudoの補完情報として「弓道場」がKyudoの道場について説明している場所に補完することができた・さらにKyudoに記載されていない「礼法」の情報が新しい情報としてSee alsoの手前に補完することができた

補完情報提示の実験

# クエリ適合率 (1) My Neighbor Totoro(となりのトトロ) 0.53 (2) Ninja(忍者) 0.67 (3) Urashima Taro(浦島太郎) 0.71 (4) Yukata(浴衣) 0.5 (5) Doraemon(ドラえもん) 0.65 (6) Hello Kitty(ハローキティ) 0.65 (7) Iaido(居合道) 0.71 (8) Kendo(剣道) 0.83 (9) Kyudo(弓道) 0.75 (10) Manzai(漫才) 0.67 (11) Tempura(天ぷら) 0.61 (12) Onigiri(おにぎり) 0.5 平均 - 0.65 0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1 (1) (2) (3) (4) (5) (6) (7) (8) (9) (10) (11) (12) 適合率 結果考察

(81)

・結果の悪かったものとしてある補完情報が本来複数の場所に補完されるべきである場合が存在した・関連する記事として抽出した比較対象記事の補完情報に対しては正しく補完されない場合が存在した

補完情報提示の実験

# クエリ適合率 (1) My Neighbor Totoro(となりのトトロ) 0.53 (2) Ninja(忍者) 0.67 (3) Urashima Taro(浦島太郎) 0.71 (4) Yukata(浴衣) 0.5 (5) Doraemon(ドラえもん) 0.65 (6) Hello Kitty(ハローキティ) 0.65 (7) Iaido(居合道) 0.71 (8) Kendo(剣道) 0.83 (9) Kyudo(弓道) 0.75 (10) Manzai(漫才) 0.67 (11) Tempura(天ぷら) 0.61 (12) Onigiri(おにぎり) 0.5 平均 - 0.65 0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1 (1) (2) (3) (4) (5) (6) (7) (8) (9) (10) (11) (12) 適合率 結果考察

(82)

(83)

補完情報の提示

1. 補完情報の目次のタイトルから名詞を抽出 2. 名詞を閲覧言語に翻訳 3. 翻訳した名詞と閲覧記事の目次全てとマッチング 4. 翻訳した名詞を含んでいる閲覧記事の目次に補完情報へのリンク挿入 剣道(比較対象記事) 1 歴史 ・・ 4 服装・用具 1.1 江戸時代 Kendo(閲覧記事) 1 History ・・

2 Practitioners ・・・・補完情報服装→equipment 用具→clothing 閲覧言語に翻訳名詞抽出パターン1 補完情報と閲覧記事との関連性に基づき閲覧記事の適した場所に補完情報へのリンクを張りユーザに提示補完

(84)

補完情報の提示

1. そのサブセクションの親セクションの目次のタイトルから名詞を抽出 2. その名詞を閲覧言語に翻訳 3. 翻訳した名詞と閲覧記事の目次全てとマッチング 4. 翻訳した名詞を含んでいる閲覧記事の目次に補完情報を挿入 剣道(比較対象記事) 1 歴史 ・・ 1.1 江戸時代 Kendo(閲覧記事) 1 History ・・

2 Practitioners ・・・・補完情報歴史→History 閲覧言語に翻訳 1.5 年表 補完パターン1で補完できないかつ補完情報がサブセクションの場合サブセクションは親セクションを詳細に記載していると考え，その親セクションに注目名詞抽出

(85)

補完情報の提示

1. 閲覧記事をセグメントに分割 2. 閲覧記事の各セグメントと補完情報との類似度を計算 3. 類似度がある閾値δ以上の場合はその中で最も高い値の場所へ補完類似度がある閾値δ未満の場合は新しい情報として関連項目の手前に補完 剣道(比較対象記事) 1 歴史 ・・ 2 組織統括 Kendo(閲覧記事) 1 History ・・ 7 Rules of Competition 2 Practitioners ・・・・補完情報 6.6 審判員 補完類似度(高) 類似度計算 閾値δ以上の場合 パターン1とパターン2で補完できない場合関連している情報はある程度類似していると考え類似度が最も高い場所に補完

(86)

補完情報の提示

1. 閲覧記事をセグメントに分割 2. 閲覧記事の各セグメントと補完情報との類似度を計算 3. 類似度がある閾値δ以上の場合はその中で最も高い値の場所へ補完類似度がある閾値δ未満の場合は新しい情報として関連項目の手前に補完 剣道(比較対象記事) 1 歴史 ・・ 2 組織統括 Kendo(閲覧記事) 1 History ・・ 13 See also 2 Practitioners ・・・・補完情報 6.6 審判員 類似度計算 閾値δ未満の場合 パターン1とパターン2で補完できない場合関連している情報はある程度類似していると考え類似度が最も高い場所に補完

言語間比較に基づくWikipediaの補完情報抽出手法の提案