修 士論 文

16890523

修 士論 文

カ ー ネ ル 埋 め 込 み を用 いた英 語 学 習 者 向 け用例 検 索

塩 田 健人

20!8年2月23日

首都大学東京大学院

本論文 は首都大 学東 京大 学院 システムデザイ ン研 究科 に 修 士(工 学〉授与 の要件 として提 出 した修 士論文で あ る.

塩田 健人

審査委員:

小町 守 准教授 石川 博 教授 片山 薫 准教授

(主指導教員) (副指導教員) (笛狩旨導教員)

カ ーネ ル埋 め込 み を用 い た英 語 学 習者 向 け用例 検 索*

塩田 健人

内容梗概

近年,英 語 学習者 向け の学習支援 に関す る研 究が多 くされ てい る.学 習支 援シス テムの中 には,学 習者 が書 いた英文 の誤 りを発見す る ものや その誤 りを訂 正す るも の,ま た英文 を書 く際 に補助 とな るよ うな英作文支援 システ ムが存在 して いる.英 作文 の支援 を す るこ とは,英 語学習者 の英作文時 の負荷 を減 らす と同時 に間違い を 減 らす こ とに貢献 す るので有意 義で ある。

しか し,熟 練 した英 語学習者で あって も特 定の ドメイ ンにおいて適切 な表現や様 式 に沿 って英文 を書 くこ とは難 しい.従 って,英 語学 習者 が英文 を書 く際 に書 きた い文 に関係す るキー ワー ドを用 いて特定 ドメ インの コーパ スに基づ き,英 文 を検索 して表 示す るシステ ムは有益 であ る.そ こで,我 々は英作文支援 のア プローチの一 つで あ る用例 検索 に取 り組 む.

英 語学習者が書 きたい文 に関係 す る英文を検 索す る場合,GoogleやYahoo!な ど の既 存 の検索 エ ンジンを用 いて キーワー ドに関連 す る英文 を検索 す る こ とが あ る と 考 え られ る.し か しなが ら,既 存 の検索 エ ンジ ンで は英語 学習者 が英 文 を書 く際 に 用例 検索 をす る ことに最 適化 されて いないため,英 語学習者 が期待 す る ような検索 結果 を得 られ る こ とは難 しい と考 え られ る.ま た,既 存 の英作 文検 索 ッール は,学 習者が検索 をす るため にクエ リに入力 した単 語の表層 を利用 して用例 文 を検索す る ものが多 い.そ のよ うな ツー ルにおいては,英 語 学習者 の書 きたい英文 を表す クエ リ,つ ま り,学 習者 が持 つ情報 要 求に即 した クエ リを考 えて入力す る こ とが前提 と され てい る.し か し,学 習者 に とって は自身の情報欲 求を再 現 するよ うな英文 を表 現す る適切 な クエ リを考 え る ことは困難 で ある と考 え られ る.

そ こで,我 々 は学習者が考 えた クエ リの背景 にあ る潜在 的 な情報要 求 を満 たす新 しい文 検索手法 を提 案す る.我 々が提 案す る手法 は,ク エ リ と検索対 象の文 にそれ

‡首 都 大 学 東 京 大学 院 シ ス テ ム デ ザ イ ン研 究 科情 報 通信 シ ステ ム学 域 専攻 修 士 論 文

,16890523,

そ れ を 表 す よ う な 潜 在 的 な 確 率 分 布 が 存 在 す る と仮 定 す る こ と に よ り,各 分 布 間 の 距 離 が 近 い も の を 潜 在 的 な 意 味 を 考 慮 し た クエ リ と文 の 組 み 合 わ せ と し て 扱 う こ と を 可 能 に す る.さ ら に,潜 在 的 な 確 率 分 布 を 考 慮 す る こ と に よ り,文 検 索 に お い て ク エ リ に 表 現 力 を 追 加 す る こ とが で き る と考 え られ る.我 々 は 潜 在 的 な 確 率 分 布 と 分 布 間 の 距 離 を 表 現 す る た め に,分 布 の カ ー ネ ル 埋 め 込 み の 枠 組 み を 用 い て こ の 問 題 に取 り組 ん だ.分 布 の カ ー ネ ル 埋 め 込 み とは,カ ー ネ ル で 表 現 さ れ る 高 次 元 空 間 上 に分 布 を マ ッ プ す る こ とで あ る.こ の 手 法 を 使 う こ とに よ り,分 布 間 の 類 似 度 を 比 較 的 容 易 に 計 算 す る こ とが 可 能 とな る.加 え て,ク エ リ と検 索 対 象 文 の 分 布 間 の 距 離 は そ れ ぞ れ の イ ン ス タ ン ス 問 の 内 積 に よ っ て 計 算 さ れ る が,単 純 な こ の 方 法 で の ク エ リー文 間 の 類 似 度 は ク エ リ の 単 語 と全 く関 係 が な い 文 中 の 単 語 ま で 計 算 に 考 慮 さ れ て し ま い,ク エ リ の 潜 在 的 な 意 味 が 十 分 に反 映 され な い 問 題 が あ る.そ こ で,我 々 はN‑gram窓 を 用 い る こ と に よ り,ク エ リ と関 係 度 が 高 い 文 中 の 単 語 を ピ

ン ポ イ ン トで 考 慮 す る こ と を 可 能 に す る こ と を 示 した.

英 語 学 習 者 に よ っ て ア ノ テ ー シ ョ ン さ れ た ク エ リー適 合 文 の デ ー タ セ ッ トを 使 っ たPrecision◎kに よ る 評 価 実 験 の 結 果,我 々 の 提 案 手 法 は 文 問 類 似 度 タ ス ク の 先 行 研 究 に お け る教 師 な し手 法 よ り高 い 適 合 率 を 達 成 した,

本 研 究 の 貢 献 は 以 下 の3つ で あ る.

・ 分 布 の カ ー ネ ル 埋 め 込 み とN‑gram窓 を 用 い た 新 しい 文 検 索 の 類 似 度 計 算 法 を 提 案 し た.

・ 大 学 広 報 に 関 す る コ ー パ ス を作 成 し,2語 の ク エ リ に 関 連 す る 英 語 学 習 者 の た め の 例 文 を ア ノ テ ー シ ョ ン し た,

・ 我 々 が 作 成 し た コ ー パ ス を 用 い た 評 価 実 験 で,先 行 研 究 で あ る 教 師 な し文 間 類 似 度 計 算 法 に 対 し て 提 案 手 法 が 高 い 適 合 率 を 達 成 し た.

キー ワー ド

修 士論 文,首 都大 学東京大 学院,自 然 言語処理,学 習支援,用 例検 索

●‑且■ーユ

SuggestingSentencesforEnglishasaSecond LanguageusingKernelEmbeddings*

KentShioda

Abs七ract

Inrecen七years,七herearemanys七udiesonlearningsupportforEnglishas aSecondLanguage(ESL)learners.Therearesomewritingassistanttools

tha七findandcorrec七errorsinEnglishsen七enceswri七tenbylearners.Assis七ing Englishwri七ingismeaningfulasi七contributestoreducing七heburdenofESL Englishcomposi七ionatthesame七imeasreducing七hemistakes.

However,evenforadvan.cedESLlearners,itisdifiicUlttowri七esentencescon‑

fbrming七 〇thes七ylesandexpressionsinaspecificdomain.Inexistingsearch engines,sys七emsarenotoptimizedforretrieVingexamplesen.tenceswhenwrit‑

ingEn.glishsentences,soitisconsidereddif丑cult七 〇 〇b七ainqueryin七en七expected byEnglishlearn.ers.Also,existing七 〇〇lssearchforexamplesen七en・cesusingthe surfacelayerofthewords七ha七 七helearnerhasen七eredinthequerybecause 七hequeryisassumedtorepresen七anEn.glishsentencethat七heESLlearner

wishestowrite.且owever,itisconsidereddiMcul七forESLlearner七 〇 七hinkof

anapPropria七equerytha七expressesEnglishse1〕.七enceεthatreproducehisorher inform、ationneed,Therefore,itisbeneficialfbrnon‑nativespeakerstosearch forsen七encesusingkeywordsthat七hewri七eraimstouse.So,wetackleexam‑

plesen七encesearchwi七hla七entintent七 〇suppor七EnglishcompositionforESL learners.

ESLlearnersarefamiliarwithwebsearchengines,bu七gerLericwebsearch resul七smayno七beadequa七eforcomposingdocumen七sillaspecificdomain.

However,ifwebUildourownsearchsystemspecializedtoadomain,itmaybe

宰Master'sThesis

,DepartlnentofInform乱tionandCommunicationSystem,Gr乱duateSchool ofSystemDesign,TokyoMetropolita皿Vniversity,16890523,February23,2018.

subject七 〇 七heda七asparsenessproblem,

Recentlyproposedword2vecpartiallyaddresses七hedatasparsenessproblem, butfails七 〇ex七rac七sen七encesrelevanttoqueriesowingtothemodelingofthela‑

tentinten七 〇fthequery.Weaddressthisproblembyusingakernelembeddings

framework.Kernelembeddingsmakei七possibletoaddexpressiveness七 〇 七he

queryinsentenceretrievalbyusinglatentprobabili七ydis七ribu七ion.Inaddition, ourmethodof七akingN‑gramwindowsboos七s七heprecisionofsentenceretrieval

byconsideringwords七hatarehighlyrela七ed七 〇 七hequery.Thismethodimplic‑

itlymodelslatentintentofqueryandsentences,andalleViatestheproblernof

noisyalignmen七 、Ourresul七sshow七ha七 〇urme七hodachievedhigherprecision insentenceretrievalforESLinthedomainofauniversitypressreleasecorpus,

ascomparedtoapreViousunsuperVisedmethodusedforasemantictextual similari七y七ask.

Themaincontrjbutionsofthisstudyareasfollows:

●Weprop(rseanovelsen七encesimilaritymetricbasedonkernelembeddings andN‑gramwindows.

●Webuildacorpusofuniversitypressreleasesandannota七edexample sentencesforESL,givenaqueryoftwowords.

●Weshowtha七 〇urproposedmethodoutperformsunsuperVisedbaselines onourdataset,

Keywords:

Master'sThesis,TMU,Na七uralLanguageProcessing,LearningSupport,Ex‑

ampleSentencesRe七rieva1

iv

目次

図 目次 ^vii

第1章 は じ め に

1.1背 景...

‑⊥‑⊥

第2章 2.1 2.2

関連研究

英作文支援 ツール カ ーネル埋 め込 み

う﹂34

第3章 3.1 3.2 3.3

分布 のカーネル埋 め込み によるクエ リー文 間類似度計算 法

分 布 の カ ー ネ ル 埋 め 込 み...

文 間 類 似 度 の 数 学 的 解 釈...

N‑gram窓...̲̲...

・.・ ■ ■ ● ■ ● ● ●,...

■ 酢...

■ ● ● ● ● ● ● ■ ● ■ ■

6689

第4章 4.1 4,2 4.3

4.4

英 語 学 習 者 向 け の 用 例 検 索 実 験

実 験 設 定...

デ ー タ...置,..

用 例 検 索 実 験...

43.1

43.2

4.3.3

考 察...

● ●

●

単 語 ベ ク ト ル の 平 均 に よ る 文 間 類 似 度....

ア ラ イ メ ン ト ベ ー ス の 文 間 類 似 度...

実 験 結 果....,.̲....,、.,

■ ●

10

...10

..10

...11

...11

...12

..,12

、13

第5章 5.1 5.2 5.3 5.4 5.5

英語学習者向けの作文支援実験16

実 験 設 定...

デ ー タ

評 価 方 法̲...

実 験 結 果...,..

考 察...,...

.,,.16

..18

...18

...←.18

...19

第6章 おわ りに

謝 辞

参 考文献

噌⊥亡﹂7‑h∠︹∠リム

vi

図 目次

‑ゐ2121122244Eりゅ0声0

"Wedevelopedasystem"の 係 り 受 け 例

図2.1を 入 力 と し た 出 力 例...

コ サ イ ン 類 似 度 のp◎k,.■ ■..■ ■.

RBFカ ー ネ ル のp◎k.̲,̲̲.

シ ス テ ム の 出 力 画 面...

実 験 へ の 協 力 依 頼 書..

実 験 指 示 書...,....

..3 ..3

..14 .14

17

.23 .24

第1章 は じめ に

1.1背 景

近年,英 語学 習者 向けの学習 支援 に関す る研究が 多 くされて いる.学 習支援 シス テムの中 には,学 習者 が書 いた英文 の誤 りを発見 する ものや その誤 りを訂正 す るも の,ま た英文 を・書 く際 に補助 とな るよ うな英作文支援 システ ムが存在 して い る.英 作文 の支援 をす るこ とは,英 語 学習者の英作文時 の負 荷を減 らす と同時 に間違 いを 減 らす ことに貢献 す るので有意義で ある.

しか し,熟 練 した英語学 習者 で あって も特定 の ドメイ ンにおいて適切 な表現や様 式に沿 って英 文 を書 くこ とは難 しい.従 って,英 語 学習者 が英文 を書 く際 に書 きた い文 に関係 す るキー ワー ドを用 いて特定 ドメイ ンの コーパ スに基 づ き,英 文 を検 索 して表示 す るシステムは有益 で ある,そ こで,我 々は英作文支援 の アプローチの一・

つで ある用例検索 に取 り組 む,

英語学習者 が書 きた い文 に関係 す る英文を検索 する場合,GoogleやYahoo1な ど の既 存 の検索 エ ンジ ンを用 いて キーワー ドに関連 す る英文 を検索 す る こ とが ある と 考え られ る.し か しなが ら,既 存 の検索エ ンジ ンで は英語学 習者 が英文 を書 く際 に 用例 検索 をす るこ とに最 適化 されて いないた め,英 語学習者 が期待す る ような検 索 結果 を得 られ るこ とは難 しい と考 え られ る.ま た,既 存 の英 作文検索 ツー ルは,学 習者が検索 をす るために クエ リに入力 した単 語の表層 を利用 して用例 文 を検索 する ものが多 い.そ の ような ツー ルにおいては,英 語学習者 の書 きたい英文 を表す クエ リ,つ ま り,学 習者 が持 つ情報要 求に即 した クエ リを考 えて入力す る こ とが前提 と されて い る.し か し,学 習者 に とっては 自身 の情報欲 求を再 現す るよ うな英文 を表 現す る適切 な クエ リを考 え るこ とは困難 であ る と考 え られ る.

そ こで,我 々は学習者 が考 えた クエ リの背 景 にあ る潜在 的な情報要 求 を満 たす新 しい文検 索手法 を提 案す る.我 々が提案 す る手法 は,ク エ リと検索 対象の文 にそれ ぞれ を表す よ うな潜在 的 な確 率分 布が存在す る と仮定 す る こ とによ り,各 分布 間の 距離 が近い もの を潜 在的 な意 味を考慮 した クエ リと文 の組 み合 わせ として扱 うこ と を可能 にす る.さ らに,潜 在 的な確率分布 を考慮 す る ことに よ り,文 検索 において

クエ リ に表 現 力 を追 加 す る こ とが で き る と考 え られ る.我 々 は潜 在 的 な確 率 分 布 と 分布 間 の距 離 を表現 す るため に,分 布 のカ ーネル埋 め込 みの枠組 み を用 いて この問

題 に取 り組 ん だ.分 布 の カ ー ネ ル 埋 め 込 み とは,カ ー ネ ル で 表 現 され る 高 次 元 空 間 上 に分 布 を マ ッ プ す る こ とで あ る.こ の 手 法 を 使 う こ と に よ り,分 布 問 の 類 似 度 を 比 較 的 容 易 に計 算 す る こ とが 可 能 と な る.加 え て,ク エ リ と検 索 対 象 文 の 分 布 問 の 距 離 は そ れ ぞ れ の イ ン ス タ ン ス 間 の 内 積 に よ っ て 計 算 さ れ る が,単 純 な こ の 方 法 で の ク エ リー文 間 の 類 似 度 は ク エ リ の 単 語 と全 く関 係 が な い 文 中 の 単 語 ま で 計 算 に 考 慮 さ れ て し ま い,ク エ リ の 潜 在 的 な 意 味 が 十 分 に 反 映 さ れ な い 問 題 が あ る.そ こ で,我 々 はN‑gram窓 を 用 い る こ と に よ り,ク エ リ と関 係 度 が 高 い 文 中 の 単 語 を ピ ン ポ イ ン トで 考 慮 す る こ と を 可 能 に す る こ とを 示 した.

英 語 学 習 者 に よ っ て ア ノ テ ー シ ョ ン さ れ た ク エ リー適 合 文 の デ ー タ セ ッ トを 使 っ たPrecision◎kに よ る 評 価 実 験 の 結 果,我 々 の 提 案 手 法 は文 問 類 似 度 タ ス ク の 先 行 研 究 に お け る教 師 な し手 法 よ り高 い 適 合 率 を 達 成 し た.

本 研 究 の 貢 献 は 以 下 の3つ で あ る.

・ 分 布 の カ ー ネ ル 埋 め 込 み とN‑gram窓 を 用 い た 新 し い 文 検 索 の 類 似 度 計 算 法 を 提 案 し た.

・ 大 学 広 報 に 関 す る コ ー パ ス を作 成 し,2語 の ク エ リ に 関 連 す る 英 語 学 習 者 の た め の 例 文 を ア ノ テ ー シ ョ ン し た.

● 我 々 が 作 成 し た コ ー パ ス を 用 い た 評 価 実 験 で,提 案 手 法 が 先 行 研 究 で あ る教 師 な し 文 問 類 似 度 計 算 法 に 対 し て 高 い 適 合 率 を 達 成 した 。

本論文 の構成 は以下 の よ うにな って い る.第1章 で は本研究全体 の概 要,貢 献を 述 べ る.第2章 で は英語学 習者 向 けの英作文支 援 の先行 研究 につ いて述べ る.第3 章 で は分布 のカ ーネ ル埋 め込 み に よる クエ リー文 間類似 度計算法 につい て詳 し く述 べ る.第4章 で は英語学習者 向けの用例検索 実験つい て述 べ る.第5章 で は第4章 で の実験 結果 を も とに考 察 を述べ る.最 後 に第6章 で本研 究 のま とめ,今 後 の展望 について述べ る.

2

第2章 関 連 研 究

2.1英 作 文 支 援 ツ ー ル

近 年,多 くの 英 作 文 支 援 シ ス テ ム が 開 発 され て い る.そ の 中 の1つ と し て,松 原 らが 作 成 し た 英 文 検 索 シ ス テ ムESCORT[1]が 挙 げ ら れ る.こ の シ ス テ ム は 学 術 論 文 や 調 査 報 告 な ど を 書 く と き に 使 用 さ れ る こ と を 想 定 さ れ,ユ ー ザ が 英 文 を 作 成 す る 際 に 用 い る 単 語 の 使 い 方 の 用 例 を 見 せ る こ と を 目 的 と し て い る.図2.1と 図 2.2に 例 を 示 す.入 力 と な る キ ー ワ ー ド間 に 図2,1の よ う な 構 文 関 係 が 存 在 す る 場 合,そ れ ら ・キ ー ワ ー ドを 構 文 解 析 し,図2、2の よ う な 同 じ構 文 構 造 を し て い る 文 を 英 語 論 文 か ら取 り出 され て き た 大 量 の 文 か ら 構 成 さ れ る コ ー パ スか ら検 索 し て 出 力 す る シ ス テ ム で あ る.

ハ/《

Wedevelopedasystem

図2.1"Wedevelopedasystem"の 係 り 受 け 例

WedevelopedatranslationsystemwithPertlanguage.

図2.2図2.1を 入 力 と した 出 力 例

しか し,こ の シ ス テ ム は 入 力 の キ ー ワ ー ドか ら コ ー パ ス 中 の 文 を 検 索 す る 際 に 語 幹 の 完 全 一 致 で 構 文 解 析 を 行 う.そ の た め,単 語 の 分 散 表 現 で 得 ら れ る よ う な 周 辺 文 脈 は 同 じ で あ る が 表 記 上 は 違 う 単 語 に つ い て は 検 索 対 象 か ら 外 れ て し ま う 問 題 が あ る.ま た,ユ ー ザ が 思 い つ く キ ー ワ ー ドに 必 ず し も構 文 構 造 が あ る と は 限 ら な い.こ の 問 題 は キ ー ワ ー ド間 に 構 文 構 造 が あ る 前 提 で 設 計 さ れ て い る シ ス テ ム に お い て は 致 命 的 な 問 題 で あ る.ま た,単 語 の 完 全 一 致 で 検 索 し て い る た め,松 原 ら の

手 法 で は ク エ リ の 潜 在 的 な 意 図 を モ デ ル 化 で き て い な い.

一 方,Chenら[2]は 英 語 学 習 者 に 向 け て 英 作 文 支 援 ツ ー ル を 開 発 し た.こ の FLOWと 呼 ば れ る シ ス テ ム は,非 ネ イ テ ィ ヴ の 語 彙 力 を 補 う こ とが で き る.英 語 学 習 者 が 英 語 を 語 彙 力 不 足 で 書 く こ とが で き な い 場 合 で も,肌OWを 使 え ぼ 彼 ら は 第 一 言 語 で 文 の 途 中 か ら書 き進 め る こ とが 可 能 で あ る.FLOWは 既 に 書 か れ て い る 英 文 か ら文 脈 を 認 識 す る こ とが で き,文 脈 を 考 慮 して 書 き 手 の 第 一 言 語 を 英 語 へ と翻 訳 す る.こ の シス テ ム は書 き手 の潜 在 的 な意 図 を 第 一 言 語 で 書 く こ とを許 容 す る こ と に よ り考 慮 で き て い る と言 え る.し か し,我 々 の 手 法 で は 分 布 の カ ー ネ ル 埋 め込 み を 使 用 す る こ と に よ り,文 の モ デ ル 化 を 改 善 で き る.

加 え て,Hayashibeら[3]は 書 き 手 が 書 くの と同 時 に 英 文 を 書 く支 援 を す る ッ ー ル を 開 発 し た.彼 ら の シ ス テ ム は,英 語 に 加 え て ロ ー マ 字 で 書 か れ た 日本 語 を 入 力 と し て 受 け 入 れ て お り,Chenら[2]の よ う に 書 き 手 の 第 一 言 語 を 考 慮 可 能 で あ る.

こ の ツ ー ル は ク エ リ に入 力 され た 情 報 に基 づ い て 文 脈 に 合 っ た 句 を 書 き 手 に 提 示 す る.一 方 で,我 々 は2語 だ け を 入 力 と して 要 求 し て い る.ま た,検 索 す る 際 に 彼 ら の 手 法 は 入 力 の 完 全 一 致 を 使 用 し て い る た め,検 索 結 果 に お け る 再 現 率 に 悪 影 響 を 与 え て い る 可 能 性 が あ る.

2.2カ ー ネ ル 埋 め 込 み

自然 言 語 処 理 を 行 う に あ た っ て,単 語 や 文 な ど の 意 味 を 考 慮 し た 類 似 度 を 計 算 す る こ と は 重 要 な タ ス ク で あ る.類 似 度 を 計 算 す る 際 に,Glove[4]やword2vec[51

に代 表 さ れ る 単 語 の 分 散 表 現 を 使 用 す る 手 法 が 自然 言 語 処 理 の 様 々 な タ ス ク に お い て 成 果 を 出 し て い る.単 語 の 分 散 表 現 とは,単 語 を ベ ク トル 化 す る 際 に1‑of‑‑Kに 代 表 さ れ る よ う な 疎 な ベ ク トル で は な く,密 な ベ ク トル と し て ベ ク トル 化 を 行 う.

この 手 法 に よ り,1‑of‑Kの ベ ク トル 表 現 で は 十 分 に 考 慮 す る こ とが で き な か っ た 単 語 の 意 味 を 考 慮 す る こ とが 可 能 に な り,単 語 の 意 味 の 演 算 が 可 能 に な っ た.し か し,単 語 で は な く文 や フ レ ー ズ 単 位 で の 意 味 表 現 を ベ ク トル 空 間 上 に ど の よ う に 落 と し込 む の か,ベ ク トル 表 現 に し た後 に ど の よ う に 類 似 度 を 計 算 す る の か に 関 し て は 様 々 な 研 究 が 行 わ れ て い る.

ま た,カ ー ネ ル 埋 め 込 み と呼 ば れ る 手 法 は,確 率 分 布 が 持 つ 高 次 元 情 報 を カ ー ネ

4

ルに よって定義 され る再成核 ヒルベ ル ト空 間上の点 として表現 す る[6][7].こ の手 法 は異種 デー タ間での分類,ま たは画像 や 自然言語処理 の分 類 タスクにおいて研究 されて お り比較 され てい る従来 手法 と比較 して いつ れ も高 い成果 を収 めて いる[8]

[9].カ ーネ ル埋 め込 みを用 い て,単 語ベ ク トル を潜在 変数 として扱 うこ とに よ り, 低次元 で は汲 み取 るこ との出来 なか った よ り高次 な情報 を扱 うこ とがで きる.

本研 究で は,カ ーネル埋 め込 みの枠組 みを用 いて用例 検索 タス クに おける新 しい クエ リ と文 の類似 度計算法 を提案 す る.こ の手法 に よ り,従 来 の コサイ ン類似度 な どの類 似度計算 手法だ けで は考 慮す る ことが 出来 なか った クエ リの意味,つ ま りク エ リを入力 す るユーザの情 報要求 を より考慮 す るこ とが可能 であ る と証 明 した.

第3章 分 布 の カー ネ ル埋 め込 み に よる クエ リー文 間類 似 度 計 算 法

我 々 は 単 語 が 潜 在 的 な 確 率 分 布 を 持 つ と仮 定 す る こ と に よ り,分 布 の カ ー ネ ル 埋 め 込 み[6]と 呼 ば れ る 手 法 を 利 用 し て ク エ リ と文 の 潜 在 的 な 確 率 分 布 を 比 較 で き る 新 し い 文 検 索 手 法 を 提 案 す る,分 布 の カ ー ネ ル 埋 め 込 み と は,確 率 分 布 を カ ー ネ ル 鳶 に よ っ て 定 め ら れ る 高 次 元 空 間 上 に マ ッ プ す る こ とで あ る.こ の 手 法 に よ り,ク エ リが 持 つ 潜 在 的 な 意 図 を 考 慮 す る こ とが 可 能 に な る.

さ ら に,通 常 高 次 元 空 間 上 で 分 布 間 の 類 似 度 を 計 算 す る際 に は 内 積 が 用 い られ る.

内 積 の 計 算 に は,文 中 に 含 ま れ る 全 て の 単 語 を 考 慮 す る た め,文 の 長 さ に よ っ て 検 索 結 果 に 悪 影 響 が 出 て し ま う知 見 が 予 備 実 験 を 通 して 得 られ た.そ こ で,我 々 は 計 算 す る際 にN‑gramで 文 を 区 切 る こ とに よ り,文 中 の クエ リ との 関 係 性 が 高 い 部 分 の み を 考 慮 す る こ とを 可 能 に し,こ の 問 題 を解 決 し た.

従 っ て,我 々 の 手 法 は2単 語 を 入 力 と し,出 力 と し て 文 中 のN‑gramに 基 づ い て クエ リ と関 係 の あ る 文 を 検 索 す る.以 下 の サ ブ セ ク シ ョ ン で は,分 布 の カ ー ネ ル 埋 め 込 み を ど の よ う に 文 検 索 タ ス ク に 適 応 さ せ,適 合 率 を 上 げ る た め ど の よ う に N‑gram窓 を取 り入 れ た の か を 説 明 す る.

3.1分 布 の カ ー ネ ル 埋 め込 み

Yoshikawaら[10]は 異 な る ド メ イ ン 間 の イ ン ス タ ン ス の 類 似 度 を 計 算 す る 手 法 を 提 案 し た.Yoshikawaら の 手 法 は,Smolaら[6]が 提 案 した 分 布 の カ ー ネ ル埋 め 込 み の 枠 組 み を 用 い て,各 ドメ イ ン の全 て の イ ン ス タ ン ス の 素 性 を 潜 在 的 共 有 空 間 に埋 め 込 む こ と に よ っ て 類 似 度 計 算 を 可 能 に し て い る.分 布 の カ ー ネ ル 埋 め 込 み と は,任 意 の 空 間X上 の確 率 分 布Pを カ ー ネ ルkで 定 義 さ れ る 再 生 核 ヒ ル ベ ル ト空 間(RKHS)7tkに 埋 め 込 む 際 に 使 用 さ れ る.こ こで,マ ップ され た 確 率 分 布Pは RKHS上 の イ ン ス タ ン ス と し て 表 現 さ れ る.

我 々 はYoshikawaら の 手 法 を 拡 張 し,文 検 索 タ ス ク に 適 店 さ せ た.我 々 の 手 法 は,ク エ リや 文 を 単 語 の 集 合 と み な し,さ ら に 各 単 語 に は 高 次 元 空 間 で あ るRKHS 上 に マ ッ プ さ れ る潜 在 的 な 確 率 分 布 が 存 在 す る と仮 定 す る.以 上 の 仮 定 よ り,ク エ

6

リ と文 はRKHS上 の イ ン ス タ ン ス と して 表 現 され,マ ッ プ さ れ た イ ン ス タ ン ス 間 の 類 似 度 を 計 測 す る こ と に よ り クエ リ と文 と の 類 似 度 を 比 較 す る こ とが で き る.本 研 究 で は 、 潜 在 的 な 確 率 分 布 を 表 現 す る た め にword2vecに よ っ て 学 習 さ れ た 単 語 分 散 表 現 を 使 用 す る.ク エ リqと 文sに 含 まれ る単 語 の 分 散 表 現 ￠ と5}は,カ ー ネ ルkで 決 定 さ れ るRKHS7tk上 の イ ン ス タ ン ス 吻q,μpsと して 表 さ れ る.こ こ で,本 研 究 で 扱 う単 語 分 散 表 現 は独 立 同 分 布 な サ ン プ ル とす る.以 下 にRKHS上 に 表 現 され る ク エ リ の イ ン ス タ ン ス を 示 す.文 の イ ン ス タ ン ス も 同 様 に 決 定 さ れ る.

餌 一古善 矧 ∈叛 ^(3ユ.1)

次 に,RKHS上 の イ ン ス タ ン ス 間 の 類 似 度 計 算 手 法 を 示 す.2つ の 集 合 が 独 立 同 分 布 で あ る と仮 定 す る と,同 じ 空 間 上 の 集 合Xニ{Xl}雅1,Y={yl'}?L,は 分 布 の カ ー ネ ル 埋 め 込 み に よ っ てRKHS上 で μPx,μPYと 表 現 さ れ る.こ れ ら2つ の イ ン ス タ ン ス 間 の 距 離D(X,y)は 以 下 の 式 に よ っ て 計 算 さ れ る.

D(x,y)‑11μPx‑paPYIIZ、

==〈 μIPx,μPx>7tk十 〈μPy,μIPy>チ 乱 一2〈 μPx,μIPY>Hk (3.1.2)

従 っ て,式3.1.2の 第3項 は 集 合XとYに 基 づ い たRKHS上 の 両 イ ン ス タ ン ス μPx,μPYが 依 存 す る 項 で あ る.よ っ て ク エ リqと 文sの 距 離D(q,s)を 式3.1.2 か ら導 出 し,我 々 は 以 下 に 示 す よ う に ク エ リー文 問 類 似 度siMkeを 定 義 す る.

5琶 γ}競e(q,s)ニ 〈μPq,μP、 〉%畠

一く古善脇 古慧嗣 嵐 1赤1善毒輌)

(3.1.3)

3.2文 間 類 似 度 の 数 学 的 解 釈

一 方,BergerandLaffertyら[11]は 情 報 検 索 に お い て,情 報 要 求 を ク エ リ と し て 変 喚 す る プ ロ セ ス を確 立 モ デ ル と し て 示 して い る.彼 ら の 考 え 方 を 用 例 検 索 に 適 用 す る と,ユ ー ザ の 情 報 要 求 に 基 づ く文sは ベ イ ズ の 定 理 よ り以 下 の よ う に 定 式 化

で き る.ま た,qは ク エ リ,wは ク エ リ の 言 い 換 え を 表 す.

P(Slq)一 P(qls)P(s)

P(q) (xp(qls)P(s)

tyl

qw l

lqllwl

qw

lql切1Σ ΣP(qlw)P(Wls)P(・)

Σ Σe(ω,s)P(q,w)P(sP(w)P(s))

(32,1)

こ こで,式3.2.1中 のqとwの 同 時 確 率p(q,w)を 用 例 検 索 に お い て,検 索 対 象 の 文s中 の 単 語Wjと ク エ リqiの 類 似 度 とす る と,以 下 の よ う に 式 変 形 さ れ る.

ま た,ん は カ ー ネ ル 埋 め 込 み の 際 に 使 用 す る カ ー ネ ル 鳶 に よ っ て 定 義 さ れ る.

P(slq)‑ld1再 写P(勧 鍋 舞留P￠)

弼1

9博 写P(w,s)k(9,w)P(sP(w)P(s))

(3.2.2)

ま た ・ 式3・2・2中 の 織 は 配 相 互1青幸瞳PMI逆 騰 で あ る・ し た が っ て ・ 式3.2.3の よ う に 変 形 で き る.

P(slq)‑lqliw1 qw 1

Σ Σ 画 諾 〜 箸(w)P(ss))

一

lgllω1Σ_qw Σ ん(q,w)exp(PMI(w,s))P(s)

(3.2.3)

8

Algorithm1文 間 類 似 度 計 算

Input:sen七ence,query,Output:similarity maxSIM←O

forea,chN‑gram∈sentencedo SIM←siMke(query,N‑gram) ifSIM>maxSIMthen

maxSIM←SIM endif

endfor returnmaxSIM

以 上 よ り,式3.2.3を 式3.1.3と 比 較 す る と,式3.1.3にPMIの 逆 対 数,お よ び 検 索 対 象 の 文 の言 語 モ デ ル を 掛 け た 値 と な る こ とが 示 さ れ る.こ こで,PMIを 用 い

た ク エ リー文 間 類 似 度5伽pmiを 式3.23の よ う に 定 義 す る.

3.3N‑gram窓

分 布 の カ ー ネ ル 埋 め 込 み を 用 い た 手 法 は,キ ー ワ ー ドベ ー ス の 文 検 索 タ ス ク に お い て 再 現 率 を 上 げ る こ と に 関 して 強 み が あ る と考 え ら れ る.一 一方 で 類 似 度 を 計 算 す る際 単 純 に 内 積 を 使 う手 法 だ と文 中 に 含 ま れ る全 て の 単 語 を 考 慮 す る た め,ク エ リ と全 く関 連 が な い と さ れ る 単 語 ま で 考 慮 さ れ,精 度 が 下 が っ て し ま う可 能 性 が あ る.そ こで,類 似 度 を 計 算 す る 際 に 文 をN‑gramで 区 切 る こ と に よ り こ の 問 題 を 解 決 す る.

我 々 が 用 い た ア ル ゴ リ ズ ム をAlgorithm1に 示 す.は じ め に 検 索 対 象 の 文 を N‑gramに 区 切 り,ク エ リ と各N‑gramの 類 似 度 を 計 算 す る.そ して,ク エ リ と全

て のN‑gramの 中 か ら類 似 度 が 最 大 に な る も の を ク エ リ と文 の 類 似 度 と み な す.

第4章 英語 学習者向 けの用例検 索実験

4.1実 験 設 定

我 々 は,GoogleNewsdatasetを 用 い てword2vecで 学 習 済 み の 公 開 さ れ て い る 単 語 分 散 表 現aを 使 用 し た 。 ま た,文 を ト ー ク ナ イ ズ す る 際 にS七anfordCoreNLP

tokenizer(Ver.3.6.0)[12]bを 使 用 し た.計 算 処 理 を す る 際,ト ー ク ナ イ ズ さ れ た 単 語 は 全 て 小 文 字 化 し た.我 々 は 式3.1.3お よ び,式3.2.3中 の カ ー ネ ルkと し て コ サ イ ン 類 似 度 とRBFカ ー ネ ル を 実 験 に 使 用 し た .そ れ ぞ れ の カ ー ネ ルkを 以 下 に 示 す.

〈qi,sゴ>k

。。。(qi,sゴ)ニ1

9illsゴ1

(4.1.1)

kRBF(q・,S」)頭 」 窄12)

一 ㏄Φcッ ロ争 一副 り

(4.1.2)

本 研 究 で はRBFカ ー ネ ル の ハ イ パ ー パ ラ メ ー タ で あ る">tを ッ ∈{10‑1,10。,101,102}

の 範 囲 で 用 い て 予 備 実 験 を 行 い,そ の 結 果 を 踏 ま えor=101に 設 定 し た.

4.2デ ー タ

本 研 究 で は,大 学 の プ レ ス リ リ ー ス ドメ イ ン の 記 事 に 対 し て 実 験 を 行 う.我 々 は 英 語 学 習 者 に 向 け た 文 検 索 に使 用 す る デ ー タセ ッ トを 以 下 に 示 す よ う に 構 築 し た.

は じ め に,"〜edu"を ドメ イ ン ネ ー ム の 末 尾 に 含 む ウ ェ ブ ペ ー ジ か ら本 文 を579,867 文 抽 出 し,コ ー パ ス を 作 成 し た.2語 か ら な る30組 の ク エ リ を ア ノ テ ー タ1名 に

よ っ て 作 成 し,そ れ ぞ れ の ク エ リ に 含 ま れ る2単 語 を 完 全 一 致 で 含 む 文 を 抽 出 し

ahttps:〃code .google.￠om/archive/p/word2vec/

bhttp:〃nlp .stanford,edu/software/stanford‑corenlp‑full‑2015‑12‑HO9.zip

10

た.さ ら に,ア ノ テ ー タ は 抽 出 し た 文 が ク エ リの 検 索 結 果 と し て 適 切 か 否 か を 評 価 した.ア ノ テ ー タ に よ っ て 評 価 さ れ た デ ー タ を 実 験 で の 評 価 デ ー タ と し た.

次 に,テ ス トデ ー タ に 関 して 説 明 す る.我 々 は ア ノ テ ー タ に よ っ て 適 切 と 判 断 さ れ た 文 が 最 低10文 あ る ク エ リ を10組 選 択 し,各 ク エ リ に つ き10文 を 正 解 文 と し た.不 正 解 文 と し て,各 ク エ リ に お い て ア ノ テ ー タ に 検 索 結 果 と し て 適 切 で な い と 判 断 さ れ た 文 を90文 選 択 した.適 切 で な い と判 断 さ れ た 文 が90文 存 在 し な い 場 合,評 価 デ ー タ か ら 不 正 解 文 が90文 に な る よ う に ラ ン ダ ム に サ ン プ リ ン グ し た.

ア ノ テ ー タ に よ っ て ク エ リ の 検 索 結 果 と して 適 切 で あ る と判 断 さ れ た 文 の 全 て に ク エ リ を 構 成 して い る2単 語 が 含 ま れ て い る.ま た,実 験 で 使 用 し た テ ス トデ ー タ の 平 均 文 長 は30単 語 で あ っ た.

4.3用 例 検 索 実 験

以 下 に 提 案 法 と比 較 し た べ 一 ス ラ イ ン を 示 す.ま た,評 価 方 法 に 関 し て は 情 報 検 索 の 評 価 指 標 と し て 用 い ら れ るPrecision◎k[13](以 下,p◎k)で 検 索 結 果 を 評 価

し た.

4.3.1単 語 ベ ク トル の 平 均 に よ る 文 間 類 似 度

シ ン プ ル な べ 一 ス ラ イ ン と し て,ク エ リ と文 に 含 ま れ て い る 単 語 の ベ ク トル の 平 均 類 似 度siM。veを 使 用 し た.単 語 ベ ク トル と し てword2vecの 単 語 分 散 表 現 を 使 用 し た.こ こでsiMav。 を 式4.3.1に 示 す.ク エ リ の ベ ク トル は ク エ リqに 含 ま れ る 各 単 語 の ベ ク トル の 平 均 を 取 っ た も の と し,文 ベ ク トル も 同 様 に 文sに 含 ま れ る 単 語 の ベ ク トル の 平 均 を 使 用 し た.我 々 は 式4.3.1中 の カ ー ネ ルkに コ サ イ ン類 似 度 とRBFカ ー ネ ル を用 い た.

siMa。 。(q,s)ニk(￠ め

(4.3.1)

す一由シ 縞 シ

4.3.2ア ラ イ メ ン トベ ー ス の 文 間 類 似 度

SongandRo七h[14]に よ っ て 提 案 さ れ た 文 間 類 似 度 計 測 手 法 の 一 っ を ペ ー ス ラ イ ン と し て 使 用 す る.彼 ら の 手 法 は,Seman七icTextualSimilari七y(STS)タ ス ク に お い て 当 時 の 最 高 精 度 を 達 成 し た 教 師 な し文 間 類 似 度 計 算 法 で あ る.我 々 は そ の 中 で,以 下 に 示 す 分 散 表 現 の ア ラ イ メ ン ト(MaximumAlignmen七)に 基 づ い た 手 法 を ペ ー ス ラ イ ン と して 用 い た.

臨 一網 一諾 甲 鵬) (43.2)

この 手 法 は,ク エ リqの 単 語 分 散 表 現 ￠ と文sに 含 ま れ る 単 語 分 散 表 現 陽 間 の 類 似 度 の 最 大 値 を ク エ リ の 単 語 数q[で 割 っ た も の を ク エ リ と文 の 類 似 度 とす る も の で あ る.ま た,本 研 究 で は 全 て の 単 語 間 の 類 似 度 を 使 用 し た.こ こで,我 々 は 式 4.3.2中 の カ ー ネ ルkと し て 提 案 法 並 び に,平 均 ベ ク ト ル に よ る類 似 度 と 同 じ く コ サ イ ン 類 似 度 とRBFカ ー ネ ル を 使 用 し た.

4.3.3実 験 結 果

図4.1と 図42に 実 験 結 果 を 示 す.本 研 究 で は,1‑gramか ら40‑gramま で のN で 実 験 を し,1‑gramか ら5‑gramに 加 え て10‑gramず つ プ ロ ッ ト し た.

図4.1で は カ ー ネ ルkに コサ イ ン 類 似 度 を 使 用 し た も の を 示 し た.3.3.1に 示 し た べ 一 ス ラ イ ン の コサ イ ン 類 似 度 を 使 用 し た も の は,分 布 の カ ー ネ ル 埋 め 込 み を 用 い た 手 法 と比 較 し て 低 い 適 合 率 とな っ た.ま た,上 位1位 を 除 き,332の ア ラ イ メ ン トベ ー ス の 手 法 が 最 も高 い 適 合 率 を 示 した.

図4.2に は カ ー ネ ルkにRBFカ ー ネ ル を 使 用 し た も の を 示 した.RBFカ ー ネ ル を 使 用 し た 場 合,N‑gram窓 を使 用 した 方 が 高 い 適 合 率 が 得 られ る 結 果 とな っ た.

加 え て,上 位5位 に お い てRBFカ ー ネ ル と大 き なN‑gram窓 を 組 み 合 わ せ た モ デ ル が 最 も 良 い 結 果 を 得 ら れ た.図4.2よ り,N‑gramの 窓 幅 は20‑gramが 最 も効 果 的 で あ る こ とが 見 受 け ら れ る.

しか し な が ら,1‑gramか ら3‑gramの 窓 枠 とRBFカ ー ネ ル の 組 み 合 わ せ は 低 い 12

表4.1

19‑gramを 用 い た 際 に 出 力 さ れ た 正 解 文(RBFカ ー ネ ル)と 不 正 解 文(4.1で 示 し た コ サ イ ン類 似 度)

kerne1 1abel inputquery:par七nershipsupPor七

RBF 〆 Theadvisersworkinpα 物ter5ん 勿withthecollegestaffand

otherur藍versi七yo伍ces七 〇provideinformationand5ゆpo弼 forallstuden七sandtoofEerprogramsoncomnlur此yissues

aswellassmal1‑scalesocialac七ivi七ies.

Cosine ^× TheRober七MehrabianCICisap説 ηεr5ん勿between CarnegieMellon,theCamegieMuseums,andlocalec(ト

nomicdevelopmentorganiza七ionsandisfundedwith$8 millioninCommonweal七hofPennsylvania七ax5upPorム

適合 率 となる こ とが観察 された.

4.4考 察

我 々 は 追 加 実 験 の 結 果 か ら一 番 高 い 適 合 率 を 示 したRBFカ ー ネ ル と19‑grarn.の 組 み 合 わ せ に つ い て エ ラ ー 分 析 を行 っ た.表4.1は ク エ リ:par七nership,suppor七

に 対 し て 検 索 結 果 の 上 位10件 に 出 力 さ れ た カ ー ネ ルkにRBFカ ー ネ ル を 用 い た 場 合 の 正 解 文 と3.3.1に 示 し た べ 一 ス ラ イ ン と し て コ サ イ ン 類 似 度 を 使 用 し た 際 の 不 正 解 文 の 一 例 を 示 し た 、RBFカ ー ネ ル に よ っ て 出 力 され た 文 は,paエtnershipと supportが 文 中 で 並 列 で 使 用 さ れ て い る.従 っ て これ ら の 単 語 は 文 中 で 比 較 的 重 要

な 役 割 を して お り,こ の こ とか ら英 語 学 習 者 がpartnershipとsupportを キ ー ワ ー ド と して 検 索 して き た 際 に,検 索 結 果 と し て 参 考 に な る と判 断 し て い る と考 え られ る.一 方 で,コ サ イ ン 類 似 度 を 使 用 して 出 力 され た 例 の 場 合,キ ・一 ワ ー ド の2語 は そ れ ぞ れ 文 中 で 関 連 の な い 使 わ れ 方 を して い る こ とが わ か る.こ の こ と は,潜 在 的 な ク エ リ の 意 図 を 考 慮 す る こ とが で き な い た め,例 に 示 し た よ うな ク エ リ と関 連 が な い と ア ノ テ ー タ に よ っ て 判 断 さ れ て し ま っ た 文 が 出 力 され て し ま う.

次 に,我 々 は 検 索 対 象 の 文 中 で ク エ リ に 含 ま れ る2単 語 と完 全 一 致 す る単 語 が 何

ae

640 ∩}

話㊥5重冠置

02

oo

12 34567{1910

検 索 順 位

図4.1コ サ イ ン 類 似 度 のp◎k

10

o.s

64AUハ∪

エ㊥直o聾9①邑

02

oo

1234 56ア8910

検聚 順 位

図42RBFカ ー ネ ル のp◎k

単 語 離iれて い る か を 計 測 し た.結 果 と し て,2語 間 は 平 均 し て11.8単 語 離 れ て い た.ま た,正 解 文 の72%に お い て キ ー ワー ド と され る ク エ リ の 単 語 が 同 じ節 内 に あ っ た.短 い 窓 幅 の 場 合 に お い て 低 い 適 合 率 に な っ た 結 果 と こ れ ら の 事 実 か ら,こ の タ ス ク に お い て 英 語 学 習 者 に 有 益 と さ れ る 英 文 は 文 の 中 で キ ー ワ ー ド とな る 単 語

14

同 士 が 近 す ぎ ず,か つ 同 じ 節 内 に2つ の 単 語 が 存 在 す る こ とで あ る と考 え られ る.

最 後 に,我 々 は ア ラ イ メ ン トベ ー ス の 手 法 と分 布 の カ ー ネ ル 埋 め 込 み を 用 い た 手 法 を 比 較 す る.ア ラ イ メ ン トベ ー ス の 手 法 は,ク エ リ と文 中 に 含 ま れ る最 も類 似 度 の 高 い 単 語 の み を 考 慮 して い る.一 方 で,分 布 の カ ー ネ ル 埋 め 込 み に よ る類 似 度 は 文 中 に 現 れ る 単 語 を 包 括 的 に 計 算 に 組 み 込 む こ とが で き る.さ ら に,N‑gram窓 と 組 み 合 わ せ る こ とに よ り,ク エ リ と類 似 度 の 高 い 単 語 の 周 辺 の 単 語 を 集 中 的 に 考 慮 す る こ とが 可 能 に な る.こ れ ら の こ とがN‑gram窓 とカ ー ネ ル 埋 め 込 み に よ る我 々 の 提 案 法 が,ア ラ イ メ ン トベ ー ス の 手 法 よ り高 い 適 合 率 を 示 した 理 由 で あ る と考 え

られ る.

第5章 英語学習者向 けの作文 支援実験

我 々が提案 した手法が英 作文 支援 に対 して有効で あ るか どうか評価 す るた め,日 本 語文 を英訳 す るタス ク に英作 文支援 システムを使用 して主観 お よび客 観評価 す る 実験 を行 った,

5.1実 験 設 定

本 実 験 で は,シ ス テ ム の 評 価 者 は ブ ラ ウ ザ を 使 用 し,WEB上 で 我 々 が 作 成 し た シ ス テ ム を使 用 して 日 英 翻 訳 実 験 を 行 う こ と に よ りシ ス テ ム を 評 価 し た.我 々 が 作 成 し た シ ス テ ム の クエ リ の 入 力 例,英 文 の 出 力 例 の ス ク リ ー ン シ ョ ッ ト を 図5.1に 示 す.シ ス テ ム の 評 価 者 が 英 作 文 実 験 を 行 う 際 に,検 索 エ ン ジ ン,翻 訳 エ ン ジ ン は 使 う こ と は 禁 止 し た.ま た,辞 書 の 取 り扱 い に つ い て は,単 語 が 分 か ら ず に 英 作 文 が で き な い 場 合 は 使 用 を 許 可 し た.そ の 際 に 使 用 す る 辞 書 は,例 文 が で き る だ け 表 示 さ れ て い な い 辞 書 サ イ トaを 指 定 し,検 索 は 単 語 に つ い て の み 許 可 し,フ レ ー ズ に 関 し て の 検 索 は 禁 止 に し た.ま た,各 文 に つ き 必 ず シ ス テ ム を1回 以 上 使 う よ う協 力 者 に指 示 を し た.

ベ ー ス ラ イ ン と して 式4.3.1で 示 した 単 語 ベ ク トル の 平 均 に よ る文 間 類 似 度 を 使 用 し,提 案 法 と して 式3.23で 示 したPMIの 逆 対 数 を 考 慮 し た 文 問 類 似 度 を 比 較 し

た.こ れ ら2つ の シ ス テ ム の 出 力 が,ベ ー ス ラ イ ン と提 案 法 の ど ち らで あ る か 協 力 者 に 分 か ら な い よ う に 見 せ 、 ど ち ら が 英 作 文 を す る際 に よ り参 考 に な っ た か を 記 録 し て も ら っ た.さ ら に,1文 を 訳 す 都 度 シ ス テ ム を ど の よ う に 使 用 した か を 自 由 記 述 形 式 で ア ン ケ ー トを 取 っ た.ま た,各 文 ご と に ど の よ う な ク エ リで 検 索 を した の か が 分 か る よ う に ロ グ を 採 取 し た.協 力 者 が 持 つ 語 学 能 力 が ど の 程 度 で あ る の か 把 握 す る た め,協 力 者 が 過 去 に 受 験 経 験 の あ る英 語 能 力 試 験 の 種 類,受 験 時 期,点 数 を 自 己 申 告 制 の ア ン ケ ー ト と し て 提 出 して も ら っ た.そ の ア ン ケ ー ト に 関 し て,図 5.1に 示 し た.

本 実 験 で は 日本 語 を 母 語 とす る 英 語 学 習 者4名 に よ り実 験 を 行 っ た.

agoo弄 口英 辞 書https=//dictionary .goo.ne.jp/en/

16

表5.1実 験 協 力者 の 英 語能 力

No. 試験名 ^{ス コ ア}

協 力者1 ^TOEIC

650/ggo

協 力者2 ^TOEIC 730/990

協 力者3 英検 ^2級

協 力者 荏 未受験 ^一

writingassistantsystem

inputquery〔2vverds) au重ho「 二ke「1t$hiOCda

aasOen:icnfinuaI 50arCh

acaCtemicannuat

丁heDepartmentofNucfearScienceandEngineeringandthestudentchapteroftheArnerican NuclearS回oietyhostedtheannualawandsdinnerononApri129,2015,

AロademicadvisorstromtWoUnivers忙yofAlabam自at巳irmingharnschcoSsreceivedawards du而ngthe潤ationalA￠ademicAdvisingAssociationannualmeeting,

囲Wd。 。m。,̲。w謝 。ml。y。、,.

totheAcademicCouncil,andtethetacuLty.

TheDepartmentofNucSearScienceandEngineeringandthestudentchapteroftheAmertcan NuolearSo￠ietyhostedtheirAnnuatAvvardsDinneronMay9,2013、

TheSystemmainteinsanettectivepr回 ￠esstorthereviewandappr回v呂Tefacademic且nd fi肥noialmattersattheinstitutionsandSystemlevelsandstrivestoachievethemost

o僻eotiΨoandof「iciontu500frasourcesbyeǹour旦ginginter」ingt「tution訓oooperation WheneverpOssibleandapPropriate,

Acemmitmenttoseek,appoirlt,ond8upp研tadministratorg,faculty,andstaffwhoascribe tosoundacademicprinciplesandp回ssessprotessienalanctpersonalcharacteristicsthat ensure30lid8ndpo5itiΨegroWthofalla5poσt30ftheSysternisessentiat.

5,TheSystemn臼cognizesth飢itscor叩enentinstitutionsdif「erin耐55ion,m陀,5copo,

andacademiccharacteristics,andi5̀ommi廿edtomaintainingin6titUtionalCti鴨 爬蹴y,

Height,ofClinton,閥C、serΨedlnAfghanistan,whiohshesaidp陪p呂rodhortom呂nagothe eduoationalpurヨuitsofdiver50indiΨidu創8廿1r回ughaoadgmiopr已pargdno3s.

TheAssociationforEducationinJournalismandM自ssCommunicationEquityandDiりersity Awa匝 」田cognizesa￠ademicunitsthat言rgworkingtowardandhaven画nedmga3ur8めle 3uccess昏

図5.1シ ス テ ム の 出 力 画 面

表5.2協 力者 に よ る英 作 文 の際 に参考 に な っ た シス テ ム の 主 観 評価 ベ ー ス ラ イ ン 提 案 法

=

5.2デ ー タ

テ ス トデ ー タ は,サ ン プ リ ン グ し た 英 文 を 日本 語 を 母 語 とす る ア ノ テ ー タ2名 が 日本 語 に訳 し た も の を 使 用 す る.我 々 が 作 成 し た 英 作 文 支 援 シ ス テ ム は,42節 で 示 した よ う に ア メ リカ の 大 学 の ウ ェ ブ サ イ トに 基 づ い て 作 成 し た コ ー パ ス か ら文

を 検 索 す る.し た が っ て,本 実 験 の 評 価 デ ー タ は テ ス トデ ー タ に 含 ま れ な い カ ナ ダ の 大 学bcdeの"News"コ ン テ ン ツ に 含 まれ る 文 か ら ラ ン ダ ム に12文 サ ン プ リ ン グ し た.

5.3評 価 方 法

原 文 と協 力 者 が 作 成 し た 作 文 の 結 果 を 自 動 で 評 価 す る た め にN‑gramの 一 致 率 を 用 い た 機 械 翻 訳 の 評 価 尺 度 と し て 使 用 さ れ るBLEU[15]を 使 用 す る.

ま た,協 力 者 は シ ス テ ム に 対 し て の 主 観 評 価 を ア ン ケ ー ト形 式 で 回 答 し た.

5.4実 験 結 果

今 回 の 翻 訳 タ ス ク に お い て,協 力 者 は 一 文 を 訳 す に あ た り平 均5.9回 例 文 検 索 シ ス テ ム を 使 用 して い た.協 力 者 に よ る ア ン ケ ー ト結 果 を5.2に 示 した.ま た,前 節 で 定 義 し た 自 動 評 価 尺 度 に よ る評 価 結 果 を5.3に,表5.4に 協 力 者 が 訳 し た 英 文 と そ の 正 解 とな る 英 文,正 解 文 の 日本 語 訳 の 一 例 を 示 し た.

bUniversityofWaterloohttps:〃uwater1。o ・caノ

。UniversityofAlbertahttps=〃 禰 ,uaユberta.ca/

dUniversityofMcGillhttps:〃 ㎜ .mcgill.ca/

eUniversityofBritishColumbiahttps:〃www .ubc.ca/

18

表53BLEUを 用 い た英 訳 文 自動 評 価

評価尺度

BLEU

ス コ ア 59.2

表5.4

日英 翻 訳 タ ス ク の 一 例

原文 Seniorsn.eedtwiceaslongasyoungadu1七s七 〇reahze七heyare

falling,adelaythatputsthema七increasedriskforseriousinjury, according七 〇anews七udyf士omtheUniversityofWh七erloo.

日本語訳 Waterloo大 学 の 新 し い 研 究 に よ る と、 高 齢 者 は 、 彼 ら が 落 ち て い る こ とを認 識 す るた め に若者 の2倍 の時 間 を要 し、 その遅れ は彼 らが 重 傷 を 負 う リ ス ク を 高 め る 。

英 訳 結 果According七 〇anewresearchofWa七erloouniversity,theeldertake 七wice七ime七 〇recognizefalling七hemselvesas七heyou七hand七he delayraiserisk七 〇injure七hemseriously.

検 索 ク エ リ(university,research),(raise,risk),(heavy,damage),(injury, heavy),(elderly,risk),(old,risk),(七ake,七ime),(七wice,七ime),

(need,七ime),(twice,than),(double,time),(twice,as),(falling, be)

5.5考 察

協 力 者 に よ る シ ス テ ム の 主 観 評 価 に よ る と,べ 一 ス ラ イ ン よ り我 々 の 提 案 法 が 英 作 文 の 際 に参 考 に な っ た とい う結 果 が 得 られ た.ま た,協 力 者 の 英 語 力 に 依 存 す る が,BLEUに よ る 自 動 評 価 結 果 か ら は極 め て 高 い ス コ ア とな る 英 文 を 協 力 者 が 作 文

した こ と を 示 し て い る.

協 力 者 の 自 由 記 述 形 式 の ア ン ケ ー ト に よ る と,提 案 法 に 関 す る 回 答 と し て"充 電 と い う意 味 のchargeを 調 べ た い 時 に 値 段 の 方 が 出 力 さ れ た た め 、 役 に 立 た な か っ た 。"と の 回 答 が 得 ら れ た.こ の こ とか ら,用 例 検 索 シ ス テ ム に お い て 入 力 単 語 数 が 少 な い と ク エ リ に 与 え られ る 表 現 力 に は 限 界 が あ る と考 え られ る.我 々 の シ ス テ

ム にお ける語義曖昧性解 消 に対 して考 え られ る手法 として は,ク エ リへ入力 す る単 語 数 を増や して クエ リによ り表現力 を追加 す る こと.ま た,検 索対 象の文 の文脈 を 抽 出 して文が表 してい る トピックに関す る上位概念 を検索す る際 に考慮 に入 れ る こ

とな どを行 う必要が あ る.

20

第6章 お わ りに

本研究 では,英 語学 習者 のた めの学習支援で あ る,英 作文支援 の アプ ローチの一 つで あ る用例 検索 に取 り組ん だ.英 作文支援 の中で,特 に特定 ドメ イ ンに関 して の 英作文 を支援 す るた めのシステ ムを構築 した.

我 々 は,英 作文 を支援 す るた め に単 語 に潜在 的 な確率 分布 が存 在 す る と仮定 し, 分布 のカ ーネ ル埋 め込 み を利用 した新 しい文検 索手 法 を提 案 した.ま た,分 布 の カーネル埋 め込 みに よるクエ リー文間類 似度 と確 立モ デル を利用 した クエ1み文 間類 似度 との間 にPMIと 言語 モデ ルの関係性 が ある こ とを明 らか に した.さ らに,大 学 の広報 に関 しての コーパ スを作成 し,英 語学 習者 の ための例 文 をア ノテ ーシ ョン

した.

用例検 索実験 に おいて,我 々が提案 したRBFカ ーネ ル とN‑gram窓 を組 み合 わ せ た分布 のカ ーネル埋 め込 み による手法 は,単 純 な コサイ ン類 似度 とア ライメ ン ト

ベースの手法 と比較 した際 に高 い適合率 を示 した.

また,英 語学 習者 によ る英作 文支援実験 を行 った.単 純 な コサイ ン類 似度 の平均 を用 いた手法 と比較 した際 に,我 々が提案 したカーネ ル埋 め込 み とPMIの 逆対数, 並 びに言 語モデ ルを考慮 した手法が実験協 力者 の主 観評価が高 い結果が得 られた.

付録

本研究 において,作 文支援 実験 を行 うにあた りに使用 した実験 へ の協 力依頼 書 と 指示書 を図6.1と 図62に 示す.

22

1

実験へ の協 力のお願 い 1.研 究課M名

英諾学晋者 向け英作文支援 システムの諄価実験

2.研 究 目 的

英 謡 学 習者 に と っ て特 定 ドメ イ ン にお いて 適切 な表 現 や様 式 に沿 っ て英 文 を書 くこ とは 難 しい タ ス ク で す 。そ こ で 、妻 々は 特 定 ドメ イ ンに お け る 英 作文 支 握 シス テ ム 作 成 す る こ と に よ り、 英語 学 習 者 の 英 作 文 支 擾 を行 いま す 。

今 回 の 実験 で行 って も ら う タス ク は 、 英 語 学 習 者 向 け 英作 文支 擾 の 評 価 実 験 で す 。 本 実 験 で は 、 日本 語 文 を英 訳 す る タス ク を行 って い た だ き ま す 。 その タス ク を解 く際 に我 有が 作 成 した 英 作文 支 擾 シス テ ム を使 用 す る こと に よ り、 シ ス 〒 ムの 性 能 を測 定 しま す 。

3.実 験 内容

1)研 究 協 力者:情 報 ・シス テ ム 研 究機 構 の 職員 お よ び首 都 大 学 東 京 の 学 生 約10名 2)作 業内 容:英 作 文 支 摂 シス テ ム を用 い て.日 本 語文15文 の 英 訳 作 業

4.健 康 へ の リス ク 特 に な し

5r儒 理 的配 慮

個 人 が特 定で きな い 手 法(IDを テ キ ス トデ ー タ と紐 付 けな い方 怯)で デ ー タ を収 集 し ま

す 。 オい 、一 、'こ

6,研 究 者 と連 絡 先 の 研 究 代 表 者

小 町 守(首 都 大 学 東 京 シ ス テ ム デザ イ ン学 部)

住 所:191・oe65日 野 市 旭 が 丘6‑6苗 都 大学 東京 シ ス テ ム デ ザ イ ン学 部 電 循 番 号:0狙585㎜

D皿a皿:[email protected]

2)共 同研究者

塩田健人(首 郵大学東京システム デザイ ン研究科) 池答瑠絵 〔情報 ・システム研 究機構)

持橋大地(統 計数理研究所)

図6,1実 験 へ の 協 力依 頼 書

実験指示書

英作 文支援 シス予 ムの認価 を行 って い ただきます 。 12文 の 日本 語 を英 訳 して く だ さ い。

その 際 に 、2つ の シ ス テ ム を使 っ て い た だ き ま す 。

ク エ リ に単 雁 を 入 れ る と 、 そ の 単 諾 を考 慮 した 英 文 が5文 出 力 され ま すe (ク エ リは2単 語 、 半 角 ス ペ ー ス 区 切 りで 入 力 して くだ さ い 。)

WritingasSiStantSyStem

Inpulquory〔2wordS) author;keTrtsh・oUtl

IJ=■・Vρrtd・lyjにrL1"rlln ㎝■蝶非

面 universityacademic

They81sohavθholdpo8tdoctoralposition3w仕hthgA而eri￠an A￠ 呂demyofArts&Sciences,ColumbiaUniveristySocietyofFellows intheHum旦nltio5,HarvardUniversitySocietyofFellows、andMax Planoklnstitute,

SweeneyandShoridan,whoa把bothmembersoftheHonors

Collog已andTheUniversitソFellowsExperienc已 、a陪a而ongthe approximately55eU,S.undergradu巳teandgraduatestude口t5who

昭===国 陀 ￠elv。das。hola'$hipt「omtheU・S・

RobbaniisamemberoftheUABHonorsCollege'sUniversityHenors ProgramandtheEariyMedicaSSchoolAcceptanceProgram.

英作 文 をす る際 に辞書 を使 う ことは禁止 します。

た だ し、英 作文 をす る際に 単語が 思い浮 かばず、英 文を書 き進 め ることがで きない場合 のみ 和 英辞書 を使 っていただ いて結構 です,

そ の際使 用 して いただ く辞書 は こち らにな ります。

●goo和4ges

ただ し、辞書で 検索す るの は単驕 のみ と しフ レー ズ を検 索 、また辞書 内に薮 示されて い る例 文 を見 る ことは禁止 します 。

・各設 問に ある 日本語文 を英訳 して いただい たの ちに 、ア ンケー トにお答 え くだ さい。

ア ンケー トには作文 をす る際 に どの よ うに システ ム を使 ったか を記入 して くださ い。

図6,2実 験 指 示 書

24

謝辞

本論 文 の執 筆 にあ た り,指 導教 員で あ る小町守准教授 に心 よ り感謝 い た します.

自然言語 処理 をは じめ,情 報工学 に関す る知識が無 い状態 か ら ここまで来 る ことが で きたのは,学 部4年 生 の時に小 町研究室 に配属 されてか らの3年 間,教 育熱心 な 小町先 生 に ご指 導賜 りま したおか げです.

また,本 論 文 の執筆 に あた り終始非常 に有益 な ア ドバ イスを して頂 いた統 計数理 研 究所 の持橋 大地准教授,情 報 ・システム研究機構 の池谷瑠絵 さん に深 く感 謝い た

します.

研究 室 に配属 されて す ぐに研 究の仕方 の基礎 を叩 き込んで頂 き,そ の後 も数々 の ア ドバ イ スに よ り助 けて頂 いた梶原智之 さんには非 常 に感謝 してお ります.今 日の

自分が い るのは梶原 さんの おか げで す.

また,プ ログ ラムを書 く際 に非常 に丁寧 に指導 して頂 いた研究室 の先輩で あ る宮 崎亮輔 さん,佐 藤貴 之 さん,堺 澤 勇也 さん,研 究 を進 める上で有意義 な議論 を させ て頂 いた研 究室 の同期で あ る金 子正 弘 さん,小 平知範 さん,関 沢祐樹 さん あ りが と

うござい ました.こ の場 をお借 りして お礼 を申 し上 げた い と思 い ます.

最後 に,博 士前期課 程修 了まで私 を応援 して くだ さ った友 人,家 族 には大変感 謝 して お ります.

充実 した3年 間 を過 ご させ て頂 き,本 当 にあ りが とうござい ました,

発 表文 献 一覧

国 内会 議 ・研究会論文(査 読な し ・ポス ター発 表)

・ 塩 田 健 人,梶 原 智 之,小 町 守.使 用 者 数 に よ る 語 彙 制 限 を 用 い た 日本 語 学 習 者 の た め の 文 章 読 解 支 援.情 報 処 理 学 会 第224回 自 然 言 語 処 理 研 究 会, Vol.2015‑NL‑224,No.6,pp.1‑6.December2015.

国内会議 ・研究会論文(査 読 な し ・口頭発表)

・ 塩 田 健 人,小 町 守,瀬 戸 口 光 宏,市 橋 立,法 律 相 談SNSに お け る ユ ー ザ ー 投 稿 文 書 を 用 い た 著 者 役 割 推 定.情 報 処 理 学 会 第232回 自 然 言 語 処 理 研 究 会, Vol.20177‑NL‑232,No.1,pp.1‑7.July2017.

● 塩 田 健 人,小 町 守,池 谷 瑠 絵,持 橋 大 地.カ ー ネ ル 埋 め 込 み を 用 い た 英 語 学 習 者 向 け の 用 例 検 索.情 報 処 理 学 会 第233回 自 然 言 語 処 理 研 究 会,Vol.2017‑

NL‑233,No,16,pp.1‑5.October2017.

国際会議(査 読 あ り ・ポス ター発表)

●Ken七Shioda,MamoruKomachi,RueIkeya,DaichiMochihashi.Sugges七 一

ingSentencesforESLusingKernelEmbeddings.InProceedingsofthe 4thWbrkshoponNaturalLanguageProcessingTech皿iquesforEduca一 七ionalApplications,pp.64‑68.Taipei,Taiwan,December2017.

26