学t彦i番号16890509
修 士論 文
文 法 誤 り検 出の ため の 正 誤情 報 と文法 誤 りパ タ ー ン を 考 慮 した 単語 分 散 表 現
金 子 正 弘
2018年2月23日
金子 正弘
審査委員1
小町 守 准教授 (主 指 導 教 員)
文 法誤 り検 出 の た め の 正 誤 情 報 と文 法 誤 りパ ター ン を 考 慮 した 単 語 分 散 表 現*
金子 正弘
修論要旨
作 文 中 に お け る誤 りの 存 在 や 位 置 を 示 す こ と が で き る文 法 誤 り検 出 は,第 二 言 語 学 習 者 の 自 己 学 習 と語 学 教 師 の 自動 採 点 支 援 に お い て 有 用 で あ る.一 般 的 に 文 法 誤 り検 出 は 典 型 的 な 教 師 あ り学 習 の ア プ ロ ー チ に よ って 解 決 可 能 な 系 列 ラ ベ リ ン グ の タ ス ク と して 定 式 化 で き る.例 え ば,BidirectionalLongShor七 一TermMemory (Bi‑L,STM)を 用 い て 英 語 の 文 法 誤 り検 出 の 世 界 最 高 精 度 を達 成 し て い る 研 究 が あ る.彼 らの 手 法 は,言 語 学 習 者 コ ー パ ス が ネ イ テ ィ ブ の 書 い た 生 コ ー パ ス と比 較 し て ス パ ー ス で あ る 問 題 に 対 処 す る た め に,事 前 に単 語 分 散 表 現 を大 規 模 な ネ イ テ ィ ブ コー パ ス で 学 習 して い る.
しか し,先 行 研 究 で 用 い られ て い る 文 法 誤 り検 出 の ア ル ゴ リ ズ ム の ほ と ん ど は, ネ イ テ ィ ブ コ ー パ ス に お け る単 語 の 文 脈 を モ デ ル 化 す る だ け で あ り,言 語 学 習 者 に 鮪 の 文 灘 り を塘 して い な い.こ れ は,Iwouldliket。g。on/insu1㎜er.の
よ う に 前 置 詞 誤 り を含 む 文 と正 しい 文 が 判 別 器 に 類 似 した ベ ク トル の 入 力 と して 扱 わ れ て し ま う問 題 が あ る.
そ こで,我 々 は 文 法 誤 り検 出 に お け る単 語 分 散 表 現 の 学 習 に正 誤 情 報 と文 法 誤 り パ タ ー ン を 考 慮 す る こ とで この 問 題 を解 決 す る3つ の 手 法 を 提 案 す る.た だ し,3 つ 目 の 手 法 は最 初 に 提 案 す る2つ の 手 法 を 組 み 合 わ せ た も の で あ る.
●1つ 目 の 手 法 は,学 習 者 の 誤 りパ タ ー ン を 用 い て 単 語 分 散 表 現 を 学 習 す る Errorspecificwordembedding(EWE)で あ る.具 体 的 に は,単 語 列 中 の タ ー ゲ ッ ト単 語 と学 習 者 が タ ー ゲ ッ ト単 語 に 対 して 誤 りや す い 単 語 を 入 れ 替 え 負 例 を 作 成 す る こ とで,正 しい 表 現 と学 習 者 の 誤 りや す い 表 現 が 区 別 され
*首 者IS大学 東 京 大 学 院 シ ス テ ム デ ザ イ ン研 究 科 情 報 通 信 シ ス テ ム 学 域 修i士論 文
,学 修 番 号16890509, 2018年2月23H,
る よ う に 学 習 す る.
。2つ 目 の 手 法 は,正 誤 情 報 を 考 慮 し た 単 語 分 散 表 現 を 学 習 す るGrammati‑
calityspecificwordembedding(GWE)で あ る.単 語 分 散 表 現 の 学 習 の 際 に,n‑gramの 正 誤 ラ ベ ル の 予 測 を 行 う こ と で,正 文 に 含 ま れ る 単 語 と 誤 文 に 含 ま れ る 単 語 を 区 別 す る よ う に 学 習 す る.こ の 研 究 に お い て,正 誤 情 報 と は 周 囲 の 文 脈 に 照 ら し て タ ー ゲ ッ ト単 語 が 正 し い ま た は 間 違 っ て い る と い う ラ ベ ル と す る.
●3つ 目 の 手 法 は,EWEとGWEを 組 み 合 わ せ たError&grammaticali七y
specificwordembeddi皿g(E&GWE)で あ る.E&GWEは 正 誤 情 報 と 誤 り パ タ ー ン の 両 方 を 考 慮 す る こ と が 可 能 で あ る.
本 研 究 に お け る 実 験 で は,英 語 学 習 者 作 文 の 文 法 誤 り検 出 タ ス ク に お い て, E&GWEで 学 習 した 単 語 分 散 表 現 で 初 期 化 したBi‑LSTMを 用 い た 結 果,世 界 最 高 精 度 を 達 成 し た.さ ら に,我 々 は 大 規 模 な 英 語 学 習 者 コ ー パ ス で あ るLang‑8を 使 っ た 実 験 も行 っ た.そ の 結 果,文 法 誤 り検 出 に お い て ノイ ズ を 含 む コ ー パ ス か ら は 誤 りパ タ ー ン を 抽 出 して 学 習 す る こ とが 有 効 で あ る こ とが 示 され た.さ らに,従 来 手 法 のC&Wやword2vecで は 文 法 的 妥 当 性 が 高 い フ レ ー ズ 対 と低 い フ レー ズ 対 の 類 似 度 が 高 く な る よ う に 学 習 して し ま うが,提 案 手 法 で あ るEWE,GWEと
E&GWEは 文 法 的 妥 当 性 が 高 い フ レー ズ 対 で は 類 似 度 が 高 くな り,文 法 的 妥 当 性 が 低 い フ レ ー ズ 対 で は 類 似 度 が 低 くな る よ うに 学 習 す る こ と を 示 した.こ の こ と か ら,EWE,GWEとE&GWEは 文 脈 上 の 関 連 を 維 持 しな が ら,文 法 誤 りを 含 む フ レー ズ 対 と正 し い フ レー ズ 対 の 類 似 度 が 低 くな る よ う に 学 習 す る こ とが わ か る.
本 研 究 の 主 要 な 貢 献 は 以 下 の 通 りで あ る.
● 正 誤 情 報 と 文 法 誤 り パ タ ー ン を 考 慮 す る 提 案 手 法 で 単 語 分 散 表 現 を 初 期 化 し たBi‑LSTMを 使 い,FirstCertificateinEnglish(FCE‑public)コ ー パ ス に お い て 世 界 最 高 精 度 を 達 成 し た.
・FCE‑publicとNUSCorpusofLearnerEnglish(NUCLE)デ ー タ にLang‑
8か ら 抽 出 し た 誤 り パ タ ー ン を 追 加 す る こ と で 文 法 誤 り 検 出 の 精 度 が 大 幅 に 向 上 す る こ と を 示 し た.
・ 誤 り タ イ プ ご と の 提 案 手 法 の 有 効 性 に つ い て 分 析 を 行 っ た.
・ 我 々 が 提 案 した 単 語 分 散 表 現 の 学 習 方 法 は,正 しい 単 語 と誤 っ た フ レー ズ 対 を 区 別 す る こ とが で き る こ と を 示 した.
・ 正 誤 情 報 と 文 法 誤 りパ タ ー ン を 考 慮 した 単 語 分 散 表 現 を 可 視 化 し分 析 した.
。 実 験 で使 用 した コー ドと提 案 手 法 で 学 習 され た 単 語 分 散 表 現 を 公 開 した.
本 稿 で は まず 第2章 で 英 語 学 習 者 作 文 に お け る文 法 誤 り検 出 に 関 す る先 行 研 究 を 紹 介 す る.第3章 で は 提 案 手 法 で あ る 正 誤 情 報 と誤 りパ タ ー ン を 考 慮 し た 単 語 分 散 表 現 の 学 習 モ デ ル に つ い て 説 明 す る.次 に,第4章 で はFCE‑pubhcとNUCLEの
評 価 デ ー タ で あ るCoNLL,デ ー タセ ッ トを使 い 提 案 手 法 を 評 価 す る.第5章 で は 文 法 誤 り検 出 モ デ ル と学 習 さ れ た 単 語 分 散 表 現 に お け る評 価 を行 い,最 後 に 第6章 で
ま とめ る.
iii
UsingError‑andGrammaticality‑Speci丘cWord EmbeddingsForGrammaticalErrorDetec七ion*
MasahiroKaneko
Abstract
Inthisstudy,weimprovegralnma七icalerrordetectionbylearningw。rdem‑
beddingsthatconsidergratnma七icalityanderrorpatterns.MosteXistingalgo rithmsforlearningwordembeddingsusuallymodelonlythesyntac七iccontext
ofwordssothatclassifiers七reaterroneousandcorrectwordsassimilarinputs.
Weaddエess七heproblemofcontextualinformationbyconsideringlearnererrors.
Specifically,weproposetwomodels:onemodel七hatemploysgrammaticalerror
patternsandtheothermodelthatconsidersgrammaticalityofthetargetword.
Wedeterminegrammaticalityofn‑gramsequencefromtheannota七ederrortags andextrac七gramma七icalerrorpa七ternsforwordembeddingsfromlarge‑scale learnercorpora.Experimentalresultsshowthatabidirectionallong‑short七erm memoryI皿odelin.itializedbyourwordembeddingsachievedthestate‑of‑the‑art accuracybyalargemargininanEnglishgramma七icalerrordetecti。ntask。n 七heFirstCertificateinEnglishdatase七.
宰Master,sThesis
,DepartmentofI皿formatio皿andCommunicationSy$tems,GraduateSchool ofSystemDesig皿,TokyoMetropolitanUniversity,StudentID16890509,February23,2018.
目次
眩璋障諦組鎗詔麗璋障嶺訟脇漁舗碑璋図第第第第第第第
は じ め に
先 行 研 究
正 誤 情 報 と 誤 り パ タ ー ン を 考 慮 し た 単 語 分 散 表 現
C&WEmbed(ling■ 一..一 一....t....,..■ 一 一 ■ 文 法 誤 りパ タ ー ン を 考 慮 し た 表 現 学 習(EWE)
正 誤 情 報 を 考 慮 し た 表 現 学 習(GWE).,
文 法 誤 りパ タ ー ン と 正 誤 情 報 を 考 慮 し た 表 現 学 習(E&GWE)
分 類 器=BidirectionalLSTM(Bi‑LSTM)
英 語 学 習 者 コ ー パ ス に お け る 文 法 誤 り検 出 実 験 設 定
評 価 尺 度 単 語 分 散 表 現.
分 類 器 実 験 結 果
考 察
お わ り に
vii
1
4
君UOUワー0◎0σ01 ハ∠9臼4此4凸4ドD8
1占1⊥‑此‑⊥‑⊥‑⊥‑⊥
21
発表 リス ト 謝辞
参考文献
︻∠︻﹂五,2リムリ6
vi
図 目次
3.1 単 語 分 散 表 現 を 学 習 す る提 案 手 法(a)EWE(b)GWEの 構 造 両 方 の モ デ ル はwindowサ イ ズ の 単 語 列 の 単 語 ベ ク トル を 結 合 し隠 れ 層 に 入 力 して い る.そ の 際,EWEの 出 力 は ス カ ラ ー 値 で あ り, GWEの 出 力 は ス カ ラ ー 値 と単 語 列 の 中 央 単 語 の ラベ ル で あ る.. 7
4.1 BidireC七iOnalL,STMネ ッ ト ワ ー ク.単 語 ベ ク ト ルeiが 隠 れ 層 に 入 力 さ れ そ れ ぞ れ の 単 語 の ラ ベ ル を 予 測 す る...,....,. 11
6.1 FCE+word2vecとFCE十E&GWE‑L8に よ っ て 学 習 さ れ た 単 語 分 散 表 現 のt‑SNEに よ る 可 視 化.赤 色 がFCE十word2vecの 単 語 で あ り,青 色 がFCE+E&GWE‑L8の 単 語 で あ る.,,.̲.. 20
第1章 は じめ に
作 文 中 に お け る 誤 りの 存 在 や 位 置 を示 す こ とが で き る 文 法 誤 り検 出 は,第 二 言 語 学 習 者 の 自 己 学 習 と語 学 教 師 の 自動 採 点 支 援 に お い て 有 用 で あ る.一 般 的 に 文 法 誤 り検 出 は 典 型 的 な 教 師 あ り学 習 の ア プ ロ ー チ に よ っ て 解 決 可 能 な 系 列 ラ ベ リ ン グ の タ ス ク と して 定 式 化 で き る.例 え ば,BidireCtionalL,ongShOrt‑TermMemory
(Bi‑LSTM)を 用 い て 英 語 の 文 法 誤 り検 出 の 世 界 最 高 精 度 を 達 成 して い る 研 究[1]
が あ る.彼 ら の 手 法 は,言 語 学 習 者 コ ー パ ス が ネ イ テ ィ ブが 書 い た 生 コー パ ス と比 較 して ス パ ー ス で あ る 問 題 に対 処 す る た め に,事 前 に 単 語 分 散 表 現 を 大 規 模 な ネ イ
テ ィ ブ コ ー パ ス で 学 習 して い る.
しか し,ReiとYaunakoudakisの 研 究[1]を 含 む 多 くの 文 法 誤 り検 出 の 研 究 に お い て 用 い られ て い る ア ル ゴ リズ ム の ほ と ん ど は,ネ イ テ ィ ブ コ ー パ ス に お け る 単 語 の 文 脈 を モ デ ル 化 す る だ け で あ り,言 語 学 習 者 に 特 有 の 文 法 誤 りを 考 慮 して い な い.こ れ は,下 記 の例 文 の よ うに 前 置 詞 誤 りを 含 む 文 と正 し い 文 が 判 別 器 に 類 似 し た ベ ク トル の 入 力 俵1のword2vecとC&Wの 列)と して 扱 わ れ て し ま う問 題 が あ る.
∫ 初 ・uldliketogo・ η/in3ummer.
我 々 は 文 法 誤 り検 出 に お け る単 語 分 散 表 現 の 学 習 に 正 誤 情 報 と文 法 誤 りパ タ ー ン を 考 慮 す る こ とで こ の 問 題 を 解 決 す る3つ の 手 法 を 示 す.た だ し,3つ 目の 手 法 は 最 初 に 提 案 す る2つ の 手 法 を 組 み 合 わ せ た も の で あ る.
1つ 目の 手 法 は,学 習 者 の 誤 りパ タ ー ン を 用 い て 単 語 分 散 表 現 を 学 習 す るError specificwordembedding(EWE)で あ る.具 体 的 に は,単 語 列 中 の タ ー ゲ ッ ト 単 語 と学 習 者 が タ ー ゲ ッ ト単 語 に 対 して 誤 りや す い 単 語 を 入 れ 替 え負 例 を作 成 す る
こ とで,正 しい 表 現 と学 習 者 の 誤 りや す い表 現 が 区 別 され る よ うに 学 習 す る.
2つ 目の 手 法 は,正 誤 情 報 を 考 慮 した単 語 分 散 表 現 を 学 習 す るGrammaticality specificwordembedding(GWE)で あ る.単 語 分 散 表 現 の 学 習 の 際 に,皿一gram の 正 誤 ラ ベ ル の 予 測 を 行 う こ と で,正 文 に 含 ま れ る 単 語 と誤 文 に 含 ま れ る 単 語 を
区 別 す る よ う に 学 習 す る.こ の 研 究 に お い て,正 誤 情 報 と は 周 囲 の 文 脈 に 照 ら して タ ー ゲ ッ ト単 語 が 正 し い ま た は 間 違 っ て い る と い う ラベ ル とす る.
表1.1:フ レ ー ズ 対 のcos類 似 度 フ レ ー ズ 対 word2vecC&WEWEGWEE&GWE
inSUlumer&。ns̲
insummer&inspring insummer&inEnglish on.summer&onspring
0.84 0.84 0.40 0.85
0.75 0.77 0.46 0.71
0.64 0.90 036 0.82
0.58 0.80 025 0.76
O.54 0.88 0.30 0.80
3つ 目の 手 法 は,EWEとGWEを 組 み 合 わ せ たError&grammaticality
specificwordembedding(E&GWE)で あ る.E&GWEは 正 誤 情 報 と誤 りパ タ ー ンの 両 方 を 考 慮 す る こ とが 可 能 で あ る.
表1.1は,word2vec[2],C&W[3],EWE,GWEとE&GWEそ れ ぞ れ の モ デ ル の フ レ ー ズ 対 のcos類 似 度 を 示 して い る.フ レー ズ 対 の 類 似 度 は そ れ ぞ れ の 単 語 対 の 単 語 ベ ク トル の 平 均 ベ ク トル の 類 似 度 に よ って 計 算 した.insummerとon
s㎜erは 前 置 詞 誤 りの 関 係 で あ り,word2vecとC&Wで は 類 似 度 の 高 い ベ ク ト ル と して 学 習 され て し ま っ て い る が,EWE,GWEとE&GWEで は 類 似 度 が 低 く な る よ うに 学 習 され て い る.そ して,文 法 的 妥 当 性 が 高 い フ レー ズ 対 で は す べ て の 提 案 モ デ ル で 類 似 度 が 高 く な って い る.一 方 で,文 法 的 妥 当 性 の 低 い フ レ ー ズ 対 で は 類 似 度 が 低 くな っ て い る.こ れ らの こ とか ら,EWE,GWEとE&GWEは 文 脈 上 の 関 連 を 維 持 しな が ら,文 法 誤 りを 含 む フ レー ズ対 と正 し い フ レー ズ 対 の 類 似 度 が 低 くな る よ う に 学 習 され て い る こ と が 分 か る.
本 研 究 に お け る 実 験 で は,英 語 学 習 者 作 文 の 文 法 誤 り検 出 タ ス ク に お い て, E&GWEで 学 習 し た 単 語 分 散 表 現 で 初 期 化 したBi‑LSTMを 用 い た 結 果,世 界 最 高 精 度 を 達 成 した 、 さ らに,我 々 は 大 規 模 な 英 語 学 習 者 コー パ ス で あ るLang‑8[4]
を使 っ た実 験 も 行 っ た.そ の 結 果,文 法 誤 り検 出 に お い て ノ イ ズ を 含 む コ ー パ ス か ら は 誤 リパ タ ー ン を抽 出 して 学 習 す る こ と が 有 効 で あ る こ と が 示 され た.
本 研 究 の 主 要 な貢 献 は以 下 の 通 りで あ る.
.正 誤 情 報 と 文 法 誤 りパ タ ー ン を 考 慮 す る 提 案 手 法 で 単 語 分 散 表 現 を 初 期 化 し たBi‑LSTMを 使 い,FirstCertificateinEnglish(FCE‑public)コ ー パ ス [5]に お い て 世 界 最 高 精 度 を 達 成 し た.
2
●FCE‑publicとNuCLEデ ー タ[6]にLang‑8か ら 抽 出 し た 誤 りパ タ ー ン を 追 加 す る こ とで 文 法 誤 り検 出 の 精 度 が 大 幅 に 向 上 す る こ と を 示 し た.
● 我 々 が 提 案 した 単 語 分 散 表 現 の 学 習 方 法 は,正 し い フ レー ズ と誤 っ た フ レ ー ズ 対 を 区 別 す る こ と が で き る.
● 実 験 で 使 用 し た コ ー ドと提 案 手 法 で 学 習 され た 単 語 分 散 表 現 を 公 開 した ㌔
本 稿 で は ま ず 第2章 で 英 語 学 習 者 作 文 に お け る 文 法 誤 り検 出 に 関 す る 先 行 研 究 を 紹 介 す る.第3章 で は 提 案 手 法 で あ る正 誤 情 報 と誤 りパ タ ー ン を考 慮 し た 単 語 分 散 表 現 の 学 習 モ デ ル に つ い て 説 明 す る.次 に,第4章 で はFCE‑publicとNUCLEの
評 価 セ ッ トで あ るCoNLL‑14デ ー タセ ッ ト[7]を 使 い提 案 手 法 を評 価 す る.第5章 で は 文 法 誤 り検 出 モ デ ル と学 習 され た 単 語 分 散 表 現 に お け る評 価 を 行 い,最 後 に 第 6章 で ま と め る.
‡https:〃github
、c。m/kanek。masahir。/grammatical.err。r‑detecti。n
第2章 先行研 究
文 法 誤 り検 出 の研 究 の 多 く は前 置 詞 の 正 誤[8],冠 詞 の 正 誤[9]や 形 容 詞 と名 詞 の 対 の正 誤[10]の よ う に 特 定 の タ イ プ の 文 法 誤 りに 取 り組 む こ と に 焦 点 が 当 て ら れ て い る.一 方 で,特 定 の タ イ プで は な く文 法 誤 り全 般 に取 り組 ん だ 文 法 誤 り検 出 の 研 究 は 少 な い.[R,eiとYannakoudakis[1]は,word2vecを 埋 め 込 み 層 の 初 期 値 と した 双 方 向 のBi‑LSTMを 提 案 し,FCE‑publicに 対 して 全 て の 誤 り を対 象 とす る 文 法 誤 り検 出 タ ス ク に お い て 現 在 世 界 最 高 精 度 を達 成 して い る.我 々 も 全 て の 文 法 誤 り検 出 タ ス ク の 手 法 に取 り組 む が,正 誤 情 報 や 学 習 者 の 誤 りパ タ ー ン を 考 慮 した 単 語 分 散 表 現 を使 う.
誤 りパ タ ー ン を考 慮 した 研 究 と して は,Sawaiら[11]の 学 習 者 誤 りパ タ ー ン を 用 い た 動 詞 の 訂 正 候 補 を 提 案 す る手 法 や,Liuら[12]の 類 義 語 辞 書 お よ び 英 中対 訳 辞 書 か ら作 成 した 誤 りパ タ ー ン を元 に 中 国 人 英 語 学 習 者 作 文 の 動 詞 選択 誤 り を 自動 訂 正 す る 手 法 が あ る.こ れ らの 研 究 と は,動 詞 選 択 誤 りだ け を検 出 対 象 と して い る 点 が 異 な り,Liuら の 研 究 に 関 して は,我 々 が 学 習 者 コー パ ス か ら誤 りパ タ ー ン を作 成 して い る 点 が 異 な る.
正 誤 情 報 の よ うな 正 解 ラ ベ ル を 考 慮 した 単 語 分 散 表 現 を 学 習 す る 研 究 と し て は, 英 語 学 習 者 作 の ス コ ア 予 測 タ ス ク に お い てAlikanio七isら[13]は,各 単 語 の 作 文 ス コ ア へ の 影 響 度 を 学 習 す る こ と に よ っ て 単 語 分 散 表 現 を 構 築 す る モ デ ル を提 案 し た.具 体 的 に は,ス コア 予 測 に よ り特 定 の 単 語 の 作 文 ス コア に 対 す る 影 響 度 を 学 習 し,作 成 した 負 例 との ラ ンキ ング に よ り文 脈 を 学 習 す る.こ の 研 究 で は 平 均2乗 誤 差 を用 い て 文 書 レベ ル の ス コ ア か ら単 語 埋 め 込 み を学 習 す る.一 方 で,我 々 の 研 究 で は ヒ ン ジ 損 失 を用 い て 単 語 レベ ル の2値 誤 り情 報 か ら単 語 埋 め 込 み を 学 習 す る.
文 法 誤 り検 出 の た め の 負 例 作 成 に 関 して は 、Liuら[14]の 研 究 が あ る.ラ ベ ル 付』
け され て い な い コー パ ス か ら負 例 を作 成 す る こ とで 文 法 誤 り検 出 を 学 習 す る,た だ し,こ の 研 究 は 負 例 を 用 い た 誤 文 作 成 が 目的 で あ る。 さ らに,ル ー ル ベ ー ス を使 い 負 例 を 作 成 して い る点 も異 な る.ル ー ル ベ ー ス は 網 羅 性 が 欠 点 で あ る.一 方 で,単 語 列 に 対 して 負 例 を 作 成 して い る 点 が 我 々 の 研 究 と 同 じ で あ る.
大 規 模 な 言 語 学 習 者 コ ー パ ス で あ るLang‑8を 用 い た 文 法 誤 り訂 正 の研 究 と して, 統 計 的 機 械 翻 訳 手 法[15]と ニ ュ ー ラ ル ネ ッ トワ ー ク を 用 い た 同 時 解 析 モ デ ル[16]
4
な ど が あ る.我 々 の 研 究 で は 上 記 の 研 究 の よ う にLang‑8を 直 接 学 習 デ ー タ と して 使 う の で は な く,Lang‑8か ら文 法 誤 りパ タ ー ン を 抽 出 し単 語 分 散 表 現 の 学 習 に 使 用 し た.Lang‑8を 直 接 学 習 デ ー タ と して 使 っ たLSTMべ ・一 ス の 分 類 器 で は 期 待 す る よ うな 結 果 は 得 られ な か っ た が,誤 りパ タ ー ン と し て 有 益 な 情 報 を抽 出 す る こ と で 文 法 誤 り検 出 の 精 度 を 向 上 させ る こ とが 可 能 で あ る こ と を 示 す.
第3章 表 現
正 誤 情 報 と誤 りパ タ ー ン を考 慮 した単 語 分 散
この 章 で は 提 案 手 法 で あ るEWE,GWEとE&GWEに お け る 単 語 分 散 表 現 の 学 習 方 法 に つ い て 詳 し く述 べ て い く.こ れ ら の モ デ ル は,既 存 の 単 語 分 散 表 現 の 学 習 ア ル ゴ リズ ム で あ るC&WEmbedding[3]を 正 誤 情 報 と誤 りパ タ ー ン を 考 慮 で き る よ うに 拡 張 して い る.そ の た め,我 々 は初 め にC&Wの 単 語 分 散 表 現 学 習 に つ い て 説 明 す る.そ して,そ の 次 に 提 案 手 法 で あ るBi‑L,STMを 使 っ た 文 法 誤 り検 出 の た め の単 語 分 散 表 現 学 習 の 具 体 的 な 方 法 に つ い て 述 べ て い く.
3.1C&WEmbedding
Collober七 とWeston[3]の 研 究 は,局 所 的 な 文 脈 を 元 に タ ー ゲ ッ ト単 語 の 分 散 表 現 を 学 習 す る た め のn‑gramベ ー ス の ニ ュ ー ラ ル ネ ッ ト ワ ー ク を 提 案 し た.具 体 的 に は,サ イ ズnの 単 語 列S=(w1,...,Wt,̲,Wn)中 の タ ー ゲ ッ ト単 語 娩 の 表 現 を 同 じ単 語 列 に 存 在 す る 他 の 単 語(∀w,i∈SIWt≠Wt)を 元 に 学 習 す る.分 散 表 現 を 学 習 す る た め に,モ デ ル は タ ー ゲ ッ ト単:9Wtを 語 彙Vか ら ラ ン ダ ム に 選 択 し た 単 語 と 入 れ 替 え る こ と に よ り 作 成 し た 負 例3ノ=(Wl,̲,Wc,̲,Wnlωc〜v)とSを 比 較 す る.そ し て,負 例5'と も と も と の 単 語 列Sを 区 別 す る よ う に 学 習 す る.単 語 列 の 単 語 を 埋 め 込 み 層 で ベ ク トル に 変 換 し,単 語 列 θ と 負 例 θ'を モ デ ル に 入 力 す る,変 換 さ れ た そ れ ぞ れ の ベ ク トル を 連 結 し 入 力 ベ ク トルgc∈Rn×Dと す る.D は 各 単 語 の 埋 め 込 み 層 の 次 元 数 で あ る.そ し て,入 力 ベ ク トルmは 式3.11の よ う に 線 形 変 換 さ れ る.そ の 後,隠 れ 層 の ベ ク トルiは 式3ユ2の よ う に 線 形 変 換 さ れ, 出 力!@)を 得 る.
i==σ(1'1,ThiX十bh)(3.11) f([z7)=肌)ん 毫十bo(3,12)
Whiは 入 力 ベ ク トル と隠 れ 層 の 間 の 重 み 行 列,VII。hは 隠 れ 層 の ベ ク トル と 出 力 層 の 重 み 行 列,b。 とbhは そ れ ぞ れ バ イ ア ス,σ は 要 素 ご と の非 線 形 関 数 七anhで あ る.
こ の モ デ ル は正 し い 単 語 列Sが 単 語 を 入 れ 替 え た こ と に よ り ノ イ ズ を 含 む 負 例S' よ り ラ ン キ ン グ が 高 くな る よ う に す る こ と で 分 散 表 現 を 学 習 す る.そ し て 式3.13
6
9=Oor:
f(x):Sca)er
bus w111
㈲
ptck bus wi)1
{b}
pick
図3.1=単 語 分 散 表 現 を 学 習 す る提 案 手 法(a)EWE(b)GWEの 構 造 両 方 の モ デ ル はwindowサ イ ズ の 単 語 列 の 単 語 ベ ク トル を結 合 し隠 れ 層 に 入 力 して い る.そ の 際i,EWEの 出 力 は ス カ ラ ー 値 で あ り,GWEの 出 力 は ス カ ラ ー 値 と単 語 列 の 中央 単 語 の ラ ベ ル で あ る.
に よ って 正 し い 単 語 列 と ノイ ズ を 含 む 単 語 列 の 差 が 少 な く と も1に な る よ う に最 適 化 さ れ る.
lOtsSconte.fct(S,5"')ニmax(0,1‑f(x)+f(め)
(3.13)
ガ は 負 例S「 の 単 語 ωeを 埋 め 込 み 層 で 変 換 さ れ た ベ ク トル に 変 換 す る こ と で 得 ら れ た 値 で あ るt1‑f(x)十f(x')の 結 果 と0を 比 較 し,大 き い 方 の 値 を 誤 差 とす る.
3.2文 法誤 りパ ター ンを考 慮 した表現 学 習(EWE)
EWEは,C&WEmbeddingと 同 じ モ デ ル で 単 語 分 散 表 現 を 学 習 す る.た だ し, 負 例 を ラ ン ダ ム で 作 成 す る の で は な く,学 習 者 が タ ー ゲ ッ ト単 語 筋 に 対 して 誤 り や す い 単 語 ω,と 入 れ 替 え る こ と で 作 成 す る.こ う す る こ と で,学 習 者 の 誤 りパ タ ー ン を 考 慮 して 負 例 を 作 成 し,タ ー ゲ ッ ト単 語 の 分 散 表 現 が 誤 りや す い 単 語 と 区
別 さ れ る よ う に 学 習 さ れ る.学 習 の 際,wcは 条 件 付 き 確 率P(w。1Wt)に よ り サ ン プ リ ン グ さ れ る.
1・Wc,wt1
・P(WclWt)==(3.21)Σ
Wc'lw・',ω オ
こ こ で ω孟 は タ ー ゲ ッ ト単 語,媛 は 競 と 対 応 す る ω。 の 集 合 で あ る.学 習 者 の 誤 り パ タ ー ン と し て,学 習 者 コ ー パ ス か ら 抽 出 し た 誤 り の 訂 正 前 の 単 語 に 対 し て 誤 り の 訂 正 後 の 単 語 を 入 れ 替 え 候 補 と す る.図3.1(a)はEWEの 表 現 学 習 に お け る ネ ッ トワ ー ク 構 造 を 示 し て い る.
Tんebuswitlpicky・uup露9配 α吻 ・urんotelentery/*entTzznce.
上 の 文 はFCE‑publicの テ ス トデ ー タ に 含 ま れ て い る 文 で あ る.こ の 文 で は,en七ery が 誤 り でentranceが 正 し い 単 語 で あ る.こ の 場 合,Wtはentranceで あ り ωcが enteryで あ る.今 回 の 実 験 で は,1対1の 誤 り パ タ ー ン の み を 使 用 す る.
一 方,入 れ 替 え 候 補 を 学 習 者 が 誤 り や す い 単 語 に す る こ と で,入 れ 替 え 候 補 が な い 単 語 や 頻 度 の 少 な い 単 語 で 文 脈 を 適 切 に 学 習 で き な い と い う 問 題 が 生 じ る.こ の 問 題 をword2vecを 使 い 事 前 学 習 し た ベ ク トル を 単 語 そ れ ぞ れ の 初 期 値 と す る こ と で 解 決 す る.文 脈 が 既 に 学 習 さ れ た ベ ク トル を フ ァ イ ン チ ュ ー ニ ン グ す る こ と で, 入 れ 替 え 候 補 が な い 単 語 や 少 な い 単 語 も 文 脈 を 学 習 す る こ と が 可 能 に な る.
3、3正 誤 情 報 を考 慮 した表 現学 習(GWE)
Alikaniotisら[13]の 作 文 ス コ ア 予 測 の よ う に,C&WEmbed(lingを そ れ ぞ れ の 単 語 の局 所 的 な 言 語 情 報 だ け で な く,タ ー ゲ ッ ト単 語 が どれ だ け 単 語 列 の正 誤 ラ ベ ル に 貢 献 し て い る か を考 慮 し て 学 習 す る よ う に 拡 張 す る.図3.1(b)はGWEの 表 現 学 習 の ネ ッ トワ ー ク 構 造 を示 して い る.単 語 の 正 誤 情 報 を 分 散 表 現 に 含 め る た め に,我 々 は単 語 列 の 正 誤 ラベ ル を 予 測 す る 出力 層 を追 加 し,式3.13を2つ の 出 力 の 誤 差 関 数 か ら構 成 され る よ うに 拡 張 す る.
!9̲̲(gv)二 耽 ん・i+b。 ・
gy=5qブtmam(!9。ammar@)) 置・・8圃 。・(θ)一 一 Σ 多 ・1。9ω
(331) (3.32)
(3,33)
8
lOSSoveratt(5,5')ニ α ・IOSScontex亡(θ,θ')十(1一 α)・los$predict(5)(334)
式331のfg,ammarは,単 語 列 θ の ラ ベ ル の 予 測 値 で あ る 、 式3,32の よ う に, fgrammar、 に 対 し て ソ フ ト マ ッ ク ス 関 数 を 用 い て 予 測 確 率 〃 を 計 算 す る.式3.33で 交 差 エ ン ト ロ ピ ー 関 数 を 用 い て 誤 差IOSSp,。dictを 計 算 す る.こ こ で,汐 は タ ー ゲ ッ
ト単 語 の 正 解 ラ ベ ル の ベ ク ト ル で あ る.そ し て,式3.34の よ う に2つ の 誤 差 を 組 み 合 わ せ てIoss。verallを 計 算 す る.こ こ で α は,2つ の 誤 差 関 数 の 重 み 付 け を 決 定 す る ハ イ パ ー パ ラ メ ー タ で あ る.
我 々 は,学 習 の た め の 単 語 列 の 正 誤 情 報 と してFCE‑pu.blicとNUCLEに も と も と 付 け ら れ て い る 正 誤 の2値 ラ ベ ル を 用 い た.Lang‑8に 関 し て は 動 的 計 画 法 を 使 い タ グ 付 け を 行 っ た.GWEの 負 例 は,C&Wと 同 様 に ラ ン ダ ム に 作 成 さ れ て い る.
3.4文 法誤 りパ ター ン と正誤 情 報 を考 慮 した表現 学 習(E&GWE)
E&GWEは,EWEとGWEを 組 み 合 わ せ た モ デ ル で あ る.具 体 的 に は, E&GWEモ デ ル は 負 例 をEWEの よ う に 誤 りパ タ ー ン か ら 作 成 し,GWEの よ
う に ス コ ア と正 誤 の 予 測 を行 う.
第4章 分 類 器=Bidirec七ionalLSTM(Bi‑LSTM)
我 々 は 英 語 の 文 法 誤 り 検 出 の す べ て の 実 験 で 分 類 器 と し てBi‑LSTM[1]を 用 い る.Bi‑LSTMは こ の タ ス ク に お い てCondi七ionalRandomField(CRF)や
ConvolutionalNeuエalNe七works(CNN)な ど の 他 の モ デ ル と 比 較 し て 高 い 精 度 (世 界 最 高 精 度)を 出 し た.LSTMは 以 下 の よ う に 計 算 さ れ る:
i古 二 σ 侃 。e右+Mlihht‑、+1・Vi。Ct‑、+う の
f̀ニ σ(VVf,e‡+叫 んん・一 ・+wノ 。c・‑1+b/)
Ct==it∈)9(12Vce〔3t‑十 一VV.hん 亡̲1十bc)十!』(∋Ct̲‑1
0オ ニ σ(鴎 ￠et十 Ψy』ん ん古̲1十 耽cC孟 十 うo)
ん亡 二 〇tOん(の
(4.01) (4.02) (4.03) (4.04) (4.05)
こ こ で,銑 は 単 語 軌 の ベ ク トル で あ り,鴨 。,恥 。,肌 。と 鴎,は 重 み 行 列 で あ る.bi,bf,b。 とb。 は そ れ ぞ れ バ イ ア ス で あ る.LSTMは 入 力 情 報 を 制 御 す る た め に 入 力 ゲ ー トit,メ モ リ セ ルCt,忘 却 ゲ ー トftと 出 力 ゲ ー トOtを 持 つ.gとhは シ グ モ イ ド関 数 で あ り,α はtanhで あ る.そ し て,○ は ア ダ マ ー ル 積 で あ る.
我 々 は,図4.1の よ う にLSTMを 両 方 向 に 拡 張 す る.右 方 向 と 左 方 向 の 両 方 向 か ら 単 語 分 散 表 現 ε琶をLSTMに 入 力 す る.
oオ ニVVoh(ん9⑭ 研)+わ 。 (4.06)
Bi‑LSTMモ デ ル は,そ れ ぞ れ の 単 語 分 散 表 現Wtを 隠 れ ベ ク トル 瑠 と 研 に マ ッ ピ ング す る.硬 と 研 は そ れ ぞ れ 左 か ら右 方 向LSTMと 右 か ら左 方 向LSTMの 隠 れ ベ ク トル を 表 し て る.⑭ は 連 結 で あ る.そ して,W。hは 重 み 行 列 で あ りb。 は バ イ ア ス とす る.先 行 研 究 と 同 様 に,我 々 は さ ら に 隠 れ 層 と 出 力 層 の 間 に 線 形 変 換 を 行 う追 加 の 隠 れ 層 を導 入 す る.
出 力Otに 対 して ソ フ トマ ッ ク ス 関 数 を適 用 す る こ と で 予 測 ラ ベ ル の 確iBytを 得 る.正 解 ラ ベ ル と 予 測 ラベ ル の 確 率 ㍑ を も と に 交 差 エ ン トロ ピ ー 関 数 を 使 い 誤 差 を 算 出 し学 習 す る.
10
yi=Oor1 Yヱ=Oor1 Y3:00r1
Extra hidden
Extre hidden
Extra hidden
● ● ● ● ● ● ● ● ●
ele2e3
図4.1=BidirectionalLSTMネ ッ ト ワ ー ク.単 語 ベ ク トルeiが 隠 れ 層 に 入 力 さ れ そ れ ぞ れ の 単 語 の ラ ベ ル を 予 測 す る.
第5章 英 語 学 習 者 コーパ ス に お け る文 法 誤 り検 出
5.1実 験 設 定
我 々 は 分 類 器 と 単 語 分 散 表 現 の た め の 学 習 デ ー タ と し て,FCE‑public学 習 デ ー タ,NUCLEデ ー タ とLang‑8を 用 い る.そ し て,評 価 デ ー タ と し てFCE‑public テ ス ト デ ー タ とCoNLL‑14[7]テ ス ト デ ー タ を 用 い る.開 発 デ ー タ は そ れ ぞ れ FCE‑pubnc開 発 デ ー タ とCoNLL‑13[6]開 発 デ ー タ と す る 、
単 語 の 削 除 誤 り に 関 し て は,削 除 誤 り の 直 後 の 単 語 に 誤 り タ グ を 付 け た.過 学 習 を 防 ぐ た め に,学 習 デ ー タ 上 で 頻 度 が1の 単 語 を 未 知 語 と し た.
我 々 は ま ず 単 語 分 散 表 現 の 学 習 に つ い て,提 案 手 法(EWE,GWEとE&GWE)
と 既 存 手 法(word2vecとC&W)を 比 較 す る.そ の た め に,従 来 手 法 と 提 案 手 法 そ れ ぞ れ の 単 語 分 散 表 現 で 初 期 化 さ れ た 分 類 器Bi‑LSTMをFCE‑publicの 学 習 デ ー
タ を 使 っ て 学 習 し,文 法 誤 り検 出 を 行 っ た.
FCE‑publicデ ー タ セ ッ ト.FCE‑publicデ ー タ セ ッ ト は 文 法 誤 り 訂 正 に お け る 最 も 有 名 な 英 語 学 習 者 コ ー パ ス の1つ で あ る.こ の コ ー パ ス に は 英 語 学 習 者 に よ っ て 書 か れ た 作 文 が 含 ま れ て い る.そ し て,文 法 誤 りの 種 類 に 基 づ い て タ グ 付 け が さ れ て い る.我 々 は 公 式 に 分 割 さ れ た コ ー パ ス を 使 用 し た:学 習 デ ー タ30,953 文,テ ス ト デ ー タ2,720文 と 開 発 デ ー タ2,222文 で あ る.FCE‑publicで は,誤 り パ タ ー ン の タ ー ゲ ッ ト単 語 と し て4,184単 語 が 含 ま れ て い る.入 れ 替 え 候 補 と し て
は9,834ト ー ク ン,6,420タ イ プ が 含 ま れ て い る.
NUOLEとOo.IVLL.提 案 手 法 に よ る 誤 り 検 出 精 度 の 向 上 をFCE‑publicだ け で は な く他 の デ ー タ で も 検 証 す る た め に,CoNL,L‑13[6],CONLL‑14[7]の 共 通 タ ス
ク の デ ー タ とNUSCorpusofLearnerEnglish(NUCLE)[6]を 用 い る.NUCLE は 英 語 学 習 者 で あ る シ ン ガ ポ ー ル の 大 学 の 学 生 に よ っ て 書 か れ た1,414個 の 作 文 が 含 ま れ て い る.含 ま れ て い る 文 法 誤 り は,英 語 を 母 語 と す る プ ロ の 英 語 教 師 に よ っ て 訂 正 と ア ノ テ ー シ ョ ン が さ れ て い る.
学 習 デ ー タ と し てNUCLEの57,151文,開 発 デ ー タ と し てCoNLL‑13の1,381
文 そ し て テ ス トデ ー タ と し てCoNLL‑14の1,312文 を 用 い る.誤 りパ タ ー ン の タ ー ゲ ッ ト単 語 と し て6,204単 語 が 含 ま れ て い る.入 れ 替 え 候 補 と し て は13,617ト ー一 ク ン,9,249タ イ プ が 含 ま れ て い る.誤 っ た 文 に 対 し て 動 的 計 画 法 に よ り 正 解 の タ
12
グ 付 け を 行 っ た.
Lang‑8コ ー パ ス.さ ら に,我 々 は 単 語 分 散 表 現 の 学 習 の た め に 大 規 模 な 英 語 学 習 者 コ ー パ スLang‑8をFCE‑publicとNUCLEに 追 加 し 使 う.そ の 際,分 類 器Bi‑LsTMの 学 習 に はFCE‑publicとNucLEだ け を そ れ ぞ れ の 実 験 で 使 う.
Lang‑8コ ー パ ス に は,英 語 学 習 者 に よ っ て 書 か れ た 英 文 を 人 手 で タ グ 付 け し た100 万 文 以 上 の デ ー タ が あ る.Lang‑8を 単 語 分 散 表 現 の 学 習 に 使 う の は,大 規 模 デ ー
タ に お け る 提 案 手 法 の 効 果 に つ い て 調 べ る た め で あ る.
Lang‑8は 大 規 模 な 学 習 者 コ ー パ ス で あ る が,訂 正 さ れ て い な い 箇 所 が 正 用 例 と 判 断 さ れ た 結 果 訂 正 さ れ て い な い と は 限 ら ず,単 に ア ノ テ ー シ ョ ン さ れ て い な い 場 合 も あ る と い う ノ イ ズ が 含 ま れ て い る[4].一 方 で,訂 正 さ れ た 箇 所 は 正 し い 可 能 性 が 高 い と い う 特 徴 が あ る.そ の た め 我 々 は,Lang‑8を 直 接 学 習 デ ー タ と し て 用 い る よ り 誤 り パ タ ー ン を 抽 出 し単 語 分 散 表 現 を 学 習 し た ほ う が 文 法 誤 り検 出 の 精 度 が 向 上 す る の で は な い か と 考 え た.
こ の こ と を 検 証 す る た め に,以 下 の2つ の 設 定 で 比 較 す る:(1)FCE‑public とNUCLEそ れ ぞ れ の 誤 り パ タ ー ン にLang‑8か ら 抽 出 し た 誤 り パ タ ー ン を 追 加 す る.そ し て,誤 り パ タ ー ン を 用 い て 学 習 さ れ た 単 語 分 散 表 現 に よ っ て 初 期 化 さ れ たBi‑LSTMをFCE‑pUbliCとNUCLEの そ れ ぞ れ だ け を 使 い 学 習 す る
(FCE十EWE‑L8,FCE十E&GWE‑■8,NUCLE十EWE‑L8とNUCLE十E&GWE‑
L8,表5.lb);(2)word2vecで 初 期 化 さ れ たBi‑LSTMの 学 習 デ ー タ と し てFCE‑
publicとNUCLEの そ れ ぞ れ に 直i接Lang‑8を 追 加 す る(FCE&L8+W2Vと NUCLE&L8十W2V,表5.Ib).
単 語 分 散 表 現 を 学 習 す る た め にLang‑8か ら 誤 り パ タ ー ン を 抽 出 す る 負 例 作 成 の 過 程 は 以 下 の 通 り で あ る:
1.動 的 計 画 法 を使 い正 しい 文 と誤 っ た 文 か ら単 語 の ペ ア を 抽 出 す る.
2,抽 出 さ れ た 単 語 の ペ ア が 学 習 デ ー タ(FCE‑publicかNUCLE)に よ って 作 成 され た 語 彙 に 含 ま れ て い た 場 合 誤 りパ タ ー ン と す る.
Lang‑8は 誤 り パ タ ー ン の タ ー ゲ ッ ト単 語 と し て10,372タ イ プ が 含 ま れ て い る.そ し て,入 れ 替 え 候 補 と し て272,561ト ー ク ン,61,950タ イ プ が 含 ま れ て い る.
FCE十EWE‑L8とFCE十E&GWE‑L8の 実 験 で は,単 語 分 散 表 現 の 学 習 の た め
にL,ang‑8とFCE‑publicの 学 習 デ ー タ を 組 み 合 わ せ て 誤 りパ タ ー ン と し た.し か し な が ら,La皿g‑8の 誤 りパ タ ー ン の 数 がFCE‑publicと 比 較 し て 非 常 に 多 い た め, 我 々 は そ れ ぞ れ の 頻 度 の 比 率 が1対1と な る よ う正 規 化 し た.
5.2評 価 尺 度
先 行 研 究[1]の よ う に,我 々 は メ イ ン の 評 価 手 法 と し てFo.sを 使 う.
precision・recall Fe .sニ(1+O.52)・(521)
0.52・precision十 γ馳eeall
こ の 評 価 尺 度 は,誤 り 訂 正 タ ス ク のCoNLL‑14の 共 通 タ ス ク で も 用 い ら れ て い る [7].Fo.sはprecisionとrecallの 両 方 の 組 み 合 わ せ で あ り,precisionに2倍 の 重 み を 割 り 当 て て い る.な ぜ な ら,誤 り 検 出 に お い て は 正 確 な フ ィ ー ドバ ッ ク が カ バ
レ ッ ジ よ り重 要 で あ る か ら で あ る[17].
5.3単 語 分 散 表 現
先 行 研 究[1]で 用 い ら れ て い た 単 語 分 散 表 現 と 揃 え,C&W,EWE,GWEと
E&GWEの 埋 め 込 み 層 の 次 元 数 は300と し,隠 れ 層 の 次 元 数 は200と し た.単 語 分 散 表 現 の 事 前 学 習 で 用 い ら れ るword2vec[2]と し てGoogleNews*か ら ク1]一 ル し た デ ー タ か ら 学 習 し た モ デ ル を 用 い る.単 語 列 の 長 さ は3,予 備 実 験 に よ り単 語 列 か ら作 成 す る 負 例 は600,式(8)の 線 形 補 間 の α はO.03,パ ラ メ ー タ の 初 期 学 習 率 は0.001と し,ADAMア ル ゴ リズ ム[18]に よ っ て 最 適 化 し た.そ し てGWEの 初 期 値 は ラ ン ダ ム と し,EWEは 事 前 学 習 さ れ たword2vecを 初 期 値 に し た.
5.4分 類 器
EWE,GWEとE&GWEをBi‑LSTMを 用 い た 文 法 誤 り分 類 器 の 単 語 分 散 表 現 の 初 期 値 と して 使 用 し,入 力 文 中 の 単 語 の 正 誤 の 予 測 を行 う,ネ ッ トワ ー ク お よ び パ ラ メ ー タ の 設 定 は,word2vecを 初 期 値 に したBi‑LSTMを 使 っ た 先 行 研 究[1]と
寧http8:〃giもhub
.c。m/㎜ihalt隅/w。rd2vec‑G。 。gleNews.vect。rs
14
同 じ設 定 で あ る.具 体 的 に は,埋 め 込 み 層 の 次 元 数 は300と し,隠 れ 層 の 次 元数 は 200と し,隠 れ 層 と 出 力 層 の 間 の 隠 れ 層 の次 元 数 は50と し た.初 期 学 習 率 を0,001
と した.そ して,ADAMア ル ゴ リズ ム[18]で,バ ッ チ サ イ ズ を64文 と して 最 適 化 した.
5.5実 験 結 果
表5.laは,Bi‑LSTMを2つ の ベ ー ス ラ イ ン で 初 期 化 し た モ デ ル (FCE十word2vec,FCE十C&W,NUCLE十word2vecとNUCLE十C&W)
と 提 案 手 法 を 使 っ た モ デ ル(FCE+EWE,FCE+GWE,FCE+E&GWE,NU‑
CL,E十EWE,NUCLE十GWEとNUCLE十E&GWE)のFCE‑pUblicとNUC]IE
を 用 い て 学 習 し た 誤 り検 出 の 結 果 を 示 し て い る.FCE‑publicで 学 習 し た モ デ ル はFCE‑publicの テ ス ト デ ー タ を 使 い,NUCLEで 学 習 し た モ デ ル はCoNLL‑14 [7ユ の テ ス ト デ ー タ を 使 い 評 価 し た.FCE+word2vecに 関 し て は2つ の モ デ ル が あ る.FCE+word2vec(R&Y,2016)は 先 行 研 究[1]で 報 告 さ れ て い る 値 で あ る.FCE十word2vec((R&Y,2016)の 再 実 装)は 先 行 研 究 の 再 実 装 の 結 果 で あ る.
NUCLE十E&GWEとFCE十E&GWEは,そ れ ぞ れ の コ ー パ ス のEWEとGWE
を 組 み 合 わ せ た め モ デ ル で あ る.表5.1bは 大 規 模 な コ ー パ ス で あ るLa皿g‑8を 学 習 デ ー タ に 追 加 し た 文 法 誤 り検 出 の 結 果 を 示 し て い る.そ し て,我 々 は ウ ィ ル コ ク ソ ン の 符 号lr贋位 検 定(P≦0.05>を5回 行 っ た.
表5.laと5.lbか ら,FCE‑publicとNUCLEに お け るPrecision,Recal1 とFo .sに 関 し て そ れ ぞ れ の 手 法 を 以 下 の よ う に ラ ン ク 付 け す る こ と が で き る:(FCE,NUCLE)十E&GWE‑L8>(FCE,NUCLE)十EWE‑L8>(FCE,
NUCLE)十E&GWE>(FCE,NUCLE)十GWE>(FCE,NUCLE)十EWE>
(FCE,NUCLE)十word2vec>(FCE,NUCLE)+C&W.文 法 誤 り 検 出 に お い て 誤 り パ タ ー ン と 正 誤 情 報 を 考 慮 す る こ と で 一 貫 し て 精 度 が 向 上 し て い る.こ の こ と か ら,提 案 手 法 が 文 法 誤 り検 出 で は 有 効 で あ る こ と が わ か る.そ し て,我 々 の 提 案 手 法 はLang‑8コ ー パ ス を 使 う こ と な く 先 行 研 究 と 比 較 し て 統 計 的 有 意 差 が あ る.
我 々 の 提 案 手 法 はFCE‑publicに お い て 全 て の 評 価 尺 度 に お い て 世 界 最 高 精 度 で あ る 先 行 研 究[1]を 上 回 っ た.そ して,FCE&L8十word2vecとFCE十EWE‑L8の 結
果 か ら,直 接 分 類 器 の 学 習 デ ー タ と して 使 う よ り誤 りパ タ ー ン と して 抽 出 し使 う ほ うが 良 い こ とが わ か る.こ れ はLa皿g‑8の 正 し い 文 に ノイ ズ が 多 く含 ま れ て い る た め と考 え られ る.さ らに,上 記 の 実 験 か らGWEと 組 み 合 わ せ る こ と で さ らに 精 度 が 向 上 す る こ と が わ か る.
16
Bi‑LSTM十embeddings PrecisionRecaH∫ も.5 FCE十word2vec(R&Y,2016) 46,128,541.ユ
FCE十word2vec((R&Y,2016)の 再 実 装) 45、8土0,127.8±0.440.5土0.3
FCE+C&W 45.1=丑=0,326.7±0.439.6=』0.3
FCE十EWE 46.1士0.1★28.0土0,1★40.8士0,1★
FCE十GWE 46.5士0,1★28.3±0.4☆412土02★
FCE+E&GWE 46.7士0ユ ★28.6=』0,1★41.4±0.1★
NUCLE十word2vec 25.1土0324,1土1,124.9士0,1
NUCL,E+C&W 22.9±0,222.6=LO.622.9=』0,1
NUCLE+EWE 25,7土0,4★25,3土0.2☆25.6土0,3★
NUCLE+GWE 25.8土0,3★25.6±0.1☆25.8土02★
NUCE十E&GWE 26.0土0、1☆26、0±0.4☆26、0土0,1★
(a)上 表 はFCE‑publicだ け,下 表 はNUCLEだ け で 学 習 さ れ たBi‑LSTMと 単 語 分 散 表 現 の そ れ ぞ れ の テ ス トデ ー タ に お け る誤 り検 出 精 度.
Bi‑LSTM十embeddings PrecisionRecall∫ π〕.5
FCE&L8十word2vec FCE十EWE‑L8 FCE十E&GWE‑L8
12.3±2.632.8士2214.0±2.6
50.5士3.4★ ・30.1士1.2★44.4±2.7★
50.8=ヒ3.6☆30.0±12☆44.6±2,8★
NUC■E&L8十word2vec NUCE十EWE‑L8 NUCLE十E&GWE‑L8
18.5±0.118.6土0.118.5± α1
28,3士0.2☆282±0.2☆283士0,1★
29.0土0.1☆28.8±0.1★28.9±0.1★ ・
(b)大 規 模 なLang‑8コ ー パ ス を追 加 で使 いBi‑LSTMか.単 語 分 散 表 現 の どち ら か を 学 習.
表5.1:Bi‑LSTMを 使 っ た 誤 り検 出 の 結 果.ア ス タ リ ス ク はPrecision,Recallと Fosの そ れ ぞ れ がFCE十word2vec((R&Y,2016)の 再 実 装)に 対 し て 有 意 水 準 0.05で 有 意 差 が あ る こ と を 示 す.
第6章 考 察
表6.1は,FCE‑publicの テ ス ト デ ー タ に お け る そ れ ぞ れ の モ デ ル の 誤 り タ イ プ ご と の 正 解 数 を 示 し て い る.誤 り タ イ プ はFCE‑publicの 正 解 ラ ベ ル を 用 い る.
ま ず,従 来 手 法 と 提 案 手 法 で 正 解 数 が 大 き く 異 な る,動 詞 誤 り と 無 冠 詞 の 誤 り に つ い て 分 析 す る(表6.1の(a)と(b)).動 詞 誤 り に 関 し て は 提 案 手 法 の 正 解 数 が 多 い.
一 方 で
,無 冠 詞 に 関 し て は べ 一 ス ラ イ ン で あ るFCE+word2vecとFCE十C&Wの
ほ う が 正 解 数 が 多 い.提 案 手 法 の ほ う が 無 冠 詞 の 正 解 数 が 少 な い の は,誤 り パ タ ー ン が 単 語 ペ ア を 抽 出 し 作 成 さ れ て お り,単 語 が 欠 落 し て い る 誤 り が 含 ま れ て い な い た め と 考 え ら れ る.1‑gramベ ー ス の 誤 り パ タ ー ン を 用 い た 単 語 分 散 表 現 で は 入 れ 替 え 誤 り に 特 化 し た 学 習 を 行 う た め,誤 り パ タ ー ン に 含 ま れ て い な い よ う な 他 の 誤
り を 文 脈 を 手 が か り に 学 習 す る こ と は 難 し い と 考 え ら れ る.
次 に,我 々 はLang‑8か ら 抽 出 し た 誤 り パ タ ー ン を 使 う こ と に よ る 影 響 に つ い て 調 べ る(表6.1の(b)と(c)).FCE十EWEとFCE十EWE‑L8は 名 詞 誤 り と 名 詞 曲 用 誤 り に お い て 正 解 数 が 大 き く 異 な る.名 詞 誤 り と はsuggestionとadviceの よ う な 誤 りで あ り,名 詞 曲 用 誤 り と はtimeとtimesの よ う な 誤 り で あ る.FCE十EWE‑
L8は,名 詞 誤 り と 名 詞 曲 用 誤 り の 両 方 で 正 解 数 が 多 い.理 由 と して は,名 詞 誤 り と 名 詞 曲 用 誤 り と も にLang‑8に 含 ま れ て い る 誤 り パ タ ー ン の 数 がFCE‑publicと 比 較 し て10倍 ほ ど 多 い た め と 考 え ら れ る.
表6.2は 従 来 手 法 で あ るFCE十word2vecと 最 も 精 度 の 高 い 提 案 手 法 で あ る FCE十E&GWE‑L8の テ ス トデ ー タ に 対 す る 検 出 例 を 示 し て い る.表62(a)は 名 詞 誤 り の 検 出 例 を 示 し て い る.FCE十word2vecは 名 詞 誤 り を 検 出 で き て い な い が, FCE十E&GWE‑L8は 名 詞 誤 り を 検 出 す る こ と が で き て い る.名 詞 曲 用 誤 り に 関 し て は 表62(b)で 示 さ れ て い る,こ こ で,FLCE十word2vecは 誤 り を1つ も 検 出 す る こ と が で き て い な い.一 方 で,FCE十E&GWE‑L8は 名 詞 曲 用 誤 り を 検 出 す る こ と が で き て い る.こ れ は,]lang‑8か ら 抽 出 し た 誤 りパ タ ー ン に 含 ま れ て い た た め と 考 え ら れ る.saleとclothsの 検 出 は 両 方 の モ デ ル が 失 敗 し て い る.し か し,前 者 は 構 文 的 情 報 を 必 要 と し,後 者 は 常 識 を 必 要 と す る た め 誤 り検 出 が 難 し い と 考 え ら れ る.
表62(c)で は,FCE+W2Vは 冠 詞 誤 り の 検 出 に 成 功 し た が,FCE+E&GWE‑L8
は 検 出 に 失 敗 し た.こ の 結 果 は 無 冠 詞 と 同 様 に 誤 り パ タ ー ン の 構 造 上,挿 入 誤 り を
18
誤 り タ イ プ 動 詞 誤 り 無 冠 詞 名 詞 選 択 誤 り 名 詞 曲 用 誤 り
(a)
FCE十word2vec FCE十C&W
5648269 5346247
(b)
FCE十EWE FCE十GWE FCE+E&GWE
60372912 62432911 64403114
(c)
FCE+EWE‑L8 FCE十E&GWE‑L8
66363719 67403918 誤 りの合 計 数 1311127732
表6.1:誤 り タ イ プ ご と の 正 解 数
Bi‑LSTM十embeddingβ 検 出結 果
Gold Thεbuswi皿plekyouupr塘htatyourhote1θ 脆オ7u笛cε.
(a) FCE十word2vec Thebu8wi皿pickyouuprightatyourhotelen、tery.
FCE+E&GWE‑L8 Thεbu8wiUpickyou肛prightatyourhotεlentery,
Gold Thereareshop5whichsel̀cJoオ んθβ,∫ood,andbook5一
(b) FCE十word2vec Thereare臼hopswhidhs乱le5doth5,food5,aロdbooks…
FCE十E&GWE‑L8 Thereareshop5whidh8ale5cloths,fbods,a皿dbooks・ ・
Gold Anthebusesand地 εMTRhaveair‑condition,
(c) FCE・ 十word2vec Anthebu5e8andMTRhaveair‑conditloロ.
FCE+E&GWE‑L8 AnthebusesandMTRhavea廿.condition.
表62:FCE十word2vecとFCE十E&GWE‑L8を 用 い た 誤 り 検 出 の 例.正 解 を イ タ リ ッ ク 体 と し検 出 結 果 を 太 字 で 表 す.
適 切 に 学 習 で き て い な い こ と を 示 し て い る.
図6.1は,学 習 デ ー タ 内 で 高 頻 度 な 誤 り の 単 語 分 散 表 現(FCE+word2vecと
FCE十E8eGWE‑L8)をt‑SNEを 用 い て 可 視 化 し た 図 で あ る.我 々 は 典 型 的 な 前 置 詞 とi助詞 を い く つ か プ ロ ッ ト し た.学 習 者 が 誤 り に く い 単 語 はFCE十E&GWE‑
L8とFCE十word2vecで 似 た よ う な 位 置 と し て 学 習 さ れ て い る.一 方 で,学 習 者 が 誤 り や す い 単 語 に 関 し て は 誤 り の 出 現 頻 度 に 比 例 し てFCE十E&GWE‑L8と
FCE十word2vecで 離 れ た 位 置 と し て 学 習 さ れ て い る こ と が わ か る.例 え ば,under やwalkの よ う に あ ま り 誤 り と し て 出 現 し な い 単 語 はFCE十word2vecの 近 く に 位 置
一ど
一1
ca「bOuld c311fili
㎞ 『酬 。w
岬6‑V→, 一、 、1一 三
図6,1=FCE十word2vecとFCE十E&GWE‑L8に よ っ て 学 習 さ れ た 単 語 分 散 表 現 のt‑SNEに よ る 可 視 化.赤 色 がFCE十word2vecの 単 語 で あ り,青 色 が FCE十E&GWE‑L8の 単 語 で あ る.
して い る.一 ・方 で,wasやcollldの よ うに よ く誤 られ る 単語 はFCE十E&GWE十]L8
の 点 はFCE十word2vecと 比 較 して よ り遠 くに 移 動 して い る.そ して,こ の 図 中 の ほ と ん どす べ て の 単 語 が 上 に 移 動 して い る の で,上 方 向 に移 動 す る 距 離 が 誤 りや す さ に 対 応 し て い る と推 測 され る.こ の 可 視 化 は 学 習 者 に よ る誤 りに 対 す る分 析 に 使 う こ とが で き る.
20
