2.2.3ソ フ ト マ ッ ク ス 分 類 器..一 一

全 文 複 写 可

学 修 番 号15890537

修士論文

句構造 による注意型 ニ ュー ラル評価極性分 類

宮崎 亮輔

2017年2月24日

首都大学東京大学院

システムデザイン研究科 情報通信 システム学域

宮崎 亮輔

審査委員:

小町 守 准教授 石川 博 教授

高間 康史 教授

(主指導教員) (副指導教員) (副指導教員)

句 構造 による注意型 ニ ュー ラル評価極 性分類*

宮崎 亮輔

内容梗概

評 価 文 は,評 価 極 性(ポ ジ テ ィ ブ ・ネ ガ テ ィ ブ)を 反 転 させ る よ う な 表 現 を含 む こ とが あ る が,こ の よ うな 現 象 を 単 語 の み か ら捉 え る こ とは 難 し く,こ の 問 題 を 解 決 す る た め に は 統 語 的 構 造 を考 慮 す る必 要 が あ る.構 文 木 を 利 用 し た 方 法 は これ まで に も考 え られ て い るが,単 語 間 の 係 り受 け 関 係 で 定 義 され るス パ ー ス な 素 性 を 設 計 す る必 要 が あ る.素 性 の スパ ー ス 性 を 解 消 す る た め に再 帰 的 ニ ュ ー ラ ル ネ ッ トワ ー ク(RecursiveNeuralNetwork)に よ る 手 法 も提 案 さ れ て い る が,文 単 位 の 評 価 極 性 分 類 で 既 存 の 手 法 と同 程 度 以 上 の 性 能 を 得 る た め に は,各 句 毎 に極 性 ア ノ テ ー シ ョン さ れ た コ ー パ ス が 必 要 で あ る.各 句 に 人 手 で ア ノ テ ー シ ョン を行 う こ と は コ ス トが 高 く,現 在 は 英 語 な どで の 限 られ た 言 語 で しか コ ー パ ス が 存 在 し な い.ま た 極 性 分 類 に影 響 す る句 や 単 語 は 文 内で も一 部 分 だ けで あ り,再 帰 的 ニ ュ ー ラ ル ネ ッ トワー ク に お い て 木 構 造 上 で 深 い 位 置 に あ る重 要 な 句 や 単 語 の 情 報 に誤 差 を 伝 播 す る の は難 し い.そ こで,本 論 文 で は 極 性 辞 書 と注 意 機 構 を 利 用 し た再 帰 的 ニ ュ ー ラ ル ネ ッ ト ワー ク に よ る モ デ ル を提 案 す る.提 案 手 法 で は,極 性 辞 書 に よ る部 分 ア ノ テ ー シ ョ ンの 活 用 に よ り,文 単 位 の極 性 ア ノ テ ー シ ョ ン しか 得 られ な い 言 語 に お い て も,利 用 可 能 な 教 師 デ ー タの 拡 充 を 図 る.ま た,各 句 や 単 語 を 重 み 付 きで 考 慮 す る注 意 機 構 を再 帰 的 ニ ュ ー ラル ネ ッ トワ ー ク の 一 種 で あ るTree‑LSTMへ 適 用 す る こ とで,終 端 ノ ー ドに 近 い 場 所 に あ る句 の情 報 も効 果 的 に分 類 に用 い る こ と を狙 っ た.実 験 の 結 果 に よ り,i提 案 手 法 が 日本 語 の 評 価 極 性 分 類 に お い て 最 高 精 度 を示 す

こ とが わ か っ た.

*首都 大学 東 京大学 院 シ ステ ムデザ イ ン研 究科 情報 通信 シス テ ム学 域 修 士 論文

,学 修 番 号15890537, 2017年2月24日.

AttentionalNeuralSentimentClassification fromConstituencyThree*

RyosukeMiyazaki

Abstract

Subjectivesentencesoftenincludenegationorintellsi丘cationofsentiment, whicharelinguisticphenomenathatcamotbecapturedwithoutusingacom‑

binationofwords.Toaddエessthisproblem,itisimportanttoconsidersyn‑

tacticstructuressuchasparsetreestructures.However,previousapproaches totrainingsyntax‑basedclassi丘cationm.ode]ISrequiredphrase‑1evelannotated

corpora,whichareIlotrea(lilyavailableinmanylanguagesotherthanEnglish.

Thus,weproposetheuseofT士ee‑StructuredLongShort‑TermMemorywi七h anattentionmechanismtha七paysattelltiontoeachsubtreeoftheparsetree.

Insteadofusingthecorporathatcontainphrase‑1evelamotations,wesuccess‑

fuUyincorporateanattentionmechanismintoourmodelandtakeadvantage ofpolar(lictionaries.Experimentalresultsin(licatethatourmodelachieves state‑of‑theartperf()rmanceinaJapanesesentimentclassi丘cationtask.

*Master,sThesis

,DepartmentofInformationandC。mmunicationSystems,GraduateSchool ofSystemDesign,TokyoMetr◎politanUniversity,StudentID15890537,]February24,2017.

目次

図目次

第1章 はじめ に

第2章 2.1 2.2

2.3

第3章 3.1 3.2 3.3

第4章 4.1 4.2

関 連 研 究

日本 語 評 価 極 性 分 類..

再 帰 的 ニ ュ ー ラ ル ネ ッ ト ワ ー ク

2.2.1再 帰 的 ニ ュ ー ラ ル ネ ッ ト ワ ー ク に よ る 文 の 分 散 表 現 の モ デ ル 化

2.2.2ThleeLSTMに よ る再 帰 的 ニ ュ ー ラ ル ネ ッ ト ワ ー ク の 改 善.

2.2.3ソ フ ト マ ッ ク ス 分 類 器..一 一...

注 意 機 構.

極 性 辞 書 を 利 用 し た 句 構 造 注 意 型=ユ ー ラ ル 評 価 極 性 分 類 注 意 型 ソ フ トマ ッ ク ス 分 類 器...

評 価 極 性 辞 書 に よ る 訓 練 事 例 の 拡 充..

学 習....

評 価 極 性 分 類 実 験 実 験 デ ー タ....

比 較 手 法...

MFS...

LogRes...

RNN..

V

1

6δ0δ9σ4}りρ07・◎り80UO1 ‑占‑⊥‑⊥り倉りθ9一‑←1⊥1⊥‑⊥‑⊥‑⊥

Tree‑LSTM...

SdA T}eeCRF...

'lhree‑LSTMw/attn ,dict・

4.3ハ イ パ ー パ ラ メ ー タ 4.4実 験 結 果...

第5章 考 察

第6章 お わ り に

謝 辞

参 考 文 献

22223358901111111112

図 目次

2.1

3.1 5.1

RNNに よ る 句 の 構 成̲...

注 意 型 ソ フ ト マ ッ ク ス 分 類 器 に よ る ア テ ン シ ョ ン の 例

ア テ ン シ ョ ン を 可 視 化 し た テ ス ト 事 例...

ド00U61

第1章 は じめ に

ユ ー ザ が 投 稿 す る テ キ ス トは有 用 な情 報 を含 む こ とが 多 い.例 え ぼ,ユ ー ザ に よ る レ ビ ュ ー 文 や そ の 評 価 は,他 の ユ ー ザ が 製 品 を 比 較 し た り購 入 の 決 断 を し た りす る際 に役 に 立 つ.自 動 で 評 価 極 性 分 類 を 行 う こ とは,そ の よ う な ユ ー ザ が 投 稿 す る テ キ ス トを解 析 す る た め に も重 要 な 技 術 の 一 つ で あ る.

文 書 分 類 の 標 準 的 な ア プ ロ ー チ は 単 語 の 共 起 やbag‑of‑wor(bな ど の 素 性 を利 用 し て い るが,こ れ ら の 単 純 な 素 性 は 評 価 極 性 分 類 の タ ス ク に は 効 果 的 で は な い[1].

例 え ぼ,"詐 欺 を撲 滅 す る。"と い う文 は"詐 欺"と"撲 滅"と い うネ ガ テ ィ ブ な 評 価 極 性 を 示 す 語 を 含 ん で い るが,全 体 の 表 現 は ポ ジ テ ィ ブ な 評 価 極 性 と考 え られ る.

こ の よ う な極 性 が 変 わ る 問 題 に対 処 す る た め に は,単 語 や 句 間 の 関 係 を考 慮 す る必 要 が あ る.

Nakagawaら[2]は 依 存 構 造 木 を利 用 す る こ とで こ の 問 題 に 取 り組 ん だ.依 存 構 造 木 の 各 部 分 木 に 隠 れ 変 数 と し て トレ ー ニ ン グ デ ー タ に は含 まれ な い 評 価 極 性 を推 定 す る.文 全 体 の 極 性 はTree‑CRF[3]に よ っ て 各 部 分 木 の 隠 れ 変 数 を考 慮 し て 分 類 さ れ る.こ れ に よ っ て,こ の モ デ ル は 評 価 極 性 分 類 特 有 の 極 性 の 反 転 な どの 特 徴 を 捉 え る こ とが で き る.し か し な が ら,彼 ら の 手 法 は 素 性 テ ン プ レ ー トを利 用 し て 組 み合 わ せ 素 性 を 展 開 し て い るた め,素 性 ス パ ー ス ネ ス の 問 題 を 抱 え て い る.

近 年,密 な 素 性 表 現 を用 い た デ ィ ー プ ニ ュ ー ラ ル ネ ッ トワ ー ク に よ る 手 法 が 多 く の 注 目 を集 め て い る[4,5,6,7,8,9].特 に,再 帰 的 ニ ュ ー ラ ル ネ ッ トワ ー ク と呼 ば れ る木 構 造 を 用 い た ア プ ロ ー チ が 評 価 極 性 分 類 の タ ス ク で 高 い 分 類 精 度 を 示 し て い る[4,5,6,8].Tree‑CRFが 疎 な バ イ ナ リ素 性 を利 用 し て い る一 方 で,再 帰 的 ニ ュ ー ラ ル ネ ッ トワ ー ク は 密 な 実 数 値 の 素 性 表 現 を 学 習 す る こ とで 素 性 ス パ ー ス ネ ス の 問 題 を解 決 して い る.し か し評 価 極 性 分 類 タ ス ク に お い て,再 帰 的 ニ ュ ー ラル ネ ッ トワ ー ク は しぼ し ぼ句(構 文 木 の 各 部 分 木)単 位 に ア ノ テ ー シ ョ ン され た コー パ ス を必 要 とす る.こ の 句 単 位 の ア ノ テ ー シ ョ ン は,再 帰 的 ニ ュ ー ラル ネ ッ トワー ク に お い て"悪 くな い"な どの 極 性 の 反 転 や,"と て も 良 い"な どの 極 性 の 強 調 を 学 習 す る た め 重 要 な情 報 で あ る.句 単 位 で 極 性 が ア ノ テ ー シ ョ ン さ れ た コ ー パ ス は 英 語 以 外 の 言 語 で 利 用 可 能 な 資 源 が 未 だ な い た め,再 帰 的 ニ ュ ー ラル ネ ッ トワ ー クの

モ デ ル を他 の 言 語 に適 用 す る こ とを 妨 げ て い る.

そ こで,本 論 文 で は評 価 極 性 辞 書 と句 構 造 に 対 す る注 意(ア テ ン シ ョ ン)機 構 を 導 入 し,部 分 木 の 情 報 を 再 帰 的 ニ ュ ー ラ ル ネ ッ トワ ー ク に 直 接 伝 え る 手 法 を 提 案

す る.ア テ ン シ ョ ン機 構 はNLP分 野 で も 多 くの 注 目を 集 め て い る[10,11,12,13, 14,15,16,17].例 え ぼ ニ ュ ー ラル 機 械 翻 訳 で は,ア テ ン シ ョン 機 構 を 導 入 し,直 接 原 言 語 の 各 単 語 に対 応 す る 隠 れ 層 を参 照 す る こ とで,長 い文 に 対 し て 入 力 の 原 言 語 の 文 全 体 を1つ の 隠 れ ベ ク トル と して 表 現 す る既 存 の エ ン コ ー ダ ・デ コ ー ダ モ デ ル の 難 し さ を 解 消 し た[10].ニ ュ ー ラ ル機 械 翻 訳 に お い て は,エ ン コ ー ダ ・デ コ ー ダ の よ う な 回 帰 的 ニ ュー ラ ル ネ ッ トワ ー ク(RecurrentNeuralNetwork)の み な ら ず,再 帰 的 ニ ュ ー ラル ネ ッ トワ ー ク に対 して も ア テ ンシ ョ ン機 構 の 研 究 が な さ れ て い る[17].本 論 文 で は,こ の再 帰 的 ニ ュ ー ラル ネ ッ トワ ー ク に ア テ ン シ ョン 機 構 を 適 用 し た モ デ ル を評 価 極 性 分 類 に利 用 す る。 さ ら に,評 価 極 性 辞 書 を 教 師 ラベ ル と して 用 い る こ とで 木 構 造 上 の 終 端 ノー ドに 近 い 位 置 に あ る句 や 単 語 レベ ル の 分 散 表 現 の 学 習 に利 用 可 能 な 教 師 デ ー タ の 拡 充 を 行 う.Kokki=nosら[18]も 同様 に再 帰 的 ニ ュ ー ラル ネ ッ トワ ー ク に ア テ ン シ ョ ン機 構 を 適 用 して 評 価 極 性 分 類 を 行 っ て い る が,句 単 位 に ア ノ テ ー シ ョ ン さ れ た コ ー パ ス に お い て 実 験 を行 っ て い る.本 論 文 で は 特 に文 単 位 の み に ア ノ テ ー シ ョ ン さ れ た コ ー パ ス に お い て の 学 習 に 焦 点 を 当 て る.本 論 文 で 提 案 す る方 法 で は,評 価 極 性 辞 書 とア テ ン シ ョ ン機 構 の 導 入 に よ り, 文 単 位 に ア ノ テ ー シ ョ ン され た コー パ ス の み か ら学 習 す る こ とが で き る.

本 論 文 の 主 要 な 貢 献 は 以 下 に示 す とお りで あ る.

・ ア テ ン シ ョ ン機 構 を適 用 す る こ とで,文 単 位 の ア ノテ ー シ ョ ン の み の コ ー パ ス か らで も再 帰 的 ニ ュ ー ラ ル ネ ッ トワ ー ク に よ る評 価 極 性 分 類 を学 習 で き, 'lhree‑CRFの よ うな 素 性 エ ン ジ ニ ア リ ン グ が 不 要 で あ る こ と を示 した.

・ 再 帰 的 ニ ュ ー ラ ル ネ ッ トワ ー ク に よ る評 価 極 性 分 類 で 評 価 極 性 辞 書 を 効 果 的 に利 用 で き る こ と を示 し た.

・ 日本 語 の 評 価 極 性 分 類 タ ス ク に お い て 最 高 精 度 を達 成 し た.

第2章 関連研 究

この 章 で は 日本 語 評 価 極 性 分 類,再 帰 的 ニ ュ ー ラ ル ネ ッ トワ ー ク,ア テ ン シ ョ ン モ デ ル に 関 す る関 連 研 究 を それ ぞ れ 述 べ る.

2.1日 本語 評価 極 性 分 類

Ikedaら[19ユ は単語の周囲の窓内で極性が反転す るか否か を分類す る手法 を提案 し,日 本語評価極性分類 に適用 した.Ikedaら の手法で は構文情報 は利用 されてい ない.ま た,単 語や句,文 の分散表現 も考慮 されていない.

Nakagawaら[2]は 依存構造木 にもとついた評価極性分類手法 を提案 した.こ の モデルはTree‑CRFに よって,依 存構造木の部分木 に対応す る評価極性 も考慮 しな が ら分類 す る.そ れぞれの部分木 に対応する隠れ変数が評価極性 を表 し,隠 れ変数 どうしの相互作用 も考慮す る.彼 らの手法では,部 分木の隠れ変数の初期値 を決定 す るため に評価極性が辞書利用 され てい る.ま た,極 性反転 を捉 えるための極性反 転辞書 も利用 して評価極性分類 を行 っているが,本 論文の提案 する手法で は単純な 評価極性辞書のみを利用 している.彼 らの手法で用 い られ る素性 は基本的 にバイナ

リ素性であ り,単 語や句 の分散表現 は考慮 されていない.

Zhangら[9]は 多層i雑音除去自己符号化器 と単語お よび文の分散表現 を利用 して 評価極性分類 を行 った.入 力文 内の単語の分散表現 の平均ベ ク トルを文の分散表現 として,多 層雑音除去自己符号化器へ と入力 した.統 語的情報 を一切扱 っていない が,多 層 に事前学習 を行 いかつ雑 音除去 による汎化能力 によって高い精度 を示 し た.一 方,彼 らの手法で は統語情報の他 に句の分散表現 も考慮せず,評 価極性辞書

も用 いていない.彼 らの手法で評価極性辞書を活用 する方法 は自明ではないが,本 研究 は遠距離教師あ り学習 と類似 した方法で 自然に評価極性辞書を利用 している.

2.2再 帰 的.ニュ ー ラ ル ネ ッ トワ ー ク

1章 で 述 べ た よ う に,近 年 で は デ ィ ー プ ニ ュ ー ラ ル ネ ッ トワ ー ク を 利 用 し た 評 価 極 性 分 類 手 法 が 研 究 され て い る.特 に再 帰 的 ニ ュ ー ラ ル ネ ッ トワ ー ク は 統 語 構 造 を

考 慮 して 文 の 分 散 表 現 を学 習 で き,こ れ ま で に様 々 な 再 帰 的 ニ ュー ラ ル ネ ッ トワ ー ク の モ デ ル が 研 究 され て い る[4,20,5,21,8,22].再 帰 的 二・ユ ー ラル ネ ッ トワ ー ク で は,構 成 関 数 と呼 ぼ れ る関 数 に よ っ て あ る句 を構 成 す る2つ の 子 か ら そ の 句 の 分 散 表 現 を構 成 し,こ れ を再 帰 的 に適 用 して 文 の 分 散 表 現 を得 る.Socherら[4]は 最 初 に単 語 や 句 間 の 相 互 関 係 を考 慮 しな い シ ン プ ル な 再 帰 的 ニ ュ ー ラ ル ネ ッ トワ ー

ク を 提 案 した.後 に行 列 や テ ン ソル を 用 い て 単 語 や 句 間 の 相 互 作 用 を考 慮 す る よ う 拡 張 し た 構 成 関 数 を提 案 し[20,5],英 語 の 評 価 極 性 分 類 タ ス ク の 精 度 の 向 上 に貢 献 し た.Qianら[21]は 句 カ テ ゴ リの 情 報 を構 成 関 数 に 組 み 入 れ,よ り多 くの 構 文 木 情 報 を利 用 す る方 法 を提 案 し た.こ れ ら の再 帰 的 ニ ュ ー ラル ネ ッ ト ワー ク に は 回 帰 的 ニ ュ ー ラ ル ネ ッ トワ ー ク と同様 に,長 い履 歴 を考 慮 で き な くな る 問 題 が 存 在 す

る.Taiら[8]は こ の 長 い 履 歴 を考 慮 で き な くな る 問 題 を 解 消 す る た め に,LSTM (LongShort‑TermMemory)[23]と 呼 ぼ れ る ユ ニ ッ トを 再 帰 的 ニ ュ ー ラ ル ネ ッ ト

ワ ー ク に 適 用 した.

2.2.1節 でSocherら[4]が 最 初 に提 案 し た シ ン プ ル な 再 帰 的 ニ ュ ー ラ ル ネ ッ ト ワ …一一ク を,2.2.2節 でTaiら[8]が 提 案 し たLSTMを 再 帰 的 ニ ュ ー ラル ネ ッ トワ ー ク に適 用 した モ デ ル を 説 明 し,そ れ ら を用 い て ソ フ トマ ッ クス 分 類 器 に よ っ て 評 価 極 性 分 類 を行 う方 法 を2.2.3節 で 述 べ る.

2.2.1再 帰 的 ニ ュ ー ラ ル ネ ッ トワ ー ク に よ る 文 の 分 散 表 現 の モ デ ル 化

再 帰 的 ニ ュー ラ ル ネ ッ トワ ー ク(RNN)[4,5]は 句 の表 現 を そ の 子 の表 現 か ら構 成 す る.図2.1に 示 す よ う に,こ の 構 成 プuセ ス は よ り長 い 句 の 分 散 表 現 を得 る た め に再 帰 的 に 繰 り返 す こ とが で き る.句 構 造 木 の よ うな 構 文 木 に沿 っ て こ の構 成 プ ロ セ ス を再 帰 的 に適 用 す る こ とで,最 終 的 に根 の 表 現 と して 文 の 分 散 表 現 を得 え る こ とが で き る.構 成 関 数 を複 雑 に しな い た め,二 分 木 化 した 構 文 木 が し ば し ぼ用 い ら れ る.構 文 木 内 で は根 ノ ー ド,非 終 端 ノ ー ド,終 端 ノ ー ドは それ ぞ れ 文,句,単 語

を 表 す.

」番 目の ノー ドの 表 現 砺 は構 成 関 数gに よ っ て 計 算 さ れ る.

んゴニ!(9(hl・,鰐)), (2.2.1)

● ● ●

ネ ガ テ ィブ

● ● ●

… 悪 く

ニ ュ ー ト ラ ル

● ● ●

な い … 図2.1:RNNに よ る 句 の 構 成

9(脚 一 覗+b,(2・2・2)

こ こ で,行 列W∈Rd×2dと バ イ ア ス ベ ク ト ルb∈Rdは 学 習 す る パ ラ メ ー タ で あ り,hS・,鰐 ∈Rdはd次 元 の ベ ク トル で 表 され た ノー ド 掲 の 左 右 の 子 の 表 現 で あ る.活 性 化 関 数!に はtanhを 用 い ら れ る こ と が 多 い.

2.2.2Tree‑LSTMに よ る 再 帰 的=ユ ー ラ ル ネ ッ ト ワ ー ク の 改 善

回 帰 的 ニ ュ ー ラ ル ネ ッ ト ワ ー ク を 学 習 す る 過 程 で,長 い 系 列 を 入 力 す る と パ ラ メ ー ク の 勾 配 が 爆 発 も し く は 消 失 し て し ま う 問 題 が あ る[24,25].こ の 勾 配 の 消 失 を 防 ぐ た め に,LSTMと 呼 ば れ る ユ ニ ッ トが 回 帰 的 ニ ュ ー ラ ル ネ ッ トワ ー クの た め に 提 案 さ れ た[23].

RNNに つ い て も 同 様 に 勾 配 消 失 問 題 が 生 じ る た め,RNNにLSTMを 適 用 す る こ と でTaiら[8]やZhuら[22]に よ っ て'liree‑LSTM('Iree‑StructuredLong

Short‑TermMemoryNetwork)が 提 案 さ れ,RNNに お け る 勾 配 消 失 の 問 題 を 改 善 し た.本 論 文 で は,Taiら[8]に よ っ て 提 案 さ れ た 二 分 木 の'llree‑LSTM(Binary Tree‑LSTM)を 利 用 す る.TYeeLSTMで は 以 下 の よ う に 子 ベ ク ト ル か ら親 ベ ク ト

ル を 構 成 す る.

ら 一 σ(σω

h・S・

鰐

+δ(の), (2.2.3)

f」1=・ σ(σ(!の ん釜+b(ft)),

か 一 σ(σ(か)ん1+b(か))・

・・一 σ(σ(・)圏+わ ψ)),

uゴ ーtanh(σ@)圏+わ(u)),

cゴ=iゴ(∋uゴ 十 乃̀(∋cゴ ε十 ゐrOcゴr, んゴ=oゴ(…)tanh(cゴ),

(2.2.4) (2.2.5) (2.2.6) (2.2.7) (2.2.8) (2.2.9)

行 列 σ ∈Rd×2d(uft,σ か に お い て は,σ ∈Rd×d)と バ イ ア ス ベ ク トルb∈Rd は 学 習 す るパ ラ メ ー タ で あ る.σ は シ グ モ イ ド関 数 を,oは ア ダ マ ー ル 積 を 表 す.

記 憶 状 態cは 必 要 な情 報 を必 要 に な る タ イ ミ ン グ ま で 保 持 して お くた め に,入 力 ゲ ー トi,忘 却 ゲ ー ト!,出 力 ゲ ー トoと 呼 ぼ れ る ゲ ー トに よ っ て 制 御 さ れ る.入 力 ゲ ー トは 吻 の ど の 次 元 を どれ く らい 入 力 す る べ き な の か,忘 却 ゲ ー トは 勉 と cゴ.の どの 次 元 を どれ く らい 忘 れ る べ き な の か,出 力 ゲ ー トはtanh(cゴ)の どの 次 元 を どれ く ら い 出 力 す べ き な の か を そ れ ぞ れ 選 択 す る役 割 を担 う.

こ こで,式2.2.4,2.2.5に 示 さ れ て い る通 り,左 の 子 の 記 憶 状 態cゴ̀の た め の 忘 却 ゲ ー ト か は,そ の 逆 の 右 の 子 か ら の 出 力 鰐 の み を 入 力 の 隠 れ 層 ベ ク トル と し て 受 け取 り,そ の 逆 も ま た 同様 で あ る こ とに注 意 され た い*.

2.2.3ソ フ ト マ ッ ク ス 分 類 器

構 文 構 造 を ニ ュー ラ ル ネ ッ トワ ー ク に 組 み 込 む た め に,RNNを 用 い て 句 や 文 の 分 散 表 現 を計 算 した.次 に,任 意 の 句 や 文 の 分 散 表 現 か ら対 応 す る評 価 極 性 ラ ベ ル gを 予 測 し た い.予 測 し た い 対 象 の ノ ー ド 」 の 評 価 極 性 ラ ベ ルgゴ の 予 測 に は ソ フ

トマ ッ ク ス 分 類 器 を用 い る.

ノ ー ド ゴの ベ ク トル 表 現 んゴ を入 力 と し て 受 け 取 り,分 類 器 は そ の ラ ベ ル 窃 を 以

*Zhuら[22]の 手 法 で は忘 却 ゲ ー トへ の 入 力 も,式2.2.3,2.2.6の よ う に 左 右 両 方 の 隠 れ 層 ベ ク トル を結 合 して 受 け取 る.

下 の 式 に よ っ て 予 測 す る.

9ゴ=argmaxβ θ(ylhゴ),

flθ(〃iんゴ)‑S・ftmax(W(s)hゴ+b(s)),

(2.2.10) (2.2.11)

こ こ で,W(S)∈Rdt×dとb(S)∈Rdは 学 習 す るパ ラ メ ー タ 行 列 とバ イ ア ス で あ り,dlは ラベ ル の 数 を 表 して い る(ポ ジ テ ィ ブ ・ネ ガ テ ィ ブ の 分 類 な ら2値).ソ フ トマ ッ ク ス 分 類 器 は ラ ベ ル の 確 率 分 布y∈R♂ を生 成 し,そ の 中 で 最 も高 い値 の 次 元 に対 応 す る ラベ ル を予 測 ラベ ル と し て 選 択 す る.

2.3注 意 機 構

人 間 の 注 意(ア テ ン シ ョ ン)能 力[26]に 関 す る イ ン ス ピ レ ー シ ョ ン を 心 理 学 の 分 野 か ら取 り入 れ,コ ン ピ ュ ー タ サ イ エ ン ス の 分 野 で も ア テ ン シ ョ ン とい う考 え 方 を 導 入 し た 機 構 が 使 わ れ る よ う に な っ た.ア テ ン シ ョ ン の 主 な 着 眼 点 は,入 力 の ど の 部 分 に よ り焦 点 を 当 て るか とい う機 能 で あ る.

NLPの 分 野 で は機 械 翻 訳[10,11,17],文 書 要 約[12,13,14],単 語 分 散 表 現 の 学 習[15],画 像 キ ャ プ シ ョ ン生 成[16]な どの 様 々 な タ ス ク に ア テ ン シ ョ ン機 構 が 導 入

され て き た.

これ らの ア プ ロ ー チ は,入 力 の 各 単 語 や 画 像 の 各 領 域 が 単 語 の 生 成 に どれ だ け 寄 与 す るか を ア テ ン シ ョ ン機 構 に よ っ て 考 慮 し て い る.こ れ らの ア プ ロ ー チ の ほ とん どが 単 語 系 列 の 生 成 の タ ス ク に 取 り組 ん で い る†の に 対 し て,本 論 文 の モ デ ル で は 評 価 極 性 分 類 に ア テ ン シ ョ ン機 構 を導 入 し て い る.江 里 ロ ら[17]は 再 帰 的 ニ ュ ー ラ ル ネ ッ トワ ー ク お よ び 回 帰 的 ニ ュ ー ラ ル ネ ッ トワ ー ク の 両 方 を 用 い た ニ ュ ー ラ ル 機 械 翻 訳 に お い て,木 構 造 に対 す る ア テ ン シ ョン機 構 を提 案 して い るが,本 論 文 の モ デ ル で は,単 語 レベ ル の 回 帰 的 ニ ュ ー ラル ネ ッ トワ ー ク は 除 外 して い る.

†単語 分散 表現 の学 習[15]は 系列 の生 成 で はな く点推 定 を行 って い る.

第3章 極 性辞 書を利用 した句構造 注意型 ニ ュー ラル 評 価 極性分 類

こ の章 で は,2.2.2節 で 説 明 し たTree‑LSTMに よ る評 価 極 性 分 類 器 を拡 張 し,提 案 手 法 とな る ア テ ン シ ョ ン機 構 を 導 入 した 注 意 型 ソ フ トマ ッ ク ス 分 類 器,評 価 極 性 辞 書 の利 用 方 法,最 後 に学 習 の 目 的 関 数 につ い て説 明 す る.

3.1注 意 型 ソ フ トマ ツク ス分 類器

句 単 位 の極 性 ア ノ テ ー シ ョ ンが 得 られ な い 際 に,比 較 的 長 い句,特 に文 の 学 習 時 に木 構 造 の葉 ノ ー ド付 近 まで 誤 差 を伝 え る の が 難 しい.後 の 実 験 で 示 す よ う に,評 価 極 性 分 類 は単 語 の 情 報 だ け で も比 較 的 高 い 分 類 精 度 が 得 られ る タス クで あ り,終 端 ノ ー ドや 前 終 端 ノ ー ドの よ うな 深 い 層 の 情 報 も有 効 に 活 用 した い.こ の 問 題 を解 消 す る た め に,注 意(ア テ ン シ ョ ン)機 講 を 導 入 す る.

注 意 型 ソ フ トマ ッ クス 分 類 器 は 入 力 と し て 新 た に ア テ ン シ ョ ンベ ク トル αゴ を 受 け取 る.

齢)‑S・ftmax(W(・')[k]+b(・)),

αゴ ー Σ αゴ乞oん6, i

9(hi,ん ゴ) αゴ乞=Σ

i,9(hir,ん ゴ)'

9(鳩)‑exp(映2)徳 血@)[急])),

(3.1.1) (3.1.2)

(3.1.3) (3.1.4)

こ こ で,W(sノ)∈Rdi×2d,W(α1)∈Rdα ×2d,W(α2)∈R1×daは 学 習 す るパ ラ メ ー タ 行 列 で あ る.式3。1.4で は 表 記 の 簡 略 化 の た め に,W(α1)とW(α2)に 対 応 す る バ イ ア ス 項 を 記 述 し て い な い が,実 際 に は そ れ ぞ れ バ イ ア ス 項 が 存 在 す る.

ア テ ン シ ョ ン ベ ク ト ル αゴ は 分 類 し よ う と し て い る 対 象 の ノ ー ド 以 下 の 全 ノ ー ド の ベ ク トル に 対 し て,そ れ ぞ れ どれ く ら い 強 く考 慮 し て 対 象 の ノ ー ド の 分 類 に 利 用 す る か を 表 現 し て い る.ス カ ラ ー 値 αゴ￠は 各 ノ ー ド の 重 み と し て 利 用 さ れ,タ ー ゲ ッ ト ノ ー ド 以 下 の 全 ノ ー ド の 重 み 付 き 和 で ア テ ン シ ョ ン ベ ク ト ル αゴ が 構 成 さ

●●◎

⑰

詐欺 ^を

ア テ ン シ ョ ン ベ ク トル

● ● ● ●● ●

撲滅

0.0

● ● ●

す る

図3.1:注 意 型 ソ フ トマ ヅ ク ス 分 類 器 に よ る ア テ ン シ ョ ン の 例

れ る.

図3.1に 示 す よ う に,注 意 型 ソ フ トマ ッ ク ス分 類 器 へ の 入 力 に2.2.1節 に 説 明 し た よ う な 再 帰 的 ニ ュ ー ラル ネ ヅ トワ ー クに よ っ て計 算 し た文 の 分 散 表 現 と,句 構 造 の 各 隠 れ ベ ク トル に 対 す る ア テ ン シ ョ ン ベ ク トル を結 合 す る こ とに よ り,ど の 単 語 あ る い は 句 に注 目 して 分 類 を 行 う か,と い う情 報 を分 類 時 に 明 示 的 に考 慮 す る こ と が で き る.

3.2評 価極性辞書 による訓練事例の拡充

3.1節 で も述 べ た よ う に,文 単 位 に ア ノ テ ー シ ョ ン され た コー パ スで はRNNの 学 習 の た め の 情 報 が 不 足 し て し ま う.そ こで,ア テ ン シ ョ ン機 構 に加 え て,追 加 の 事 前 知 識 と して 評 価 極 性 辞 書 の 利 用 を検 討 す る.具 体 的 に は,Nakagawaら[2]と 同 じ よ う に,単 語 や 短 い 句 の 評 価 極 性 辞 書 を 利 用 す る.単 語 や 旬 に 関 す る極 性 情 報 付 き の 辞 書 は,ど の 言 語 で も比 較 的 容 易 に入 手 ・(半)自 動 構 築 可 能 で あ る と考 え ら れ る た め で あ る.

学 習 コ ーパ ス 内 で 評 価 極 性 辞 書 の エ ン トリー とマ ッ チ す る単 語 ・旬 が 出 現 し た 際 に は,そ の 単 語 や 句 に 対 応 す る評 価 極 性 を 教 師 ラ ベ ル と し て 与 え,訓 練 事 例 に追 加 し て 学 習 に 利 用 す る.Nakagawaら[2]と の 違 い は,本 論 文 の モ デ ル で は 評 価 極 性 辞 書 に よ る極 性 を 正 解 ラ ベ ル と し て 遠 距 離 教 師 あ り学 習(distantlysupervised learning)[27]の よ う に利 用 す る の に対 して,Nakagawaら はCRFの 隠 れ 変 数 の 初 期 値 と して 利 用 して い る点 で あ る.

3.3学 習

ニ ュ ー ラル ネ ッ トワー ク の 誤 差 関 数 は,真 の ラベ ル の 分 布(す な わ ちon曲otベ ク トル)と ソ フ トマ ッ クス 関 数 に よっ て 予 測 し た 分 布 との 交 差 エ ン トロ ピー の 総 和 を利 用 す る 。

」(θ)一 一 ￡ 捗た1・99k+会11θ1i;,(3・3・1)

k=1

こ こで,鵬 は 学 習 デ ー タ 中 に 存 在 す る教 師 ラベ ル の 数 を 表 し*λ は荷 重 減 衰 係 数 で あ る.

*も し デ ー タ セ ッ トが 文 単 位 ア ノテ ー シ ョ ン の コ ー パ ス で あ れ ぼ,鵬 は 事 例 数 とな る.本 論 文 の 手 法 の場 合,評 価 極 性 辞 書 に マ ッ チ す る表 現 の 数 だ け,事 例 数 が 増 加 す る.

第4章 評価極性分類実験

提案 したモデルを評価 するために,日 本語評価極性分類の実験 を行った.

4.1実 験 デ ー タ

RNNへ 入 力 す る単 語 ベ ク トル の 初 期 値 と して,word2vecのSkip‑gram[28, 29,30]に よ っ て 事 前 学 習 を 行 っ た ベ ク トル 表 現 を 利 用 し た.日 本 語Wikipe(lia (2014.11)をKyTea[31]*に よ っ て 単 語 分 割 し た後 に,200次 元 の 単 語 分 散 表 現 を事 前 学 習 し た.句 構 造 解 析 に はCkylark[32]† を利 用 し,Ckylarkへ の 入 力 に はKyTea に よ る 単 語 分 割 の 出 力 を用 い た.

評 価 極 性 分 類 の 実 験 に は,NTCIRの 日本 語 意 見 分 析 コ ー パ ス(NTCIR‑J)[33,34]

を利 用 した.NTCIR‑Jは ポ ジ テ ィ ブ な 文997文 とネ ガ テ ィ ブ な 文2,400文 を 含 ん で お り,Nakagawaら[2]と 同 様 にNTCIR‑6とNTCIfレ7の デ ー タ を組 み 合 わ せ た も の で あ る.日 本 語 の 評 価 極 性 辞 書 もNakagawaら[2]と 同 様 に,小 林 ら[35]が 作 成 し た も の と,東 山 ら[36]が 作 成 し た も の を 用 い る ‡.全 体 と し て5,447の ポ ジ

テ ィ ブ な 表 現 と8,117の ネ ガ テ ィ ブ な 表 現 を含 ん だ 辞 書 が 得 られ た.

10分 割 交 差 検 定 に て 実 験 を 行 い,10分 割 の う ち1つ を テ ス トセ ッ ト,1つ を 開 発 セ ッ ト,残 りを 学 習 セ ッ ト と して 利 用 し た.

4.2比 較 手 法

提 案 手 法 を他 の6つ の 手 法 と比 較 す る.単 語 分 散 表 現 を入 力 と して 利 用 す る手 法 で は 全 て4.1節 で 説 明 し たword2vec[28,29,30]に よ る 事 前 学 習 を 行 っ た も の を利 用 す る.提 案 手 法 と,LogRes,RNN,Tree‑LSTMは そ れ ぞ れChainer[37]§ を用 い て 実 装 し た.比 較 手 法 は 以 下 に 示 す 通 りで あ る.

*利 用 し た バ ー ジ ョ ン は0 .4.7.

†利 用 し た の は2016年7月 時 点 の バ ー ジ ョ ン .

‡http://www.cl.ecei.tohoku.ac。jp/index.php?Open'/,20Reseurces/Japanese'1.20Sentiment'/.

20Polarity'1,20Dictionary

§利 用 し た バ ー ジ ョ ン は1.9.0

MFS

常 に最 頻 出 の ラ ベ ル を選 択 す るベ ー ス ラ イ ン 手 法.こ の 実 験 デ ー タ の 場 合 は 常 に ネ ガ テ ィ ブ を選 択 す る.

LogRes

線 形 分 類 器 で あ る ロ ジ ス テ ィ ッ ク 回 帰 を 利 用 す る 手 法.入 力 に は 文 ベ ク トル と し て,単 語 の分 散 表 現 を 平 均 し た ベ ク トル を扱 う.

RNN

2.2.1節 で 説 明 し た,最 も シ ン プ ル なRNNの モ デ ル と ソ フ トマ ッ ク ス 分 類 器 に よっ て分 類 す る手 法.

Tree‑LSTM

2.2.2節 で 説 明 し た,RNNにLSTMを 適 用 し,ソ フ トマ ッ ク ス 分 類 器 に よ っ て 分 類 す る 手 法.

SdA

LogResと 同様 に,単 語 の 分 散 表 現 を平 均 し た ベ ク トル を入 力 と し て 扱 う多 層 雑 音 除 去 自 己 符 号 化 器(S七ackedDenoisingAutoencoder)に よ る手 法[9].NTCIR‑6

の デ ー タで はNakagawaら の 手 法 に よ る評 価 極 性 分 類 精 度 を 上 回 っ て い た が,本 実 験 で は デ ー タ が 違 うの で 数 字 は 単 純 に 比較 で き な い.

Tree‑CRF

こ の デ ー タ セ ッ ト に お い て 最 高 精 度 を 示 し て い た 手 法.依 存 構 造 木 を も と に Tree‑CRFに よ っ て 学 習 す る[2].

Tree‑LSTMw/attn,dict

本 論 文 で 提 案 す る 手 法.3.1節 と3.2節 で 述 べ た よ う に,ア テ ン シ ョ ン 機 構 や 評 価 極 性 辞 書 をTree‑LSTMに 適 用 す る.

表4.1:ハ イ パ ー パ ラ メ ー タ の 設 定

パ ラ メ ー タ 値

隠れ層次元 最適化手法 荷重減衰係数 勾配 クリッピング

200 AdaDelta¶

0.0001 5

表4.2:各 手 法 の 正 解 率

手法 正解率

MFS LogRes SdA[9ユ Tree‑CRF[2]

0.704 0.771 0.817 0.826 RNN

[[bleeLSTM

「lblee‑LSTMw/attn

Tree‑LSTMw/(沮ct Tree‑LSTMw/attn,dict

0.517 0.709 0.810 0.829 0.844

4.3八 イ パ ー パ ラ メ ー タ

10分 割 交 差 検 定 の 開 発 セ ッ トの 正 解 率 の 平 均 値 で ハ イ パ ー パ ラ メ ー タ を チ ュ ー ニ ン グ し た.得 られ たパ ラ メ ー タ は表4.1に 示 す.

4.4実 験 結 果

実 験 の 結 果 を 表4.2に 示 す.単 純 なRNNで はMFSに も大 差 で 負 け,ほ とん ど 学 習 で き て い な い.ま た,句 単 位 の 極 性 ア ノ テ ー シ ョ ン が 得 られ る他 の デ ー タ セ ッ

トで は 高 い 精 度 を 示 し て い たTree‑LSTMで もMFSと 同 程 度 で,LogResの 方 が 高 い 精 度 に な っ て い る.

本 論 文 で 提 案 し た ア テ ン シ ョ ン機 構 を利 用 し たTree‑LSTMで は,単 語 レ ベ ル の レ イ ヤ ー の 情 報 を減 衰 さ せ る こ とな く用 い る こ とが で き るSdAと 同程 度 の 性 能 を 示 し て い る.ア テ ン シ ョ ン機 構 を 利 用 し たTree‑LSTMとSdAは どち ら も単 語 分 散 表 現 の み を 入 力 と し て い る.一 方,評 価 極 性 辞 書 も 利 用 し たTree‑CRFと 比 べ る と,ア テ ン シ ョ ン機 構 と評 価 極 性 辞 書 の 両 方 を利 用 したTree‑■STMに よ る提 案 手 法 が 高 い精 度 を 示 して お り,こ の デ ー タセ ッ トに お い て 最 高 精 度 を示 す こ とが で き た.

第5章 考察

結 果 が 示 す 通 り,文 単 位 で ア ノ テ ー シ ョ ン さ れ て い る 本 実 験 の デ ー タ に お い て は,単 純 なRNNで は 評 価 極 性 分 類 に有 効 な 文 の 分 散 表 現 を 学 習 す る こ とが 困 難 で あ る こ とが わ か る.LSTMを 適 用 す る こ とでRNNの 勾 配 消 失 問 題 を 解 決 す れ ば 分 類 精 度 は 改 善 さ れ る が,MFSべ 一 ス ラ イ ン を わ ず か に 上 回 る程 度 で あ る.こ れ は,LogResやSdAの よ うに,構 文 木 を用 い な い た め 勾 配 消 失 問 題 が な い 手 法 が 高 い 精 度 を 示 す の と比 較 す る と対 照 的 で あ る.

しか し な が ら,RNNは 他 の 任 意 の 句 レベ ル の 情 報 を受 け 取 る こ とが で きれ ぼ よ り評 価 極 性 分 類 に 有 効 な 表 現 を獲 得 で き る こ とが わ か っ た.例 え ぼ,本 論 文 で 提 案 し た モ デ ル で は,ア テ ン シ ョ ン の 情 報 と評 価 極 性 辞 書 の 情 報 を 句 レ ベ ル の 情 報 と し て 丑ee‑LSTMに 与 え た.ア テ ン シ ョ ン の 情 報 の み で はT士ee‑CRFに よ る分 類 手 法 よ り も低 い 精 度 で あ る が,評 価 極 性 辞 書 を 組 み 合 わ せ る こ とで,keeCRFよ り

も1.8ポ イ ン ト高 い 精 度 を 達 成 で き た.ア テ ン シ ョ ン よ り も 評 価 極 性 辞 書 に よ る貢 献 の 方 が 大 き い た め,RNNの 学 習 に お い て 各 句 に 対 す る教 師 ラベ ル の 役 割 は 大 き い もの だ と考 え られ る.Tree‑CRFも 本 論 文 の 提 案 手 法 と同 じ評 価 極 性 辞 書 を 用 い て い る が,3.2節 で 述 べ た 通 りそ の 利 用 方 法 が 異 な る.フ レ ー ズ に 対 す る極 性 の 初 期 値 と し て 与 え て 学 習 に つ れ て 更 新 す る よ り も,遠 距 離 教 師 あ り学 習 の よ う に 正 解 ラベ ル と して 与 え て 学 習 す る方 が,最 終 的 な 分 類 精 度 向 上 に つ な が る こ とが わ か っ た.Nakagawaら は10分 割 交 差 検 定 に お い て 開 発 セ ッ トを用 い て い な い の に 対 し て,本 論 文 で は ハ イ パ ー パ ラ メ ー タ の チ ュ ー ニ ン グ に 開 発 セ ッ トを 利 用 し て お り, 学 習 セ ッ トの 量 が10ポ イ ン ト少 な い 量 に な っ て い る に もか か わ らず,彼 らの 手 法

よ り高 い 精 度 を達 成 す る こ とが で き て い る.

図5.1に ア テ ン シ ョ ン を 可 視 化 し た 事 例 を テ ス トデ ー タ 中 か らサ ン プ ル し て 示 す.赤 く示 され た ノ ー ドは 他 の ノー ド に比 べ て よ り強 くア テ ン シ ョ ン の 重 み が 割 り 当 て られ た ノ ー ドを 表 し て お り,そ の ノー ドに添 え られ た 数 値 は 割 り当 て られ た ア テ ン シ ョ ン の値 を 表 す.ル ー トノー ドに は 正 解 の ラベ ル と予 測 し た ラ ベ ル が"P"と

"N"の 表 記 で 示 さ れ て い る."P"は ポ ジ テ ィ ブ の ラ ベ ル を"N"は ネ ガ テ/ブ の ラ ベ ル を そ れ ぞ れ 表 し て お り,左 側 が 正 解 の ラベ ル,右 側 が 予 測 し た ラベ ル を 表 して い る.同 様 に,評 価 極 性 辞 書 とマ ッチ し た単 語 ・句 に も正 解 の ラ ベ ル と予 測 した ラ

正 解1予 測

正 解1予 測

0.33

(a)正 解 事 例:̀̀政 策 の 一 貫 性 が 見 られ な い"

0.0150.98

(b)正 解 事 例:"■ 友 好 へ の 憂 慮"

正 解1予 測

正解1予 測

断0.610.200.240.15

(c)不 正 解 事 例:"■ 軍 事 対 立 も緩 和"(d)不 正 解 事 例:"こ れ で ひ と ま ず最 悪 事 態 は 回 避 で き た"

図5.1:ア テ ン シ ョ ン を 可 視 化 し た テ ス ト事 例

ベ ル を 表 し た .

図5.1aと 図5.1bは ど ち ら も 正 し く分 類 で き た 事 例 で あ る.図5.1aは̀一 貫 性"

を 正 し く ポ ジ テ ィ ブ だ と 分 類 で き て お り,か つ 最 終 的 な 文 の 分 類 時 に は 全 体 の1/3 の ア テ ン シ ョ ン の 重 み を"一 貫 性"に 割 り 当 て て い る が,"見 ら れ な い"を よ り 強 く 考 慮 す る こ とで 文 全 体 も 正 し くネ ガ テ ィ ブ だ と 分 類 し て い る.図5.1bは"友 好"も

"憂 慮"も 正 し く分 類 で き て お り

,"憂 慮"に 対 し て よ り強 く ア テ ン シ ョ ン の 重 み を 割 り 当 て る こ と で 文 全 体 の 分 類 を 正 解 で き て い る.

図5.1cと 図5.1dは どち ら も分 類 に 失 敗 し た 事 例 で あ る.図5.1cで はcc対 立"と

・・緩 和 ・,のど ち ら に も ア テ ン シ ョ ンの 重 み を 割 り当 て て い るが ,文 全体 の分 類 には失 敗 し て い る.こ れ は,"対 立"に 対 す る ア テ ン シ ョ ン の 重 み が"緩 和"に 対 す る重 み よ り も大 き くな っ て し ま っ た こ とが 原 因 だ と考 え られ る.ま た,図5.1dで は"最 悪 事 態"と い うネ ガ テ ィ ブ な 表 現 に対 して,そ れ を 打 ち 消 す 役 割 を 担 っ て い る"回 避 で き た"と い う句 に対 して ア テ ン シ ョ ン の 重 み を 十 分 に割 り当 て る こ とが で きず に 文 の 極 性 分 類 に失 敗 して い る.

第6章 おわ りに

本 論 文 で は,ア テ ン シ ョ ン機 構 と評 価 極 性 辞 書 の 利 用 に よ っ て,文 単 位 で しか ア ノテ ー シ ョ ン され て い な い コ ー パ ス に お い て 再 帰 的 ニ ュ ー ラ ル ネ ッ トワ ー ク を学 習 す る 際 の 勾 配 消 失 問題 の 解 決 方 法 を 提 案 し た.提 案 した 方 法 で は,句 の ベ ク トル 表 現 は ア テ ンシ ョン情 報 と して エ ン コ ー ド され,文 の 極 性 を分 類 す る 際 に利 用 され る.

ま た,評 価 極 性 辞 書 に含 ま れ る単 語 や 句 は 教 師 ラ ベ ル と して 学 習 に利 用 され る.実 験 の 結 果,ア テ ン シ ョ ン と評 価 極 性 辞 書 を 同時 に利 用 し た 手 法 が 既 存 の 手 法 を 上 回

り,日 本 語 評 価 極 性 分 類 タス ク に お い て 最 高 精 度 を 示 し た.

謝辞

研 究 に つ い て 右 も 左 も わ か らな か っ た 学 部4年 生 の 頃 に小 町 研 究 室 に 配 属 され, 小 町 守 先 生 の も とで 勉 強 ・研 究 を始 め て か ら3年 が 経 ち ま し た.学 部 生 の 頃 の 卒 業 研 究 や イ ン タ ー ン シ ッ プ,そ して 修 士 課 程 の 研 究 と3年 間 の 様 々 な 経 験 を 経 て 本 論 文 を作 成 す る こ とが で き ま し た.指 導 教 員 で あ る小 町 守 先 生 か らの 丁 寧 か つ 熱 心 な ご 指 導,ま た 私 達 の研 究 生 活 に寄 り添 っ た 研 究 室 の 環 境 づ く り に よ っ て こ こ まで 成 長 し修 士 論 文 と して 成 果 を残 す こ とが で き ま した.心 か ら感 謝 い た し ま す.

秘 書 の 馬 繰 さ ん は,研 究 室 内 の 事 務 処 理 を 一 手 に管 理 して くだ さ い ま し た.何 度 も 期 限 を 過 ぎ た り,ギ リギ リ に提 出 を した り と迷 惑 を お か け し ま し た が,そ の 都 度 対 応 して くだ さ い ま した.気 持 ち よ く研 究 に専 念 で き た の は 馬 繰 さ ん が 煩 わ し い 事 務 処 理 を 引 き 受 け て くだ さ っ た お か げ で す.こ こ に 感 謝 の 意 を表 し ます.

研 究 室 で 共 に 過 ご した 先 輩 や 後 輩,同 期 の研 究 室 メ ンバ ー と は 日夜 研 究 に つ い て 議 論 し た り,時 に は ゲ ー ム で リ フ レ ッ シ ュ し た り,お 互 い に切 磋 琢 磨 す る こ とが で き ま した.特 に 下 宿 し て い た 同 期 の 友 人 の 部 屋 に は 何 度 か 寝 泊 ま り させ て も らい, お 世 話 に な りま し た.こ の 場 を 借 りて お 礼 を 申 し上 げ た い と思 い ま す.あ りが と う ご ざ い ま し た.

参考文献

[1]B.Pang,L』ee,andS.Vaithyanathan,"Thumbsup?sentimentclassi丘 一

cationusingmachinelearx血gtechniques,,,Procee(五ngsofthe2002Con‑

ferenceonEmpiricalMethodsinNaturalLanguageProcessing,pp.79‑86, 2002.http://www.cs.cornell.edu/home/llee/papers/sentiment.pdf [2]T.Nakagawa,K.Inui,andS.Kurohashi,"Dependencytree‑basedsen‑

timentclassi丘cationusingCREswithhiddenvariables,,,Procee(沮ngsof HumanLanguageTechnologies:The2010AmualConferenceofthe

Nor七hAmericanChapteroftheAssociationf̀)rComputationalLin‑

guistics,pp.786‑794,2010.https://aclweb.org/anthology/N/NIO/N10‑

1120.pdf

[3]J.Tang,M.Hong,J.Li,andB工iang,"丁 士ee‑structuredconditionalran‑

domfieldsfbrsemanticamotatiol1,,,ProceedingsofInternationalSemantic WebConference,pp.640‑653,2006.http://keg.cs.tsinghua.edu.cn/

jietang/publications/工SWCO6‑Tang‑et‑al‑TCRFs.pdf [41R.Socher,J.Pennillgton,EH.Huang,A.Y.Ng,andC。D.Manning,

"Semi ‑supervisedrecursiveautoencodersfbrpredictingsentimentdistri‑

butions,,,Proceedingsofthe2011ConferenceonEmpiricalMethodsill NaturalLanguageProcessing,pp.151‑161,2011.http://www.anthology.

aclweb。org/D/D11/D11‑1014.pdf

[5]R.Socher,A.Perelygin,J.Y.Wu,J.Chuang,C.D.Manning,A.Y.Ng,

andC.Potts,"Recursivedeepmodelsf̀)rsemanticcompositionalityover asentimenttreebank,,,Proceedingsof七he2013ConferenceonEmpirical Metho(㎏inNaturalLanguageProcessing,pp.1631‑1642,2013.http://

nlp.stanford.edu/‑socherr/EIYENLP2013̲RNTN.pdf

[6]Y.Kim,"Convolutionalneuralnetworksforselltenceclassi丘cation,"Pro.

cee(lingsofthe2014ConferenceonEmpiricalMe七hodsinNaもuralLan‑

guageProcessing,pp.1746‑1751,2014.http://emmlp2014.org/papers/

pdf/EMNLP2014181.pdf

[7]N.Kalchbrenner,E.Grefenste七 もe,andP.Blunsom,"Acollvolutiollalneural

networkformodellingsentences,,,Proceedingsofthe52ndAnnualMeetillg oftheAssociationforNaturalLanguageProcessing,2014.http://w冊.

aclweb。org/anthology/P14‑1062

[8]K.S.Tai,R.Socher,andC.D.Manning,"Improvedsemanticrepresenta‑

tionsfromtree‑structuredlongshort‑termmemoryn.etworks,,,Proceedings ofthe53rdAnnualMeetingoftheAssociationforComputationalLinguis‑

ticsandthe7thInもernationalJointConferenceonNaturalLanguagePro‑

cessing,pp.1556‑1566,2015.http://冊w.aclweb.org/anthology/P15‑

1150

[9ユP.ZhangandM.Komachi,"Japanesesentimentclassificationwithstacked deIloisingauto‑encoderusingdistributedwordrepresentation,"Proceed‑

ingsofthe29thPaci丘cAsiaConferenceonLanguage,Informationand Computation,pp.150‑159,2015.http://bcmi.sjtu.edu。cn/‑paclic29/

proceedings/PACI」IC29‑1018.33.pdf

[101D.Bahdanau,K.Cho,andY.Ben,gio,"Neuralmachinetranslationby

jointlylearningtoalignandtranslate,"Proceedingsofthe3rdInternational ConferenceonLearningRepresentations,2015.https://arxiv.org/pdf/

1409.0473v7.pdf

[11]M.‑T.Luong,H.Pham,andC.D.Manning,"Effectiveapproachesto

attention‑basedneuralmachinetranslation,,,Procee(五ngsofthe2015Con‑

ferenceonEmpiricalMethodsinNaturalLanguageProcessing,pp.1412‑

1421,2015.http://www.aclweb。 ◎rg/anthology/D15‑1166 [12]K.M.且ermann,T.Ko6iskY,E.Grefemstette,L.Espeholt,W.Kay,

M.Suleyman,andP.Blunsom,"Teachingmachillestoreadand comprehend,,,AdvancesinNeuralInformationProcessingSystems28, pp.1693‑1701,2015.https://papers.nips.cc/paper/5945‑teaching‑

machines‑to‑read‑and‑comprehend・pdf

[13]A.M.Rush,S.Chopra,andJ.Weston,"Aneuエalattentionmodelfor

sentencesummarization,,,Proceedingsofthe2015ConferenceonEmpir‑

icalMethodsinNaturalLanguageProcessing,pp.379‑389,2015.http:

//www.aclweb.org/anthology/D15‑1044

[14]O.Vinyals,M.Fortunato,andN.Jaitly,"Pointernetworks,,,Advancesin

NeuralIllformatiollProcessingSystems28,pp.2692‑2700,2015.https:

//papers.nips・cc/paper/5866‑pointer‑networks・pdf [15]W.Ling,LChu‑Cheng,Y.Tsvetkov,S.Amir,RF.Astu(lillo,C.Dyer,

A.W.Black,andI.Trancoso,"Notallcontextsarecreatedequal:Bet一 七erwordrepresentationswithvariableattention,,,Proceedingsofthe

2015ConferenceonEmpiricalMethodsinNa七uralLanguageProcessing,

pp.1367‑1372,2015.http://www.emnlp2015.org/proceedings/EMNI.P/

pdf/EMNLP161.pdf

[16]K.Xu,J.Ba,R.Kiros,K.Cho,A.CourviUe,R.Salakhudinov,R.Zemel,

andY.Bengio,"Show,attendand七e皿:Neuralimagecaptiongeneration withvisualattention,,,Proceedingsofthe32ndInternationalConferenceon MachineLearning,pp.2048‑2057,2015.http://jmlr.org/proceedings/

papers/v37/xuc15.pdf

[17]A.Eriguchi,K.Hashimoto,andY.Tsuruoka,"'llree‑t(トsequenceattentional neuralmachinetranslation,,,Proceedingsofthe54七hAmualMeetingof theAssociationforNaturalLanguageProcessing,p.823‑833,2016.http:

//www.aclweb.org/anthology/P/P16/P16‑1078.pdf

[18]F.KokkinosandA.Potamian.os,"Structuralattention.neuralnetworks fbrimprovedsentimentanalysis,"2017.https://arxiv.org/pdf/1701.

01811v1.pdf

[19]D.Ikeda,且.Takamuエa,L.‑A.Raもinov,andM.Okumuエa,"Learllingtoshifも thepolarityofwordsforsentimentclassi丘ca七ion,,,Proceedillgsof七he3rd InternatiollalJointConferenceonNaturalLanguageProcessillg,pp.296‑

303,2008.http://www.aclweb.org/anthology/108‑1039.pdf [20]R.Socher,B.H.C.D.Ma1血ng,andA.Y.Ng,"Semanticcompositionali七y

throughrecursivematrix‑vectorspaces,,,Proceedingsof七he2012Joint ConferenceonEmpiricalMethodsillNaturalLanguageProcessingand ComputationalNaturalLanguageLearning,pp.1201‑1211,2012.http:

//www.aclweb。org/anthology/D12‑1110

[21]Q.Qian,B.Tian,M・Huang,Y・Liu,x・zhu,andx・zhu,̀̀Learning

tagembeddingsandtag‑speci丘ccompositionfunctionsinrecursiveneural network,"Proceedingsofthe53rdAnnualMeetingoftheAssociationfor ComputationalLinguisticsandthe7thInternationalJointConferenceoll NatuエalLan.guageProcessillg,pp.1365‑1374,2015.http://aclweb.org/

anthology/P/P15/P15‑1132.pdf

[22]X.ZhuandP.Sobhani,"Longshort‑termmemoryoverrecursivestruc‑

tures,,,Proceedingsofthe32ndInternatiollalConferenceollMachine I、earning,pp.1604‑1612,2015.http://jmlr.org/proceedings/papers/

v37/zhub15.pdf

[23]S.HochreiterandJ.Schmidhuber,"Longshort‑termmemory,,,Neural Computation,vol.9,no.8,pp.1735‑1780,1997.http://deeplearning.cs.

cmu.edu/pdfs/Hochreiter97̲lstm.pdf

[24]Y.Bengio,P.Simard,andP.Frasconi,"Learninglong‑termdependen‑

cieswithgradientdescentisdiMcUlt,"IEEETrans包ctionsonNeuralNet‑

works,vol.5,no.2,pp.157‑166,1994.http://www.dsi.unifi.it/‑paolo/

ps/tm‑94‑gradient.pdf

[25]S.Hochreiter,"Thevanishinggra(lientproblemduringlearningrecurrent neuralnetsandproblemsolutions,,,InternationalJournalofUn,certainty, FuzzinessandKnowledge‑BasedSysterns,vol.6,no.2,pp.107‑116,1998.

http://㎜.bioinf.jku.at/publications/older/2304.pdf

[26]R.A.Rensink,"Thedynamicrepresentationofscenes,,,Visualcoglli‑

tion,vol.7,no.1‑3,pp.17‑42,2000.https://www.cs.ubc.ca/^・rensink/

publications/download/VisC◎g̲OO.02。pdf

[27]M.Mintz,S.Bills,R.Snow,andD.jurafsky,"Distantsupervisiollfbrrela‑

tionextractionwithoutlabeleddata,,,ProceedingsoftheJointConference ofthe47thAnnualMeetillgoftheACLandthe4thInternationalJoint ConferenceonNaturalLanguageProcessingoftheAFNLP,pp.1003‑1011, 2009.http://web.stanford。edu/‑jurafsky/min七z.pdf

[28]T.Mikolov,KChen,G.Corrado,andJ.Dean,"Ef丘cientestimationof

wordrepresentationsinvecもorspace,,,ProceedingsofthelstInternational ConferenceonLearningRepresentations,2013.http://arxiv,org/pdf/

1301.3781v3.pdf

[29]T.Mikolov,1.Sutskever,KChen,G.Corrado,andJ.Dea11,"Distributed

representationsofwordSandphrasesandtheircompositionality,,,Advances inNeuralInfbrmationProcessingSystems26,pp.3111‑3119,2013.https:

//papers.nips.cc/paper/5021‑distributed‑representations‑of‑

words‑and‑phrases‑and‑their‑compositionality.pdf

[30]T.Mikolov,W.tauYih,andG.Zweig,"LingUisticregularitiesincontin‑

uousspacewordrepresentations,,,ProceedingsofHumanLanguageTech‑

nologies:The2013AnnualConferenceoftheNorthAmericanChap‑

teroftheAssociationfbrComputation,alLinguistics,pp.746‑751,2013.

http://冊w.aclweb.org/anthology/N13‑1090

[31]G.Neubig,Y.Nakata,andS.Mori,̀̀Pointwisepredictionforrobust, adaptableJapanesemorphologicalanalysis,,,ProceedingsofThe49thAn。

nualMeetingof七heAssociationfbrComputationalLinguistics:Human LanguageTechnologies,pp.529‑533,2011.http://www.phontron.com/

paper/neubigllaclshort.pdf

[32】Y.Oda,G.Neubig,S.Sakti,T.Tbda,andS.Nakamura,"Ckylark:

AmorerobustPCFG‑LAparser,,,Proceedingsofthe2015Conference oftheNorthAmericanChapteroftheAssociationfbrComputational LingUistics:Demonstrations,pp.41‑45,2015.http://㈱w.aclweb.org/

anthoユogy/N15‑3009

[33]Y.Seki,D.K.Evans,andL.‑W。Ku,"Overviewofopinionanaly‑

sispilottaskaもNTCIR‑6,,,Proceedingsofthe6thNTCIRWork‑

shop,PP.265‑278,2007.http://research.nii.ac.jp/ntcir/ntcir‑

ws6/OnlineProceedings/NTCIR/81.pdf

[34]Y.Seki,D.KEvans,andL.‑W.Ku,"Overviewofmultihngualopin‑

ion.analysistaskatNTCIR‑7,,,Proceedingsofthe7thNTCIRWork一

shoP,PP.265‑278,2008.https://pdfs.semanticscholar・org/0147/

aced13e485461dblb36d7fad24adf6eOa217.pdf

[35]N.Kobayashi,KInui,Y.Matsumoto,andK.Tateishi,"Collectingeval‑

uativeexpressionsforopinionextraction,,,JournalofNaturalLanguage Processing,vol.12,no.3,pp.203‑222,2005.https://www.jstage.jst.g◎.

jp/article/jnlp1994/12/3/12̲3̲203/̲pdf

[36]M.Higashiyama,K.InUi,andY.Matsumoto,"■ear血ngsentimentofnouns fromselectionalpreferencesofverbsanda(ljectives,,,Procee(lingsofthe 14thAnnualMeetingoftheAssociationfbrNatural■anguageProcessing,

pp.584‑587,2008.http://www.anlp.jp/proceedings/annual̲meeting/

2008/pdf ̲dir/PA2‑2.pdf

[37]S.TokUi,K.Oono,S.且ido,andJ.Clayton,"Chainer:anext‑generation

opensourceframeworkfbrdeeplearning,,,Procee(五ngsofWorkshopon MachineLearningSystemsinThe29thAnnualConferenceonNeuralIn‑

fbrmationProcessingSystems,2015.http://learningsys.org/papers/

LearningSys ̲2015̲paper̲33.pdf

発 表 リス ト

宮 崎 亮 輔,小 町 守.極 性 辞 書 を利 用 した 旬 構 造 に よ る注 意 型 ニ ュ ー ラル 評 価 極 性 分 類,第227回 自然 言 語 処 理 研 究 会,July2016.