WS PNN17 review slide

レビュー解析班の活動報告

-レビュー解析を題材とした

「誤り分析マニュアル」の試作に向けた検討-

藤井 敦（東京工業大学） 乾 孝司（筑波大学） 中山 卓哉（筑波大学）

2015.03.21

2014年春 kickoff meeting

  A: がんばって誤り分析やりましょう．

  B: そうだね．ところでどうやる?

  A: そうですねぇ…

レビュー班の活動目的

1.  誤り分析で共有できる事項を整理する

2.  手法の問題点を明らかにして精度向上

マニュアルを作成

したかったのだが…

Step.0 解析誤り事例の準備

Step.1 個々に誤り分析

Step.2 分析結果を持ち寄りマニュアル作成

Step.0 解析誤り事例の準備

Step.1 個々に誤り分析

Step.2 分析結果を持ち寄りマニュアル作成

解析誤り事例の準備

  課題選択

  レビュー解析と言ってもいろいろある

  レビュー文３値分類

  入力：文

  出力：肯定(P), 否定(N), 中立(E)

解析誤り事例の準備

  課題選択：レビュー文３値分類

  同じ実験結果に対して並列に誤り分析

  システム

 基本的な手法

 SVM（単語^{ユニグラム} + 評価表現^,線形^カーネル）

  使用データ

 楽天データ公開：楽天トラベルのレビュー

 筑波大学文単位評価極性タグ付きコーパスの一部

h(p://www.mibel.cs.tsukuba.ac.jp/~inui/SA/corpus/

解析誤り事例の準備

  分類正解率 81% 誤り事例 497文

Step.0 解析誤り事例の準備

Step.1 個々に誤り分析

Step.2 分析結果を持ち寄りマニュアル作成

誤り分析

  分析者：２グループ

  _作業：

  同じ実験結果に対して独立に

  基本的に自由に

  決め事：

  〆切

各グループ(G1,G2)の分析方法

  G1

  想定したカテゴリに人手分類

  事前に分析観点を指定．特化型の分析

  低負荷．多量．少知見?

  G2

  誤り原因を人手クラスタリング

  事前の仮定なし．汎用型の分析

  高負荷．少量．多知見?

G1

  評価表現を分析観点として指定

  497全件を分類

誤り分類 意味 事例数

潜在 評価表現

正解ラベルと同じ評価極 性をもつ潜在的評価表現 が存在する

単語 115 フレーズ 97 既知 評価表現

正解ラベルと同じ評価極性をもつ既

知評価表現が存在するが，誤ってい 35

実際 名   実施

※事例数 使用す 辞書 依存

混在 の例

評価 見 予約し 楽し し け 食事も 全く写真 違う ッ し し

正解：N 出力：E

G1

  評価表現を分析観点として指定

  497全件を分類

誤り分類 意味 事例数

潜在 評価表現

正解ラベルと同じ評価極 性をもつ潜在的評価表現 が存在する

単語 115 フレーズ 97 既知 評価表現

正解ラベルと同じ評価極性をもつ評

価表現を素性として考慮しているが， 35

既知評価表現 の例

窓 景色も楽し こ 出来 し

正解：P 出力：N

女性限定プ ン っ レン ン トや フェイ ッ 色々置い 下さっ い 嬉し っ

す

正解：P 出力：E

G1

  評価表現を分析観点として指定

  497全件を分類

誤り分類 意味 事例数

潜在 評価表現

正解ラベルと同じ評価極 性をもつ潜在評価表現が 文中に存在する

単語 115 フレーズ 97 既知 評価表現

正解ラベルと同じ評価極性をもつ評

価表現を素性として考慮しているが， 35

潜在評価表現 の例

大浴場 入 口 張 部分 見えそう イヤ し

正解：P 出力：N

G1

  評価表現を分析観点として指定

  497全件を分類

誤り分類 意味 事例数

潜在 評価表現

正解ラベルと同じ評価極 性をもつ潜在評価表現が 文中に存在する

単語 115 フレーズ 97 既知 評価表現

正解ラベルと同じ評価極性をもつ評

価表現を素性として考慮しているが， 35

G1

  _{その他 234件}

 P N間の誤りは少量

 正解が PN で出力が E

 文末モダリティ

  ^{〜し 頂 し 丁寧 , 〜し 頂 く思い す 要望}

 ^{意味 知識}

  ^{壁 薄い 思っ し 回} 声や音も特 聞こえ せ 
 し

 正解が E で出力がPN（過半数）

 事実 vs 意見

  ^{更 ポイント 使え 人 万円 いう価格 し}

 積極的に E を推す特徴を見い出しづらい

評価表現 絡 こ い事例

G2

  事前の仮定なし

  _60件

  正解P 出力N

  正解P 出力E

  正解N 出力P

  正解N 出力E

  正解E 出力P

大分類 中分類 小分類 具体例

狙いが 外れた

正解の特徴語が 力不足

評価表現

表記ゆれ ^{有 難い} 未知語 ^{サ サ} 誤記 ^{気 入} 定型句

特殊記号 ^◎

修辞疑問 ^{〜 あっ も良い い しょう ?} 学習データ

特徴語なし 不正解の特徴語

が過剰 ^{頻出語 も}

狙って いない

参照表現 文間関係

領域知識 ^{回目 宿泊}

比較

仮定 ^{露天風呂 あ 良 っ}

G2

誤り分析

  グループ間のまとめ

  調整しなかったが共通する結果あり

  _{使い分けが肝要}

  _G1

 深堀りの方向性を決めやすい

 掘り下げ毎に作業が必要

  G2

体系的な誤り分類ができる

さいごに

  マニュアルはできていない

  _感想

  グループワークは楽しい

  誤り分析と同じぐらい準備が大変

 誤り分析ツールがあれば効率UP