エラー分析ワークショップ
（兼 Project Next NLP 報告会）
2015 年 3 月 2021 日
関根聡
https://sites.google.com/site/projectnextnlp/
動機
我々は上手に失敗しているだろうか？
動機
我々は上手に失敗しているだろうか？
エラーに慣れてしまってはいないだろう
か？
精度が 0.8 程度あり、システムは
十分実用的であると考えられる。
動機
我々は上手に失敗しているだろうか？
エラーに慣れてしまってはいないだろうか？
本質的ではない精度向上に満足していない
だろうか？
実験結果を表 2 に示す。提案手法で
の NE の抽出結果は、適合率が X% 、
再現率が Y% であり、 F 値は Z であっ
た。いずれもベースラインの結果より
高く、提案手法の優位性を確認した。
動機
我々は上手に失敗しているだろうか？
エラーに慣れてしまってはいないだろうか？
本質的ではない精度向上に満足していないだ
ろうか？
何が本質か見失っていないだろうか？
A の素性を加えた実験では、精度が X% 高く、その
有効性が確認できた。
SVM と MaxEnt の方法を比較した場合、 SVM の方
が Y% 高く、本タスクでは SVM が適しているこ
とがわかった。
動機
我々は上手に失敗しているだろうか？
エラーに慣れてしまってはいないだろうか？
本質的ではない精度向上に満足していないだ
ろうか？
何が本質か見失っていないだろうか？
難しい問題を避け、次なる眼新しい課題に
移ろい続けていないだろうか？
Problem egg
（新たなタスクに移ろっているだけではないか？）
Understanding
IR
(’70s~)
IE
(’80s~) Summarization
(’80s~)
Sentiment
(’05s~)
Q&A
(’00~)
…
Dialogue
(’60s~)
Syno nym
Names
Ontology Paraphrase WSD
Scrip t
World Knowledge
Metaph or
Grounding Sit ua tion
Problem egg
Understanding/Semantics
IR
(’70s~)
IE
(’80s~) Summarization
(’80s~)
Sentiment
(’05s~)
Q&A
(’00s~)
…
Dialogue
(’60s~)
Syno nym
Names
Ontology Paraphrase WSD
Scrip t
World Knowledge
Metaph or
Grounding Sit ua tion
これまでのエラー分析
各論文、各研究単位では行われてきた
システムや手法に固有の問題は分析できる
タスクに本質的な問題は？
言語処理に本質的な問題は？
目的
エラー分析を通じて自然言語処理の本質
的な課題を明確にする
複数のシステムのエラー分析を重ね合わせる
複数のタスクのエラー分析を重ね合わせる
エラー分析の技術の進展
エラー分析データーの蓄積
エラー分析を通した課題の整理、発見
プロジェクトの進め方
NLP のタスクごとに分析を行う （全１
８タスク）
分析方法は各グループの自主性に任せる
それぞれのタスクで事情は異なる
共通の軸を予め設定できない
分析の進め方
リーダーを中心とした各グループで自主性に推進
例えば。。。
１）現在のそれぞれのシステムを持ち寄って同じタスクに対してシステ
ムを走らせ、共通な対象についてのエラーを分析する。
２）違った対象に対してそれぞれのシステムを走らせて、そこで得られ
た違った種類のエラーを集めてそれらを分析する。
３）システムを走らせず、どのような知識が必要かを人手で挙げる。
４）誰かのシステム（ Public domain でも）を走らせて皆でエラー分析
をする。
５）１２月に行われる NTCIR の参加者が結果のエラー分析する。
６） NTCIR から提供されている過去のタスクのシステム結果を分析す
る。 ７）評価型ワークショップを新たに行い、その結果をもってエラー分
析をする。
８）。。。
タスクとリーダー
基礎技術
形態素解析 鍜治伸裕（東京大学）、森信介（京都大学） 構文解析 河原大輔（京都大学）
述語項構造解析 松林優一郎（東北大学） 要素技術
固有表現抽出 岩倉友哉（富士通研究所） 照応解析 飯田龍（ NICT)
言い換え 藤田篤（ NICT ） 語義曖昧性解消 新納浩幸（茨城大学）
知識獲得 柴田知秀（京都大学） 情報アクセス応用
情報検索 難波英嗣（広島市立大）
要約 高村大也（東工大）、平尾努（ NTT ）、西川仁（ NTT ） 情報抽出 新里圭司（楽天）
レビュー解析 藤井敦（東工大）、乾孝司（筑波大）
Web応用 岡崎直観（東北大学）、荒牧英治（京都大学）
東ロボ 宮尾祐介（ NII ）、横野光（ NII ）、松崎拓也（名古屋大学） 翻訳、文作成支援、対話
翻訳 工藤拓（グーグル）、グラム・ニュービッグ（奈良先端大） 日本語校正 山本和英（長岡技科大）、鄭育昌（富士通研）
英文校正 水本智也（奈良先端大）
対話 東中竜一郎（ NTT ）、船越孝太郎（ HRI ）
活動
２０１４年３月： 年次大会 WS （北海道大学）
データ分析、エラー分析の重要性議論
プロジェクト発足
５月１９日：キックオフミーティング （情報学研究所）
プロジェクトの進め方の議論
９月２、３日：ミッドタームミーティング （首都大学東京）
各グループで集中討論（１日目）
各グループの報告（２日目）
１１月：中間報告レポート
進捗報告
アドバイザーからのコメント
３月２０、２１日：言語処理学会年次大会 WS （京都大学）
５月１１／２１日：論文誌特集号締め切り
これまでのエラー分析
各論文、各研究単位では行われてきた
システムや手法に固有の問題は分析できる
タスクに本質的な問題は？
言語処理に本質的な問題は？
言語処理における本質的問題
（議論の参考に）
「世界」と「言葉」の対応
Prof. Ido Dagan (Bar Ilan Univ.)
http://nlp.cs.nyu.edu/sksymposium/
世界
言葉
世界
言葉
世界は点の集合なのか？
汎化をどうするか？
といった問題はとりあえず置いておい
て。。。
世界
言葉
言語解析基礎、要素技術
形態素解析
構文解析 述語項構造解析
固有表現抽出
照応解析
入力文
世界
言葉
言い換え
世界
言葉
情報アクセス
情報検索 情報抽出
レビュー解析
Web 応用
質問応答 （東ロボ）
テキスト
情報要求
世界
言葉
語義曖昧性解消
単語／表現
世界
言葉
翻訳
入力テキスト 出力テキスト
世界
言葉
要約
入力テキスト 出力テキスト
世界
言葉
文校正
誤り 正解
世界
言葉
対話
人間発話 マシン発話 人間発話
世界
言葉
知識獲得＝
言葉と世界の関係を求める
世界の点の関係を求める
最後に
タスクリーダー、参加者の方、本当にお疲れ様でした
このワークショップでは、これをあと１７回繰り返す
ことなく、１７倍（以上）の知識を得られます
自分のエラー分析の経験を基に、様々な質問、議論を
してください
