エラー分析ワークショップ Project Next NLP WS PNN16 ie slide

新 _圭司

楽天技術研究所

情報抽出 誤 _析

＋ 商品 属性値抽出 題材 ＋

目的

• 抽出結果 false-positive/negative ^{析 通 ＊}

情報抽出 性能向 処理

必要 明

• 商品 属性情報 抽出

– ^産

^{配 辛 ワ}

– 実世界 ^{高く＊ 析＊商品}

利用 _能

• 40代男性 ^{産 辛 ワ 売 い}

対象

• 楽天 ^{公開 配布 い 以}

属 商品 _20件抽出

– ワ ^{＊ ＊ ＊Ｒ ＊}

• ^{以 属性 値}

対象属性

ワ 品種＊容量＊産地＊生産者＊ _＊度数

容量＊ ＊製造国＊成 ＊商品 ＊ ＊ _量

容量＊ ^＊ ＊ 量＊適応機種＊製造国

Ｒ ＊ ＊素材＊色＊着丈＊身幅＊ 幅

＊内容量＊原産国＊粗繊維＊粗脂 ＊粗灰 ＊

水 ＊粗 _質

対象 _規模

文数 属性値数

ワ _{355 262}

638 490

286 375

Ｒ _{720 357}

382 132

合計 2,381 1,702

商品 _特徴

• 商品 ^{数 多く＊ 毎 訓練 整}

備 困

• 一部 商品 ^{構造化 属性情報 含}

＊そ 属性値 辞書 構築 _能

箇条書

商品 _{属性値抽出方法}

• 辞書 ^{基 く属性値抽出}

• ^{純 原因 究明 容易}

• Distant supervision 基 く手法 訓練 ^作成

部 _相当

辞書

自動

付 _{＆高品質＇} 機械学習

付

Roth+ 2013,

Xu+ 2013

辞書 _構築 [Shinzato and Sekine 2013]

• 属性 獲得

– <TH> ^{囲 表現}

– ^{ワ ＆e.g. 保 方法＊そ 他＊商品説明＊ …＇}

• 属性-属性値 獲得

– 正規表現 [Yoshinaga and Torisawa 2006]

• P1: <T(H|D)>[ATTR]</T(H|D)><TD>[ANY]</TD>

• P2: [P][ATTR][S][ANY][P] ^{e.g. 品種} …

• P3: [P][ATTR][ANY][P] ^{e.g. 産地} …

• P4: [ATTR][S][ANY][ATTR][S] e.g. ^{地域８ 容量８} …

[ANY] … 任意 文 列 [P] … ○ ^＜［ [S] … ８－ ＞］

自動構築 辞書 例＆ワ _＇

品種 容量 産地 生産者 度数

750ML _{辛 ／０＄}

720ML _{赤 ／０，３＄}

375ML _{ワ 白 ／／，３＄}

500ML M. _／／＄

1500ML _{やや甘 ／１＄}

360ML _{甘 ／１，３＄}

200ML _{やや辛 ／２＄}

3000ML _／．＄

1800ML _／０度

1000ML _{／２度未満}

自動構築 辞書 _精度

数 精度 [%]

ワ _{3,940 80.8}

6,798 83.3

956 71.3

Ｒ _{10,227 43.5}

797 83.0

辞書 基 く情報抽出

• 入力文 形態素解析 ＊属性値 最長一致 ^形態

素列 対 属性 _付け

– JUMAN 7.01 利用

– 誤抽出 減 ^{＊属性値 数}

辞書 削除＆e.g., <度数, 12>＇

– 属性値 入 子 考え い

Prec. [%] Recall [%] TP FP FN

ワ _{56.4 61.4 159 123 100}

49.9 62.7 335 337 199 71.8 46.3 171 67 198

Ｒ _{17.6 23.1 95 446 316}

56.9 86.0 111 84 18

全体 45.1 51.2 871 1,057 831

析

False-positive

• False-positive ^{1,057事例 い ＊以}

目 次 _類

目 ^全体

(割合) ^{ワ Ｒ}

1. 正 い属性-属性値

基 い 属性値 抽出

?

712

(67.4%) ^{47 183 59 376 47}

2. 属性値 抽出 ^べ

商品 う _?

53

(5.0%) ^{0 46 0 7 0}

3. 商品 関係

属性値 抽

出 _?

99

(9.4%) ^{9 53 4 7 26}

合計

(FP事例 割合)

864 (81.7%)

56 (45.5%)

282 (83.7%)

63 (94.0%)

390 (87.4%)

73 (86.9%)

False-positive

• False-positive ^{1,057事例 い ＊以}

目 次 _類

目 ^全体

(割合) ^{ワ Ｒ}

1. 正 い属性-属性値

基 い 属性値 抽出

?

712

(67.4%) ^{47 183 59 376 47}

2. 属性値 抽出 ^べ

商品 う _?

53

(5.0%) ^{0 46 0 7 0}

3. 商品 関係

属性値 抽

出 _?

99

(9.4%) ^{9 53 4 7 26}

合計

(FP事例 割合)

864 (81.7%)

56 (45.5%)

282 (83.7%)

63 (94.0%)

390 (87.4%)

73 (86.9%)

• そ 他 ^{％ ％ワ 関連}

♪※ 次追加中！＆ワ _＇

• ^{一覧 ＆ ＇}

• 色違い”

” ’’ＲＦＣＰＣ ＡＰＣ ＵＡＴＣＱ ＬＡＲ ’’

Ｒ _{＆T ＇}

赤 ^８ 抽出

残 193件＆18.2%＇ ?

• 適 ^{商品 適 適 属}

性-属性値 基 い 抽出 ^情報 誤

• ^{複 考慮 193件 類}

全体 割合 [%] ワ Ｒ

人手 部 _{一致 84 41.8 15 50 1 15 3}

他 部 文 列

抽出

40 19.9 23 3 3 11 0

当 商品 属性値 説明 関係

い記述 _抽出

37 18.4 14 1 0 17 5 属性値 多義性 起因 _{誤抽出 33 16.4 10 0 0 17 6}

起因 _{誤抽出 5 2.5 5 0 0 0 0}

形態素解析 過 割 _{誤抽出 1 0.5 1 0 0 0 0}

商品 内 誤 情報 _{抽出 1 0.5 0 1 0 0 0}

全体 201 100.0 68 55 4 60 14

人手 部 _{一致＆84件＇}

• 37件 正解 見 ^{問題 い}

– ^{位置 歴史あ}

– 国内 ^{製 品}

– 薄手 ^{素材 着心地抜群}

– 表記 Ｊ

• 残 47件人手 ^{部 一致 い}

＊ 抽出 意味 い

– …

＋B＋ NA液 ^{油脂 酸}

…

赤 ８ _抽出

青枠８人手

人手 部 _{一致＆84件＇}

• 37件 正解 見 ^{問題 い}

– ^{位置 歴史あ}

– 国内 ^{製 品}

– 薄手 ^{素材 着心地抜群}

– 表記 Ｊ

• 残 47件人手 ^{部 一致 い}

＊ 抽出 意味 い

– …

＋B＋ NA液 ^{油脂 酸}

…

赤 ８ _抽出

青枠８人手

• ^認識

• 固 ^{詞 一部 抽出 い}

他 部 文 列 _{抽出＆40件＇}

• 固 表現＆24件＇

– ^{革 戦い 舞 歴史あ}

– … 関連商品 BCI＋6 BK BCI＋6C BCI＋ _6M…

• ^{固 用語＆13件＇}

– ^{最 いAOC 算}

出

– … ^水 …

• ^{詞 ＆3件＇}

– … ^{大手 連 い}

– 各種機関 厳 い環境基準 解作用

汚 け 解 く 髪や頭皮 傷

他 部 文 列 _{抽出＆40件＇}

• 固 表現＆24件＇

– ^{革 戦い 舞 歴史あ}

– … 関連商品 BCI＋6 BK BCI＋6C BCI＋ _6M…

• ^{固 用語＆13件＇}

– ^{最 いAOC 算}

出

– … ^水 …

• ^{詞 ＆3件＇}

– … ^{大手 連 い}

– 各種機関 厳 い環境基準 解作用

汚 け 解 く 髪や頭皮 傷

• 固 表現や ^{特 表現 一部 情報 抽出 い}

• ^詞 構造 解析 ＊主辞以外 部 情報 抽出 _い

当 商品 属性値 説明 関係 い記述 抽

出＆37件＇

• ワ ^位置

– ^{知 社}

作 ワ

• ^紹介

– 米国 ^{GAP ＆ ＇}

3大 _…

• ^体型

– ^{着用 ８Ｋ＆ 身長８} 170CM … 幅:

44CM＊ 首周 : 37CM＇

• 使用方法

– 成猫体 1KG当 1日約1.4袋 目安 1日 ^給与量

2回以 ^{け 与え く} い

当 商品 属性値 説明 関係 い記述 抽

出＆37件＇

• ワ ^位置

– ^{知 社}

作 ワ

• ^紹介

– 米国 ^{GAP ＆ ＇}

3大 _…

• ^体型

– ^{着用 ８Ｋ＆ 身長８} 170CM … 幅:

44CM＊ 首周 : 37CM＇

• 使用方法

– 成猫体 1KG当 1日約1.4袋 目安 1日 ^給与量

2回以 ^{け 与え く} い

毎 商品 内 文 何 い 言及 い

い 文 識別 処理 _必要

属性値 多義性 起因 誤抽出＆33件＇ 1/3

• ^＆16件＇

– 着丈３７ＡＫ 身幅 ^２０ＡＫ

^{袖幅／５ＡＫ}

– ３２，３ＡＫ

– ＣＫＮＭＰＧＭ ＡＰＫＡＬＧ ０．／１ ^{ＱＱ 新作 半袖Ｒ}

Ｊ／Ｒ／３Ｈ Ｊ／Ｏ２Ｈ ／．． ワ

ＣＡ

属性値 多義性 起因 誤抽出＆33件＇ 1/3

• ^＆16件＇

– 着丈３７ＡＫ 身幅 ^２０ＡＫ

^{袖幅／５ＡＫ}

– ３２，３ＡＫ

– ＣＫＮＭＰＧＭ ＡＰＫＡＬＧ ０．／１ ^{ＱＱ 新作 半袖Ｒ}

Ｊ／Ｒ／３Ｈ Ｊ／Ｏ２Ｈ ／．． ワ

ＣＡ

• 属性 ^{値 距 ＆ 属性 記述}

多い _＇

• 表 記述 ^理解

• 従来 多義性解消技術

属性値 多義性 起因 誤抽出＆33件＇ 2/3

• 割合＆9件＇

– ^{ワ ５．＄ ０．＄}

^／．＄

– 粗 ^{白質８２，．＄以}

^{粗脂 ８．，／＄以} …

– ．，．３＄以

• 素材 相当 ^{表現 間 挟 割合表現 抽出対象}

い＆混合比 素材 一緒 併記 多い _＇

• 属性 ^{値 距 ＆ 属性 記述}

多い _＇

• 表 記述 ^理解

属性値 多義性 起因 誤抽出＆33件＇ 3/3

• そ 他＆8件＇

– ＬＷ

^{＆２． 以 ＇}

選ば

– ^{最高級品 通称}

最高 葡萄 熟成 生産量 極 少 く

本場 日本 手 入 い究極

幻

ば い

起因 _{誤抽出＆5件＇}

• 全 ^{事例 関}

– 本物

^{味わい 感 く 自然}

派！

–

^{求 要素 べ 備え い 言}

過言 あ

彼 飲 心地 良く 果実味 豊

産地

^{求 要素 べ 備え い 言 過言}

あ

形態素解析 過 割 _{誤抽出＆1件＇}

•

^{［０．．４］}

＆ _＇

語 Mandulas

任意 集合 自動的 語彙 獲得 ＊形態素

解析器 辞書 動的 拡充 必要 _あ

商品 内 誤 情報 _{抽出＆1件＇}

1000ml

220ml

???

1100ml

商品 内 誤 情報 _{抽出＆1件＇}

1000ml

220ml

???

1100ml

抽出元 信頼度や＊画像 以外

情報 考慮 必要 _あ

False-negative

• False-negative ^{831事例 毎 無}

作 _50件抽出

– ^{関 全18件}

• 以 ^{条件 い 満 削除 ＊残}

188件 調査

– 誤 ^{登録 商品}

– 人手 ^{部 一致 ＊ 正解 見 問}

題 い

事例数 割合 [%]

異表記 辞書 含 _{い い 100 53.2}

異表記 辞書 含 _{い 69 36.7}

抽出手法 _{問題 19 10.1}

異表記 辞書 含 _{い い＆100件＇}

事例数 例

型番 27 (適応機種, ＮＶ＋２１２Ａ), (適応機種, ＭＤＤＧＡＣＨＣＲ ＮＰＭ Ｉ３ ２．．)

組織 _{15 (生産者,} ), (生産者, ＡＦＡＲＣＡＳ Ｂ ’ＷＯＳ

ＣＫ), ( , わ わ ), ( , 日本 )

商品 _{14 (商品 ,}

６．．ＫＪ)

10 ( , ＴＡＬＧＪＪＡＤＳＢＥＣ), ( , ) 割合 7 (粗繊維, ．，／＄), (粗 質, ／／，１＄以 )

成 _{素材 7 (成 , ＆} ＇

加水 解 _{), (成 , 和漢植物 )}

6 ( , ３．． 用), ( , 着丈４３ＡＫ 身幅２７ＡＫ 袖 幅／７ＡＫ)

人 _{6 (生産者, ), (生産者, )}

容量 4 (容量, ／６，０ＫＪ), (内容量, ３５Ｅ×／０ )

地 _{4 (産地,} ), (産地, 島根県)

異表記 辞書 含 _{い い＆100件＇}

事例数 例

型番 27 (適応機種, ＮＶ＋２１２Ａ), (適応機種, ＭＤＤＧＡＣＨＣＲ ＮＰＭ Ｉ３ ２．．)

組織 _{15 (生産者,} ), (生産者, ＡＦＡＲＣＡＳ Ｂ ’ＷＯＳ

ＣＫ), ( , わ わ ), ( , 日本 )

商品 _{14 (商品 ,}

６．．ＫＪ)

10 ( , ＴＡＬＧＪＪＡＤＳＢＥＣ), ( , ) 割合 7 (粗繊維, ．，／＄), (粗 質, ／／，１＄以 )

成 _{素材 7 (成 , ＆} ＇

加水 解 _{), (成 , 和漢植物 )}

6 ( , ３．． 用), ( , 着丈４３ＡＫ 身幅２７ＡＫ 袖 幅／７ＡＫ)

人 _{6 (生産者, ), (生産者, )}

容量 4 (容量, ／６，０ＫＪ), (内容量, ３５Ｅ×／０ )

地 _{4 (産地,} ), (産地, 島根県)

固 表現 属性 間 変換 設け _＊

固 表現認識 抽出 能性 _{あ ＆46%＇}

異表記 辞書 含 _{い ＆69件＇}

事例数 例

辞書

空白＊中黒＊ _無,

入 _替わ

18 ＮＧＶＳＱ ７７．Ｇ ＮＧＶＳＱ７７．Ｇ

略語 13 ＶＪ

／．．＄ ＡＭＲＲＭＬ

ＣＶＲＰＡ ＪＡＰＥＣ Ａ／．．＄

長音 入 _替わ 11 ＋６ _酸ＬＡ ６ _酸ＬＡ

翻訳 10 ＱＡＳＲＣＰＬＣＱ

硫酸ＬＡ

ＦＭＪＪＧＱＲＣＰ 硫酸

言い換え 7 ／２，３＄

社

／２，３度

接辞 _無 4 社

翻 _{違い 2}

加水 解 加水 解

数 _扱い 1 ０＄以 ０，．＄以

送 仮 _無 1 ６．Ｅ×２６缶入 ６．Ｅ×２６缶入

そ _他 3 --- ---

異表記 辞書 含 _{い ＆69件＇}

事例数 例

辞書

空白＊中黒＊ _無,

入 _替わ

18 ＮＧＶＳＱ ７７．Ｇ ＮＧＶＳＱ７７．Ｇ

略語 13 ＶＪ

／．．＄ ＡＭＲＲＭＬ

ＣＶＲＰＡ ＪＡＰＥＣ Ａ／．．＄

長音 入 _替わ 11 ＋６ _酸ＬＡ ６ _酸ＬＡ

翻訳 10 ＱＡＳＲＣＰＬＣＱ

硫酸ＬＡ

ＦＭＪＪＧＱＲＣＰ 硫酸

言い換え 7 ／２，３＄

社

／２，３度

接辞 _無 4 社

翻 _{違い 2}

加水 解 加水 解

数 _扱い 1 ０＄以 ０，．＄以

送 仮 _無 1 ６．Ｅ×２６缶入 ６．Ｅ×２６缶入

そ _他 3 --- ---

中 辞書中 表現 編集距 考慮 柔軟

行う 改善 事例 _{多い＆54%＇}

抽出手法 _{問題＆19件＇}

• 正 い属性-属性値 辞書中 あ ^抽出

＆13件＇

– 属性値 数値 体

• 属性値 ^{最長一致 抽出 問題＆3}

件＇

– < ^{＊爽や 辛 >＊< ＊辛 >}

– 赤い果実 香 ^{爽や 辛 ワ}

• 属性値 多義性 基 く誤 ＆3件＇

– <身幅＊３３，３ＡＫ>＊< 幅＊３３，３ＡＫ>

– ^{幅３３，３ＡＫ}

身幅３６，３ＡＫ 着丈５．，３ＡＫ 袖

丈／６ＡＫ

抽出手法 _{問題＆19件＇}

• 正 い属性-属性値 辞書中 あ ^抽出

＆13件＇

– 属性値 数値 体

• 属性値 ^{最長一致 抽出 問題＆3}

件＇

– < ^{＊爽や 辛 >＊< ＊辛 >}

– 赤い果実 香 ^{爽や 辛 ワ}

• 属性値 多義性 基 く誤 ＆3件＇

– <身幅＊３３，３ＡＫ>＊< 幅＊３３，３ＡＫ>

– ^{幅３３，３ＡＫ}

身幅３６，３ＡＫ 着丈５．，３ＡＫ 袖

丈／６ＡＫ

• 数値情報 扱い

• 文 列長 け ^{く＊辞書 正 考慮}

• 多義性解消 ^入

• 商品 属性値抽出 題材 ＊false-positive/

negative 調査 ＊そ ^{事例 類 試}

• 必要 処理

– 質 ^高い辞書

– 属性値抽出対象箇所 ^定

– 文中 主題 認識

– ^{細 固 表現 認識技術}

– 属性値 抽出 ^{際 多義性解消}

– 辞書 ^{中 表現 柔軟}