ビッグデータから知をつむぐ自然言語処理

(1)

ビッグデータから知をつむぐ自然言語処理

乾健太郎

東北大学情報科学研究科

知能情報科学講座情報伝達学分野

[email protected]

乾健太郎

東北大学情報科学研究科

知能情報科学講座情報伝達学分野

[email protected]

東北大学 -NTT 技術交流会 2013 年 12 月 4 日

(2)

コミュニケーションコミュニケーション

あらゆる社会活動の根幹

最も重要なメディア ^は

言語（こと

ば）

(3)

ソーシャルメディアの爆発的普ソーシャルメディアの爆発的普及

及

http://internet.watch.impress.co.jp/docs/event/itweek12/20120511_532162.html

(4)

言葉がわかる賢いコンピュータを言葉がわかる賢いコンピュータを作る

作る

自然言語処理自然言語処理

自然言語処理

人工知能

自然言語処理

言葉（＝自然言語）で伝達される情報を理解・検索・抽出・翻訳・整理・分析し、

地球規模のコミュニケーションを支援するソフトウェア技術

(5)

東北大学乾・岡崎研究室東北大学乾・岡崎研究室

研究スタッフ

2010 2011 2012 2013

0 10 20 30

2010; 4 2011; 5 5

2010; 2

2011; 6 12

2010; 2

2011; 3

4 2010; 3

2011; 4

10

学部修士博士

研究生

スタッフ

(NICT水野淳太研究員)

乾健太郎教授岡崎直観

准教授渡邉陽太郎

助教松林優一郎

特任助教井之上直也

研究員 C. Kruengkrai

研究員研究員募集中

募集中

(6)

東北大学乾・岡崎研究室東北大学乾・岡崎研究室

2010 年 9 月言語処理学会第 16 回年次大会最優秀発表賞 2011 年 2 月 CICLing-2011 Best Paper Award (First Pla ce)

2011 年 3 月言語処理学会 2010 年度最優秀論文賞

2011 年 6 月日本経済新聞社技術トレンド調査総合 3 位 2011 年 9 月 NLP 若手の会第 6 回シンポジウム奨励賞 2012 年 5 月情報処理学会自然言語処理研究会学生奨励賞

2012 年 9 月情報処理学会 2012 年度山下記念研究賞 2012 年 9 月言語処理学会第 18 回年次大会優秀賞 2012 年 9 月 NLP 若手の会第 7 回シンポジウム奨励賞 2013 年 3 月東北大学情報科学研究科長賞

2013 年 3 月情報処理学会第 75 回全国大会学生奨励賞 2013 年 3 月情報処理学会第 75 回全国大会学生奨励賞 2013 年 3 月情報処理学会東北支部学生奨励賞

2013 年 9 月言語処理学会第 19 回年次大会優秀賞

2013 年 11 月日本リスク研究学会年次大会優秀発表論文賞

(7)

言語意味解析による情報の編集言語意味解析による情報の編集

ウェブ・

SNS

マスメディア政府・会社研究機関大学・

国民

談話解析談話解析

情報検索情報検索リンク解析リンク解析

言語解析言語解析

情報・意見の整理・集約・可視化

知識獲得知識獲得意味解析意味解析

デマ検出

信憑性分析根拠検索健康・危機管理行動決定支援

アプリケーション

情報リテラシー

政府

震災混乱に乗じた悪質な流言に注意を宮城子(@miyako) ヨウ素を含むうがい薬”飲まないで” (NHKニュース)

大阪二郎(@jirosaka) イソジン件デマです．

放射線研究所HPを見て！

http://bit.ly/gQxWZq 東京花子(@hanatky)

78人がリツイート消毒薬を服_痢 ^用すると，下

・腹^痛が発^生します．

厚労省(@mhlw)

イソジンを飲め ^{甲状} 腺がんを防げるよ．

東北太郎(@tohokutaro)

313人がリツイートイソジンを飲んでい

けません．

厚労省(@mhlw)

イソジン飲んでみたけど，超まずかった．

東京兼(@tkyken) ちょっとイソジン買ってくる．

東海亜(@tokaia)

参照

反論

発言参照

参照発言

同意

反論反論

同意同意

大学・研究機関マスメディア

市民発言

解析・集約

(8)

ニーズ ^は社会 ^のどこにでもあニーズ ^は社会 ^のるどこにでもあ

参院選の世論分析（朝日新聞）

る

誤情報の検出と検証の支援

コスモ石油: 5時間で訂正，24時間で収束

風評被害の分析（

NHK

）

否定的な意見が強い肯定的な意見が強い否定的な意見が強い肯定的な意見が強い

(9)

本日の講演内容本日の講演内容

耐災害 ICT を目指す言語処理

• 防災情報の DB 化の支援

情報・知識の編集へ

• 情報信憑性判断の支援

その先の言語理解研究へ

• 経験主義と合理主義の間で

(10)

防災情報の DB 化の支援

(11)

東日本大震災で判明した災害対応の課題

医療機関医療機関警察・消防警察・消防

被災者被災者

防災情報

災害対策本部市町村の

・各部局災害対策本部市町村の

・各部局

(12)

さまざまな防災情報

業務区分

本部 _ 消火活動 ¹⁷^時現在、 ¹⁵時に発生した洞沢の火災は鎮火しました。

本部 _ 物資調達ベビーおむつの在庫が支所にはありません。中上薬局から粉ミルクも確保する必要があります。

本部 _ 交通規制対応大谷の国道４５線は津波によって陥没しており、通行不能です。

避難所開設・閉鎖

小泉中の避難所を副分団長が確認しました。昨日より開設とのこと、電気もガスも水も使えないので支援願います。小泉地区、管理番号は小泉ー 2です。トイレ使用可能は 30です

避難所施設復旧津谷中学校は、停電していますが、教室を解放して避難者を受け入れています。

物資（避難所）寺谷からおにぎりが１００個の到着したので、仙翁寺にいる約２００人の消防団へ届けました。

仮設トイレ（避難所）小泉中学校です。仮設トイレの設置をお願いします。

至急、 10個ほど設置できないでしょうか？

とりまとめ様式・避難者避難者の報告です。小泉中学校が約４００人、はまなすの丘が約３００人になります。

(13)

我が国の基礎自治体における災害対応

紙と音声での情報収集・伝達

紙と音声での情報収集・伝

避難者○人達

　△△地区○人　□□地区○人

ホワイトボード

情報共有の手段は紙とホワイトボード情報共有の手段は紙とホワイトボード

防災情報

（多種・多量）

防災情報

SNS 音声

FAX

画像

メール

隣の部局間でも情報が共有できない隣の部局間でも情報が共有できない

自治体

(14)

東日本大震災で判明した災害対応の課題

医療機関医療機関警察・消防警察・消防

被災者被災者

　　自治体

　　自治

部局Ａ体

部局Ａ

部局Ｂ部局Ｂ

自治体自治体国国

次の災害へ

横の繋がり・連係が困難

情報が錯綜・断絶情報が錯綜・断絶

被災者に対して

迅速・公平な支援ができない

防災情報

(15)

医療機関警察・消防

被災者

部局Ａ自治体

部局Ｂ

自治体国

次の災害へ

東日本大震災で判明した災害対応の課題

横の繋がり・連係が困難

情報が錯綜・断絶

迅速・公平な支援ができない

被災者のニーズが正確に把握で支援がミスマッきず、

チ

記録が残らず、

次に繋がらない

組織間の連携が機能しない

被害報の作成に

膨大な人的コスト

(16)

自治体ごとに異なる被害報

仙台市

多賀城市

自治体ごとに様式がバラバ

ラ

自治体ごとに様式がバラバ

ラ

情報共有が困難効率的な効率的な

情報共有が困難状況認識の

統一が困難

状況認識の

統一が困難

(17)

医療機関警察・消防

被災者

部局Ａ自治体

部局Ｂ

自治体国

次の災害へ

東日本大震災で判明した災害対応の課題

横の繋がり・連係が困難

情報が錯綜・断絶

迅速・公平な支援ができない

被災者のニーズが正確に把握で支援がミスマッきず、

チ

記録が残らず、

次に繋がらない

組織間の連携が機能しない

被害報の作成に

膨大な人的コスト

(18)

日本ではＤＢに入力する人が足りない日本ではＤＢに入力する人が足りない

東日本大震災でも機能しなかった東日本大震災でも機能しなかった

米国防災情報ﾃﾞｰﾀﾍﾞｰｽ

災害対応情報システム

専門職員によるキーボード入力

既存の災害対応情報システム

情報入力のボトルネック

防災情報

SNS 音声

FAX

画像

メール

(19)

音声認識・画像認識

防災情報

DB

化システム

自然言語処理

自然言語処理 ^ﾕｰｻﾞ

ｲﾝﾀﾌｪｰｽﾕｰｻﾞｲﾝﾀﾌｪｰ

ｽ

災害対応情報システム

防災情報ﾃﾞｰﾀﾍﾞｰｽ

防災情報の DB 化のコストを大幅縮減防災情報の DB 化のコストを大幅縮減

防災情報

SNS 音声

FAX

画像

メール

防災情報のデータベース化を技術で支援

(20)

ID 報告

日時施設

種別名称町村

名区間

被害内容使用

可否応急復旧

終了時期復旧落完了日

下亀裂崩

壊陥

没詳細情報 83 5/11

13:46 道路国道

４号線Ｂ町Ａ交差点

N○:E○

なしなしな

しあ

り可 5/11 97 5/1113:49 道路

国道４５Ｃバイパ線

ス

Ｂ町Ｄトンネル南出口N○:E○

なしなしあ

りな

し土砂

崩れ否未定

防災情報のＤＢ化の支援

ID 報告

日時施設

種別名称町村

名区間

被害内容使用

可否応急復旧

終了時期復旧落完了日

下亀裂崩

壊陥

没詳細情報 83 5/11

13:46 道路国道

４号線Ｂ町Ａ交差点

N○:E○

なしなしな

しあ

り可 5/11 97 5/1113:49 道路

国道４５Ｃバイパ線

ス

Ｂ町Ｄトンネル南出口N○:E○

なしなしあ

りな

し土砂

崩れ否未定

［生活基盤部］土木施設調査・応急・復旧スキーマ

構造化されていない防災情報

構造化されていない防災情

報

自然言語処理自然言語処理

防災情報データベース

音声認識（画像認識）

防災情報（多種・多量）

SNS 音声

FAX 画像メール

構造が統一された表（

DB

）に情報をふるい分ける

自然言語で語られる生の防災情報は計算機処理不可

構造化されていない

国道４号線のＡ交差点付近、陥没してますが、応急工事が終わって通れます。

国道４号線のＡ交差点付近、陥没

してますが、応急工事が終わって

通れます。

(21)

災害対応情報シス

テム防災情報ﾃﾞｰﾀﾍﾞｰｽ

SNS 音声

FAX

画像メール

情報の共有で防災関係者コミュニティをつなぐ

　　　　　自治体

　　　　　自治部局Ａ体

部局Ａ

部局Ｂ部局Ｂ

自治体自治体国国

統一的な形式に構造化統一的な形式に構造化

情報を共有・蓄積情報を共有・蓄積

企業企業医療機関医療機関警察・消防警察・消防 NPONPO

被災者被災者

防災情報DB化^{シス} テム自然言語処理ﾕｰｻﾞ

ｲﾝﾀ音声認識・画像認識ﾌｪｰｽ

防災情報DB化^{シス} テム自然言語処理ﾕｰｻﾞ

ﾌｪｰｽｲﾝﾀ

次の災害へ

被災者に対する

迅速・公平な支援を実現

^{被災者に対する}

迅速・公平な支援を実現

(22)

災害対応支援を目的とする防災情報のＤＢ化の支援と利活用システムの構築

NPO・市民東北被災地の自治体

社会実装

ｼｽﾃﾑ工学

前田

（ＮＴＴ）

自然言語処理

乾（東北大）

情報科学 _{ハザード予測}

（京大防災研）鈴木

防災科学

災害対応

情報の構造化利用環境整備スキーマ設計

SNS 音声 FAX

画像

メール自治体間で共有でき

る標準 DB ｽｷｰﾏの設計

自然言語処理による言語情報の構造化

災害対応訓練パッケージの開発

からの修正情報ﾕｰｻﾞ

によるｼｽﾃﾑの自動洗練

東日本大震災の対応経験の調査・分

析

東日本大震災の対応経験の調査・分析

防災情報DB化支援ｼｽﾃﾑ自然言語処理ﾕｰｻﾞ

ｲﾝﾀﾌｪｰｽ

災害対応情報^{シス} テム防災情報ﾃﾞｰﾀﾍﾞｰｽ

研究体制学際的な産学官民の連携

JST/RISTEX 「コミュニティがつなぐ安心・安全な都市・地域の創造研究開発領域」

研究開発プロジェクト・カテゴリーⅡ採択案件（2012 年11月〜2015 年10月）

セキュアプラットフォーム研究所

(23)

ネット情報の

信憑性判断の支援ネット情報の

信憑性判断の支援

(24)

震災直後に流れたデマ

(25)

デマを否定する情報も

(26)

情報の期限切れ

(27)

情報の期限切れ情報の期限切れ

《緊急：拡散希望》ICU のみ自家発電中。燃料の A重油も朝 7 時でなくなり、人工呼吸器も止まってしまいます。A 重油の入手先をご教示ください。

0222482131 （仙台市太白区広南病院用度課電気

室）

要請

[拡散希望 ]電話すると、仙台市太白区広南病院用度課電気室は燃料のA 重油は解決したとのこと

解決

5h

ツイート数

自衛隊に届け！ #japan 朝の七時までに広南病院に A重油を下さい。全ての人の呼吸器がとまります。至急 A 重油の入手先をご教示くださ

い。 0222482131仙台市太白区広南病院用度課電

気室。 ...

要請の拡散が収束しない！

(28)

情報の信頼性をどう担保するか情報の信頼性をどう担保するか

イソジンを飲めば甲状腺がんを防げるよ．

東北太郎

(@tohokutaro)

313 人がリツイート

イソジンの件はデマです

．放射線研究所 HP を見て！

http://bit.ly/gQxWZq

東京花子 (@hanatky)

78人がリツイ

ート @tohokutaro これ本当？

九州一郎 (@ichirok)

ヨウ素を含むうがい薬”飲まないで” (NHK ニュース )

大阪二郎 (@jirosaka)

反論

懐疑

反論

情報の「背景」の可視化

(29)

情報の信頼性をどう担保するか情報の信頼性をどう担保するか

イソジンを飲めば甲状腺がんを防げるよ．

東北太郎 (@tohokutaro)

313人がリツイート

イソジンの件はデマです

．放射線研究所 HP を見て！

http://bit.ly/gQxWZq

東京花子 (@hanatky)

78人がリツイ

ート @tohokutaro これ本当？

九州一郎 (@ichirok)

ヨウ素を含むうがい薬”飲まないで” (NHK ニュース )

大阪二郎 (@jirosaka)

反論

懐疑

反論

参照参照

ソースは？

北海道君(@hokka)

懐疑イソジンを飲んではい

けません．

厚労省(@mhlw)

反論

同意

新聞で読んでびっくり

．

中部力(@chuburiki) 発言

参照反論

イソジン飲んでみたけど，超まずかった．

東京兼(@tkyken)

消毒薬を服用すると，

下痢・腹痛が発生します．

厚労省(@mhlw) 発言

発言参照みんな，これ見て

！

近畿鯛(@kinkidai)

同意

参照

震災の混乱に乗じた悪質な流言に注意を宮城子(@miyako)

参照同意

参照

ちょっとイソジン買ってくる．

東海亜 (@tokaia)

同意

情報社会でもこんなことが起こるとは…

．

山陰塊(@saninkai) 参照

同意

情報の「背景」の可視化

(30)

言論マップ言論マップ

イソジンで被曝を防げる？

質問

被曝を軽減するにはイゾジンがいい被曝を軽減するにはイゾジンがいい

肯定

イソジンは被曝対策には使えませんイソジンは被曝対策には使えません

否定

(31)

平時の一般のトピックでも

(32)

同意・対立・根拠の認識同意・対立・根拠の認識

＋存在

+ existence

＋存在

+ existence

−

存在

− existence

−

存在

− existence

コラーゲンをサプリメントで飲んでも、Even when taken as a supplement,

途中でアミノ酸に分解されてしまうので

、(collagen) ends up broken down into amino acids so,

肌をきれいにする効果は期待できません。

we cannot expect (collagen) to be effective at making skin pretty.

（

Φ

が）

Collagen has beautiful skin effects.

コラーゲンには美肌効果がある

事実性（モダリティ）解析＋構造的アライメント＋関係パターン認識

(33)

事実性の推定事実性の推定

流出しなかった（流出しなかった）

流出したではないか（流出した）

流出しただけでない（流出した）

流出を防いだ（流出しなかった）

流出を抑えた（流出した，でも少し）

流出を止めたい（流出した，今も流出）

そのイベントは起こったのか起こっていないのか

(34)

根拠

evidence

根拠

evidence

対立意見の根拠

evidence of opposing opinion

対立意見の根拠

evidence of opposing opinion

同意・対立・根拠の認識同意・対立・根拠の認識

＋存在

+ existence

＋存在

+ existence

−

存在

− existence

−

存在

− existence

対立

conflict

対立

conflict

コラーゲンをサプリメントで飲んでも、Even when taken as a supplement,

肌をきれいにする効果は期待できません。

we cannot expect (collagen) to be effective at making skin pretty.

肌を美しくする

to beautify skin

肌を美しくする

to beautify skin

美しい→きれい beautiful→pretty 美しい→きれい beautiful→pretty 美肌＝肌を美しくする

beautiful skin = to beautify skin 美肌＝肌を美しくする

beautiful skin = to beautify skin

（

Φ

が）

Collagen has beautiful skin effects.

コラーゲンには美肌効果がある

事実性（モダリティ）解析＋構造的アライメント＋関係パターン認識

(35)

言論マップで利用している語彙知識言論マップで利用している語彙知識

• 日本語 WordNet（ Bond+ 2009）： 56,741 synsets，92,241 語 – 過剰：冗多 , 過多 , 冗長, 余った, 余計 , 余分

– 効果：効目, 実効 , 効 ,利き目, 効き目, 利き , 効力 , 効き , 功能 , 効能 – 病気 ⇔ 具合い , 丈夫 , 健康 , フィットネス, 健全, 多幸

• 事象間関係知識（ Matsuyoshi+ 2008 ）：約 140 万対

– < 誰か> が< 何か> を摂取する − < 誰か> が < 何か> を取る（上位語）

– < 何か> が普通だ − < 何か> が異常だ（反義）

• Wikipedia から抽出した同義語： 113,401 synsets – ＨＩＤランプ−高圧放電灯高輝度放電ランプ− – バイオ燃料エコ燃料バイオエネルギー− −

• Wikipedia から抽出した上位下位関係（ Sumida+ 2008）：約 350 万対 – イソフラボン−女性ホルモン様成分

– キシリトール−甘味添加物

• 文脈類似度に基づく動詞間含意関係（ALAGIN）：約 170 万対

– 引き起こすもたらす，予防する防げる，− − ケアする防止する−

(36)

賛否によるネット情報の自動分析は世界初

言語処理学会最優秀発表賞（ 2010 ）言語処理学会若手奨励賞（ 2010 ） CICLing Best Paper Award （ 2011 ）

日経新聞技術トレンド調査総合 3 位（ 2011 ）

情報処理学会山下記念研究賞（ 2012 ）

(37)

④ _____

① _____

_____

③ _____

_____

現在の Web 空間

ハイパーリンクハイパーリンク

現在のウェブの問題現在のウェブの問題

まとめ

デマ訂正情報

誤情報を見ている人に

訂正情報が伝わらない！誤情報を見ている人に

訂正情報が伝わらない！

(38)

④ _____

① _____

_____

② _____

③ _____

_____

現在の Web 空間

ハイパーリンクハイパーリンク

ウェブの情報の流れを変えるウェブの情報の流れを変える

まとめ

デマ訂正情報

① _____

_____

批判賛成

対立 _発信

まとめ

デマ訂正情報

論理的な言論空間

(39)

深海魚油ソフトカプセル

○○ 社によって製造された深海魚油のソフトカプセルです。 ...

主な成分である ω-3 脂肪酸は，

血液のより良い循環を促進し，

高コレステロールの改善，血栓の防止，高血圧の改善，心臓の健康維持をサポートします。また、双極性障害， ADHD の改善に有効です。

Deep sea Fish Oil Soft Capsules

[ロイター] 英国で行われた研究によると、魚油に含まれるオメガ３脂肪酸は、

心臓の健康のためには良いが、脳の機能を高める効果はないという。ロンドン大学の研究者らが専門誌「アメリカン・ジャーナル・オブ・クリニカル...

[ロイター] 英国で行われた研究によると、魚油に含まれるオメガ３脂肪酸は、

心臓の健康のためには良いが、脳の機能を高める効果はないという。ロンドン大学の研究者らが専門誌「アメリカン・ジャーナル・オブ・クリニカル...

魚油のオメガ 3脂肪酸、頭を良くする効果ない＝英研究

[独立行政法人国立栄養研究所]

小児のADHDは血中DHAレベルの低さと関連があるが、 DHAは小児の注意欠陥多動性障害(ADHD)に対して、経口摂取で効果がないことが示唆されている。

DHAを1日あたり345mg摂取しても改善はみられなかった...

[独立行政法人国立栄養研究所]

小児のADHDは血中DHAレベルの低さと関連があるが、 DHAは小児の注意欠陥多動性障害(ADHD)に対して、経口摂取で効果がないことが示唆されている。

DHAを1日あたり345mg摂取しても改善はみられなかった...

健康食品データベース DHA..

生活習慣をサポートする

『オメガ3 脂肪酸（後編）』

[サプマートUSA] ... ADHD、統合失調症、アルツハイマー疾患のような精神・

認知に関する疾患を患う人は、血中のオメガ3脂肪酸レベルが低い人が多いことから、このような精神・認知に関係する疾患に対し、オメガ3脂肪酸は有効性が期待できます。...

[サプマートUSA] ... ADHD、統合失調症、アルツハイマー疾患のような精神・

認知に関する疾患を患う人は、血中のオメガ3脂肪酸レベルが低い人が多いことから、このような精神・認知に関係する疾患に対し、オメガ3脂肪酸は有効性が期待できます。...

「ω-3脂肪酸はADHDの改善に有効」

の対立ページ

の根拠ページ

対立対立

根拠根拠

「裏を取る」を支援

_あ

れ？ちがうのかぁ

(40)

耐災害情報分析システム

^（

²⁰¹⁴

^{年度公開予定）}

耐災害情報分析システム

^（

²⁰¹⁴

^{年度公開予定）}

仙台市で透析ができるのはどこ？

□□病院

××病

院 ××病

院は透析可能です。

透析できるのは□□病院

回答情報源

△ △ 病

院 ^{△ △}

病院で透析を提供しています。[矛盾情報あり]

□□ でガソリン提供。

△ △病

院で透析ができます。

○ ○は〜に避難しています。

〜で充電できました。

○ ○さん無事ですか？

避難所で不足しているものはなんですか？

医師巡回スケジュール避難所リスト

データベース災害情報

救援、支援を行う専門家向け特別システム

匿名:〇〇の△ △って放射能汚染されてるんでしょ？

匿名：〇〇の△ △が○○

シーベルトって聞きました

公的機関:△研究所です。

〇〇の△ △の放射線量は観測可能限界

以下です。安心してお召し上がりください

〇〇の△ △の放射能

矛盾同義

言論マップ災害時の情報を効率

的に把握、整理

多角的に情報の信頼性を判断

• 4/11△ △病

透析を提供してい院でます。

• 4/12△ △病

物院は

資が尽きたので透析はできないそうです。

矛盾!

含意、矛盾の認識質問応答（一休）

○ ○道を通って来たそうです。

避難所はどこですか？

充電はどこでできますか？

透析ができるのはどこ？

Twi er、メール等での情報提供

他の支援システム被災者

被災地外

行政・専門家行政・専門家

被災者

被災地外

質問に対する回答

NICT 東北大

H24末成果報告会デモ

(41)

情報の「裏を取る」支援情報の「裏を取る」支援

質問「放射能に効くのは何ですか？」

NICT QA システムに聞く

イソジンイソジン

とろろとろろ

ワカメワカメ

東北大言論マップで裏を取る

(42)

その先の言語理解研究へその先の言語理解研究へ

「行間を読む」言語処理への挑戦

(43)

ビッグデータと対話する自然言語処理ビッグデータと対話する自然言語処理

自然言語処理自然言語処理

情報の編集情報の編集

話題① 話題①

知識の獲得知識の獲得

話題② 話題②

(44)

週末に母とやなぎに行ってみました。うどん屋

^の名前

私はうどんを

食べた

きつねうどん

^の

「行間を読む」

うどんを食べる

ために

うどんが

美味しいと

やなぎで

私は評判のきつねうどんを頼ん

だのですが、期待通りの味に大

満足。

(45)

ガッカリガッカリ

「行間を読む」

常識に基づく推論

「行間を読む」

常識に基づく推論

庭に洗濯物を干す

庭に洗濯物を干す雨が降る雨が降る

庭に洗濯物を干したとたんに雨が降ってきた

常識的な知識

〈洗濯物を干す〉 ^目的〈洗濯物を乾かす〉

〈晴れ〉 ^条件〈洗濯物が乾く〉

・岡崎乾

研究室

(46)

膨大な知識をどうやって集めるか大問題！大問題！

膨大な知識をどうやって集めるか

• 「洗濯物を干す」目的は「洗濯物を乾かす」

こと

• 「洗濯物が乾く」条件は「晴れている」こと

• 「うどん」は，「レストラン（うどん屋）で食べる」

• 「（料理を）注文する」ことを「頼む」とも言う

• 「レストラン」では，「料理を注文」して，

しばらくすると料理が「出て」きて，それを「食べる」

• 「洗濯物を干す」目的は「洗濯物を乾かす」

こと

• 「洗濯物が乾く」条件は「晴れている」こと

• 「うどん」は，「レストラン（うどん屋）で食べる」

• 「（料理を）注文する」ことを「頼む」とも言う

• 「レストラン」では，「料理を注文」して，

しばらくすると料理が「出て」きて，それを「食べる」

言葉の理解に必要な知識

(47)

常識をビッグデータから集める常識をビッグデータから集める

天気が良いので，洗濯物がよく乾く

最近，晴れが続いているので，洗濯物がよく乾く日が当たらないので，洗濯物が乾くのもままならお天気は晴れマークが多かったから，洗濯物が乾ず

湿度はなかったから，洗濯物が乾くく

今日は，空気が乾燥していて，洗濯物がよく乾く梅雨空が続いたため，洗濯ものが乾かず

天気が良いので，洗濯物がよく乾く

最近，晴れが続いているので，洗濯物がよく乾く日が当たらないので，洗濯物が乾くのもままならお天気は晴れマークが多かったから，洗濯物が乾ず

湿度はなかったから，洗濯物が乾くく

今日は，空気が乾燥していて，洗濯物がよく乾く梅雨空が続いたため，洗濯ものが乾かず

天気が良い（晴れる） → 洗濯物がよく乾く

天気が良い（晴れる） → 洗濯物がよく乾

く

(48)

夜のうちに雨が降った？

仮説推論（ abduction ）仮説推論（ abduction ）

観測に対する最良の仮説（説明）を求める推論

自宅の庭が濡れている観測

仮説

スプリンクラー消し忘れ？

隣りの庭も濡れている

(49)

ビッグデータと対話する自然言語処理ビッグデータと対話する自然言語処理

自然言語処理自然言語処理

知識の編集

知識の編集知識の獲得知識の獲得

話題① 話題①

話題② 話題②

(50)

母とやなぎに行った。　　評判のきつねうどんを頼んだ。

「何かを食べる」には「飲食店に行って、それを注文」すればよい

「（店で）注文する」ことを「頼む」とも言う

「ある食べ物が評判」なら「それを食べたい」と思う

「行間を読む」仮説推論

背景知識

やなぎ＝飲食店

私はきつねうどんを食べた ^評判だから食べに行った

食べる目的

で行った「頼む」＝

やなぎで注文する

私 (x) ∧ やなぎ (y) ∧ 行く (x, y) ∧ きつねうどん (z) ∧ 頼む (x, z, v) ∧ 評判 (z)

評判 (z) → 食べる (x, z) 評判 (z) → 食べる (x, z)

食べる (x, z) → 飲食店 (w) ∧ 行く (x, w) ∧ 注文する (x, z, w)

注文する (x, z, w) → 頼む (x, z, w) 注文する (x, z, w) → 頼む (x, z, w)

観測

飲食店 (w) 飲食店 (w)

食べる (x, z) 食べる (x, z)

評判 (z) 評判 (z)

注文する (x, z, w) 注文する (x, z, w)

y=w y=w w=v w=v

仮説

(51)

母とやなぎに行った。　　評判のきつねうどんを頼んだ。

「行間を読む」仮説推論

私はきつねうどんを食べた ^評判だから食べに行った

y=w y=w w=v w=v

観測仮説

B 背景知識

O 観測

H 仮説

H

∪

仮説

処理の手順を捨象した宣言的知識 |=

処理の手順を捨象した宣言的知識

解釈＝仮説推論の副産物解釈＝仮説推論の副産物論理推論と統計的機械学習の融合が可能に論理推論と統計的機械学習の融合が可能に

食べる目的で行った

背景知識

「頼む」＝

(52)

母とやなぎに行った。　　評判のきつねうどんを頼んだ。

東北大の取り組み東北大の取り組み

評判だから食べに行った

y=w y=w w=v w=v

観測仮説

B 背景知識

O 観測

H 仮説

H

∪

仮説

|=

食べる目的で行った

背景知識

「頼む」＝

① 世界最速の推論エンジン

7 分（ US ） → 3 秒（東北大）

情報処理学会山下記念賞 (2012) 言語処理学会年次大会優秀賞

(2012)

① 世界最速の推論エンジン

7 分（US ） → 3 秒（東北大）

情報処理学会山下記念賞 (2012) 言語処理学会年次大会優秀賞

(2012) きつねうどんを食べた

② 仮説の評価関数の学習（世界

NLP若手の会奨励賞初） (2012) 自然言語処理研究会学生奨励賞 (2012)

IBIS 2012 Honorable Mention (2012)

② 仮説の評価関数の学習（世界

NLP若手の会奨励賞初） (2012)

自然言語処理研究会学生奨励賞 (2012) IBIS 2012 Honorable Mention (2012)

(53)

（ S1: A lot of traffic once used Folsom Dam Road. ） S2: Right now, the road is closed.

S3: Most of the people who used the road every day are angry.

Resultative

（原因- 結果）

S2 S3

(54)

（ S1: A lot of traffic once used Folsom Dam Road. ） S2: Right now, the road is closed.

S3: Most of the people who used the road every day are angry.

(55)

ビッグデータから知をつむぐ 自然言語処理