Web31P: 31P 応用 誤 解析
〜事実性解析と主体解析を題材 〜
荒牧英治
1,「叶内晨
」川善彬
」岡崎直観
4,「1) 京都大学 2) 科学技術振興機構 3) 首都大学東京 4) 東 大学
1. め
今世紀 入 以降,自然言語処理 NLP Web
発 Web 大規模 構造
見 , 知識 統計 抽出 ,
形態素解析,構文解析,固 表現抽出,述語 構造解析,
機械翻訳 ,様々 精度 向 報告
い 事例 ,Web NLP 高度 捉
え
時 , Web 誰 発信 あ ,
特性 活 Web 新 い研究
形 評 情報抽出(Pang, Lee et al. 2002) 代 表例 あ ,近 ,Twitter Facebook
爆発的 普及 , Web
関 関心 高 い
, 大規模,
即時性, 個人 経験 主観 基 く情報 , い
う 無い特徴 あ 例え ,熱 出 病
院 検査をし も っ インフルエンザ A 型 っ
いう投稿 , 投稿時点 即時性 発言者
罹 いう個人 経験 抽出 ,大
規模 投稿 中 う 情報 集約 ,
流行状況 調べ
う ,NLP Web 情報 いう研
究 ,地震検知(Sakaki, Okazaki et al. 2010),疾病 ベ (Parker, Wei et al. 2013) 初 ,選挙結果
予測,株価予測 応用領域 広 い
, 応用事例 実用性 強く意識 い
,NLP 似 う 課題 複数 応用事例
個 解い い,NLP 研究 積 行
わ い い, いう問題点 生 い , 々
WebNLP ロ ,次 設定
蓄積 自然
言語処理 方法論 析 ,人々 行動,意見,
感情,状況 把握 う ,現状 自
然言語処理技術 抱え い 問題 認識
応用事例 例え 疾患状況把握 誤 事例
析 ,自然言語処理 解くべ 一般的 複
数 応用事例 適用 課題
整理
見出 個 課題 対 ,最先端
自然言語処理技術 適用 ,新 い
取 組 ,自然言語処理
応用 関 基盤技術 発展
本 ロ ,NLP
実用 事例 あ ,
風邪 疾患 症状 認識 取
組 本報告書 第 節 , 説明 行い,
第 節 既 誤 析 行う 析結果
,事実性 解析,状態 保 主体 定 要
一般的 課題 出 断 ,第 節,第
節 課題 取 組 果 報告 第
節 本 ロ 結論 述べ
表 1: 検索 ワ
症状 ワ
風邪 風邪 風邪
寒気 寒気,悪寒,さ け
鼻水 鼻 ,鼻水,
鼻ず ,鼻風邪
咳 咳,痰
熱 高熱,微熱,発熱
頭痛 頭痛
インフル
「. コ パス
本研究 ,風邪 症状 関 Twitter
発言 集 以 ,風邪症状コ
パス , 関 Twitter 発
言 集 以 , ンフ エンザ コ
パス 用い 風邪症状 ,誤
析及 ,主体解析 検証 ,
,事実性 定 検証 用い
先行研究 い ,風邪 感
染症 関 研究 多く(Parker, Wei et al. 2013),他 西 熱 (Sugumaran and Voss 2012) 扱わ
い 多く ,経験則 風邪
インフルエンザ ワ 単語 選
択 , 頻度 集計 ,感染状況 把握 行 い (Culotta 2010; Aramaki et al. 2011). 本研究 ,先行 研究 あ (Aramaki, Maskawa et al. 2011) 使
わ ,及 ,商用
1 用い 用い
2008 11 2010 7
Twitter API 用い 30 億発言 収集 ,次 , インフルエンザ 風邪 い
ワ 含 発言 抽出 あ 表 1 .
2.1 風邪症状コ パス
風邪症状 , 風邪・咳・頭痛・寒気・鼻水・ 熱・喉 痛 7 種類 症状 関 ,
発言者 疾患 症状 あ う 陽性 陰性
ベ 付 あ 2
,投稿者 以 除外基準 照
,1 当 あ 陰性 .
1 http://kazemiru.jp/
2 喉 痛 ,負例 一定数 実験 対象
外
発言者 ,発言者 一都 府県近郊 人間 疾患 い 居 地 正確
い場合 陰性発言 . 例え , 風邪 実 家 流行っ い 」では, 実家 所在 正 確 あ ,陰性 .
現在 近い過去 疾患 扱い, 以外
発言 除外 いう 近い過去
24 時間以内 . 例え , 昨年 ひ い
インフルエンザ 参加 っ ,陰性
.
風邪 っ 等 否定 表現 ネゲーショ
陰性 ,疑問文 もし
い い 確定 発言 陰性
,風邪 5,000 発言 , 他 疾患 1,000 発言 あ
2.2 ンフ エンザ コ パス
,
含 約 10,000 件 発言 対 ,陽性 陰性 ベ
付 あ ノ ョ 基準 い
,風邪症状 準 い ,正例
数 1,319,負例数 9,124 い
」. 誤 分析
風邪症状 用い 誤 析 行 誤
検出 ,ベ ,単語 n-gram
素性 用い 文献(Aramaki, Maskawa et al. 2011) 等 類器 SVM 構築 , 誤 人手 類
誤 ,本来,疾患 事実 あ 定 べ あ , 場合 False Negative
, 逆 ,疾患 事実 い 誤 疾患 う場合 False Positive あ , 表 : 誤 分析 F i i いての誤 の分類
風邪 咳 頭痛 寒気 鼻水 熱
F F の比
F の分類と頻
度
頻度の多いも の
非当事者 非当事者 比喩 比喩 比喩 非当事者
時制 話題 話題 非当事者 話題 時制
話題 モ モ 否定 モ 話題
モ 時制 非当事者 モ 非当事者 比喩
否定 否定 時制 時制 時制 否定
比喩 比喩 否定 否定 モ
その他 その他 その他 その他 その他 その他
前者 False Negative 以降,FN 事例 関
,機械学習 学習結果 内部 い限
正確 誤 原因 推定 困 あ
, False Positive 以降,FP 定 事例 対
, , Negative いう観点 , 比較的容易 誤 考察可能 あ ,FP
い ,人手 誤 類 ,風邪症状
6 症状 い , 100 件 誤 事例 い 行 600 事例 結果 表 2 示
誤 類 以 通 あ
非当事者:疾患 対象 ,発言者 周辺 人物 い
時制:疾患 あ 時間 異
話題: 疾患 題 い
モダ テ : もし い 疑い , ?
疑問 疾患 事実
認 い
否定:風邪 く っ ,疾患 事 実 否定 い
比喩:比喩 疾患表現
そ 他 : 他 理由
う 現象 誤 類可能 あ
, 言語処理 研究課題 いう観点
,疾患 あ いう事実性
問題 時制, ,否定,比喩, 題 ,
仮 疾患 事実 あ ,疾患 対象
誰 いう主体 問題 非当事者 問題 題 問題 いう 大 言語現象 大
,事実性 問題 Web 文章 ,言 語処理全般 共通 問題 あ
,主体 問題 ,疾患 限 く,
評 抽出 評 ,感性情報処理
喜 悲 い , Web 文章,特
ロ 個人 発言 情報 扱う 基盤 技術 あ ,Web 扱う 解くべ 大 問 題 あ
本稿 , 言語処理 課題 対 , 新規 取 組 ,改善 結果 報告 4 章 事実性解析,5 章 主体解析
4. 事実性解析
4.1 事実性解析が必要 事例
流行情報 検出 ,機械的
含 発言 集 く,
文 記述 い 事象 ,実際 起
, う い 事実性 定 技術
必要 ,事実性解析 呼 技術
あ 事実性解析 必要 例 以 う 例 あ
(1) 熱 あ 病院 行
(2) 罹 い
(3) 罹 い 休 得
い う
記例 う , 事実 あ
あ , い いう
推 , いう仮定 あ ,
在 事実 持 い う 事実
う 決定 い 波線 表現 呼
,事実性 定 い 要 手
,Web 応用 ,文献 (Li, Ritter et al. 2014) 陽 扱 素性 利用 い
, 特 一 部 あ 否 定
(Negation) 疑い (Suspicion) い ,専門 ワ
ョ 3 開催 盛 研究
本研究 , 流行検出 ,
関 既知 利用 精度 検討
用い 実験 結果,事実性解析 い
利用 3.5 精度向 ,
事実性解析 要性 示
4.2 手法
含 中心 ,
左側 3 形態素 右側 3 形態素 Bag of Words BoW 素性 類器 ベ
素性 以 扱
window6BoW: 含
中心 左側 3 形態素 右側 3 形態素 Bag of Words 素性
URL: 発言 URL 無 素性
Atmark: 会話等による プ イの 無素性
3 http://www.clips.ua.ac.be/NeSpNLP2010/
N-gram: 前後 文 N-gram 素性.前後 文 1-gram 4-gram 素性
Season: 12 2
流行中 発言 う い 素性
つつ よ 素性
関 日本
語機能表現辞書 4 利用 試 日本語 文 構 要素 ,主 内容的 意味 表 要素 内容 語 以外 ,助詞 助動詞 い ,主 文 構
関わ 要素 あ ,後者 総称 , 機
能語 呼 , 対 い
う ,複数 語 構 , ,全体 機能語 う 働く表現 あ 複合辞 合わ
4 http://kotoba.nuee.nagoya-u.ac.jp/tsutsuji/
表 3: 事実性解析 実験結果
素性 組 合わ 適合率 再現率 F 値
window6BoW 0.740 0.305 0.432
window6BoW+URL 0.699 0.313 0.432 window6BoW+Atmark 0.740 0.305 0.432 window6BoW+N-gram 0.707 0.345 0.464 window6BoW+Season 0.724 0.333 0.456 window6BoW+tsutsuji 0.764 0.321 0.452 window6BoW+Zunda 0.699 0.313 0.432
baseline 0.697 0.392 0.502
baseline+tsutsuji 0.702 0.420 0.526 baseline+Zunda 0.679 0.412 0.513 All (baseline+tsutsuji+zunda) 0.689 0.440 0.537
表 4: 絶対値 大 い意味 ID 素性 表層系例
ID 表層形 例 ID 表層形 例
D11 0.55 い 駄目 z25 0.88 う
l31 0.54 あ k51 0.69
r12 0.47 事 h11 0.68 い
s23 0.41 R11 0.55 い
G21 0.37 I23 0.46 う
i11 0.36 い A31 0.44 う
I12 0.34 い I11 0.43
表 5: Zunda 絶対値 大 い素性
正 素性 負 素性
罹患= 立 0.80 注射= 立 0.62
= 立 0.65 対策= 立 0.50
診断= 0.52 =0 0.48
寝= 立 0.47 = 立 0.45
診断= 立 0.52 = 立 0.45
発覚= 立 0.47 死亡= 立 0.42
回復= 立 0.44 行 = 立 0.39
= 立 0.40 注意= 立 0.38
う = 立 0.39 感染= 立 0.37
潜伏= 立 0.37 = 立 0.34
機能表現 呼ぶ 16801 機能表現 表層形 階層的 類 , 意味 持 機 能表現 意味 ID 振 い
,本 Twitter 使用 ,
発言 中 文 複数あ 場合 あ ,
注目 い 感染 関連 機能表
現 関係 い機能表現 多く 在 考え
, 右 15 文 中
機能表現 表層形 含 場合 意味 ID 素性 利用
Zunda よ 素性
関 , Zunda 張
解析器 5 利用 Zunda 文中 ベ 動詞 形容詞,事態性 詞 対 ,
真偽 断 ベ 起 う ,仮想性
仮定 う 解析 日
解析器 あ 本手法 い ,Zunda 出力
真偽 断 素性 利用 真偽 断
い ベ , 立 , 立 , 立
立 , 立 立 , 高確率 , 確率 , 確率 高確率 , 高確率 確率 , 0 ベ
在
, ベ 関連
う 考え い 々 Zunda
動詞,事態性 詞 ベ 解析 い
, 右 続く動詞,事態
性 詞 一番近い 関連
ベ , ベ ベ 組 合わ
素性 利用
4.3 実験
実験 用い, 5 割交
差検定 適合率,再現率, F 値 行
,Classias (ver.1.1)6 使用 .
決 形 態 素 解 析 器 MeCab (ver.0.996)7 利用 ,辞書 IPA-Dic (ver.2.7.0) 用い
結果 表 3 示 ,window6BoW
素性 1 え 表 部 示 URL
素性 素性 Atmark え ,
window6BoW 比べ ,変 い , 他 素性 い 全 F 値 向 特 ,向 見
,文 N-gram,Season 関 素性 あ
5https://code.google.com/p/zunda/
6http://www.chokkan.org/software/classias/index.html.ja
7
http://mecab.googlecode.com/svn/trunk/mecab/doc/index.h tml
全体 傾向 素性 え 場合,適合率 ほ い ,再現率 いく傾向 見
本 い 負例 割合 非常 大
く,適合率 い 考え
つつ よ 素性 効果
意味 ID 用い 素性 window6BoW え
,F 値 2.2 向 注目
い , 素性 ,適合率,再現率 共
い 点 あ , 以外 素性
全 合わ baseline 素性 意味 ID
え 2.4 ほ 向 見 場合
,適合率,再現率 共 昇 い Zunda よ 素性 効果
Zunda 素性 window6BoW え ,僅
向 認 ,
以外 素性 全 合わ baseline 素性 Zunda 素性 え ,F 値 1.1 ほ 向
, Zunda 関 素性 両方用い
場合,最高精度 結果 ,
用い い baseline ,3.5 F 値 向
あ , 関 素性 用 あ
示 4.4 考察
事実性解析 い , う 関
素性 貢献 考察
素性 い , 類器 断 大 く影響 え 素性 調べ 結果 表 4 示
推 い 負 ,
学習 適 行わ い
,一部 発言 い , 1 文
多く い え
意味 ID Q11 , I23 当 , 類 失敗
次 ,Zunda 素性 い , 類器 断
大 く影響 え 素性 調べ 場合
様 , 大 素性 大 い 並べ 結果 表
6 示 多く 直感的 理解
多い 発言 ,注意 呼
発言,予防接種 内容 発言, ュ 関 発言
等 多く,負 く 現 い 正
関 直接疾患 関係 あ 詞 動詞 多
く い
う , 素性 陽 組 込
,精度 あ 実証的 示
5. 主体解析
5.1 主体解析が必要 事例
述べ う ,Web 利用
,事実性解析 ,誰 疾患 症状
あ いう主体 推定 主体解析 要 あ
例え , 娘 風邪を引い いう発言 い
風邪 いう疾患 保 娘 あ
解析 ,発言者 近く 風邪 出現 一方, 風邪 風を誤変換し い いう発言 風邪 いう疾患 保 い 主 表 .疾患症状に関する主体ラベルの種類と発言例
ベ 意味 発言例
一人称 発言した話者が疾患 症状 関与 風邪引いてひきこも たい
周辺人物 話者が直接見聞きできる範囲の人物が 疾患 症状 関与 弟がめっちゃ咳してて怖い
その他人 物
それ以外の人物が疾患 症状 関与 風邪ですか 大事
物体 人間以外の物体や生物が状態の主体 また が発熱
主体 し 主体が存在䛫䛪 疾患のイベントが発生してい い だるいし 風邪薬買 て帰 ~
表 .疾患クエ を保有す の主体ラベルの比率
ラベル名 一人称 周辺人物 その他人物 物体 主体 し 合計
数
内 主体あ
正例 負例
表 .主体推定の素性と精度
素性 i F F
W i
W W
W W W i W i W
W i W 全ての素性
体 在 ,風邪 流行 無関係
う ,Web 情報 利活用 , 状態 所 い 人物 特定 要
従来 自然言語処理 い 最 近 い ,述語 構造解析 あ ,調べ い疾患 症状 事態性 詞 あ 場合 例え 発熱 ,
格 調べ い ,疾患 症状
事態性 詞 う ,述語 構造解析 ノ ョ 基準 依 所 大 く,通常 風邪 鼻
水 事態性 詞 扱わ い
代わ ,用言 構造 着目 ロ 考
え 先ほ 娘 風邪 引い いう例
, 風邪 引い 格 , 娘 引い 格 , 風邪 保 者 娘 推定
, ロ 問題 あ
第 ,風邪 保 い 表 述語 識 問題 あ 例え 医者 風邪 診察 いう文 , 風邪 診察 格 , 医者
診察 格 あ , 風邪 保 者
医者 い 第 ,口語表現特 解析誤
あ 例え 風邪引い う 格 省略
,述語 構造解析 失敗 う
う ,既 述語 構造解析 研究 ,疾
患 症状 保 主体 推定 間 ,
乖 あ 場合 あ
本節 ,疾患 症状 保 主体 推定
いう新 い 取 組 , 本文
対 ,疾患 症状 保 主体 ベ 付
構築 次 , 訓練事例
用い,疾患 症状 保 主体 推定 解 析器 設計 評価実験 ,主体 推定 解析 器 精度 計測 共 ,主体 推定
最終的 疾患 流行 認識 貢献 実証
5.2 手法
風邪症状 い ,誰 疾患 症状 あ 情報 付 作業 ,疾患毎 500 件 行 ベ 種類 発言例 表 6 示
析 ,一次情報 本人 観測
体験 情報 あ う 識 要 ,
一人称 周辺人物 他人物 物体 主体 ベ 用意
一人称 ベ ,必 症状 あ 場
合 く,主体 症状 保 関係
場合 全 含 例え ,表 6 一人称 発言 例 う 症状 対 願望 抱い い 場合
,今 症状 保 い い ,応用
考え 抽出 く い情報 あ ,
本研究 疾患 症状 保 主体 推定 置い い , 一人称 ベ
付 主体 周辺人物 他人物
物体 場合 様 条件 断 ,主体 ベ 付
周辺人物 ベ 者 直接見聞
範 人物 症状 あ 一 類基準
そ 他人物 ベ ,症状 保 主
体 人物 在 , 一人称 周辺人
物 物体 当 い全 含
返信先 症状 主体 在 場合 一例 ,
表 発言例 者 物理的 見聞 距
い 確認 い
物体 ベ 物体, く 人間以外
生物 主体 場合 付 例え ,
<発熱 ,発熱 い ,人間 く,
物体 発熱 場合 例 挙
主体 ベ ,発言例 あ 風邪
薬 う ,風邪 詞句 一部 出現
場合 あ 他 寒気
く 使わ う 語
義 異 場合 ,疾患 症状 慣用句的 使 わ い 場合,記事 作品
出現 場合 主体
5.3 実験 :主体解析
風邪症状 利用 ,発言内 風邪
頭痛 疾患 症状 保 い 主体 推定 類器 構築 今回 実験 , 物体
主体 ベ 主体 統合
, 発言 疾患 症状 複数言及 い 場 合 , 疾患 症状 保 主体 複数 在
場合 ,学習事例 取 除い 中
,返信,URL , 無 残
削除 類器 Classias 1.1 利用 ,L2 正則
ロ 回帰 学習 利用 素
性 以 示
Bag-of-Words BoW : 疾患 前後 9 個 内容語 表層形.
疾患 Query : 疾患 (例:風邪)
2, 3gram : 疾患 前後 6 文 2 文 ,3 連結 文 2gram,文 3gram
URL : 発言内 URL あ う .
RP, RT : 発言 返信( プ イ)
非公式 あ う .
周辺人物辞書 Ndict : 周辺人物 主体 適 単語 人手 集 , 発言内 一
あ 場合 発火 (例:彼女 社員 部 )
他人物辞書 Odict : Ndict 様 , 他人物辞書 作 使用 (例: 幼児)
人 OnesName : 君
正規表現 一致 ,mecab 解析結果 人 発言内 あ 場合 発火
TweetSize : 発言 形態素 長 毎 10 個以 , 11 個 30 個,31 個以 3 素性.
疾患 主辞 IsHead : 疾患 次 表 .主体 ベ の予測と正解の i i
出力 一人称 周辺人物 その他人物 主体 し 合計
正 解
一人称
周辺人物
その他人物
主体 し
図 パ と推定精度
表 疾患 症状 器の素性と F 値
風邪 咳 頭痛 寒気 鼻水 熱 F
ベ ン [F]
推定した主体 [F]
ド の主体 [F]
形態素 詞以外 時 疾患 主辞 あ 発火
表 8 ,5 割交差検定 主体推定 精度 測定 結果 示 訓練事例 ,6 疾患 症状
関 3,000 事例 用い
全 素性 組 合わ 結果,macro F1 ベ BoW 比べ 約 20 昇
,提案 素性 う く作用 い 示
唆 い 特 ,疾患 , 無,周
辺人物辞書 強い貢献 示
表9 予測 正解 Confusion Matrix 示 対角
太 数値 予測 正解 あ +
数 ベ 比べ,予測 事例数 何件
変 表 例え 周辺人物 推定 34
件 ,ベ 22 件増 い
macro F1 micro F1 い理由
,主体 ベ 正解比率 問題 挙 例 え , 一人称 全体 約 7 割 占 ,
類器 一人称 傾 ,主体
推定器 一人称 ベ 付 く い
, 一人称 ベ 再現率 高い一方
, 他 ベ 再現率 い
5.4 実験 :コ パス 可搬性
主体 定 一般的 あ ,あ 疾患
関 主体 定 他 利用
可能 あ あ ,風邪 関 訓練事
例 用い 場合 , べ 疾患 症状 関
訓練事例 用い 場合 性能 比較 毎
相 点 ,例え , 風邪 引く 共 起頻度 高い , 頭痛 引く 共起頻度
い , 異 利用 場
合 精度向 自明 い
1 風邪 主体 推定 際 5 割交差検定
行 結果 示 実線 風邪 用い
学習 場合,点線 全 学習 場合
性能 あ 全 学習 行う際 ,
風邪 100,200,300,400 件 増
時 ,風邪以外 625,1,250,
1,875,2,500 件増 い
風邪 主体 予測 あ ,当然, 風邪 関 学習 相性 く,400 件 学 習 用い 場合 F1 0.451 あ 一方,風邪以外 症状 関 学習 追 , 2,900 件 訓練事例 用い 風邪 主体 予測 場 合 F1 0.546 ,風邪 学習
用い 場合 比較 9.5 向
風邪 主体 予測 あ ,風邪 関
訓練事例 増 最 効果的 あ ,風邪以 外 疾患 症状 主体 関 訓練事例 増
,特定 疾患 症状 依 い汎用的 主体
推定器 構築 可能性 示唆 様 傾向
,他 疾患 症状 予測対象 場合 確認
,疾患 症状 保 主体 事前 布 あ ,疾患 症状 依 性 皆無 いう訳 い 例え ,頭痛 関 言及 9 割以
主体 一人称 頭痛 表 ,熱 関 物
体 状況 例え PC 発熱 言及
多い ,幅広い疾患 症状
構築 ,主体推定器 汎用性 改善 いく 必要 あ
4.4 実験 :風邪へ 貢献
最終的 目的 あ ,疾患 症状 流行 認識 い ,本研究 構築 主体推定器 く い貢献 調べ 実験 行 表 10 本 論文 提案 主体推定器 利用 主体 ベ 推定 , 主体 ベ 素性 追 症状 無
定 結果 あ
,ベ 手法 章 等 あ 学習
事例 6 症状 い 500 tweet 利 用 5 割交差検定 行
推定 主体 素性 利用 結果,寒気
F1 5.5 ,熱 F1 2
向 ,全体 macro F1 1.3 向 本研究 付 主体 正解 ベ
素性 利用 場合 ベ 比較 , 風邪 咳 頭痛 鼻水 F1 2〜4 程度向 , 寒気 熱 10
以 向 主体 正 く 定
, 均 約 6 F1 向
見込 本研究 構築 主体推定器 ,
特 寒気 熱 い , 差
縮 寒気 精度 向 理由
, 寒気 く
使わ 場合 , 悪寒 予感 使
わ 場合 排除 挙
6. おわ
本稿 ,NLP 実用
事例 あ , 風
邪 疾患 症状 認識 取 組
析結果 ,事実性 解析,状態 保 主体 定
要 一般的 課題 出 断 ,
課題 陽 扱 手法 実験 結果,両問
題 疾患 症状 認識 貢献 明
今後,両解析技術 発展 , 深く Web
扱う 期待
参考文献
Aramaki, E., S. Maskawa and M. Morita (2011). Twitter catches the flu: detecting influenza epidemics using Twitter. EMNLP: 1568-1576.
Li, J., A. Ritter, C. Cardie and E. Hovy (2014). Major Life Event Extraction from Twitter based on Congratulations/Condolences Speech Acts. EMNLP: 1997-2007.
Pang, B., L. Lee and S. Vaithyanathan (2002). Thumbs Up? Sentiment Classification Using Machine Learning Techniques. EMNLP.
Parker, J., Y. Wei, A. Yates, O. Frieder and N. Goharian (2013). A framework for detecting public health trends with Twitter. Proceedings of the 2013 IEEE/ACM International Conference on Advances in Social Networks Analysis and Mining: 556-563.
Sakaki, T., M. Okazaki and Y. Matsuo (2010). Earthquake shakes Twitter users: real-time event detection by social sensors. Proceedings of the 19th international conference on World wide web: 851-860.
Sugumaran, R. and J. Voss (2012). Real-time spatio-temporal analysis of West Nile virus using Twitter data. Proceedings of the 3rd International Conference on Computing for Geospatial Research and Applications: 1-2.