第 5 章 実験:
5.5 考察
5.5.4 教師なしトピックモデルとの比較
4章で実験を行った教師なしトピックモデルによる実験との比較を行う.データ 数も異なるが,教師なしトピックモデルより高い評価値を得ることができた.ま た,教師なしトピックモデルを使用した手法との違いがいくつか見られた.
まず,教師なしトピックモデルの課題であった,共通と思われるトピックに関し て,類似でないと判定され,地域特有のトピックとなってしまう点に.関して述 べる.不適切な地域ラベルの付与は一部に関して見られるものの,自然災害や全 国的で大規模なニュースなどで誤って地域特有のトピックとラベルが付与される 例はみられなかった.教師ありトピックモデルの場合,共通と思われる話題に関 しての地域ラベルの付与は,時事的な話題というよりも,日常的な話題に関して 付与される点で傾向が異なる.この場合,他の大多数の期間により共通のトピッ クとして正しくトピックにラベルが付与されていれば,影響は抑えやすい.次に,
トピックの数に関しては,トピックが詳細化しているものなどは分析の限り確認 されなかった.
また,異なる傾向として,近隣地域で共有されるトピックが少ない結果となっ た.これは,他の地域と重複しない語を含むツイートを教師データとしたラベル 付与であった点が原因だと考えられる.これに関しては,沿線名や,店舗名など に関して,少数の地域内でのみ共有される語に関しては,教師データに含む語と するなど,検討を行いたい.
第 6 章 おわりに
本研究で取り組んだ,Twitterユーザの生活に関わる地域の推定について,以下 でまとめと,今後の課題について述べる.
6.1 まとめ
Twitter において,ユーザの生活に関わる地域は,社会行動の分析において重
要な属性の一つであるが,プロファイルに明示的に記述されていることは少ない.
そこで,本研究では,Twitterユーザを対象として,半教師ありトピックモデルを 利用した地域特徴語の選択に基づく,生活に関わる地域属性の推定手法を提案を 行った.プロフィール項目に明示されていないユーザの生活に関わる地域を推定 することで,ユーザ支援や分析への応用が期待できる.ユーザの生活に関わる地 域が推定できれば,例えば,地域ニュースや広告のより適切な推薦,ユーザ検索 の際の指標などに利用できる.以上の背景と目的について1章で述べ,2章で関連 研究の説明と本研究の位置づけを明らかにした.
3章では,Twitterユーザの生活に関わる地域の推定手法を提案した.本研究で は,ツイート中のトピックには,地域に偏りがあるものと,共通で出現するもの があるという仮定のもと,地域に半教師ありトピックモデルにより地域に偏りの ある語を選択し,ユーザの生活に関わる地域を推定する.提案手法は,学習とし て地域特徴語を選択する段階と,それを利用し,ユーザに推定を行う二つの段階 に分類される.具体的には,地域情報サイトから収集した地域語を含むツイート を教師データとした,半教師ありトピックモデルにより,地域に特徴的なトピック を抽出する.そして,トピックから選定した地域特徴語を使用し,ツイートごと に地域ラベルを付与する.各ユーザの生活に関わる地域は,ユーザの ツイートに 割り当てられた地域ラベルに基づき推定する.
4章では,教師なしトピックモデルによる実験を行った.これにより,教師なし トピックモデルでの課題が明らかになった.
5章では,提案手法に基づき,都道府県を,生活にかかわる地域の単位とし,16 の都道府県を対象として,教師ありトピックモデルを用いたユーザの生活に関わ る地域の推定実験を行った.実験では,2012年の日本語ツイートを対象とし,教 師ありトピックモデルを一カ月ごとに適用した.データ数,各月を単位として,ラ ベルが付与された1,600,000件(各地域100,000件)のツイートと,ラベルが付与 されていない最小4,640,000 件,最大4,960,000 件のツイート(各地域10,000 件/
日)である.人手によって作成した1,600人のユーザで評価を行ったところ,精度
0.65,再現率0.67,F値0.66の評価値が得られた.また,データ量や使用する素
性に制約などがある状況ではあるが,提案手法が,分類器による従来研究を参考 とした手法を上回ることができた.
本研究の貢献を以下にまとめる.
1. 半教師ありトピックモデルを用いることで,教師なしトピックモデルよりも 適切に地域に特徴的なトピックを生成し,地域特徴語の選択が行えることを 示した.
2. ツイートごとにトピックを付与し,トピックに付与されたラベルに基づいて 地域を推定することが有効であることを明らかにした.
6.2 今後の課題
今後の課題としては,ラベルつきデータの選定方法の見直しや,複数地域で特 徴的なトピックを適切に選択する手法の改良などによる,推定精度の向上が挙げ られる.
ラベルつきデータの選択方法の見直しに関しては,テレビ番組に関する内容な ど,時事的なキーワードが多く含まれるトピックにあやまったラベルが付与され た場合,これらのトピックが推定のノイズとなることが確認された.地域に特徴 的な語でも,テレビなどにより時事的に他の地域のユーザも投稿するような場合 があり,そのような場合にツイートに付与されたラベルが,トピックのラベルの 付与に影響を与えている場合がある.現在は,地域情報サイトから収集した地域 に特徴のある語については,語句同士が他の地域と共起しないかは調べているが,
他の地域のツイート中にどの程度含まれているかのチェックを行っていない.その ため,ラベルの付与に用いる地域に特徴的な語句の内,推定期間中に他の地域で
も多く投稿が行われている語句を除くことによる,ラベル付与の精度の改善につ いても検討していきたい.
次に,クラス間の語彙の比較による特徴語の選択といった,現在利用していな い手法との併用の検討である.クラス間で出現する語彙の違いを利用した地域の 推定は,8地方区分などの粒度の大きな地域区分では,比較的高い精度が行えるこ とが報告されている[27].そのため,段階を踏み,はじめに大きな粒度の地域を推 定したあと,その中の粒度の小さな地域に推定を行うことなども考えられる.
謝辞
本論文の作成ならびに研究にあたり,直接のご指導を頂いた,筑波大学 大学院 図書館情報メディア系 助教である関洋平先生に深く感謝いたします.また,同研 究系 教授である佐藤哲司先生には,ご助言をいただき,感謝の意を表します.
また,研究に使用させていただいたTwitterデータの提供をしていただいた,コ ンテンツ工学研究室のみなさまに感謝の意を表します.
さらに,インターンシップでご指導をいただき,トピックモデルを学ぶきっか けを与えていただきました,NTT研究所の戸田浩之様に心より感謝いたします.
最後になりましたが,日頃の研究において有益なご討論ご助言を頂いた,コミュ ニケーション理解研究室のみなさまと,コンテンツ工学研究室のみなさまに謝意 を述べさせていただきます.
参考文献
[1] David M. Blei, Andrew Y. Ng, Michael I. Jordan, and John Lafferty. Latent Dirichlet Allocation. Journal of Machine Learning Research, Vol. 3, pp. 993–
1022, 2003.
[2] John D. Burger, John Henderson, George Kim, and Guido Zarrella. Discrimi-nating gender on twitter. InProceedings of the 2011 Conference on Empirical Methods in Natural Language Processing, pp. 1301–1309, Edinburgh, Scot-land, 2011.
[3] Qiming Diao, Jing Jiang, Feida Zhu, and Ee-Peng Lim. Finding Bursty Topics from Microblogs. InProceedings of the 50th Annual Meeting of the Association for Computational Linguistics, pp. 536–544, Stroudsburg, PA, USA, 2012.
[4] Brent Hecht, Lichan Hong, Bongwon Suh, and Ed H. Chi. Tweets from Justin Bieber’s Heart: The Dynamics of the Location Field in User Profiles.
InProceedings of the 17th ACM International Conference on Human Factors in Computing Systems, pp. 237–246, Vancouver, BC, Canada, 2011.
[5] Dongwoo Kim, Suin Kim, and Alice Oh. Dirichlet Process with Mixed Ran-dom Measures: a Nonparametric Topic Model for Labeled Data. In Proceed-ings of the 29th International Conference on Machine Learning, Edinburgh, Scotland, 2012.
[6] Lorenzo, Giusy Di and Sbodio, Marco Luca and Lopez, Vanessa and Lloyd, Raymond. EXSED: An Intelligent Tool for Exploration of Social Events Dy-namics from Augmented Trajectories. InProceedings of the 14th International Conference on Mobile Data Management, pp. 323–330, Milan, Repubblica Italiana, 2013.
[7] Aditya Pal, Rosta Farzan, Joseph A. Konstan, and Robert E Kraut. Early detection of potential experts in question answering communities. In Proceed-ings of the 5th international AAAI Conference on Weblogs and Social Media, 2011.
[8] Marco Pennacchiotti and Siva Gurumurthy. Investigating topic models for social media user recommendation. In Proceedings of the 20th International Conference on World Wide Web, pp. 101–102, 2011.
[9] Marco Pennacchiotti and Ana-Maria Popescu. Democrats, Republicans and Starbucks Afficionados: User Classification in Twitter. In Proceedings of the 17th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining, pp. 430–438, San Diego, CA, USA, August 2011.
[10] Daniel Ramage, Susan Dumais, Dan Liebling, and Christopher D. Manning.
Labeled LDA: A Supervised Topic Model for Credit Attribution in Multi-Labeled Corpora. InProceedings of the 2009 Conference on Empirical Methods in Natural Language Processing, pp. 248–256, Singapore, 2009.
[11] Delip Rao, David Yarowsky, Abhishek Shreevats, and Manaswi Gupta. Clas-sifying Latent User Attributes in Twitter. In Proceedings of the 2nd Interna-tional Workshop on Search and Mining Usergenerated Contents, pp. 37–44, Toronto, ON, Canada, 2010.
[12] Yee Whye Teh, Michael I. Jordan, Matthew J. Beal, and David M. Blei. Hier-archical Dirichlet Processes. Journal of the American Statistical Association, Vol. 101, No. 476, pp. 1566–1581, 2006.
[13] Wei Wu, Bin Zhang, and Mari Ostendorf. Automatic generation of person-alized snnotation tags for twitter users. In Proceedings of the 11th Annual Conference of the North American Chapter of the Association for Computa-tional Linguistics, pp. 689–692, Los Angeles, the USA, 2010.
[14] Faiyaz Al Zamal, Wendy Liu, and Derek Ruths. Homophily and Latent At-tribute Inference: Inferring Latent AtAt-tributes of Twitter Users from