4.3 ユーザ実験
4.3.3 考察
本実験では,Goo不動産とHome’sまちむすびの2種類のシステムと提案システムとの比較によっ て,利便性・有用性・意外性の観点から提案システムの評価を行った.結果として,利便性・有用性 については既存のサービスと同等の評価が得られた.
提案システム単体での評価から,意外性のある推薦と感じた人が8名中5名おり,更にその駅に住 みたいと感じた人がそのうちの4名存在したため,推薦駅に意外かつ適切な駅が含まれていることが わかった.また,実験協力者が選択した住みたい駅が推薦リストの上位5件以内に含まれており,推 薦精度も高いと言える.これらの結果から,機能や推薦精度,推薦の意外性といった部分では十分有 用なシステムが実現できたが,推薦された根拠を示す推薦説明や駅情報のばらつきなどの点で改善の 余地があると考える.
5 おわりに
本論文では,不動産分野などにおける印象を用いたエリア推薦を目的として,レビューから印象 を抽出するための感情語辞書構築手法,及び類似エリア推薦手法を提案した.印象として「好感度」
「興奮度」「安心度」「楽しさ」「哀しさ」の5 種類を定義し,感情表現辞典をベースとして日本語
Wordnet,Weblio類語辞典,Bootstrap法を用いた辞書拡張手法により感情語辞書を作成した.ま
た,Goo不動産・街のクチコミ情報及びHome’sまちむすびに投稿された駅に関するレビューから感 情語辞書とのマッチングによる印象抽出を行い,駅周辺の印象を抽出した.これらの駅別印象情報を 用いて,類似駅推薦システムを構築した.印象抽出手法,およびその結果を用いた推薦システムの評 価として,印象抽出精度の評価実験,クラウドソーシングを用いた推薦システムの評価実験,ユーザ 実験による推薦システムの利便性の評価実験を行った.
印象抽出精度の評価実験では,工学系大学生・大学院生がレビュー500件を読んで想起した印象
(正解データ)と提案手法によって抽出された印象(抽出データ)を比較し,抽出精度の評価を行っ た.抽出精度を評価するために,正解データと抽出データとのスピアマンの順位相関係数を計算し,
相関が認められたレビュー件数を調査した他,ポジティブ及びネガティブの印象それぞれについて PR曲線を求めた.その結果,日本語WordNetやWeblio類語辞典,Bootstrap法による辞書拡張 によって,相関を示すレビュー数は約40%から約50%に増加し,ポジティブな印象における再現率 の向上を確認した.一方で,逆相関を示すレビュー数が拡張法によらず約30%存在すること,拡張 による適合率の低下,ネガティブな印象の適合率・再現率が低いことなどが問題点として判明した.
クラウドソーシングを用いた推薦システムの評価実験では,97人の実験協力者に駅の類似関係を 回答してもらった結果に基づき推薦精度の評価を行った.その結果,「好感度」「興奮度」「楽しさ」に おいて印象間の印象値の差が大きい駅では,ある程度精度の良い推薦が可能であることを示した.
ユーザ実験では,工学系大学生・大学院生8名に,提案システムと既存サービスを利用してもら い,アンケートによってシステムの利便性・有用性を評価してもらった.比較対象となる既存サービ スとして,レビュー取得元であるGoo不動産と,機能が類似するのHome’sまちむすびを利用した.
アンケート結果から,既存サービスと利便性・有用性で同等の評価が得られた.さらに,提案システ ムでは意外性のある駅の推薦が可能であることや,の好きな駅をクエリとして検索する機能が使いや すいことを示した.
印象抽出で利用した否定形・仮定形の抽出精度,印象と感情の対応関係などの点で改善の余地があ ることが判明したが,これらについて検討することで,印象抽出精度や提案システムの利便性・有用 性を更に向上可能であると考える.
従来型推薦システムとは異なり,提案手法を用いることによって,エリア訪問者の実体験に基づく 印象という観点からエリアを比較することが可能になる.また,路線や地理的情報によらず,印象が 類似するエリアを推薦可能なため,ユーザにとって意外なエリアを推薦できる可能性が高い.このこ とは,住居を探す人の選択肢を広げることに貢献すると考える.今後,路線・駅情報の充実や,見や すいインタフェースの設計,統計データやユーザの嗜好に基づく従来型推薦システムとの統合などに よって,様々な観点からエリアが比較可能な推薦システムの構築が可能であると考える.また,不動
産分野だけでなく,その他の様々な分野においてもレビュー情報は存在しているため,提案手法と同 様のアプローチは様々な分野に適用可能であると考える.
謝辞
本研究を進めるに当たり,指導教員の高間康史教授には,終始適切で温かい助言やご指導を頂き,
深く感謝致します.同じく,研究報告で様々な助言をしていただいた,山口亨教授,小町守准教授に も,深く感謝致します.高間研究室の柴田祐樹先輩には,論文を書き進める上で,貴重なお時間を割 いてアドバイスをしてくださりました.感謝の意を表します.実験を実施する際,積極的にご協力頂 いた高間研究室の皆様にも,感謝いたします.修士からの研究では,共同で研究をさせていただいた
株式会社GA Technologiesの皆様にも,研究に関する様々な助言を頂きました.厚く御礼を申し上
げ,感謝致します.
参考文献
[1] J. F Engel, R. J Kegerreis, and R. D. Blackwell, Word-of-Mouth communication by the innovator, Journal of Marketing, Vol. 33, No. 3, 1969.
[2] 濱岡豊,クチコミの発生と影響のメカニズム,消費者行動研究, Vol. 2, No. 1, pp. 29-73, 1994.
[3] B. Bickart and R. M. Schindler, Internet forums as influential sources of consumer in-formation, Journal of Interactive Marketing, Vol. 15, No. 3, pp. 31-40, 2001.
[4] X. Wang, C. Yu, and Y. Wei, Social media peer communication and impacts on purchase intentions: A consumer socialization framework, Journal of Interactive Marketing, Vol.
26, No. 4, pp. 198-208, 2012.
[5] J. Q. Zhang, G. Craciun, and D. Shin, When does electronic word-of-mouth matter? A study of consumer product reviews, Journal of Business Research, Vol. 63, No. 12, pp.
1336-1341, 2010.
[6] 杉谷陽子, インターネット上の口コミの有効性 : 製品の評価における非言語的手がかりの効 果,上智経済論集, Vol. 54, No. 1, pp. 47-58, 2006.
[7] 国土交通省土地市場課,「居住地域に関する意識調査」の概要について, 2010.
[8] Robert Plutchik著, Emotion: a psychoevolutionary synthesis, Harper & Row出版,第 1版1980.
[9] 中村明 著,感情表現辞典,東京堂 出版,第1版, 1993.
[10] 山本湧輝, 熊本忠彦,灘本明代, Twitter特有表現を考慮したツイートの多次元感情抽出手法の
提案,情報処理学会関西支部支部大会, No. G-01, 5 pages, 2014.
[11] 熊本忠彦, 河合由起子,田中克己,新聞記事を対象とするテキスト印象マイニング手法の設計と 評価,電子情報通信学会論文誌 D, Vol. J94-D, No. 3, pp. 540-548, 2011.
[12] 江崎大嗣,小町守,松本裕治,感情軸における感情極性制約を用いたマルチラベル感情推定,言 語処理学会第19年次大会発表論文集, pp. 244-247, 2013.
[13] D. Blei, M. Jordan, and A. Y. Ng, Latent dirichlet allocation, Journal of Machine Learning Research, Vol. 3, pp. 993-1022, 2003.
[14] A. L. Maas, R. E. Daly, P. T. Pham, D. Huang, A. Y. Ng, and C. Potts, Learning word vectors for sentiment analysis, Proceedings of the 49th Annual Meeting of the Association for Computational Linguistics: Human Language Technologies, Vol. 1, pp. 142-150, 2011.
[15] 小林のぞみ,乾孝司, 乾健太郎,語釈文を利用した「p/n 辞書」の作成, 人工知能学会言語・音 声理解と対話研究会, Vol. SLUD-33, pp. 45-50, 2001.
[16] H. Takamura, T. Inui, and M. Okumura, Extracting semantic orientations of words using spin model, Proceedings of the 43rd Annual Meeting on Association for Computational Linguistics, pp. 133-140, 2005.
[17] 若井祐樹,熊本忠彦, 灘本明代,映画に対する実況ツイートの感情抽出手法の提案,情報処理学 会研究報告, Vol. 2013-DBS-158, No. 16, pp. 1-6, 2013.
[18] 山本湧輝, 若井祐樹, 熊本忠彦, 灘本明代, 顔文字の役割に着目したツイートの文の感情抽出 手法の提案, 第6回データ工学と情報マネジメントに関するフォーラム, No. E6-2, 6 pages, 2014.
[19] 上谷竜士, 菱田隆彰, 口コミ解析システムのための感情語辞書の検討,マルチメディア,分散強 調とモバイルシンポジウム論文集, pp. 456-460, 2016.
[20] 柴田大作, 若宮翔子, 伊藤薫,荒牧英治, クラウドソーシングによる日本語感情表現辞書の構築, 言語処理学会第23回年次大会発表論文集, No. B5-3, pp. 771-774, 2017.
[21] 熊本忠彦,田中克己, Webニュース記事からの喜怒哀楽抽出,情報処理学会研究報告自然言語処
理, Vol. 2004-NL-165, pp. 15-20, 2005.
[22] 石上直孝, 筧捷彦, くだけた文章からの感情抽出, 情報処理学会第75 回全国大会, No. 4P-2, pp. 701-702, 2013.
[23] S. Kiritchenko, X. Zhu, and S. M. Mohammad, Sentiment analysis of short informal texts, Journal of Artificial Intelligence Research, Vol. 50, pp. 723-762, 2014.
[24] 藤村滋,豊田正史,喜連川優,文の構造を考慮した評判抽出手法,電子情報通信学会第16回デー タ工学ワークショップ, No. 6C-i8, 2005.
[25] 三品賢一,土屋誠司, 鈴木基之,任福継, コーパスごとの類似度を考慮した用例に基づく感情推 定手法の改善,自然言語処理, Vol. 17, No. 4, pp. 91-110, 2010.
[26] D. Ferrucci, E. Brown, J. C. Carroll, J. Fan, D. Gondek, A. A. Kalyanpur, A. Lally, J.
W. Murdock, E. Nyberg, J. Prager, N. Schlaefer, and C. Welty, Building Watson: An overview of the DeepQA project, Association for the Advancement of Artificial Intelli-gence, ISSN 0738-4602, Vol. Redbooks, pp. 59-79, 2012.
[27] S. Auer, C. Bizer, G. Kobilarov, J. Lehman, R. Cyganiak, and Z. Ives, DBpedia: A nucleus for a web od open data, Proceedings of the 6th International Semantic Web Conference and 2nd Asian Semantic Web Conference, pp. 722-735, 2007.
[28] 清丸寛一,黒橋禎夫, 遠藤充,山上勝義, 料理レシピとクラウドソーシングに基づく基本料理知 識ベースの構築,言語処理学会第24回年次大会発表論文集, pp. 662-665, 2018.
[29] G. A. Miller, R. Beckwith, C. Fellbaum, and R. August, Introduction to WordNet : An on-line lexical database, International Journal of Lexicography, Vol. 3, No. 4, pp.
235-244, 1990.
[30] J. Kamps, M. Marx, R. J. Mokken, and M. D. Rijke, Using WordNet to measure semantic orientations of adjectives, Proceedings of the 4th International Conference on Language Resource and Evaluation, pp. 1115-1118, 2004.
[31] C. Strapparava and A. Valitutti, WordNet-Affect: an affective extension of WordNet, Proceedings of the 4th International Conference on Language Resource and Evaluation, pp. 1083-1086, 2004
[32] J. C. D. Albornoz, L. Plaza, and P. Gerv´as, A hybrid approach to emotional sentence polarity and intensity classification, Proceedings of the 14th Conference on Computational Natural Language Learning, pp. 153-161, 2010.