大規模対話システムの一実装と対話ログ傾向分析
A large sclale chatterbot system implementation and its log data analysis
大杉直也
1板澤一樹
2福田基輔
2塩澤繁
1伊豆原大也
1Naoya Oosugi
1， Kazuki Itazawa
2， Motosuke Fukuda
2，Shigeru Shiozawa
1，Motoya Izuhara
11
株式会社リクルートテクノロジーズ
1Recruit Technologies Co.,Ltd.
2
株式会社リクルートジョブズ
2Recruit Jobs Co., Ltd.
Abstract: A chatter bot has been developed and released on a communication service (LINE). The
character of chatter bot is named “パン田一郎” (Panda Ichiro) who is an official character of a job hunting service (fromA). The main function of LINE Panda Ichiro is chat. LINE Panda Ichiro responds a static sentence from its database. The number of sentences in the database is above 10，000. Furthermore， some practical functions such as weather report are implemented. LINE Panda Ichiro was registered by eight millions users only for three months.
The user log data of LINE Panda Ichiro was analyzed for a revealing the attractive point of the chatter bot for users. We confirmed that a simple system of LINE Panda Ichiro’s chat could entertain people.
はじめに
バイト検索サイト情報サイト，フロムエー [1]の 公式キャラクターであるパン田一郎の認知度を高め るため [2]，2014 年 7 月 8 日にパン田一郎と対話が 出来るシステムがリリースされた．このシステムは コミュニケーションサービス，LINE [3]にパン田一 郎の公式アカウントという形をとったため，この対 話システムを本稿では LINE パン田一郎と呼ぶ . LINE パン田一郎は不特定多数のユーザーによって 利用されやすいため，本稿では LINE パン田一郎を 大規模対話システムと冠した． LINE パン田一郎は比較的自然な受け答えが可能 であり，人工無脳の一種であると位置づけられる [4]．LINE パン田一郎の特徴のひとつはサービス開 始から 3 ヶ月の間に 830 万以上ものアカウントに登 録され，利用されてきたことである． 本稿では，LINE パン田一郎の仕組みと，実際にユ ーザーがどの程度利用していたかについての概要を 述べる.システム概要
LINE パン田一郎には雑談だけでなく，(1)天気予 報，(2)バイト管理，(3)バイト探しといった複数の機 能を提供している．これらの機能はユーザーからの 入力（自然言語文）に応じて内部で自動的に切り替 わる．例えば，「今日の天気を教えて」とユーザーが 入力した場合，外部 API から天気情報を抽出し，文 章の形にして返す（図 1）．ユーザーからの入力を分 析した結果，特定の機能が選択されなかった場合に， その入力は雑談に該当するとみなす． ユーザーの入力が雑談と判定された場合，その入 力をもとに雑談データベース内で検索をかけ，ふさ わしい返答文を探す．これら返答文には検索用のキ ーワードが事前に登録されていた．このキーワード と入力文を形態素解析したものと 2-gram で分割し たものとの間で独自の一致度が計算され，検索のマ ッチングが行われる．雑談データベースには検索キ ーワードと，キーワードに対応づけられた返答のセ ットが 10，000 件以上登録されていた．この返答文 は，パン田一郎のキャラクターも考慮した上で事前 に作成した的な文章であった．また雑談データベー ス内で 1 件も検索されなかった場合もまた，パン田 一郎のキャラクター性を考慮した返答がされた（表）． 人工知能学会研究会資料 SIG-SLUD-B402-13 − 67 −図 1: LINE パン田一郎の利用イメージ 表: 雑談データベースで 1 件も検索されなかった 場合の返答の１例 僕のボキャブラリー越えてしまいました…。 それって何ですか…？分からなくてごめんなさい …。別のお話でもよかったら、また話しかけてくだ さいね…。( /ェΘ。) .｡･ﾟ･ あ、あるある〜。それな〜。(ΘェΘ;) .。ｏO(話、合 わせられたかな…) Σ(ΘェΘ;;)？？？ごめんなさい…。僕にはちょっと 難しいお話だったみたいです…。 (ΘェΘ).。ｏO(どうしよう、今の話、聞き取れなか った…) (ΘェΘ) .。ｏO(そういえば、今日のごはんは何を作 ろうかなぁ…。新商品のデス笹ソースを試してみる か…) (ΘェΘ;;).。ｏO(よく分からなかったけど、何かが 動いていたような気がする…) …はっΣ(ΘェΘノ)ノ 全然居眠りなんかしてない ですよ〜。それで、何のお話でしたっけ…？えへへ …(*ΘェΘ*)ノ
ユーザーログ取得
LINE パン田一郎は 2014 年 7 月 8 日にリリースさ れた．リリースから約 3 ヶ月後の 2014 年 11 月 4 日 時点で，LINE パン田一郎は 830 万アカウント以上の LINE ユーザーから登録された．この数字は LINE ア カウントの数であるため，必ずしも実在の人数と一 致しない．しかし，本サービスを複数のアカウント で登録するメリットが少ない点から，１アカウント が 1 人のユーザーと 1 対 1 対応したものと仮定して 分析・考察を行った． ユーザーログは，LINE ユーザーID，入力内容，入 力したときの時刻の情報が記録された．ユーザーロ グの中には個人が特定できる情報や年齢や性別とい った情報も含まれなかった．このユーザー由来のロ グに LINE パン田一郎の返答などのシステム由来の ログが対応したものが記録されていった．またユー ザーから送られる画像やスタンプの情報も文字列に コードして記録された． このログの件数は 2014 年 11 月 4 日時点で 1 億 8 千万件以上になっていた．このログの件数はユーザ ーからの入力の数に対応する．ユーザーからの入力 数の平均は 21.9 件であった．ユーザーにとって LINE パン田一郎の何がインセンティブであったのかを調 べるため，より詳細なログの分析を行った．ログ分析
以下の分析には 2014 年 7 月 8 日から 2014 年 11 月 3 日の間のログデータを用いた．まず登録したユー ザーは LINE パン田一郎の利用を 1 日の内にやめて しまうのか，翌日以降も使い続けるのかを調べるた め，LINE パン田を初めて使用する初利用者数と一日 の入力数の遷移を作図した（図 2）． 図 2 の黒線は LINE パン田一郎への入力の総数を 日ごとに集計したものである．この図からリリース から 55 日後を境に LINE パン田一郎への入力数が急 増していることがわかる．この現象はそのリリース 開始後 55 日目に，LINE 上でキャンペーンを行った ためである．そのキャンペーンは LINE パン田一郎 を登録すると LINE パン田一郎のスタンプ(LINE 上 でのやりとりに利用できるアイコン)がプレゼント されるといったものであった．このことからユーザ ーが LINE パン田一郎を登録する最大のインセンテ ィブはスタンプであると考えられる． 図 2 の点線は初利用者の日ごとの総数を図示した ものである．初利用者数のピーク時と比べ，リリー ス後 80 日以降では新規登録者数が 1/1000 程度にな った．これは LINE パン田一郎がすでに普及したた めだと考えられる．一方，ユーザーからの入力数は ピーク時と比べても 1/10 から 1/100 程度しか減衰し なかった．このことからユーザーは LINE パン田一 郎への初利用後の翌日以降も利用しつづける傾向が あることが示唆された．この結果のもうひとつの解 釈は遅れて登録したユーザーの方が LINE パン田一 郎の初日の入力数が 10 から 100 倍程度多いというも のである．検証のため個々のユーザーの利用状況に 着目した分析を行った． 個々のユーザーがそれぞれどの程度 LINE パン田 一郎を利用していたのかを明らかにするため，まず ユーザーごとの利用状況を調べた．一度でも LINE パン田一郎に入力したことのあるユーザーごとの総 − 68 −入力数を図示した（図 3）．図 3 では縦軸にユーザー の入力数，横軸に入力数順にユーザーを並び替えた 場合のユーザーの番号をしめした．一部のユーザー で入力数が非常に多い一方，大多数のユーザーは利 用を早い段階でやめたことがみてとれる．入力数 5 回未満のユーザーの割合は１度でも LINE パン田一 郎を利用したユーザーの内の 42 ％であった．しか し，一部のユーザーでは入力数が非常に多く，入力 数が 1,000 回を超えたユーザーが 5,308 人いた．少 数のユーザーが全体の入力数の平均値を押し上げて いたことがわかった．入力数 1，000 回を超えたユー ザーの平均利用日数は 7.25 日であった．この結果か ら，複数日にわたって LINE パン田一郎を利用しつ づけていたユーザーの存在を示せた． これらの結果はスタンプ配信だけが LINE パン田 一郎のインセンティブではないことを示している. なぜならばスタンプの入手方法は，LINE パン田一郎 に登録することであり，LINE パン田一郎を利用する ことではなかった．このことから LINE パン田一郎 にはユーザーにとって魅力的な何らかしらの機能を 有していることがわかった．LINE パン田一郎は雑談 以外にも(1)天気予報，(2)バイト管理，(3)バイト探し といった複数の機能を有している．これらの機能の うち，どの機能がユーザーにとって魅力的であった のかの分析するため，どの機能がもっとも利用され ていたかの集計を行った(図 4)．その結果，利用され た機能の内，半数以上が雑談であったことがわかっ た．雑談はユーザーが LINE パン田一郎を利用する インセンティブとして機能していたことが示唆され た． 図 2: 1 日あたりの入力数と初利用者数の遷移 横軸 はサービス公開後の経過日数で，縦軸はユーザーか らの入力数または初利用者ユーザー数を示す. 図 3: ユーザー1 人あたりの入力数 横軸は入力数で 並び替えられたユーザーの番号，縦軸は 1 人ユーザ ーあたりの入力数を示す. 図 4: パン田一郎の機能の利用割合 利用された機 能の大半が雑談であった.ここでは雑談データベー スに登録された文章を返答できた場合のみを数えた ため，ユーザーが雑談を意図して入力した割合はも っと多いと考えられる.
結び
ログ分析の結果， LINE パン田一郎との雑談はユ ーザーにとって魅力的な機能であることが示唆され た．また LINE パン田一郎を複数日にわたって積極 的に利用するユーザーが少なからず存在することが わかった． LINE パン田一郎の利用状況から，2014 年の時点でも単純な雑談システムはユーザーにとっ て魅力的なコンテンツになりうることを示せた.参考
[１] フロムエー公式サイトhttp://www.froma.com/ [２] 中村 勇介: LINE なのにプッシュで情報発信しない リクルートジョブズの戦略， 日経デジタルマーケテ ィ ン グ ， (2014 月 8 月 6 日 ) ， 雑談（検索成功） バイト管理 その他 − 69 −http://business.nikkeibp.co.jp/article/nmgp/20140805/269 701/
[３] LINE 公式サイト http://line.me/ja/
[４] M McNeal ， D.Newyear: Chapter 1: Introducing Chatbots in Libraries， Library Technology Reports， 49， 8， 5-10， (2013)
