画像選択操作を用いた雰囲気特徴量に基づくカフェ検索システム

DEIM Forum 2016 F2-1

画像選択操作を用いた雰囲気特徴量に基づくカフェ検索システム

窪田

崇

†

_{北山 大輔}

†

†

工学院大学情報学部コンピュータ科学科 〒 163–8677 東京都新宿区 1 丁目 24 番 2 号

E-mail:

†

[email protected]，[email protected]

あらまし

今日，ユーザは飲食店検索サイトや最寄カフェ検索アプリ等を用いてカフェの検索を行っている．このよ

うなサイトやアプリは決まった店舗名や最寄りのカフェを検索する場合には有効である．しかしこれらの検索方法で

はユーザの嗜好に合った雰囲気であるか判断しづらい．一般的にカフェを利用する際は店舗の雰囲気や見た目がユー

ザの嗜好にあっているか判断することが多い．そこで本研究では店舗の内観の画像の選択操作のみを用いて，ユーザ

が重視する雰囲気を表現する特徴量を推定する手法を提案する．また，提案手法に基づいたカフェ検索システムを構

築する．本手法では，ユーザは画像を選択するが，画像特徴量は用いず，店舗のメタデータを用いて雰囲気特徴量を

抽出する．ここで言う雰囲気特徴量とは店舗の持つ席数，席が広い等の空間設備，一人でや友人と等のシチュエーショ

ン，料理や雰囲気の評価値である．雰囲気特徴量を用いてユーザの嗜好を推定し，選択されなかった店舗の中からも

嗜好に合う店舗を提示する．

キーワード

カフェ検索，画像検索，嗜好推定，雰囲気特徴量

1.

は じ め に

今日，ユーザは食べログ[1]のような飲食店検索サイトや Cocafeカフェ検索[2]やカフェサーチ[3]のような最寄カフェ検 索アプリを用いてカフェ検索を行っている．このようなサイト やアプリは決まった店舗名や最寄のカフェを検索する場合には 有効である，しかし飲食店検索サイトでは一つの店舗に対し多 くの情報が出てしまうため，また最寄カフェ検索では現在地か ら近い店が表示されるだけのため，店舗の雰囲気がユーザの嗜 好に合っているかは判断しづらい．例えば席の広さは席数の属 性で検索可能であるが，人によって広さの感じ方は異なり，直 接席数で検索する事は妥当とはいえない．また雰囲気も属性が 準備されていることがあるが，サービス側が準備したものであ り，その表現の仕方に依存する，例えば「デートにオススメ」 は，落ち着いた雰囲気やオシャレな雰囲気のニュアンスを含ん でいるが，ユーザは「デート用途ではない」と判断することが ある． 一般的にはカフェを検索する際は店の雰囲気や見た目をが嗜 好に合っているかで判断することが多いと考えた．そこで，我々 は，店舗の雰囲気を直感的に判断し選べるように店舗の内観の 画像のみを提示し，ユーザは嗜好にあう雰囲気の画像を選択す ることで，ユーザが重視するカフェの雰囲気を判定する手法を 提案する．雰囲気の判定には店舗のメタデータを用いた雰囲 気特徴量を使用する．なお，ユーザは画像を選択するが，写真 の撮影された位置，明るさ，角度，撮影する機材などによって 異なるため，本手法では画像特徴量は用いない．ここでいう雰 囲気特徴量とは店舗の持つ席数，席が広い等の空間設備，一人 でや友人と等のシチュエーション，料理や雰囲気の評価値であ る．最後に雰囲気特徴量を用いてユーザの嗜好を推定し，ユー ザに選択されなかった店舗の中からも嗜好にあう店舗を探し提 示する． 本稿の構成は以下の通りである．2節では雰囲気特徴量の決 定，算出方法，ユーザの嗜好推定に関して述べる．3節ではプ ロトタイプシステムのシステム構成および雰囲気特徴量のパラ メータ決定，ユーザの嗜好推定の結果について述べる．4節で は評価実験について述べる．5節では関連研究について述べる． 6節ではまとめと今後の課題を述べる．

2.

雰囲気特徴量に基づくカフェ検索

本節では雰囲気特徴量の決定，算出方法，ユーザの嗜好推定 に関して記述する．雰囲気特徴量には食べログ[1]のメタデー タを用いる． 2. 1 雰囲気特徴量の種類 まず，ユーザが選択した画像に対し，どのメタデータに偏り が見られるかを確認するために予備実験を行った．実験では， 「自分の好みに合う店舗の画像を選択し，選択後どのような基 準で画像を選んだか」を調査した．被験者は大学生4名（男3： 女1，21∼24歳）である．予備実験の結果を表1および表2に 示す．図中の空白部分はメタデータが存在しない部分である． また，偏りが見られたメタデータのみを抜粋した． まず被験者AとDはカフェの広さについて考え写真を選ん でいる．AとDの選んだ店舗の座席数を見るとAは比較的少 ない席数を，Dは比較的多い座席数の店舗を選択していること が分かり，このことから写真から座席数をある程度判断してい ると考えられる．またCはカフェの食べ物について考えて選 んでいる．これも表2を見ると，料理，酒、ドリンク，の評価 値が高く，写真から食べ物の評価が高い店を選ぶ事が出来ると 考えられる．また，空間設備はカフェの場合ほぼ全ての店舗に 「オシャレな空間」や「落ち着いた空間」のタグが付けられて いる．しかし「席が広い」や「ソファー席あり」といった全て の店舗にはついていないが選択された店舗の中で同時に出現し ているのが見受けられた．シチュエーションも空間設備ほどで

図 1 座席数の分布 図 2 空間設備のタグの分布 はないが「デート」や「家族・子供と」といった店舗全体から 見て出現数の少ないタグが見受けられた．そこで本論文では座 席数，空間設備，シチュエーション，評価値のメタデータを用 い雰囲気特徴量を抽出する． 2. 2 雰囲気特徴量 次に雰囲気特徴量の基準について記述する． 座席数 全店舗データの席数ヒストグラムを用いて，座席数の 少ない店舗，普通な店舗，多い店舗に分類する．手法として四 分位数を用いる．第1四分位数以下の範囲を座席数の少ない店 舗，第3四分位数以上の範囲を座席数の多い店舗とする． 空間設備 一般的タグと特徴タグに分類する．全店舗データの 空間設備タグの数の上位60％のタグを一般タグ，それ以外を特 徴タグとし，特徴タグを利用する．これは一般タグは，どのカ フェでも現れやすく，ユーザ選択の特徴を表さないためである． シチュエーション 空間設備と同様に，一般的タグと特徴タグ に分類する．全店舗データのシチュエーションタグの数の上位 60％のタグを一般タグ，それ以外を特徴タグとし，特徴タグを 利用する． 評価値 1.0-5.0の評価値を用いる．また数値は，メタデータ をそのまま利用する．食べログの評価値は5種類あり，料理， サービス，雰囲気，コストパフォーマンス，酒、ドリンクであ る．それぞれを独立した特徴量として扱う． 2. 3 ユーザの嗜好推定とカフェ検索 最後に，雰囲気特徴量を用い，ユーザの嗜好推定を行う．ユー ザが選択した店舗集合に対し，前述の雰囲気特徴量を用い嗜好 推定の基準を以下に示す． 座席数 ユーザが選択した店舗の座席数の平均値と標準偏差を 求める．平均値が少ない店舗の範囲に該当する場合，平均値+ 図 3 シチュエーションのタグの分布 図 4 CafePicSel 画像選択画面 図 5 CafePicSel 結果表示画面 標準偏差より座席数の少ない店舗をユーザの嗜好とする．また 平均値が多い店舗の範囲に該当する場合，平均値−標準偏差よ り座席数の多い店舗をユーザの嗜好とする．平均値が普通な店 舗の範囲に該当する場合は平均値−標準偏差から平均値＋標準 偏差の範囲を利用しユーザの嗜好とする． 空間設備 ユーザが選択した店舗のタグに特徴タグが2店舗以 上出現する場合それをユーザの嗜好とする． シチュエーション ユーザが選択した店舗のタグに特徴タグが 2店舗以上出現する場合それをユーザの嗜好とする． 評価値 ユーザが選択した店舗の評価値のそれぞれの平均値を 求め，それ以上をユーザの嗜好とする．

表 1 予備実験結果 1[選択基準，座席数，評価値] 各平均値（）内は標準偏差 被験者/選択店舗数 選択基準 座席数 料理 サービス 雰囲気 コスパ 酒、ドリンク A/4 店舗 こじんまり，落ち着けそう 43.5（17.9) 3.14（0.10） 3.19（0.19） 3.34(0.19) 3.1(0.19) 3.14(0.16) B/5 店舗 窓からの景色がよさそう 40.7（22.2） 3.01(0.00) 3.01(0.02) 3.02(0.01) 3.02(0.02) 3.03(0.01) C/7 店舗 食べ物がおいしそう 63（34.0） 3.36(0.21) 3.33(0.16) 3.43(0.10) 3.13(0.21) 3.25(0.17) D/7 店舗 席が広そう，人が居なさそう 61（11.2） 3.03(0.03) 3.08(0.10) 3.10(0.13) 3.02(0.03) 3.03(0.05) 表 2 予備実験結果 2[空間設備，シチュエーション] 被験者 空間設備 シチュエーション A オシャレな空間 4、落ち着いた空間 4、ソファー席あり 3 一人で 2、友人・同僚と 4 席が広い 2, カップルシートあり 1 デート 2 B オシャレな空間 3、落ち着いた空間 1、ソファー席あり 1 一人で 5、友人・同僚と 3 カウンター席あり 2、席が広い 1、オープンテラスあり 1 家族・子供と 1 C オシャレな空間 5、落ち着いた空間 1、ソファー席あり 2 一人で 4、友人・同僚と 3 カウンター席あり 4、オープンテラスあり 1、掘りごたつあり 1 デート 1 D オシャレな空間 2、落ち着いた空間 1、ソファー席あり 2 一人で 5、友人・同僚と 5 カウンター席あり 3、席が広い 2 デート 1 推定した嗜好に合致する店舗を検索結果として表示する．

3.

プロトタイプシステム：

Cafe PicSel

本節ではプロトタイプシステムのシステム構成および雰囲気 特徴量のパラメータ決定，ユーザの嗜好推定の結果について記 述する． 3. 1 システム構成 食べログ[1]から新宿の全ての店舗4973件のメタデータをス クレイピングにより取得し，データベースを作成した． データ ベースからカフェのタグがついた店舗389件の画像を使用し， 図4のように縦3枚×横 5枚のアルバム形式で表示する．ユー ザの画像選択後，選択された店舗のメタデータから雰囲気特徴 量を抽出する．抽出した雰囲気特徴量からユーザの嗜好推定を し，嗜好に合う店舗を決定する．選択された店舗および選択さ れていないがユーザの嗜好に合う店舗を左右に表示する図5． また表示された店舗名を選択することでその店舗の詳細を表示 する． 3. 2 雰囲気特徴量のパラメータ決定 389件の店舗データを用いて，雰囲気特徴量のパラメータを 算出した．なお，評価値については平均をそのまま用いるため， プロトタイプシステム特有の閾値はない． 座席数 図1より34席以下の店舗を座席席の少ない店舗とし， 80席以上の店舗を座席数の多い店舗とする． 空間設備 図2より「席が広い」，「オープンテラスあり」，「カッ プルシートあり」，「スポーツ観戦可」，「バリアフリー」，「座敷 あり」，「ライブ・生演奏あり」，「掘りごたつあり」，「 カラオケ あり」，「ダーツあり」の計10個のタグを特徴タグとして使用 する． シチュエーション 図3より「デート」，「家族・子供と」の計 ２個のタグを特徴タグとして使用する．

4.

評 価 実 験

本節では評価実験について述べる． 4. 1 実 験 内 容 今回，プロトタイプシステムと既存手法である食べログとの 比較を行った．実験内容としては被験者がそれぞれの手法を5 分間使用し，検索結果の中から被験者が気に入る店舗を記録し， 気に入る店舗数により検索の精度を評価する．本実験では，プ ロトタイプシステムの画像操作時間は実験時間の5分間には 含めていないが，操作時間は平均184.1秒であった．これは全 331店舗の写真から選択しているためである．また，両システ ムの利用後に被験者は各雰囲気特徴量の中で重視したものを回 答した．これを用いてプロトタイプシステムの嗜好推定に関し て有用性を測った．なお，被験者は7人である． 4. 2 実 験 結 果 まず，プロトタイプシステムと食べログの比較結果を表3に 示す．表3より，食べログに比べプロトタイプシステムの方が 気に入る店舗を多く見つけた被験者は7名中5名と多かった． また平均店舗数でもプロトタイプシステムの方が食べログに比 べ気に入る店舗を約0.5件多く見つける結果になった．被験者 1，4，5は5分以内にプロトタイプシステムの出力を見終えて いる．これらの被験者は，プロトタイプシステムに比べ食べロ グが優位な状態であった．これらの事から本手法は食べログよ り気に入る店舗を見つけやすい可能性がある． 次にプロトタイプシステムが推定した嗜好と被験者が重視す る雰囲気特徴量の比較結果を表4に示す．表4では，各被験者 に対して，上段にプロトタイプシステムの嗜好推定結果，下段 に被験者の回答を示す．座席数に関しては，標準偏差が28以上 を特になしと判定している．被験者4に関しては、座席数デー タのある店舗が1件しか無かったため，標準偏差は0としてい る．シチュエーションに関しては，全被験者がシチュエーショ ンに対する重視項目が無かった．この事より嗜好推定結果と被 験者が明示的に考えている重視する特徴量が異なることを確認 した． 最後に，検索の精度を測った際のプロトタイプシステムで選 択された気に入る店舗の選択内訳について表5に示す．プロト

表 3 食べログとの比較実験結果 被験者 1 被験者 2 被験者 3 被験者 4 被験者 5 被験者 6 被験者 7 平均 (標準偏差) 食べログ 6 件 6 件 6 件 5 件 7 件 3 件 9 件 6.00 件（1.91） プロトタイプシステム 4 件 7 件 9 件 6 件 3 件 4 件 13 件 6.57 件 (3.33) 表 4 嗜好推定比較結果 (上段:嗜好推定結果，下段:アンケート結果) 被験者 座席数 (平均値/標準偏差) 空間設備 シチュエーション 評価値 被験者 1 特になし (105/53） - - 雰囲気 特になし 席が広い - コスパ 被験者 2 普通 (72/23) 席が広い，バリアフリー デート 雰囲気 広い 席が広い - 料理 被験者 3 普通 (47/20) オープンテラスあり，カップルシートあり デート 雰囲気 広い 掘りごたつ - サービス 被験者 4 広い (120/0) - - 雰囲気 普通 席が広い - 雰囲気 被験者 5 普通 (53/23) 席が広い - 雰囲気 普通 席が広い - 雰囲気 被験者 6 特になし (55/42) - - コスパ 普通 席が広い - コスパ 被験者 7 特になし (80/53) 席が広い，オープンテラス，カップルシート デート 雰囲気 普通 - - サービス 一致件数 2 件 2 件 4 件 3 件 表 5 プロトタイプシステムの結果内訳 () 内は表示件数 被験者 1 被験者 2 被験者 3 被験者 4 被験者 5 被験者 6 被験者 7 選択した画像の店舗 4 件 (7 件) 0 件 (9 件) 6 件（13 件） 4 件 (4 件) 1 件 (6 件) 0 件 (10 件) 6 件 (14 件) 嗜好に合う店舗 0 件 (0 件) 7 件 (18 件) 3 件 (18 件) 2 件 (6 件) 2 件 (4 件) 4 件 (58 件) 7 件 (19 件) タイプシステムでは，写真を選択する時に選んだ店舗と推定し た嗜好に基づく店舗の2種類を表示している．被験者には5分 間のうち先に嗜好に基づく店舗のリストから閲覧するように指 示した．そのため嗜好に基づく店舗の閲覧中に5分が経過した 被験者2，6の選択した店舗は0件となっている．また被験者 1は，嗜好の条件に合致する店舗が無かった．これらの被験者 を除くと嗜好に基づく店舗数は，4人中2人の被験者で多い結 果となった．店舗数の平均では選択店舗で4.25件，嗜好に基づ く店舗で3.25件と選んだ店舗が多い．選択店舗は写真が気に 入った店舗であり，そもそも被験者の嗜好に合いやすいといえ る．それに近い精度を嗜好推定に基づく店舗でも出すことが出 来ていると考えられる．また，表4の結果を合わせて見た際， 被験者2，7において嗜好はないが，システムとしてデートを 出力した際，嗜好に合う店舗を多く選ぶ場合があった．これは 特徴タグが被験者は意識をしていなかったが結果的に嗜好に合 う店舗を出したと考える．

5.

関 連 研 究

現在，画像選択操作を用いた研究では，画像情報を含むblog の記事に対し画像のみを検索結果として表示することでblogの 内容を直感的に判断することが出来るシステム[4]や，気にな る画像を選択することで画像が拡大され，その行動に基づきカ テゴリやタグに重みを付けるユーザの嗜好を抽出する研究が行 われている[5]．また，複数回の画像選択により，ユーザの嗜好 分析をし観光地を推薦するシステムの研究も行われている[6]． またメタデータを用いた研究では，店舗名や住所，電話番号な どをキーワードとし，当該店舗の情報ではない部分を活用した 新規店舗の発見・登録システム[7]や，地図上で選択した店舗 のメタデータやその店舗からの距離を判断し動的に店舗を推薦 するシステムが研究されている[8]．嗜好推定の分野では，ユー ザの好き嫌いを事前に学習し価値判断基準モデルを構築するこ とで情報推薦をする研究が行われている[9] [10]． 本研究では，カフェの内観の画像のみを用いた画像選択操作 を行い，ユーザに店舗の雰囲気を判断してもらう事で，カフェ 検索システムを構築した．また店舗の持つメタデータを使用し ユーザの嗜好を推定することで，選択されなかった店舗を推薦 している．

6.

お わ り に

本研究では，カフェの内観の画像のみを使ったカフェ検索シ ステムを構築した．メタデータから雰囲気を表す雰囲気特徴量 を決定抽出することで，ユーザの嗜好を推定し，選択されなかっ た店舗の中からも嗜好にあう店舗を提示した．今後の課題とし て，今回は利用しなかった店舗の説明文やユーザのレビュー文 を用いることでより精度の高い画像選択による検索およびユー ザの嗜好推定が出来ると考える． 謝辞 本研究の一部は，平成27年度科研費若手研究(B)(課

題番号：15K16091)によるものです．ここに記して謝意を表す ものとします． 文 献 [1] http://tabelog.com/ [2] https://itunes.apple.com/jp/app/cocafe-kafemappu/id483713206 [3] https://itunes.apple.com/jp/app/kafesachi/id448558919 [4] 井原 伸介，林 貴宏，尾内 理紀夫：画像情報を含む blog 記事検索 システムの開発，電子情報通信学会論文誌，Vol.J89-D，No.6， pp.1236-1247 [5] 加藤 桃子，安井 顕誠，原田 史子，島川 博光：ユーザの潜在 的な嗜好・要望・目的に適う段階手に名目的地推薦，FIT2014， O-037， 第 4 分冊，pp.405-406 [6] 奥薗 基，牟田 将史，平野 廣美，益子 宗，星野 准一：複数人で の旅行における観光地推薦システムの提案，情報処理学会研究 報告，Vol.2015-HCI-162，No.19， pp.1-8 [7] 相良 毅，喜連川 優：Web からの効率的な新規店舗の発見・登録 支援手法，情報処理学会論文誌，Vol．48，No.SIG11(TOD34)， pp.49-57 [8] 加藤 誠，大島 裕明，小山 聡，田中 克己：地域コンテキストを 考慮した動的な空間に基づく地理的情報例示検索，情報処理論 文誌，Vol.52，No.12，pp.3448-3460(2011) [9] 奥 健太，中島 伸介，宮崎 純，植村 俊亮，加藤 博一：状況 依存型ユーザ嗜好モデリングに基づく Context-Aware 情報 推薦システム，情報処理学会論文誌：データベース，Vol.48， No.SIG11(TOD34)，pp.162-176(2007) [10] 奥 健太，中島 伸介，宮崎 純，植村 俊亮，加藤 博一：情報推薦 におけるユーザの価値判断基準モデルに基づくコンテキスト依存 型ランキング方式，情報処理学会論文誌：データベース，Vol.2， No.1，pp.57-80(2009)