DEIM Forum 2016 B3-4
ユーザ満足度向上のための推薦理由透明性の影響評価
関根裕太郎
†北山 大輔
††
工学院大学情報学部コンピュータ科学科 〒 163-8677 東京都新宿区西新宿 1-24-2
E-mail:
†
[email protected],
††
[email protected]
あらまし 近年，インターネットコンテンツの発展，日常化により，ユーザにとって有益となるコンテンツの推薦技術
が注目を集めている．しかし，表示コンテンツと推薦コンテンツの関係性が不鮮明である場合も多い．この場合ユー
ザは，
「なぜ推薦されたのか」が不明瞭のままである．また，推薦アルゴリズムは複雑になってきており，精度が高い
推薦でもユーザに受け入れられるとは限らない．本稿では，推薦対象に対しての推薦理由の明示化がユーザの満足度
上昇に影響を与えるかの評価を行う．ここでは動画共有サイト YouTube からのデータを取得して，他ユーザの再生リ
ストを用いた推薦（協調フィルタリング），同系統の動画の推薦（コンテンツベースド推薦），評価・人気に基づく推
薦，およびそれらの統合による推薦の，計 4 種類の推薦システムの実装を行う．3 つはシンプルでユーザに理解され
やすいアルゴリズムとして，統合システムは複雑であり，ユーザには理解されにくいアルゴリズムとして用いる．ま
た，これらは推薦理由を生成し，ユーザに提示可能とする．シンプルなアルゴリズムを持つ推薦手法と，複雑なアル
ゴリズムを持つ推薦手法，およびそれぞれの推薦結果に付加された推薦理由の明示の有無のパターンを組み合わせた
計 4 種類のパターンを別々の被験者に利用してもらい，満足度評価の計測を行うことで推薦システムの複雑性と透明
度に関してのユーザ満足度との関係を明らかにする．
キーワード
情報推薦，推薦理由透明性，相関ルール，コンテンツベースドフィルタリング
1.
は じ め に
近年，インターネット上での動画配信や通信販売などの様々 なコンテンツ配信の普及が進んでいる．インターネット上で毎 日のように増加していくコンテンツの量は莫大で，ユーザのみ の力で目的のコンテンツをピンポイントで探し出すことは困難 である．そこで，ユーザにとって有益となるコンテンツを推薦 するための様々な技術が注目を集めている．通販サイトなどで の「あなたにおすすめの商品」などに代表されるこれらの技術 は，ユーザ自身やコンテンツが所有する様々な情報から推薦対 象を決定し，ユーザに推薦をしている． しかし，これらの推薦方法は推薦理由が不明瞭な場合も多い． 前述の「あなたにおすすめの商品」という表記であれば，なぜ この商品が自分に推薦をされたのか，どういった理由でこの商 品に辿り着いたのか，図1のようにユーザにとっては知ること が出来ない．また，推薦技術も日々進化を遂げていると同時に， よりアルゴリズムが複雑化している．それによって，単純な推 薦結果表示のみではユーザにとってなぜ推薦されたのかがさら に理解が困難になってしまう． 本稿では，「何故そのコンテンツが推薦されたか」に着目をす る．ここでは複数の推薦システムを作成し，それぞれコンテン ツの推薦を行う．それぞれの推薦システムに対して推薦理由を 生成し，それらはユーザに対して提示可能とする．そして，コ ンテンツの推薦理由の透明性と，システムを利用するユーザの， システムに対する満足度の関係を明らかにする． 本稿の構成は以下のとおりである．2節では，本研究の概要 と関連研究，研究に用いたデータセットについて述べる．3節 では，本研究で用いる推薦手法について述べる．4節では，3 節で述べた推薦手法を導入したプロトタイプシステムについて 述べる．5節では，作成したプロトタイプシステムを用いての 満足度評価計測について述べる．6節では，本研究のまとめと 今後の課題について述べる．2.
本研究のアプローチ
2. 1 研 究 概 要 本稿ではコンテンツ推薦システムの作成にあたり，動画共有 サイトYouTube（注 1）を用いる．ここでは，ユーザの選択した 動画（以降，選択動画と呼ぶ）をもとに，以下の4種類の推薦 手法を用いて動画の推薦を行う． ［協調フィルタリング推薦］ 他ユーザの再生リストを用いて， 共通する動画の多い再生リストから動画推薦を行う． ［コンテンツベースド推薦］ 動画のタイトル，説明文，タグ を用いての動画の類似度を利用した動画推薦を行う． ［人気度に基づく推薦］ 動画の高評価数，低評価数によるラ ンキングで推薦を行う． ［ユーザの選択に基づく統合推薦］ 上記3種の手法を統合し た手法で推薦を行う．ユーザの選択により，3手法の重みを動 的に変更して統合する． このうち統合推薦手法を除く3手法はシンプルでユーザに理解 されやすい透明性のあるアルゴリズムであり，また統合推薦手 法は複雑であり，ユーザには理解されにくい透明性のないアル ゴリズムとして用いる．また，これらの推薦手法に対してそれ （注1）：https://www.youtube.com/[1] 推薦理由が不透明 [2] 推薦理由が透明 図 1 推薦理由透明性によるユーザの理解度の差異 ぞれ簡潔な推薦理由を生成する．これらの推薦理由はユーザに 明示可能とし，それらの明示の有無とユーザの推薦システム利 用に対する満足度の関係を考察する． 2. 2 関 連 研 究 コンテンツ推薦については，現在様々な研究が行われている が，主にコンテンツの情報に着目したものとユーザ自身の情 報に着目したものに二分される．梶らの研究[1]や西尾らの研 究[2]では，楽曲の持つ歌詞などの情報を利用し，視聴時のユー ザの状況や感性に合わせた楽曲を推薦，またそれらによるプレ イリストを作成するシステムを提案している．工藤らの研究[3] では，ニコニコ動画を用いて動画に付与されたタグと動画全体 のタグの共起関係の際を用いて動画を抽出し，ランキングをす ることでユーザにとって未知性や動画の面白さを考慮した動画 推移線手法を提案している．これらは主にコンテンツの情報に より情報推薦を行う研究である[4]． ユーザの情報を用いた情報推薦について，園田らの研究[5] では，ユーザごとの音楽のプレイリストに着目した．意識無意 識に関わらず，それらは何らかのテーマや共通点に沿って収集 されたものであると考え，プレイリスト群での楽曲およびアー ティストの共起関係から類似関係を推定し，それに基づく音楽 推薦の手法を提案している． しかし，それらの研究ではユーザにとって既知，または馴染 み深いものが推薦されてしまうと考えられる．それに対して意 外性，発見性のあるコンテンツの推薦技術の研究なども行われ ている．中村らの研究[6]では，推薦されるべき動画を「ユー ザの直前の視聴履歴に似ている動画」と「直前の履歴に似てい ないがユーザの興味を引く，発見性のある動画」の2種類に分 類し，そのうち「発見性のある動画」を推薦する手法を提案し ている．松原らの研究[7]では，YouTubeにおける動画投稿者 などのユーザの繋がりを用いて，閲覧動画と関係があり，かつ 意外性のある動画を推薦するシステムを提案している． また，推薦されたコンテンツに対する重みづけの変更に関す る研究を原田ら[8]が行っている．ここでは，図書の貸し出しに ついて，図書の分野や貸し出しの日付などの基準をもとに，図 書データ自体に数パターンの重みづけを行い，高い満足度を得 られるということを明らかにした．久米らの研究[9]では，複 数の推薦アルゴリズムによって推薦されたアイテムは高確率で ユーザの嗜好に一致すると考え，各推薦リストを統合し，重み づけを行うことでリスト内の評価値を算出し，よりユーザの望 む情報を推薦する手法を提案している．これらの研究はいずれ 表 1 再生リスト情報例 再生リスト ID 作成者 ID 動画 ID p1 u1 v1 p1 u1 v2 p1 u1 v3 p2 u2 v1 p2 u2 v4 … … … 表 2 動画情報例 ID タイトル 説明 投稿日 投稿者名 視聴数 高評価数 低評価数 v1 title1 desc1 2016/3/1 u1 10000 500 50 v2 title2 desc2 2015/12/4 u2 3000 100 30 v3 title3 desc3 2015/4/18 u3 200 20 80 v4 title4 desc4 2013/3/15 u1 50000 1500 300 v5 title5 desc5 2012/11/11 u4 15 3 1 … … … … もあらかじめ推薦された結果にたいして重みづけを行い，更に 精度の高い推薦に繋げている．我々の研究は，このように種々 の基準で行われる推薦に対し，単純で分かりやすいアルゴリズ ムによる推薦と，制度は良いかもしれないが，ユーザから見る と不透明なアルゴリズムによる推薦のどちらが受け入れられや すいかを明らかにすることを目的としている． 2. 3 データセット 本稿でのシステムの作成にあたり，以下の3種類のデータ セットを作成した． • 再生リスト情報 • 動画情報 • 動画タグ 再生リスト情報には，表1の例のように，再生リストID，再 生リスト作成ユーザID，再生リスト内の動画IDが，動画ごと に格納されている．動画情報には，表2の例のように，動画ご とにID，タイトル，説明，投稿日，投稿ユーザ名，視聴数，高 評価数，低評価数が格納されている．動画タグには，表3の例 のように，動画のIDと動画に付与されているタグが，タグご とに格納されている． 動画のタイトル，説明文，全てのタグといったテキストデー タから特徴ベクトルを生成する．ベクトルの要素として名詞 （固有名詞含む）を抽出し，出現数を値として用いる．例とし て図2のような動画v1の場合，動画タイトルは「ロックバン ド集」，説明は「学校で流行りのロックバンドです」，付与され ているタグは「音楽」「ロック」「BGM」である．これらのテ キストの中で登場する名詞は，「ロック，バンド，集，学校，流 行り，音楽，BGM」であり，それぞれの出現回数は，「3，2，1， 1，1，1，1」となる．この時，動画v1の特徴ベクトルv1は， v1(3, 2, 1, 1, 1, 1, 1)となる．
表 3 動画タグ例 動画 ID タグ v1 t1 v1 t2 v1 t3 v2 t2 v2 t4 … … 図 2 動画情報具体例 図 3 協調フィルタリングによる推薦例
3.
動画推薦手法
3. 1 協調フィルタリング：他ユーザの再生リストを用いた 推薦 選択動画の動画IDを，データベース内の再生リスト情報か ら検索し，再生リストのIDを抽出する．抽出した再生リスト IDから，更にその再生リストに含まれている動画IDを抽出す る．抽出した動画の中から選択動画と最も多く共起している動 画を，推薦の対象とする． 推薦の指標となる値SF (vi)は，以下の式にて算出する． SF (vi) =∑
vj∈S cooc(vi, vj) (1) ここで，viはデータベース内の対象となる動画，vjは選択動 画，Sは選択動画集合，coocはviとvjが共起して出現する再 生リストの数を返す関数である． 例として，S を動画v1とv2 としたときのSF (v3)の算出 を行う．図3は，対象となる再生リストp1∼p5の例である． cooc(v1, v3)は動画v1と動画v3が共起して出現する再生リスト の数となるので，値は4となる．同様に，cooc(v2, v3)は4と なる．すなわちこの場合のSF (v3)は8となる．また，この値 は図3内の例では最も高い値となるので，動画v3はここでの ランク1位の推薦対象動画となる． この手法にて明示する推薦理由は，「あなたの視聴した動画 を見ている人の多くがこちらの動画を再生リストに入れていま す」とする．また，これ以降では本手法をSFと記す． 図 4 コンテンツベースドの推薦例 3. 2 コンテンツベースド推薦：同系統の動画推薦 選択動画の特徴ベクトル中で最も高い値を持つ単語を含む動 画を対象とする．そして，選択動画の動画タイトル，動画説明 文および選択動画に付与されているタグを利用し，データベー ス内の動画情報とのコサイン類似度の高いものを推薦対象とす る．類似度を表す関数CBF (vi)を以下に定義する． CBF (vi) = vi· vj |vi||vj| (2) ここでviは対象動画の特徴ベクトル，vjは選択動画の特徴ベ クトルである．選択動画が複数ある時は，平均ベクトルを用 いる． 例として，図4の2つの動画v1，v2が存在するとする．2つ の動画のタイトル，説明，タグに登場する単語は，「ロック，バ ンド，集，学校，流行り，音楽，BGM，ジャズ，友人，東京」 である．単語の生起回数を表すと，以下のようになる． v1(0, 2, 0, 0, 0, 1, 0, 3, 1, 1) v2(3, 2, 1, 1, 1, 1, 1, 0, 0, 0) この値を用いて式中のv1· v2，|v1|，|v2|を求めると，以下のよ うになる． v1· v2 = 0· 3 + 2 · 2 + 0 · 1 +…+ 1· 0 + 1 · 0 = 5 |v1| =√
02+ 22+ 02+…+ 12+ 12=√16 |v2| =√
32+ 22+ 12+…+ 02+ 02=√18 また，CBF (v1)は以下の値となる． CBF (v1) = √ 5 16√18= 5 12√2 = 0.2946… この手法にて明示する推薦理由は，「あなたの視聴した動画と タイトルや説明文が似ている動画はこちらです」とする．また， これ以降では本手法をCBFと記す． 3. 3 人気度に基づく推薦 CBFと同様に，選択動画の特徴ベクトル中で最も高い値を 持つ単語を含む動画を対象とする．抽出された各動画の高評価 数および低評価数を動画情報から抽出し，以下の式で人気度を 算出する． P OP (vi) = P os(vi)− Neg(vi) (3) こ こ で ，vi は 対 象 の 動 画 ，P os(vi) は vi の 高 評 価 数 ， N eg(vi)はviの低評価数である．P OP (vi)の最も高い動画 を推薦の対象とする．図 5 人気度に基づく推薦の例 図 6 統合推薦の例 (未選択時) 表 4 統合推薦時の各手法による結果の例 R(x) ＼手法 SF CBF POP 1 v5 v6 v8 2 v2 v2 v8 3 v1 v7 v1 4 v4 v1 v2 5 v3 v9 v6 例として図5では，選択動画v1，v2を基に抽出した動画v0， v3，v4，v5がある．viを動画v0とすると，動画v2のP os(v2) は500，N eg(v2)は50なので，動画v2のP OP (v2)は450と なる．他の動画についても同様に算出を行うと，図5内の動画 の中でP OP (vi)が最も高くなるのは動画v4である．よって動 画v4が推薦ランク1位となる． この手法にて明示する推薦理由は，「この動画と同ジャンルで 人気の動画はこちらです」とする．また，これ以降では本手法 をPOPと記す． 3. 4 ユーザの選択に基づく統合推薦 SF，CBF，POPの3種の推薦形式を統合した推薦形式につ いて説明する．それぞれの手法，およびそれらによって出力さ れた結果に対して重み付けを行う．ここでは初期状態での各推 薦手法の重みは全て等しいとする．各推薦手法で推薦度合の高 いものから順にランク付けをしていく．また，統合手法以外の 手法によって推薦された動画がユーザによって選択された場合， 次回の推薦以降では選択された動画を推薦した手法の重みの割 合を増やしていく．図6は初期状態での統合推薦を示したもの である．図7は，初回でSFにより推薦された動画が選択され た場合の例である．この場合二回目はSFの重みが増え，SF内 での推薦候補となっている動画の重みがより増し，統合手法内 でのランクが上位になりやすくなる． 図 7 統合推薦の例 (SF 選択時) 推薦の指標となる数値COM P (vi)は以下の式で算出する． COM P (vi) = α· S(SF (vi))− (R(SF (vi))− 1) S(SF (vi)) + β·S(CBF (vi))− (R(CBF (vi))− 1) S(CBF (vi)) + γ·S(P OP (vi))− (R(P OP (vi))− 1) S(P OP (vi)) (4) ここでα，β，γはそれぞれの推薦手法に与えられる重みと し，α + β + γ = 1とする．またR(SF (vi))，R(CBF (vi))， R(P OP (vi))はそれぞれの手法で推薦対象となった動画のラン ク，S(SF (vi))，S(CBF (vi))，S(P OP (vi))はそれぞれの手法 で推薦対象となった動画全体の数である． 表4では，上記3種類の推薦手法によって出力された推薦結 果の例を示す．ここでのランクとは，それぞれの推薦手法にお いて推薦の指標となるための数値が高かった順番に，1位からラ ンク付けをしたものである．例として，SFであれば，対象再生 リスト内での出現数が多かった順に，v5，v2，v3，v4，v1…と なる．またここでは，S(SF (vi))，S(CBF (vi))，S(P OP (vi)) は全て5とする． 動画v1 に着目した場合，SFでは5位，CBFでは4位， POPでは3位となっているので，R(SF (v1))，R(CBF (v1))， R(P OP (v1))はそれぞれ5，4，3となる．また，α，β，γは初 回時は全て等しい値なので，それぞれ 1 3 となる．よってviを 動画v1とし，与えられる数値COM P (v1)は以下の値となる． COM P (v1) = 1 3× 5− 2 5 + 1 3× 5− 3 5 + 1 3× 5− 2 5 = 8 15= 0.533... また，4種類の推薦手法によって推薦された動画の中で，SF， CBF，POPによって推薦された動画がユーザによって選択さ れた場合，次回以降は統合推薦手法内でのシステムに対して重 みの割合を増加させていく．例えばユーザがSFで推薦された 動画v5を選択した場合，次回以降は統合推薦手法内でのαの 値を2 4，βとγの値を 1 4とする．その状態で同様にv1に着目して 数値の算出を行う場合，v1のCOM P (v1)は以下の値となる． COM P (v1) = 2 4× 5− 2 5 + 1 4× 5− 3 5 + 1 4× 5− 2 5 = 11 20= 0.55 これを繰り返し，よりユーザの選択に近い基準を作る推薦シス
図 8 プロトタイプシステム 図 9 処 理 手 順 テムとなる． この手法にて明示する推薦理由は，「あなたにおすすめの動画 はこちらです」とする．また，これ以降では本手法をCOMP と記す．
4.
プロトタイプシステム
ここでは，後述の評価実験に使用するためのプロトタイプ システム(図8)の説明をする．処理の流れとしては，最初に フォーム左上のコンボボックスに，データセット内の動画を10 件ピックアップしたリストを作成し，動画タイトルを表示する． そのリスト内よりユーザが選択し，検索ボタンを押すと，手法 SF，CBF，POP，COMPを用いて推薦対象となった動画の上 位1件のタイトルを表示する（また同時に推薦理由を表示す る）．ユーザが対象の動画を選択すると，その動画のYouTube のページが下部に表示される．これを用いて動画の詳細を確 認することが可能である．推薦動画の一つを選択し，再検索ボ タンを押すと，対象動画を基に新たに推薦が行われる．この時 ユーザがSF，CBF，POPのいずれかで推薦された動画を選択 した場合，COMPに対してこの動画を推薦した手法に対して の重みを増加させる．この一連の処理を図9にまとめる．5.
評 価 実 験
5. 1 実 験 概 要 プロトタイプシステムを用いて実験を行う．システムはそれ ぞれの推薦理由の明示の有無のパターンを組み合わせたもので， 以下の4種類である． A 全ての手法の推薦理由を明示するパターン B SF，CBF，POPの推薦理由を明示するパターン C COMPの推薦理由を明示するパターン D 全ての手法の推薦理由を明示しないパターン これらのパターンをそれぞれ別の被験者（それぞれ2名ずつ， 計8名）が利用し，それぞれの手法の選択回数，理由の分かり やすさを記録し，推薦アルゴリズムの単純さと，受け入れられ やすさを考察する．システム利用後に被験者に尋ねた評価項目 は，以下の内容である．なお，パターンごとに質問は異なり， 括弧内のアルファベットは質問したパターンを表す． 〔項目1〕 あなたは4種類の推薦理由から，動画がどのよう な基準で推薦されているかが推測できましたか？それぞれお答 えください． a あなたの視聴した動画を見ている人の多くがこちらの動 画を再生リストに入れています．（A，B） b あなたの視聴した動画とタイトルや説明文が似ている動 画はこちらです．（A，B） c この動画と同ジャンルで人気の動画はこちらです．（A， B） d あなたにおすすめの動画はこちらです．（A，C） 〔項目2〕 推薦理由の表示の有無が，あなたの動画選択に影響 を与えましたか？（B，C） また，被験者がそれぞれどの手法で推薦された動画を選択した かも合わせて記録した．こちらは被験者全員を対象にしている． 最初に被験者が動画リストから動画を1つ選択すると，それ に対し4種類の手法により推薦された動画がそれぞれ表示され る．その中から被験者が選択した時点から実験を開始し，選択・ 推薦を5回繰り返した． 5. 2 結果と考察 評価項目の回答結果を表5に表す．項目1に関しては，aか らcまでほとんどが「はい」と回答している．しかしdは逆に， 多くが「いいえ」と回答している．これにより，単純なアルゴ リズムはユーザに対して推薦理由による推薦手法の説明が容易 であり，ユーザもまた推薦理由から選択したコンテンツがどの ようなアルゴリズムで推薦されたかの推測が容易であることが 分かる．逆に複雑なアルゴリズムは手法の説明，ユーザの理解 ともに容易なものではないといえる． 被験者の動画の選択状況について表6にて示す．被験者の例 のA1はパターンAに関する1人目の被験者であることを示し ている．の推薦理由がすべて明示されているA，全て明示され ていないDでは，全ての手法が比較的まばらに選択されている のに対し，推薦理由が一部しか明示されていないB，Cでは， 推薦理由が明示されている手法への選択の偏りが見られる．こ の結果からは推薦理由の存在がユーザのコンテンツ選択に影響表 5 評価項目回答 被験者＼評価項目 1-a 1-b 1-c 1-d 2 A1 はい はい いいえ はい ― A2 はい はい はい いいえ ― B1 はい はい はい ― はい B2 はい はい はい ― いいえ C1 ― ― ― いいえ いいえ C2 ― ― ― いいえ いいえ 表 6 パターン選択状況 被験者＼選択時点 1 回目 2 回目 3 回目 4 回目 5 回目 A1 SF CBF COMP SF POP A2 CBF CBF SF SF SF B1 CBF SF SF POP POP B2 CBF SF SF SF POP
C1 COMP SF SF COMP COMP
C2 SF CBF SF COMP COMP D1 SF CBF CBF SF POP D2 POP COMP CBF CBF SF を与えているといえる． また，表7はパターン選択状況をパターン，手法ごとにまと めたものである．純粋な推薦精度による選択となるDと，推薦 精度に推薦理由を加味した選択となるAを比較すると，Dで はコンテンツベースド推薦が最も選択されていたのに対し，A では協調フィルタリング推薦が最も選択されている．この結果 から，推薦精度としてはコンテンツベースド推薦が最も高いが， 協調フィルタリング推薦が推薦理由の納得性，受け入れやすさ から選ばれていると考えられる．次にDと，統合推薦のみ推薦 理由が明示されているCを比較すると，Dでは統合推薦は1度 しか選択されなかったのに対し，Cでは5度選択され，飛躍的 に上昇している．ここから，推薦精度自体よりも，推薦理由の 妥当性が重視され，また，推薦理由を明示することにより，推 薦の受け入れられやすさに大きな影響があることが分かる．し かし，当初目標としていた，複雑だが推薦精度が良いシステム を実現できておらず，アルゴリズムの複雑性と単純性の影響評 価の比較は行えていない．これに関しては，5回という実験回 数の少なさも可能性としてあげられる． 項目2に関しては，Bを利用した2名は評価が分かれている のに対し，Cを利用した2名は共に「いいえ」と回答している． 加えて，表7のCの結果を見ると，被験者は知らず知らずのう ちに，推薦理由によって選択を誘導されている可能性が考えら れる． 結果を総合すると，推薦精度そのものよりも推薦理由を示す ことによる影響が大きく，推薦理由の内容により，ユーザに対 しての推薦手法の受け入れられやすさが変化する可能性が示唆 される．
