Study on Matrix Based Collaborative Filtering Employing Personal Values

(1)

2018 ^{年度修士論文}

価値観に基づく行列ベース協調フィルタリングに関する研究

Study on Matrix Based Collaborative Filtering Employing Personal Values

指導教員高間康史教授首都大学東京大学院システムデザイン研究科

システムデザイン専攻情報通信システム学域

17890521 白石雄也

2019/02/22

(2)

1 ^はじめに

近年，Amazon

¹

をはじめとするオンラインショッピングサイトなどにおいて，ユーザが扱うことのできる情報が増え続けている．その結果，莫大なデータ・アイテムの中からユーザの嗜好に合致した目的のアイテムを探すのが困難になっている．この様な状況を情報過多と呼び，ユーザにとって有益な情報を探し出すことを支援することが重要になっている．ユーザの嗜好・意図に合致したアイテムを提示する手法として，様々な情報推薦システムが広く利用されている

[10, 21, 25, 32]

．

代表的な情報推薦システムとして，内容ベースフィルタリング

[10]

や協調フィルタリング

[32]

がある．内容ベースフィルタリングは，ユーザが過去に閲覧・購買したアイテムと類似した特徴を持つアイテムを推薦する手法である．協調フィルタリングは，ユーザのアイテムへの評価値を用いて，嗜好が類似するユーザを探し，推薦対象者と嗜好が似ているユーザが好むアイテムを推薦する．協調フィルタリングは，モデルを構築する際のアプローチとして近傍ベース

[32, 25]，行列ベース [21, 34]，グ

ラフベース

[20]

などに分けられる．その中で，評価情報が不足している場合に予測精度を向上させるためのアプローチの一つとして，行列ベース協調フィルタリングにおける行列分解法

[21]

が注目を集めている．

協調フィルタリングはドメイン知識を利用せずに推薦を行える点が利点である．しかし，協調フィルタリングには，

cold-start

問題

[37]

や

sparsity

問題

[24]

といった課題が存在する．

cold-start

問題は，新たにシステムを利用し始めたユーザや評価がされていない新規アイテムといった，評価件数が少ない対象に対して予測精度が低下する問題である．sparsity問題は，推薦システムが扱うことができるアイテム数に対して，ユーザが付与した評価件数が少ない場合に予測精度が低下する問題である．

嗜好に合ったアイテムを推薦することは情報推薦システムが満たすべき重要な基準であるが，ユーザがすでに知っているアイテムを推薦することは有用ではない．予測精度向上以外の課題として，解釈性が高い推薦や推薦アイテムの目新しさ・セレンディピティ[1, 16, 44]，多様性

[7, 8]，ロングテー

ルアイテムの推薦

[14, 27]

などが重要視されるようになってきている．ここで，ロングテールアイテムとは，評価件数が少ない不人気のアイテムのことである．これらの課題に対する解決策の一つとして，価値観を情報推薦へ応用したアプローチが研究されている．価値観は，ユーザの購買行動や意思決定に重要な要素として知られており，マーケティングや

Web

インテリジェンスにおいて利用さ

れている

[18, 41]．情報推薦においては，アイテムの属性に対するユーザのこだわりの強さとして定

義され，評価一致率を利用したモデルの構築方法が提案されている

[15]．評価一致率とは，価値観を

定量的に表す指標で，ユーザのアイテムに対する総合評価の極性（好評または不評）と，アイテムの属性に対する評価極性が一致する割合である．内容ベースフィルタリング

[39]

や近傍ベース協調フィルタリング

[5]

などに応用されており，少ない評価件数で安定してモデルを生成できることが報告されている．

本論文では，価値観に基づく情報推薦の新たな手法として，近年主流である行列ベースの協調フィ

1

http://www.amazon.co.jp/

(4)

ルタリングに価値観を導入した手法を提案する．提案手法では，ユーザ・アイテムを行，アイテムの属性を列とし，各要素が評価一致率となる行列としてユーザモデル，アイテムモデルを表現する．

従来の行列ベース協調フィルタリングのアプローチでは，行列の潜在因子が何を表現しているのか解釈が困難であるが，提案手法ではアイテムの属性を用いているため解釈が容易であり，推薦説明の生成などにおける有効性が期待できる．また，ユーザ・アイテムを表す行列の他に，ユーザ・アイテムモデル間の関係を表現する行列（関係行列）を導入する．関係行列を適切に設定することにより，

ユーザモデル，アイテムモデル間の属性の対応関係を考慮し，適切なマッチングを実現することを目指す．提案手法では，ユーザ・アイテムを表す行列と関係行列の積を求めることで，ユーザのアイテムに対する予測スコアを計算する．関係行列は手動で設定する方法と機械学習によって学習する方法を提案する．機械学習を用いたアプローチでは，最小二乗法に基づき予測スコアと真値の二乗誤差を確率的勾配降下

[21]

により最小化する手法，BPR（Bayesian Personalized Ranking）[29]によって不評・未評価のアイテムより好評のアイテムの予測スコアが高くなるように事後分布を最大化する手法を提案する．

評価実験では，

Yahoo!

映画

²

，楽天トラベル

³

，ホットペッパービューティー

⁴

，

4Travel ⁵

，

livedoor

グルメ

⁶

といった

5

種類の実際の

Web

サイトから抽出したデータセットを利用し，代表的な行列ベース協調フィルタリングである

SVD

（

Singure Value Decomposition

）

[34]

や

PMF

（

Probabilistic Matrix Factorization）[36]

との比較を行う．ユーザに推薦された上位

k

件のアイテムについて，適合率

[26]

や再現率

[2]，nDCG（normalized Discounted Cumulative Gain）[17]

を比較した結果，評価件数が少ないユーザが多数存在するようなデータセットにおいて従来手法と同等の推薦精度が得られたことを示す．推薦アイテムの多様性

[7, 8]

やロングテールアイテム

[14, 27]

の推薦に関して比較した結果，提案手法は従来手法より様々なアイテムを推薦可能であり，ロングテールアイテムの推薦に対しても有効であることを示す．提案手法の解釈性に関して，機械学習により生成した関係行列を分析し，評価において重要な属性に基づいた学習結果が得られていることを示す．

2

http://movies.yahoo.co.jp/

3

http://travel.rakuten.co.jp/

4

http://beauty.hotpepper.jp/

5

http://4Travel.jp/

6サービス終了（2019年

2

月

22

日現在）

(5)

2 ^関連研究

2.1 ^情報推薦

近年，情報化技術の進展に伴ない，誰もが容易に大量の情報を発信・蓄積できるようになったことで，ユーザが扱うことのできる情報が莫大なものとなってきている．代表的なものとして，Amazon や楽天

⁷

のような世界規模のオンラインショッピングサイトでは，数億種類を超える商品が登録されている．この様な状況の中，大量に溢れている情報から，適切に有用な情報を探し出すことは困難である．これを，情報過多（Information Overload）と呼ぶ．ユーザにとって有益な情報を提示することが重要になってきており，情報を探し出すのを支援する主要な技術として，情報推薦システムが研究されている．本節では，情報推薦システムについての歴史，代表的な情報推薦手法を述べた後，

問題点や評価指標について説明する．

2.1.1 情報推薦システム

ユーザの嗜好などをもとに必要な情報を取り出したり，不要な情報を排除することを，情報フィルタリングと呼び，情報推薦システムはその一種に位置づけられる．情報フィルタリングの研究は

1980

年代後半から行われてきた

[3]

．当時注目を集めた手法として，

1994

年に

Resnick

らが考案した

GroupLens

のアルゴリズム

[32]

がある．このアルゴリズムは，システムの購買履歴に基づき，嗜好

が類似するユーザが好むアイテムを推薦するアルゴリズムである．

GroupLens

のアルゴリズムは協調フィルタリングと呼ばれ，ドメイン知識を利用しない低コストの手法として，この手法を改良する研究が多く行われるようになった

[2]．

情報推薦は，大きく内容ベースフィルタリング

[10]

と前述の協調フィルタリング

[32]

に分けられる．内容ベースフィルタリングは，アイテムの特徴とユーザの嗜好に基づき推薦を行う．例えば，文書を対象アイテムとした場合，キーワードの出現頻度を表すベクトルを生成することで，ユーザの嗜好に近い特徴をもつアイテムを推薦する．内容ベースフィルタリングの代表的な例として，Billsus らはニュース記事を対象とし，k-nearest neighbor法

[12]

を利用して，ユーザが直近で評価した記事に類似するニュースを推薦するシステムを考案している

[10]

．

協調フィルタリングは，アイテムの情報を利用せず，ユーザがアイテムに対して付与した評価履歴を利用して，評価したアイテムの評点が類似しているユーザが好むアイテムを推薦する手法である．

協調フィルタリングには，嗜好が近いユーザに基づき予測評価値を求めるユーザベース方式と，アイテム間の類似度を計算しユーザにアイテムを推薦するアイテムベース方式に分けられる．協調フィルタリングの代表例として，GroupLens [32]と

Amazon [25]

のアルゴリズムについて説明する．

GroupLens

は，類似度が高いユーザが好むアイテムは，推薦対象のユーザも好むという仮定に基

づく，ユーザベース協調フィルタリングに基づいている

[32]．ユーザの集合を U

，アイテムの集合を

7

https://www.rakuten.co.jp/

(6)

V

，ユーザ

x i ∈ U

がアイテム

y j ∈ V

に付与した評価値を

s i,j

とすると，GroupLensのアルゴリズムでは次のようなステップでアイテムの推薦を行う．

•

推薦対象のユーザ

x i

と，他のユーザ

x t ∈ U \ { x i }

がともに評価を付与したアイテムの集合

V i,t

において，ユーザ

x i

，

x t

の類似度

p i,t

を，

Pearson

相関係数を利用して計算する．（式

(2.1)

）

p _i,t =

∑

y

_k

∈ V

_i,t

(s _i,k − s ¯ ^′ _i )(s _t,k − ¯ s ^′ _t )

√ ∑

y

k

∈ V

i,t

(s i,k − ¯ s ^′ _i ) ² √ ∑

y

k

∈ V

i,t

(s t,k − ¯ s ^′ _t ) ²

(2.1)

¯

s ^′ _i

は，V

_i,t

に含まれるアイテムに対し，ユーザ

x i

がつけた評価値の平均で式（2.2）で表される．

¯

s ^′ _i = ∑

y

_k

∈ V

_i,t

s i,k

| V _i,t | (2.2)

•

ユーザ

x _i

が未評価のアイテム

y _j

に関して，y

_j

を評価済みのユーザ集合

U _j

を用いて，x

_i

による

y j

の予測評価値

s ˆ i,j

の計算を行う．（式

(2.3)）

ˆ

s i,j = ¯ s i +

∑

x

k

∈ U

j

p i,k (s k,j − ¯ s k )

∑

x

k

∈ U

j

| p i,k | (2.3)

¯

s i

は，x

_i

が評価した全アイテム集合

V i

における評価値の平均で，式

(2.4)

で表す．

¯

s i = ∑

y

_k

∈ V

i

s i,k

| V _i | (2.4)

•

式（2.3）により計算されたユーザ

x i

の予測評価値から，値の大きいアイテムを降順に並べることで推薦リストを作成する．

Amazon

のアルゴリズム

[25]

では，アイテム間の類似度を求めることにより，対象ユーザが閲覧

したアイテムと関連のあるアイテムを推薦するアイテムベース方式を採用している．

y ⃗ i

をアイテム

y i

が全ユーザから付与された評価値を並べたベクトルとすると，

y i

，

y j

の類似度

p i,j

は

cos

類似度により，式

(2.5)

で計算される．ユーザが未評価のアイテムの評点は

0

として扱う．

(7)

p i,j = y ⃗ i · y ⃗ j

|| y ⃗ _i || · || y ⃗ _j || (2.5)

2

種類のアイテムの組み合わせ全てに対して類似度を計算し，ユーザの閲覧履歴に存在するアイテムと類似度が高いアイテムをユーザに提示する．アイテムベース協調フィルタリングは，事前にオフラインでアイテム間の類似度を計算しておくことができるため，ユーザがアイテムを閲覧したとき，

高速でリアルタイム性のある推薦が可能という利点がある．

モデルに基づく観点で協調フィルタリングを分類すると，近傍ベース

[32, 25]，行列ベース [21, 34]，

グラフベース

[20]

などのアプローチに分けられる．近傍ベースには，前述した

GroupLens

や

Amazon

のアルゴリズムが該当し，類似度の高いユーザやアイテム（近傍ユーザ・アイテム）に基づき評価値を予測する．

グラフベースでは，グラフ理論におけるランダムウォークを利用し推薦アイテムを決定する．

Konstas

らは，音楽サイト

last.fm ⁸

における視聴楽曲，タグ，ユーザ間の友好関係をグラフ構造で表現し，ランダムウォークを利用することでユーザの嗜好を予測する手法を提案している

[20]．評価実験におい

て近傍ベース協調フィルタリングと比較し，グラフベースの方が高い推薦精度が得られたことを報告している．

行列ベースでは，ユーザ・アイテムの潜在因子行列の積をとり予測評価値を計算し，アイテムを推薦する．Korenらは，行列分解法により生成されるユーザ・アイテムの潜在因子行列を，機械学習を用いて最適化し，それらの行列の積を求めることでユーザとアイテムの予測評価値行列を生成するアプローチを提案している

[21]．行列分解法を利用した行列ベース協調フィルタリングは，評価情報

が不足している場合でも推薦精度が高いことで知られている

[21, 34]

．行列ベースのアプローチについて，

2.2

節で詳しく説明する．

2.1.2 情報推薦の問題点

協調フィルタリングはドメイン知識を利用せずに推薦を行える点が利点である．しかし，協調フィルタリングには，cold-start問題

[37]

や

sparsity

問題

[24]

といった課題が存在する．cold-start問題は，新たにシステムを利用し始めたユーザや評価がされていない新規アイテムといった評価件数が少ない対象に対して，予測精度が低下する問題である．

sparsity

問題は，推薦システムが扱うことができるアイテム数に対して，ユーザが付与した評価件数が少ない場合に予測精度が低下する問題である．

それに対し，内容ベースフィルタリングでは，ユーザプロファイルが作成できれば，アイテムの特徴と比較することにより推薦可能であるので，新規アイテムに対する

cold-start

問題の影響を受けにくい利点がある．しかし，内容ベースフィルタリングにおいても，推薦対象アイテムの特徴量が莫大

8

https://www.last.fm/

(8)

で，新規ユーザに関する情報が不足している場合に，協調フィルタリングと同様に

cold-start

問題や

sparsity

問題が発生することが指摘されている

[2, 42]．

嗜好に合ったアイテムを推薦することは情報推薦システムが満たすべき重要な基準であるが，ユーザがすでに知っているアイテムを推薦することは有用ではない．そのため，推薦アイテムの多様性

（

Diversity

）

[7, 8]

やロングテールアイテムの推薦

[14, 27]

，目新しさ（

Novelty

）・セレンディピティ

（

Serendipity

）

[1, 16, 44]

などが推薦の目的として注目されてきている．

推薦アイテムの多様性は推薦されたアイテムの種類の多さを表し，ロングテールアイテムとはユーザから付与される評価件数が少ない不人気アイテムのことである．両者は互いに独立ではなく，ロングテールアイテムを推薦することによって，推薦アイテムの多様性も高くなることが知られてい

る

[7]．ロングテールアイテムは人気アイテムに比べると評価件数が少ないため，新規アイテムと同

様の問題が発生し，推薦が困難である．従って，情報推薦では，推薦アイテムが人気アイテムに偏ってしまう課題が存在する

[8]．また，Brynjofsson

らは，ロングテールアイテムと人気アイテム両方がユーザの売上意識を改善する要因になると言及している

[11]．これは，推薦対象のアイテムが人気ア

イテムに偏る情報推薦システムは望ましくないことを示唆する．

Goldstein

らも，ロングテールのアイテムは，新規アイテムや人気アイテムよりも導入・維持・プロモーションなどにかかるコストが低いため，推薦アイテムの多様性が高い情報推薦システムとし，ロングテールアイテムを提示することで，サービスのコストを低減できると報告している

[14]．

情報推薦におけるセレンディピティとは，推薦アイテムの目新しさに，思いがけない・予測できなかった・意外性のあるなどの要素を加えた概念である

[1]．例えば，映画を推薦する場合，ユーザが

同じ監督の作品を多く視聴しているとき，その監督の新作を推薦しても，ユーザにとってその作品は既知である可能性がある．一方で，その監督と同じ作風の，ユーザがまだ知らない監督の作品を推薦したとすると，ユーザはその作品に関心を抱く可能性があり，意外性のあるアイテムを推薦したことになる．セレンディピティが高い推薦とは，このようなユーザにとって思いがけないアイテムを推薦することを表す．

セレンディピティに関して，内容ベースフィルタリングでは，ユーザが関心のある特徴を持つアイテムが推薦されるため，セレンディピティのある推薦は困難である

[2]

．映画で例えると，内容ベースではユーザ知識に依存して同ジャンル・監督の作品が推薦されることが多くなるため，ユーザにとって意外な推薦とはならない．それに対して，協調フィルタリングでは，他のユーザが好むアイテムを推薦するため，自身がまだ知らないアイテムが推薦される可能性がある．そのため，セレンディピティの面では，協調フィルタリングが有効であると言われている

[2]．

2.1.3 情報推薦における評価指標

情報推薦において，推薦精度を表す指標として予測誤差が利用される．予測誤差とは，ユーザがアイテムに対して付与した評価値と，推薦アルゴリズムによって得られた予測評価値の差のことである．代表的な評価指標には，MAE（Mean Absolute Error）と

RMSE（Root Mean Square Error）

(9)

がある

[33]．テストデータを S test

とすると，MAEは式

(2.6)，RSME

は式

(2.7)

で表される．

MAE = 1

| S _test |

∑

s

_i,j

∈ S

_test

| s ˆ i,j − s i,j | (2.6)

RMSE = v u u t 1

| S test |

∑

s

i,j

∈ S

test

(ˆ s i,j − s i,j ) ² (2.7)

予測誤差以外の評価指標として，推薦リストにおける上位

k

件のランキングをユーザに提示する方法がある．ランキングに向けた推薦精度を測る指標として，Precision at

k（P@k）[26]，Recall at k（R@k）[2]，normalized Discounted Cumulative Gain at k（nDCG@k）[17]

を紹介する．

適合率

[26]

は，得られた推薦結果において，興味ありのアイテムが占める割合を表す．興味あり/

無しのアイテムは，バイナリの評価値で表現する必要がある．例えば，評価値が

1〜5

のデータセットを利用する場合，評価

4・5

のアイテムを興味あり，1〜3を興味無し，のように判断したり，閾値を用いて興味あり

/

無しの判断をすることで，評価値のスケールを変換する必要がある．

r i

を，アイテム

y i

が興味ありのアイテムは

1

，興味無しのアイテムは

0

をとるとすると，上位

k

件の推薦結果に対する適合率

P@k

は式

(2.8)

で表される．

P@k =

∑ k i=1

r i

k (2.8)

再現率

[2]

は，ユーザが興味を持つアイテムの集合

R _a

のうち，推薦結果に含まれたアイテムの割合である．上位

k

件の推薦結果に対する再現率

R@k

は式

(2.9)

で表される．

R@k =

∑ k i=1

r _i

| R a | (2.9)

DCG [17]

は，順位付けの正しさを測る指標であり，値が大きいほど良い順位付けとなる．ideal

DCG

をユーザが得られる最大の

DCG

の値とすると，nDCGは計算された

DCG

の値が

ideal DCG

に近いほど

1

に近づく．上位

k

件の推薦結果に対する

DCG@k

は式

(2.10)

，

nDCG@k

は式

(2.11)

で表される．

G i

（

i = 1, 2, · · · , k

）は推薦リスト第

i

位に位置するアイテムの利得を表し，データセットの評価値またはバイナリの評価値を利用する．

(10)

DCG@k = G 1 +

∑ k i=2

G i

log ₂ i (2.10)

nDCG@k = DCG@k

ideal DCG@k (2.11)

2.1.2

項で説明したアイテムの多様性も，評価指標として利用されている

[8]．上位 k

件の推薦結果に対

するアイテムの多様性は，

Diversity@k

として式

(2.12)

で表される．ここで，

L k (x i ) = { y 1 , y 2 , · · · , y k }

はユーザ

x i

に対する推薦リストの上位

k

件に含まれるアイテムの集合を表す．Diversity@kは全ユーザの推薦リストにおける上位

k

件で推薦されたアイテムの種類の数を表し，値が大きいほどユーザ毎に異なるアイテムを含むユニークな推薦リストが作成できていることになる．反対に，値が小さいと，どのユーザに対しても同じアイテム（多くの場合，人気アイテム）が推薦されていることになる．

Diversity@k = ∪

x

i

∈ U

L k (x i )

(2.12)

2.2 行列ベース協調フィルタリング

2.2.1 行列ベース協調フィルタリングの代表的手法

Koren

らは，Netflix Prize

⁹

において行列ベース協調フィルタリングの代表的な手法である行列分

解法（Matrix Factorization）を提案している

[21]．Netfrix Prize

とは，映画の

DVD

レンタル会社

である

Netflix ¹⁰

が，自社の推薦システムの精度を

10

％向上させるアルゴリズムに，100万ドルの懸

賞金をかけたコンテストであり，上述の行列分解法が推薦精度を

10.5%

向上させ賞金を獲得した．

行列分解の概略を図

2.2

に示す．

N

人のユーザと

M

個のアイテムからなる評価値行列

S

を，

N

や

M

より小さい整数

k

に対して，N

× k

で表されるユーザ行列

U

と

M × k

で表されるアイテム行列

V

に分解する．ユーザ

x _i

のアイテム

y _j

に対する予測評価値

ˆ s _i,j

は，ユーザの潜在因子ベクトル

u _i

とアイテムの潜在因子ベクトル

v _j

の積によって計算され，式

(2.13)

で表される．

ˆ

s ij = u ^T _i v j (2.13)

x _i

が

y _j

に対して評価した評価値

s _i,j ∈ S

において，二乗誤差の総和を目的関数（式

(2.14)）で表

し．これを最小化する

U

，V を求める．

9

http://www.netflixprize.com/

10

https://www.netflix.com/jp/

(11)

図

2.2:

行列分解の概略

min U,V

∑

s

i,j

∈ S

(s i,j − u ^T _i v j ) ² (2.14)

U

，

V

を求めるために利用される最適化手法として，確率的勾配降下法（

Stocastic Gradient Descent

）

[21]

や交互最小二乗法（

Alternating Least Squares

）

[43]

が利用される．求めた

U

，

V

を用いて，ユーザが未評価のアイテムの予測評価値を求める．最適化手法については，次項で説明する．

Koren

らは，行列分解法にユーザ・アイテムの評価値におけるバイアスや，暗黙的な評価を付与

した

SVD++を提案している [21]．暗黙的評価とは，評価値以外から得られるユーザの嗜好のこと

で，Webサイト利用時のクリックの履歴，アイテムを閲覧していた時間などを評価として扱う

[3]．

SVD++と式 (2.14)

のような標準的な行列分解を比較して，予測精度が向上したことを報告している

[21]．

Sarwar

らは，特異値分解（Singular Value Decomposition; SVD）を利用した手法を提案し，少ない評価情報において予測精度が，2.1.1項で説明した近傍ベース協調フィルタリングよりも向上することを示している

[34]

．

SVD

では，評価値行列

S

は，ユーザ行列

U

・特異値行列

Σ

・アイテム行列

V

の

3

つの行列の積により計算される．ここで，

Σ

は

k × k

の対角行列で，対角成分は特異値と呼ばれる．

S = U ΣV ^T (2.15)

Lee

らは，行列分解における潜在因子行列を，非負値で更新する

NMF（Non-negative Matrix Fac- torization）を提案している [23]．学習するモデル・目的関数は式 (2.13)，(2.14)

と同じものであるが，最小二乗法などを用いたときの潜在因子行列の更新で，行列の成分が負にならない制約をかける．画像処理の分野では，人の顔の画像を分解した際に，潜在因子行列が顔のパーツを捉えられてお

り

[22]，解釈性の高い行列分解法であると考えられる．情報推薦では，評価値行列から各ユーザ・ア

イテムの潜在因子行列を非負で生成することにより，ユーザやアイテムの評価傾向を表現した行列に

(12)

図

2.3: Factorization Machines

における特徴ベクトル

なると言われている

[38]．通常の行列分解の場合，ユーザのアイテムに対する興味あり/無しを学習

する場合は，ある潜在因子が負の働きをする可能性があるが，NMFでは非負であるため起こりえない．そのため，ユーザ・アイテムの嗜好（好き/嫌い）を表す因子ではなく，評価傾向や特徴を捉えた因子が生成されやすいと考える．

Salakhutdinov

らは，確率的なアプローチにより行列分解を扱う

PMF

（

Probabilistic Matrix Fac- torization

）を提案している

[36]

．

PMF

では，ユーザによるアイテムへの評価値と予測評価値との残差

s _i,j − u ^T _i v _j

が正規分布に従うと仮定し，ユーザとアイテムの潜在因子行列

U

，V から，評価値行列

S

の生起確率を式

(2.16)

のように定義する．

p(S | U, V, σ ² ) =

∏ N i=1

∏ M j=1

[

N(s _i,j | u ^T _i v _j , σ ² ) ] I

_i,j

(2.16)

ここで，N(x

| µ, σ ² )

は，平均

µ，分散 σ ²

の正規分布を表し，I

_i,j

はユーザ

x i

がアイテム

y j

に対して評価を付けたときに

1，そうでないとき 0

になる関数である．この確率の対数尤度が最大となる

U

，

V

を求める．

PMF

は，評価値行列がスパースな場合でも適切な推薦が可能であるが，潜在因子数を少なくすると推薦精度が低下してしまうことが報告されている

[36]

．

Rendle

は，行列分解にサポートベクターマシーンの利点を組み合わせた

Factorization Machines

を提案している

[30]．テンソルで表されるデータに対してモデルを構成することができるため，評価

値だけでなく，ユーザの評価履歴やブックマークのような暗黙的評価，評価した時期なども利用できる．特徴ベクトル

p

の例を図

2.3

に示す．各行が，nを総評価数としたときの，あるユーザとアイテムの対に対する特徴ベクトル

p ^(z) = (p _z,1 , p _z,2 , · · · , p _z,n ) ^T

（z

= 1, 2, · · · , n）を表し，各列が特徴量

を表す．図

2.3

では，ユーザ・アイテムの情報以外に，当該ユーザがアイテムを評価した順序に関する情報と，前回評価したアイテムを特徴として付与している．予測評価値

s(p ˆ ^(z) )

は，式

(2.17)

を利

(13)

用して求める．ここで，nは特徴数（列数），w

₀

はバイアス項，w

_i

と

q i

はそれぞれ

i

番目の特徴量に関する重みと潜在因子ベクトルを表す．kをベクトル

q i

の次元数としたとき，<

q i , q j >

は，二つの潜在因子ベクトルの内積を表し，式

(2.18)

により計算される．これにより，二つの特徴量がどの程度関連しているかが表現される．

ˆ

s(p ^(z) ) = w 0 +

∑ n i=1

w i p z,i +

∑ n i=1

∑ n j=i+1

< q i , q j > p z,i p z,j (2.17)

< q i , q j >=

∑ k f=1

q i,f · q j,f (2.18)

式

(2.17)

におけるモデルパラメータ

w 0

，w

_i

，q

_i,f

を，実際の評価値と予測評価値の二乗誤差が最小となるように，確率的勾配降下法などを用いて最適化する．

Factorization Machines

は，スパースなデータセットを密なデータに変換でき，モデルパラメータ

数に依存した線形時間でモデルを学習できることを報告している．評価実験では，次元数

k

を増加することによって，サポートベクターマシーンをそのまま情報推薦に適用した場合よりも精度が向上したことを示している

[30]．また，テンソルベースの情報推薦手法である PITF（Pairwise Interaction Tensor Factorization）[31]

と比較して，テンソルの推薦精度と同等の効果が得られたことを示している

[30]．

2.2.2 行列ベース協調フィルタリングにおける機械学習

本項では，行列ベース協調フィルタリングの代表的な最適化手法である確率的勾配降下法

[21]

と交互最小二乗法

[43]

を中心に説明した後，提案手法で用いる

BPR [29]

について説明する．

モデルパラメータを

u _i

，v

_j

とし，ユーザ

x _i

がアイテム

y _j

に対する評価値

s _i,j

とモデルから得られる予測評価値の二乗誤差の総和

E(u _i , v _j )

を式

(2.19)

に示す．

E(u _i , v _j ) = ∑

s

_i,j

∈ S

_train

(s _i,j − u _i v ^T _j ) ² (2.19)

式

(2.19)

を微分し，勾配を

0

にすることで，二乗誤差の最小値を求める．式

(2.19)

における

u _i

，

v _j

に関する微分は式

(2.20)，(2.21)

で表される．

∂E(u _i , v _j )

∂u i

= − 2 ∑

s

_i,j

∈ S

_train

v _j · (s _i,j − u _i v _j ^T )

∝ − ∑

s

_i,j

∈ S

_train

v _j · (s _i,j − u _i v ^T _j ) (2.20)

(14)

∂E(u i , v j )

∂v _j = − 2 ∑

s

i,j

∈ S

train

u i · (s i,j − u i v ^T _j )

∝ − ∑

s

i,j

∈ S

train

u i · (s i,j − u i v ^T _j ) (2.21)

式

(2.20)，(2.21)

を利用し，勾配が小さくなる方向へ，u

_i

，v

_j

の値を更新していく．更新式は式

(2.22)，(2.23)

で表される．ここで，ηは学習率と呼ばれ，ηの値が大きいほど収束は早くなるが発

散する恐れがある．反対に，

η

が小さすぎると収束が遅くなる．

u i ← u i − η ∑

s

i,j

∈ S

train

∂E(u i , v j )

∂u i

= u i + η ∑

s

i,j

∈ S

train

v j · (s i,j − u i v ^T _j ) (2.22)

v j ← v j − η ∑

s

i,j

∈ S

train

∂E(u _i , v _j )

∂v j

= v j + η ∑

s

i,j

∈ S

train

u i · (s i,j − u i v ^T _j ) (2.23)

式

(2.22)

，

(2.23)

では，一回の更新でトレーニングデータ全てに対して計算する必要がある．その

ため，トレーニングデータが莫大になると計算コストが大きくなってしまう問題がある．その問題点を解決するために，確率的勾配降下法では，一つのトレーニングデータ

s _i,j

をランダムに抽出し，

その勾配を計算して更新を行う

[21]．式 (2.24)，(2.25)

を，ユーザ行列

U

，アイテム行列

V

の値が収束するまで繰り返すことで，式

(2.19)

を最小化する．

u _i ← u _i + η v _j · (s _i,j − u _i v ^T _j ) (2.24)

v j ← v j + η u i · (s i,j − u i v _j ^T ) (2.25)

交互最小二乗法

[43]

では，行列の観点で二乗誤差を扱う．ユーザ行列

U

，アイテム行列

V

の積によって得られる予測評価値行列と評価値行列

S

の二乗誤差は式

(2.26)

で表される．

E(U, V ) = (S − U V ^T ) ² (2.26)

二乗誤差を最小化するために，式

(2.26)

において，

U

，

V

どちらか一方を定数と見立て，

E(U, V ) = 0

を解く．求められた

U

，V を新しい値として更新していくことにより，U，V が収束することが知ら

れている

[43]．具体的な学習ステップを以下に示す．

(15)

Step. 1

ユーザ・アイテム行列

U

，V を初期化する．

Step. 2 U

を定数として，式

(2.26)

を

V

に対して解き，V を求められた値に更新する．

Step. 3 V

を定数として，式

(2.26)

を

U

に対して解き，

U

を求められた値に更新する．

Step. 4 Step.2

，

Step. 3

を

U

，

V

が収束するまで繰り返す．

Koren

らは，確率的勾配降下法の方が，交互最小二乗法より簡単に実装でき，計算時間も早いが，

計算の並列化をする場合やデータセットが密な場合は，交互最小二乗法が有効であることを報告している

[21]．

BPR [29]

では，評価値と予測評価値の誤差を小さくすることが目的ではなく各アイテムに対する

ユーザの好みの順序関係を利用して，ユーザが好むアイテムのランキングを求める．ユーザ

x i

の推薦リストにおける理想的なランキング（アイテムの順序関係）を

> i

，モデルパラメータを

Φ

とする．

Φ

の事後確率

p(Φ | > i )

を，ベイズの定理により式

(2.27)

で表す．

p(Φ | > i ) ∝ p(> i | Φ)p(Φ) (2.27)

式

(2.27)

における右辺の対数尤度

ln p(> i | Φ)p(Φ)

を最大化するモデルパラメータ

Φ

を求める．求められた

Φ

から予測評価値を計算することで，推薦リストを作成する．具体的な学習方法やアルゴリズムは，3.4節において提案手法と合わせて説明する．

2.2 価値観

価値観とは，物事の重みづけの体系のことである．ユーザの嗜好や意思決定に影響を与える要因として知られており，マーケティングや

Web

インテリジェンスといった分野において利用されている

[18, 41]

．また，価値観を情報推薦へ応用したアプローチ

[5, 15, 39]

がこれまでに提案されている．

本節では，情報推薦システムにおける価値観のモデル構築方法や，情報推薦手法に価値観を導入したアプローチについて紹介する．

2.2.1 価値観モデル

Hattori

らは，情報推薦システムにおける価値観をアイテムの属性に対するこだわりと定義し，価

値観に基づくユーザモデルの構築方法を提案している

[15]

．アイテムの属性とは，映画を例にとると，ストーリーや演出，音楽といった評価のポイントとなる情報のことを指す．

価値観に基づくユーザモデルの構築には評価一致率（RMRate; Rating Matching Rate）が利用さ

れる

[15]．ユーザが，アイテムまたはアイテムの属性に対して与える評価の好評/不評を評価極性と

する．評価一致率とは，価値観を定量的に表す指標で，ユーザのアイテムに対する総合評価の評価極

(16)

性と，そのアイテムの属性の評価極性が一致する割合として定義される．ユーザ

x i

のアイテムに対する総合評価の評価極性と，アイテムの属性

a k

に対する評価極性が一致する回数を

O i,k

，一致しない回数を

Q i,k

とすると，x

_i

における

a k

の評価一致率

u i,k

は，式

(2.29)

で表される．

u i,k = O i,k

O _i,k + Q _i,k (2.29)

評価一致率の値は

1

に近いほど，ユーザはその属性に対してこだわりが強く，

0

に近い場合は推薦において重要ではない属性であるとみなす．例えば，ユーザがストーリーに高評価を与え，演出や音楽には低評価を与えたが，アイテム自体には高評価を与えたとき，ストーリーに対する評価一致率の値は大きくなりそのユーザはストーリーにこだわりが強いと考えられる．評価一致率を利用した価値観に基づくユーザモデルでは，少ない評価件数でも安定したモデルの構築が可能と報告されている

[15]．

山口らは，価値観に基づくアイテムモデルに対して，評価一致率を拡張したリフト値を利用した価値観モデルを提案している

[6, 39]．評価一致率では，好評と不評を区別せずに，ユーザがアイテムに

与えた総合評価の評価極性と，アイテムの属性に対する評価極性が一致した回数を利用しているが，

リフト値を利用したアイテムモデルの構築では，ユーザのアイテムに対する好評

/

不評とアイテムの属性に対する好評

/

不評の組み合わせ

4

通りに分けて扱う．

P (X )

を事象

X

の生起確率とすると，リフト値は式

(2.30)

で定義される．

lift(X ⇒ Y ) = P(X ∩ Y )

P (X)P (Y ) (2.30)

リフト値は，

Y

の生起確率が条件

X

によって何倍増加したかを表し，相関ルールの評価指標の一つとして用いられる

[9]

．アイテムモデルの計算では，式

(2.29)

において，ユーザがアイテムに与えた総合評価の評価極性と属性の評価極性をそれぞれ

X

と

Y

に対応させる．ユーザのアイテム

y j

に対する総合評価の評価極性が

p _t ∈ { pos, neg }

となる事象を

X _j ^t

，属性

a _k

の評価極性が

p _a ∈ { pos, neg }

となる事象を

X _j,k ^a

とする．y

_j

の

a _k

に対するリフト値

lift _j,k

は，式

(2.31)

で表される．

lift _j,k (p a ⇒ p t ) = P(X _j,k ^a ∩ X _j ^t )

P (X _j,k ^a )P (X _j ^t ) (2.31)

リフト値を利用したアイテムの価値観モデルは，推薦説明の生成に有効で，ユーザのシステムに対する満足度や理解度を向上させられることが報告されている

[39]．

本論文では，価値観に基づくアイテムモデルの生成において，好評と不評を区別した好評/不評一致率を扱う．y

_j

に対する総合評価と

a k

に対する属性評価において，好評で一致した回数，不評で一致した回数を

P os j,k

，

N eg j,k

，

y j

における好評の数，不評の数を

M

，

N

とすると，

y j

の

a k

に対する好評一致率

v p

_j,k，不評一致率

v n

_j,k は式

(2.32)

，

(2.33)

で表される．

(17)

v p

_j,k

= P os i,k

M (2.32)

v n

_j,k

= N eg i,k

N (2.33)

2.3.2 価値観に基づく情報推薦手法

本項では，前項で述べた価値観に基づくユーザ・アイテムモデルを，内容ベースフィルタリングや近傍ベース協調フィルタリングに導入した情報推薦手法について述べる

[5, 15, 39]．

Hattori

らは，内容ベースフィルタリングに価値観を導入し，属性ベース推薦と属性値ベース推薦

の

2

通りのアプローチを提案している

[15]．属性ベース推薦では，推薦対象ユーザのこだわりが強い

属性に対して好評を与えたユーザが多いアイテムを推薦する．属性値ベース推薦では，推薦対象ユーザが好評を与えたアイテムにおいて，推薦対象ユーザのこだわりが強い属性に対する属性値を抽出し，その属性値を持つ任意のアイテムをユーザに推薦する．属性値とは，ジャンルに対する「

SF

」や

「アクション」のことを指す．これら二つのアプローチで，ユーザが好評としたアイテムの属性値をランダムに選択して，その属性値を持つ任意のアイテムを推薦する手法と比較した結果，推薦精度が向上し，cold-start問題に対して有効であることを報告している．

三澤らは，2.1.1項で述べたユーザベース協調フィルタリングに価値観を導入した手法を提案して

いる

[4, 5]．近傍ベースのアプローチでは，ユーザのアイテムに対する評価値に基づき類似度を計算

するが，この手法では推薦対象ユーザと他ユーザの各属性に対するこだわりの強さ（評価一致率）に基づき類似度を計算し，こだわりが類似しているユーザが好むアイテムを推薦する．Aを属性の集合，u

_i,k

をユーザ

x i

の属性

a k

に関する評価一致率，

u ¯ i

を

x i

の全ての属性に対する評価一致率の平均とする．

x i

，

x j

におけるこだわりの強さの類似度

p i,j

は

Pearson

相関を用いて式

(2.30)

で計算される．

p i,j =

∑

a

_k

∈ A

(u i,k − u ¯ i )(u j,k − u ¯ j )

√ ∑

a

_k

∈ A

(u _i,k − u ¯ _i ) ² √ ∑

a

_k

∈ A

(u _j,k − u ¯ _j ) ²

(2.30)

x _i

が未評価のアイテム

y _j

に対して，y

_j

を評価済みのユーザ集合を

U _j

とすると，x

_i

に対する

y _j

の予測評価値

s ˆ _i,j

は式

(2.31)

で計算される．

(18)

ˆ s _i,j =

∑

u

_k

∈ U

_j

p _i,k s _k,j

∑

u

_k

∈ U

_j

p _i,k

(2.31)

式

(2.31)

で計算された

ˆ s i,j

の値を降順に並べアイテムの推薦リストを作成する．

三澤らは，近傍ベース協調フィルタリングと比較し，評価件数が少ないユーザでも，ユーザ間類似度の算出が可能になるため，

cold-start

問題に有効であることを示している

[5]

．

Takama

らは，前述のリフト値を利用したアイテムの価値観モデルをアイテムベース協調フィルタ

リングに適用したアプローチを提案している

[39]．L = { a ₁ , a ₂ , · · · , a ₄ _×| _A _| }

をリフト値に対する属性集合，l

_j,k

を

y _j

の

a _k

に対するリフト値，

¯ l _j

を

y _j

に対する全リフト値の平均とする．ここで，4種類のリフト値を利用しているため，Lのサイズは属性数の

4

倍になっている．y

_i

，y

_j

の類似度

p i,j

は式

(2.32)

で表される．

p _i,j =

∑

a

_k

∈ L

(l _i,k − ¯ l _i )(l _j,k − ¯ l _j )

√ ∑

a

k

∈ L

(l i,k − ¯ l i ) ² √ ∑

a

k

∈ L

(l j,k − ¯ l j ) ²

(2.32)

ユーザ

x i

が評価したアイテムの集合を

V i

とすると，x

_i

の

y j

に対する予測評価値

s ˆ i,j

の計算は式

(2.33)

で表される．

ˆ s i,j =

∑

v

_k

∈ V

_i

p _j,k s _i,k

∑

v

_k

∈ V

_i

| p j,k | (2.33)

Sarwar

らのアイテムベース協調フィルタリング

[35]

と比較し，推薦説明の生成における有効性を

示した他，ロングテールのアイテムに対する推薦に対して効果が期待できることを報告している．

(19)

3 ^提案手法

3.1 ^{予測スコアの計算}

本節では，ユーザとアイテムに関するモデルを，2.3.1項で述べた評価一致率，好評/不評一致率を用いて行列として構築する方法について述べる．

ユーザの価値観モデルは，好評と不評を分けず，属性ごとの評価一致率で表現する．これは，一般的にユーザ当たりの評価情報はアイテム当たりの評価情報よりも少ないため，好不評に分けてしまうとデータ量が不足することが予測されるためである．それに対しアイテムの価値観モデルは，多数のレビューが投稿されているアイテムが一定数存在することが期待できる．先行研究においても好評と不評を区別して評価一致率を求めることで，協調フィルタリングの推薦精度向上や，推薦説明の生成において有効性が示されている

[39]

．そこで，提案手法ではアイテムの価値観モデルにおける評価一致率を好評の場合，不評の場合の

2

種類に分けて求める．

N

人からなるユーザ集合を

U

，

L

個からなる属性の集合を

A

とし，ユーザ

x i ∈ U

の属性

a j ∈ A

に対する評価一致率を

u _i,j

とする．評価一致率

u _i,j

を要素とする，N

× L

のユーザ行列

M _U

は式

(3.1)

で表される．各行がユーザモデルに対応する．

M _U =



 



u 1,1 u 1,2 . . . u 1,L

u 2,1 u 2,2 . . . u 2,L

.. . .. . . . . .. . u _N,1 u _N,2 . . . u _N,L



 



(3.1)

M

個のアイテムの集合を

V

，アイテム

y _i ∈ V

の属性

a _j

に対する好評/不評一致率をそれぞれ

v _i,j

，

v i,L+j

（Lは属性数）としたとき，M

× 2L

のアイテム行列

M V

は式

(3.2)

で表せる．1列目から

L

列目までが好評一致率，L

+ 1

列目から

2L

列目までが不評一致率を表し，各行がアイテムモデルに対応する．

M V =



 



v _1,1 v _1,2 . . . v _1,L v _1,L+1 . . . v _1,2L

v _2,1 v _2,2 . . . v _2,L v _2,L+1 . . . v _2,2L .. . .. . . . . .. . .. . . . . .. . v M,1 v M,2 . . . v M,L v M,L+1 . . . v M,2L



 



(3.2)

ユーザとアイテムに関する行列の他に，ユーザモデル，アイテムモデル間の関係を表現する行列

M R

（関係行列）を導入する．

M R

を適切に設定することにより，ユーザモデルとアイテムモデル間の属性の対応関係を考慮し，適切にマッチングすることを目指す．

M R

についての詳細は

3.2

節で説明する．

(20)

図

3.1:

提案手法における予測スコアの計算例

提案手法では以上の

3

つの行列の積を求めることにより，行がユーザ，列がアイテム，各成分が予測スコアの行列を計算する．予測スコアを表す行列

S

は式

(3.3)

により表せる．

S = M _U × M _R × M _V ^T (3.3)

推薦時には，ユーザの予測スコアが最大のアイテムから降順に並べることで推薦リストを作成する．

式

(3.3)

では，ユーザのこだわりが強い（評価一致率が

1

に近い）属性や，アイテムにおける評価

に強い影響を与える重要な（好評/不評一致率が

1

に近い）属性は，積をとるとスコアに影響が出やすい．一方で，ユーザが重視しない（評価一致率が

0

に近い）属性やアイテムにおける評価に影響を及ぼさない重要でない（好評

/

不評一致率が

0

に近い）属性は，積をとると

0

に近づくため予測スコアに関与しにくい．従って，ユーザのこだわりの強い属性と，アイテムにおいて重要な属性が一致するほど値が大きくなる．予測スコアの計算例を図

3.1

に示す．図

3.1

では，説明を簡単にするため，アイテムの価値観モデルも評価一致率の行列

M _v ^′

としており，関係行列は単位行列として予測スコアの計算は

S = M _u × M _v ^′ ^T

としている．

行列分解のアプローチと比較した提案手法の利点として，モデルの解釈性が高いことが挙げられる．行列分解のアプローチでは潜在因子が何を表現しているのが解釈が困難であり，ユーザが提示されたアイテムに対して，何を根拠にそのアイテムが推薦されたのかを理解しにくい．それ対し，提案手法はアイテムの評価属性を扱っているため解釈が容易であり，ユーザへの推薦説明の生成などに有効性が期待できる．

(21)

3.2 関係行列

本節では，関係行列

M R

について，好評一致率と不評一致率の特性を考慮した利用方法や行列の成分の設定方法について述べる．

好評一致率に対応する成分を正，不評一致率に対応する成分を負の値にすることにより，アイテムの予測スコア計算時に，好評一致率が大きい属性は属性に対するスコアが上昇し，不評一致率が大きい属性はその属性に対するスコアが減少する．これは，好評一致率が大きい属性を持つアイテムは，

その属性に対してこだわりを持つユーザに推薦されやすくなり，不評一致率が大きい属性を持つアイテムは，その属性にこだわりを持つユーザに推薦されにくくなることを意味する．図

3.2

に示す例では，アイテム行列

M _u

と積をとった結果，アイテムモデルの好評に対応する成分は正，不評に対する成分が負の値になっていることがわかる．

図

3.2:

関係行列の利用例

M R

の設定方法について，手動で成分を設定する方法と，機械学習により自動で生成する方法を提案する．手動で成分を設定する方法では，上述した

M _R

の利用方法を基に設定する．機械学習により自動で生成する方法では，確率的勾配降下法

[21]

を用いて真値と予測スコアの二乗誤差を最小化することにより生成する方法と，BPR [29]に基づき不評・未評価のアイテムより好評のアイテムの予測スコアが高くなるように事後分布を最大化して生成する方法を提案する．本節では，提案手法の基本的な考え方である手動による設定について述べる．機械学習による生成方法は

3.3，3.4

節で説明する．

L × 2L

行列の

M R

は

w k,l

を成分として，式

(3.4)

で表される．

M R =



 



w _1,1 w _1,2 . . . w _1,L w _1,L+1 . . . w _1,2L

w _2,1 w _2,2 . . . w _2,L w _2,L+1 . . . w _2,2L .. . .. . . . . .. . .. . . . . .. . w L,1 w L,2 . . . w L,L w L,L+1 . . . w L,2L



 



(3.4)

異なる属性間の関係について，手動で値を設定するのは困難であるため，手動による方法では好評一致に対応する成分の対角成分

α

と不評一致率に対応する成分の対角成分

β

のみを用いて，

M R

D

を式

(3.5)

で表す．M

_R

_Dの行がユーザに対応し，列がアイテムに対応する．

Study on Matrix Based Collaborative Filtering Employing Personal Values

2018 年度 修士論文

価値観に基づく行列ベース 協調フィルタリングに関する研究