PDFファイル 3H3OS24a オーガナイズドセッション「OS24 Deep Learning 」

(1)

The 28th Annual Conference of the Japanese Society for Artificial Intelligence, 2014

- 1 -

Deep Collaborative Filtering

Deep Learning

技術

応用

The application of Deep Learning in Recommender System

川

和也

*1

松尾

豊

*2

Kazuya Kawakami Yutaka Matsuo

*1

東京大学工学部

創成学科

Program for Social Innovation, The Department of Engineering, The University of Tokyo

*2

東京大学工学系研究科

Department of Technology Management for Innovation, The University of Tokyo

Recently, the new machine learning algorithms called Deep Learning has attracted attention. However, they have not been applied to the tasks of Web, such as Recommender System. This is because difficulties in learning sparse data and handling of data which contain missing values. In this study, we propose a recommendation technique that can learn users’ preferences. The key idea of proposed method is to remove the effects of fluctuations in the preferences of each user/item before applying Deep Learning. This paper provides finding that it is necessary to centralize preference data when recommender system tries to learn from data that is sparse and contain missing values.

1. じめ

近 , Deep Learning 呼機械学習注目

集い . Deep Learning , 多ワ

(DNN) 学習高表現獲得

知 , 画像認識, 物体認識, 音声認識,

化合物活性予測精度競う数々ンン過去

記録大幅塗えい , 画像や音声以外分

応用研究課題い .

Deep Learning 適用進いい分 1 情

報推薦あ . 情報推薦 , 得

行動歴やビ嗜好推定

あ . 推薦際使用嗜好 , カ

好あ , 全体好いうう階的構造

い考え , ワ状

段階的特徴抽出う階的表現

学習期待 .

, Deep Learning 技術推薦適用研究

行わいい. 原因 , 情報推薦用い嗜

好非常疎損値含あ , 全体

的高い評点や, 全体的高い評価う

評価値ゆや偏含あい

嗜好特有問題あ考え .

本研究 Deep Learning 技術用い推薦手法提案

目的 , 評価値含ゆや偏取除

用い推薦特有前処理あ中心化 Deep

Learning 組合わ手法提案 , Movie Lens 100K 呼

用い評価実験行 . 中心化用い

い手法 , 予測値均乗誤差 (RMSE) 1.9 程度 ,

学習進対 , 中心化施後 Deep

Learning 入力手法 RMSE = 0.98 , 協調

ン法回性能得 . , 中心化行

単ワ行予測 RMSE =

1.03 あ対 , 2 DNN RMSE = 1.01, 3

DNN RMSE = 0.984 性能向

い確認 .

研究 , 評価値揺対情報推薦一般的

用い中心化呼前処理有効あわ

, , 1 ン Pre-Training 用い

, 嗜好階性捉え学習行い, 性能

向いいう知見得 .

本論文 , 2 章 , 行わ Deep

Learning 技術び基礎技術情報推薦応用手法

い述 . 3章 , 本研究提案中心化

施 Deep Learning 手法い述 . 4 章 ,

Movie Lens 100K 対提案手法適用

評価実験結果示 , ン協調ン

法結果比較行うえ , 提案手法有効性考察 .

2.

3. 提案手法

3.1 Deep Learning 技術単純適用

情報推薦対 , 単純 Deep Learning 適

用手法 , i 評価 j 評点rij 成分

- 行列R 各行ri DNN 入力 , 入

力=出力う学習手法あ考え . ri 成分

値 , 1 5 連続値あ , 連続値学習

線形入力出力い, 入力, 出力元数 ,

数同 . 具体的入力 , ( 5, 0, 0 ... 3, 0 )

う . うン行う , 1 1

rij 対自分自身値出力う

ン , ン行う ' 他

情報映 . ン終了後, 各 ri

ワ入力 , ワン

, 別情報含用い自分自身再現

r~i 得 , 予測 . 評価指標 , 予測

値正解均乗誤差 (RMSE) .

Deep Learning 様々あ , 本実験 ,

連続値柔軟扱う Auto-Encoder

用い . , 効果 , 学習

方法違い性能及影響知 , 以う手法

比較 . 各概要述 .

Auto-Encoder (AE)

AE , ワい入力＝出力う

恒等写像学習手法あ . AE 入力 , 隠 , 出力

, 入力隠い低元表現ン

行い, 隠出力 , 入力再構成

(Reconstruction) う学習 . 線形 3

AE 2乗 Reconstruction-Error 小化学習場

合主成分分析全同一 , 隠表現主成分

当 , ワ用い非線

形変換行う , 高表現獲得考え

い . 具体的 , 入力 x Wvis 隠 z

ン , Whid 出力 y 場

合 y, z

z = σ( Wvis x+ bvis ) y = σ( Whid z+ bhid )

う表 , 入力出力 2 乗誤差小化う

ンあ . 本実験 , 活性化関数

関数 , 入力出力間用い 1 隠い ,

数 10, 100 2 ン実験行 .

Denoising Auto-Encoder (DAE)

Denoising Auto-Encoder , Auto-Encoder 汎化能力獲得方

法 1 あ . 隠構成い , Auto-Encoder 同

様 , 分布生成用い

一部無効 . 際用い分布

Corruption Rate (p) p = 0.3, 0.5 用い . Stacked Auto-Encoder (SAE)

SAE , AE 入力近い 1 Pre-Training

全体 Fine-Tuning あ . 隠数2

3 2 実験行い, 各含数

100 .

Stacked Denoising Auto-Encoder (SDA)

SDA , SAE ン際, DAE 行う ,

一部無効化同時行うあ . 構

成 SAE 同 100個含 2 , 3 ン ,

Corruption Rate (p) DAE 同 p = 0.3, 0.5 .

調整他あ , 今回記

変更 , 学習手法確率的勾配降法 (SGD) 用い, 学習

(3)

- 3 - 3.2 中心化を用いた提案手法

中心化前処理行う手法実験手法い述 .

先述通 , DNN - 行列r ,

均差引い

rij' = rij - bj

入力手法実験 . 具体的入力値 , あ i

j 対評点 rij = 4 , j い評点

均 bj = 1.2 場合, 入力値 rij' = 4 - 1.2 = 2.8 . 予

測値い , ワ出力値 r

~ ij'

均え

r~ij = r~ij' + bj

予測値 . 例え , 先例用い i j

対評点均引い rij' 対応予測値

r~ij' = 2.2 あ , 値対あ差引

いい j い評点均bj =1.2 え r

~ ij =

2.2 + 1.2 = 3.4 . 入力以外 3.1 変更え実験

行い, 比較効果検証 . 各手法設定

3.1 同様 .

4. 実験

(1) ータセッ

本研究用い Movie Lens-100K , 映画推薦ビ

Movie Lens い映画 5 段階評価記録

集あ , 情報推薦検証

用い標準的あ . 概要表1

. 実験 , 80% 訓練 , 残 20%

.

表1 Movie Lens 100K 概要

目 Movie Lens 100K

ン www.movielens.org

集期間 Sept. 20, 1997 – Apr. 22, 1998

種類 5段階評価

数 943

(映画)数 1682

評価数 100,000

度 93.5%

(2) ベースライン手法

本研究ン , 各対

評点rij 1 5 ン値方法全評点

均方法(全体均), 予測対象評点

均方法( 均), 予測対象評点

均方法( 均), k-近傍法用い協調

ン用い . 協調ン法(CF) ,

均, 均用い , 近傍用い

20, 30人用い . ン手法実験結果

表2 .

表2 ン手法実験結果

手法 RMSE

ン 1.892

全体均 1.124

均 1.073

均 1.063

CF ( 均, k=20) 1.061

CF ( 均, k=30) 1.055

CF ( 均, k=20) 1.051

CF ( 均, k=30) 1.053

(3) 結果

各予測値正解均乗誤差(RMSE) 計

測結果表3, 4 .

表3 Deep Learning 単純適用場合実験結果

実験手法 RMSE

AE(10) 1.942

AE(100) 1.940

DAE(10, p=0.3) 1.944

DAE(10, p=0.5) 1.942

DAE(100, p=0.3) 1.956

DAE(100, p=0.5) 1.909

SAE(100-100) 1.961

SAE(100-100-100) 1.953

SDA(100-100,p=0.3) 1.963

SDA(100-100,p=0.5) 1.960

SDA(100-100-100,p=0.3) 1.964 SDA(100-100-100,p=0.5) 1.953

表4 中心化用い提案手法実験結果

実験手法 RMSE

AE(10) 1.033

AE(100) 1.031

DAE(10, p=0.3) 1.021

DAE(10, p=0.5) 1.020

DAE(100, p=0.3) 1.012

DAE(100, p=0.5) 1.017

SAE(100-100) 1.005

SAE(100-100-100) 0.984

SDA(100-100,p=0.3) 0.990

SDA(100-100,p=0.5) 0.944

SDA(100-100-100,p=0.3) 0.944 SDA(100-100-100,p=0.5) 1.001

(4) 考察

本研究行実験結果, 嗜好直接 DNN 学

習 , 予測値均乗誤差(RMSE) 小い場

合 1.909 大単純ン手法性能悪

. , 出力値や 5 以値

う , , 影響大 , 学習

進い原因あ考え . 具体的 , 未評

価値 0 い , 全体評点小

う学習進あ考え .

評価いい値 0 う , 悪い評価あ 1

悪い評価 . 一方, 中心化行う , 評

価いい商品好嫌いい中間評価取

扱う , 嗜好特徴手学習

考え . , SAE(100-100-100) い協調

(4)

- 4 -

, 隠数い考察 . 増や

精度向い , 大変化

得いいわ . 原因 , 隠

10 個あ程度表現い

考え .

多効果い考察 . えいAE

多 , 性能向い

分 . 同様 , p = 0.3 場合精度

向 , p = 0.5 場合 2 3 際性能

落い . 掛方ン性

あ , 一概いえい , 入力破壊

特徴手学習出来考え .

5. まとめ

本研究 , 情報推薦応用い

Deep Learning 技術情報推薦適用手法提案 ,

実験性能評価行 .

映画対評点予測対象 , 生

直接学習単純適用行い, 単純適用 , 既存手法

一般的協調ン法回性能得い

確認 . , 情報推薦特有中心化呼前

処理施入力学習行う , 協調

ン法回性能得確認 , 提案手法有効

性確認 .

, 評点大異情報推薦

い , 特徴取除い学習

行う前処理中心化必要あ指摘 , 考察

え .

本研究実験 , ワン

際 , 数汎化能力獲得入力

壊際 Corruption Rate 用い , 他誤差関数,

初期化方法, 学習計画設定性能影響与え

考え多あ . 本研究実験 , 協調

ン法回性能得確認 , 今後

他い細設定 ,

性能向見込考えい .

, 今回標準的映画対 5

段階評価含 Movie Lens-100K 用い , 大規模

適用や, 5 段階離散値い, 閲覧数連

続値与え場合, ンキ情報考慮場合適

用手法関検討いい.

参考文献

[LeCun 1998_] LeCun, Yann, et al. : "Gradient_{-based learning}

applied to document recognition." Proceedings of the IEEE

86.11 ,1998

[Waibel1989_] _{Waibel, Alex, et al. : "Phoneme recognition using}

time_{-delay neural networks." Acoustics, Speech and Signal}

Proce_{ssing, IEEE Transactions on 37.3, 1989}

[Taylor 2009] Taylor, Graham _{W., and Geoffrey E. Hinton.}:

"Factored conditional restricted Boltzmann machines for

modeling motion style." Proceedings of the 26th annual

international conferenceon m_{achine learning. ACM, 2009}

[Hinton 2009_]_{Hinton, Geoffrey E., and Ruslan Salakhutdinov.}

_"Replicated softmax: an undirected topic model." Advances in

neural infor_{mation processing systems. 2009}

[Van 2013_]: Van den Oord, Aaron, Sander Dielemanand

BenjaminSchrauwen: _{"Deep content-}based music

recommendation_",Advances in Neural Information

Processing Systems, 2013

[Salakhutdinov 2007_]_{Salakhutdinov, Ruslan and Andriy}_Mnih

and GeoffreyE.Hinton: _"Restricted Boltzmann machines for

collaborative filtering", Proceedings of the 24th international