パーソナライズ情報提案エージェントのユーザ嗜好学習に関する一考察
6
0
0
全文
(2) す る 等 の 状 況 に な っ た 場 合 ，ど ち ら の コ ン テ ン ツ が ，ユ ー ザ に と っ て 相 応 し い の か 判 断 す る の は 困 難 で あ る ．そ こ で ， 本 論 文 で 提 案 す る UA は ，マ ル チ プ ル な ユ ー ザ 嗜 好 属 性 の う ち ，そ れ ぞ れ が ど の 程 度 重 要 な 要 素 で あ る か と い う 情 報 を 持 つ ．す な わ ち ， ユ ー ザ 嗜 好 の 各 属 性 (大 項 目 )に 重 み 付 け を 行 う ．大 項 目 重 み 値 の 学 習 に 関 し て は 強 化 学 習 [10]に 基 づ い た 学 習 方 式 に よ り 実 現 可 能 で あ る こ と を 文 献 [4][5][6]に お い て 示 し た ． そ の た め ， 本 報 告 で は ，小 項 目 値 お よ び 小 項 目 重 み 値 に 関 す る UA の 学 習 方 法 に つ い て 述 べ る ．. し な く て も ，コ ン テ ン ツ 利 用 中 の ユ ー ザ の 自 然 な ア ク シ ョ ン (映 像 等 の コ ン テ ン ツ を ク リ ッ プ の 最 後 ま で 鑑 賞 ，映 像 ク リ ッ プ の ス キ ッ プ ／ 巻 き 戻 し ， 表 示 サ イ ズ 変 更 等 )か ら ， 自 動 的 に ユ ー ザ 嗜 好 を 学習し，ユーザの負担を軽減することが可能な， ユ ー ザ 嗜 好 学 習 方 法 を 提 案 し ， UA の 実 現 方 法 を 説 明 す る ．さ ら に ，本 UA お よ び サ ン プ ル ア プ リ ケ ー シ ョ ン と し て の PM サ ー ビ ス を 用 い た 実 験 に よ る 学 習 結 果 の 検 証 と ，そ の 結 果 に 対 す る 考 察 を 述べる．. 2. パ ー ソ ナ ラ イ ズ 情 報 提 案 エ ー ジ ェ ン ト. 表 1 ユーザ嗜好属性 Table 1 User-preference attributes 属 性 (大 項 目 ) 小項目 Actor 63 Tom Cruise Brad Pitt : Genre 22 Horror Action : Price 34 less than 20 yen : : :. 本 節 で は ， UA お よ び CA の 概 要 と ， こ れ ら の エージェントのパーソナライズコンテンツ提案 サービスへの適用について説明する． UA は ユ ー ザ の 代 理 人 と し て ユ ー ザ 嗜 好 に 基 づ い て ふ る ま う ピ ア で あ る た め ，ユ ー ザ お よ び ア プ リケーションからユーザ嗜好学習の材料となる さ ま ざ ま 情 報 を 収 集 し ，ユ ー ザ 嗜 好 を 管 理 し な け れ ば な ら な い ．そ こ で UA は ， ユ ー ザ 嗜 好 を ， ユ ー ザ の 興 味 (好 き な 俳 優 ， ジ ャ ン ル )， プ ロ フ ァ イ ル (年 齢 ， 住 所 )， 環 境 (時 刻 ， 所 持 金 )等 の マ ル チ プ ル な 属 性 (以 後 こ れ ら を ユ ー ザ 嗜 好 属 性 と 呼 ぶ ) に 分 類 す る こ と に よ り ，詳 細 に 表 現 す る ．す な わ ち ，表 1 の よ う な マ ル チ 属 性 か ら 成 る ユ ー ザ 嗜 好 属 性 を 扱 う も の と す る ．マ ル チ 属 性 は ，表 に 示 し た 構 成 で ，適 用 す る サ ー ビ ス に 応 じ て 新 た な 他 の 属 性 を 使 用 可 能 で あ る ． 次 に ， UA は ， ユ ー ザ 嗜 好 に 合 致 す る コ ン テ ン ツ を ， SIONet[7][8][9]等 の 探索ネットワークを用いて発見することが求め ら れ る ．こ の と き ，ユ ー ザ 嗜 好 属 性 と マ ッ チ ン グ 可能なコンテンツ属性がコンテンツに付与され て い る 必 要 が あ る た め ， CA は 表 2 の よ う な 構 成 の コ ン テ ン ツ 属 性 を 扱 う ． そ の 後 ， UA は 探 索 に よ り 発 見 し た コ ン テ ン ツ 群 か ら ，ユ ー ザ に 提 案 す る に 相 応 し い コ ン テ ン ツ の み を 抽 出 し ，パ ー ソ ナ ラ イ ズ す る ． す な わ ち ， UA は ， ユ ー ザ 嗜 好 に 応 じてコンテンツ群をカスタマイズする．さらに， コンテンツの積極的な提案が求められるサービ スにおいては，ユーザに相応しいコンテンツを， UA が 自 動 選 択・表 示 す る 等 の 機 能 も 求 め ら れ る ． 次 に ，ユ ー ザ 嗜 好 に 応 じ た コ ン テ ン ツ の カ ス タ マイズおよび提案を実現する方法ついて述べる． コ ン テ ンツ属 性 お よ び ユ ー ザ 嗜 好 属 性 を UA，CA， コンテンツ提案アプリケーションが共通に把握 できるデータ形式に変換したものを，それぞれ， コ ン テ ン ツ キ ー ワ ー ド (CK)，ユ ー ザ 嗜 好 キ ー ワ ー ド (UPK)と 呼 ぶ ．UA は 発 見 し た コ ン テ ン ツ 群 を パ ー ソ ナ ラ イ ズ す る た め ，CK と UPK を 照 合 し ，コ ンテンツ属性とユーザ嗜好属性との合致度を算 出 し て ，そ の 得 点 の 高 い コ ン テ ン ツ の 順 に ラ ン ク 付 け す る ．こ の と き ，得 点 の 算 出 に は UPK と CK の 属 性 を 構 成 す る ベ ク ト ル (小 項 目 お よ び そ の 重 み 値 )の 内 積 等 に よ り ， 属 性 毎 の 合 致 度 を 求 め る こ と が で き る が ，さ ら に UA は ，マ ル チ 属 性 を 総 合 的 に 判 断 す る 必 要 が あ る ．例 え ば ，発 見 し た コ ン テ ン ツ 群 の う ち ，１ つ は ユ ー ザ の 俳 優 好 み に よ く合致するが他の属性に関しては合致度が低く， 別のコンテンツはユーザのジャンル好みに合致. 表 2 コンテンツ属性 Table 2 Contents attributes 属 性 (大 項 目 ) 小項目 Actor Brad Pitt Meg Ryan : Genre Horror Comedy : Price 10 yen : :. 81 36 : 74 48 : ／ :. 70 50 : 80 30 : ／ :. 3. 基 本 学 習 ア ル ゴ リ ズ ム 本 章 で は ， ユ ー ザ 嗜 好 属 性 に お け る 小 項 目 (詳 細 な ユ ー ザ 嗜 好 情 報 )毎 の 重 み 値 の 学 習 方 法 を 示 す ．映 画 等 の ビ デ オ ク リ ッ プ を 対 象 と し た サ ー ビ ス で あ れ ば ， 俳 優 (Actor) 好 み ， お よ び ジ ャ ン ル (Genre)好 み 等 の 属 性 が あ り ，さ ら に 俳 優 好 み 属 性 の 小 項 目 と し て “Tom Cruise”， “Brad Pitt”， “Meg Ryan”等 の よ う に 詳 細 な 項 目 が 存 在 す る ． こ の 項 目 が 小 項 目 で あ り ，そ れ ぞ れ の 好 み 度 を 示 す 付 加 情 報 と し て 重 み 値 を 付 与 す る こ と に す る ． (音 楽 ク リ ッ プ で あ れ ば ，俳 優 好 み の 代 わ り に ア ー テ ィ ス ト 好 み ，と い っ た 属 性 が 存 在 す る こ と と な る )． こ の よ う な 小 項 目 の 学 習 方 法 と し て ，ユ ー ザ の 行 動履歴に基づいたユーザモデリング手法をベー ス に ，ユ ー ザ に 対 す る 負 担 を 小 さ く し ，か つ ，ユ ーザからの学習材料となる情報を効果的に収集 す る た め ，コ ン テ ン ツ 利 用 中 の ユ ー ザ の 自 然 な ア ク シ ョ ン (映 像 等 の コ ン テ ン ツ を ク リ ッ プ の 最 後 まで鑑賞，映像クリップのスキップ／巻き戻し， 表 示 サ イ ズ 変 更 等 )を 用 い る こ と に す る ． 以 下 の 式 で は ，学 習 回 数 す な わ ち ユ ー ザ の ア ク シ ョ ン に 基 づ く フ ィ ー ド バ ッ ク 数 を n と 表 し ，当 該 ア ク シ ョ ン (n 回 目 の ユ ー ザ の ア ク シ ョ ン )基 づ く 評 価 値 (フ ィ ー ド バ ッ ク 値 )を V n と 表 す ．ユ ー ザ の. −14−. 2.
(3) リ ケ ー シ ョ ン と し て ，プ ロ グ ラ マ ブ ル ム ー ビ ー サ ー ビ ス (PM サ ー ビ ス )を 用 い て ， 3 章 で 示 し た UA のユーザ嗜好基本学習アルゴリズムの妥当性を 検 証 す る ．検 証 方 法 と し て は ，UA が ，PM サ ー ビ ス 利 用 中 の ユ ー ザ の 挙 動 か ら に ，ユ ー ザ 嗜 好 属 性 小 項 目 (詳 細 な ユ ー ザ 嗜 好 情 報 )お よ び そ の 重 み 値 を 学 習 す る ．こ の 学 習 結 果 と ，ユ ー ザ か ら ア ン ケ ートで得た理想的なユーザ嗜好の値とを比較し， 評価する．. 俳 優 好 み 属 性 の 小 項 目 “ Actor j ” に 関 す る 重 み 値 を Au n ( Actor j ) ， 値 域 を −100< Au n ( Actor j )<100 と し ， 正 の 値 は 興 味 が 深 い (フ ァ ン で あ る )こ と を 意 味 し ， 0 は興味なし，負の値は嫌悪していることを表す と す る ．ま た ，ユ ー ザ が 鑑 賞 し た コ ン テ ン ツ に 付 与 さ れ た CK に お け る “ Actor j ” の 重 み 値 を. Ac ( Actor j ) ， 値 域 を −100< Ac ( Actor j )<100 と し ， 正 の 値 は “ Actor j ” が フ ァ ン に 好 評 な 役 柄 で 当 該 コ ン. 4.1. PM サービス. テ ン ツ に 出 演 し て い る こ と を 示 し ，0 は 出 演 無 し ， 負の値はファンに不評な役柄で登場しているこ と を 表 す と す る ． UPK に お け る 小 項 目 重 み 値 Au n ( Actor j ) は ， コ ン テ ン ツ 鑑 賞 中 の ユ ー ザ の ア ク. PM サ ー ビ ス と は ， ユ ー ザ 嗜 好 に 応 じ て 映 像 番 組 の 構 成 を 組 み 立 て ，ユ ー ザ 毎 に 内 容 を カ ス タ マ イ ズ し た 映 像 番 組 を 提 供 す る サ ー ビ ス で あ り ，ユ ーザの嗜好に応じてストーリーの変化するマル チ シ ナ リ オ ド ラ マ や ，好 み の 音 楽 や 映 像 ク リ ッ プ のみを集めたお気に入り音楽／映像集等を提供 可 能 で あ る ． こ の サ ー ビ ス は ， ユ ー ザ の 興 味 (好 き な 俳 優 ，ジ ャ ン ル )，プ ロ フ ァ イ ル (年 齢 ，住 所 )， 環 境 (時 刻 ， 所 持 金 )等 を 総 合 的 に 判 断 し ， 番 組 の 材 料 と し て 利 用 可 能 な コ ン テ ン ツ (ビ デ オ ク リ ッ プ ， テ キ ス ト デ ー タ ， 静 止 画 像 デ ー タ 等 )の 中 か ら ，ユ ー ザ に 提 供 す る に 相 応 し い も の を 自 動 的 に 特 定 し ， ユ ー ザ に と っ て TV 鑑 賞 を し て い る か の ように，コンテンツを連続的にユーザに提供し， 表示していく． PM サ ー ビ ス シ ス テ ム は ， SIONet と ， UA お よ び CA を 用 い て 実 現 さ れ る ． PM サ ー ビ ス ア プ リ ケ ー シ ョ ン は ， ユ ー ザ (視 聴 者 )ピ ア に お い て は ， UA に 学 習 材 料 を 入 力 し ，UA の 提 案 す る コ ン テ ン ツ を 利 用 し て ，多 種 多 様 な コ ン テ ン ツ の 組 み 合 わ せ で 実 現 さ れ る 映 像 番 組 (リ ッ チ コ ン テ ン ツ )を 表 示 す る ．一 方 ，コ ン テ ン ツ 提 供 者 ピ ア に お い て は ， 動 画 や テ キ ス ト ，静 止 画 等 の さ ま ざ ま な メ デ ィ ア の コ ン テ ン ツ を 管 理 し ， UA か ら の 要 求 に 応 じ て CA が ユ ー ザ ピ ア に コ ン テ ン ツ を 配 信 す る ． 図 1 は ，ユ ー ザ ピ ア に お け る PM サ ー ビ ス 表 示 画 面 で あ る ．ユ ー ザ は こ の よ う な ア プ リ ケ ー シ ョ ン 画 面 に 表 示 さ れ る リ ッ チ コ ン テ ン ツ を 鑑 賞 し ，好 み に 応 じ て “そ の ま ま 鑑 賞 し 続 け る ”， “画 面 サ イ ズ 変 更 ”， “ス キ ッ プ ”等 の 操 作 を 行 う ． こ の と き ， PM サ ー ビ ス ア プ リ ケ ー シ ョ ン は ，こ の 画 面 に 対 す る ユ ー ザ の 操 作 ア ク シ ョ ン を UA に 対 し て 入 力 す る ． こ の 操 作 情 報 は UA の ユ ー ザ 嗜 好 学 習 材 料 と な る ． PM サ ー ビ ス に お い て ， 鑑 賞 中 の コ ン テ ン ツ に 対 するユーザの評価値 V とユーザの挙動に関して， 表 3 のような対応関係を定義した． UA に よ っ て 提 案 さ れ た 映 像 コ ン テ ン ツ ( 映 像 番 組 の １ シ ー ン ，あ る い は ，音 楽 の ビ デ オ ク リ ッ プ １ 曲 分 ) を ユ ー ザ が 最 後 ま で 見 た 場 合 は V=1.0 が UA に フ ィ ー ド バ ッ ク さ れ る ．PM サ ー ビ ス は ， TV 放 送 の よ う に ， ユ ー ザ が あ ま り 意 識 し て 操 作 入力を行わなくてもコンテンツが連続的に提供 さ れ る サ ー ビ ス で あ る た め ，一 般 的 に こ の 評 価 に な る こ と が 多 い と 考 え ら れ る ．た だ し ，ユ ー ザ の 興 味 に 合 致 し な い シ ー ン が 登 場 し た 場 合 ，ユ ー ザ に よ っ て ス キ ッ プ 等 の ア ク シ ョ ン が 行 わ れ ，こ の と き V=− 1.0 の 評 価 を 与 え る こ と に す る ．. シ ョ ン 等 に 基 づ い て (1) 式 を 用 い て 随 時 更 新 す る ことができる． (1) Au n ( Actor j ) = Au n −1 ( Actor j ) + Ac ( Actor j ) µVn こ こ で µ は ，現 在 の ユ ー ザ の 好 み を UA の 学 習 デ ー タ に 加 算 す る 際 の 加 算 率 を 意 味 し ，ユ ー ザ の ア ク シ ョ ン に 基 づ く Vn を 調 整 す る た め の パ ラ メ ー タ で あ る ．な ぜ な ら ば ，ユ ー ザ 毎 に ス キ ッ プ 等 の 操 作 に 対 す る 意 味 が 異 な る と 考 え ら れ ，例 え ば 、 好き嫌いにかかわらず頻繁にスキップをするユ ー ザ (頻 繁 に TV の チ ャ ネ ル を 変 更 す る ユ ー ザ と 同 様 )は ， ス キ ッ プ 一 回 あ た り の 評 価 フ ィ ー ド バ ックを弱くするなどの調整が必要となるからで あ る ．一 方 ，滅 多 に ス キ ッ プ な ど の 操 作 を 行 わ ず ， UA に よ っ て 提 案 さ れ る が ま ま の コ ン テ ン ツ を 鑑 賞 す る ユ ー ザ で あ れ ば ，最 後 ま で ビ デ オ ク リ ッ プ を見たとしても本当に当該コンテンツを好んで い る か ど う か 判 断 で き な い た め ，µ を 小 さ く し て UA の 学 習 デ ー タ へ の フ ィ ー ド バ ッ ク を 低 減 す る ようにする必要がある． ま た ，上 記 小 項 目 重 み 値 更 新 時 に ，最 大 値 あ る い は 最 小 値 を 越 え た 場 合 の 調 整 方 法 と し て ，重 み 値 の 絶 対 値 の 最 大 値 Au max n を 算 出 す る ．. Au max n = max{ Au n ( Actor j ) ; ∀Actor j }. (2). こ の 値 が ， 100 を 超 え た 場 合 ， 次 式 で 算 出 さ れ る 重 み 値 調 整 係 数 η を 用 い て ，全 俳 優 に 対 す る 重 み 値 (全 て の 小 項 目 “ Actor j ”に 対 す る 小 項 目 重 み 値 ) に乗算する．. Au max n > 100 ⇒ η = 100 / Au max n. (3). Au n ( Actor j ) ← ηAu n ( Actor j ). (4). こ こ で 記 号 “←”は ，左 辺 の パ ラ メ ー タ 値 を 右 辺 の 計 算 結 果 に 更 新 す る こ と を 意 味 す る ．以 上 の 計 算 式 を 使 用 し た 学 習 方 式 に よ り ，ユ ー ザ が 自 身 の ユ ーザ嗜好属性のさまざまな重み値等を意識しな く て も ，ユ ー ザ の コ ン テ ン ツ 鑑 賞 や 鑑 賞 時 の 挙 動 か ら ，そ れ ら の 値 が UA に よ っ て 自 動 的 に 学 習 さ れ 設 定 さ れ る ．以 上 を ，本 提 案 UA の 基 本 学 習 ア ルゴリズムとする．. 4. 学 習 ア ル ゴ リ ズ ム の 評 価 本 章 で は ，UA・CA を 適 用 し て 実 現 で き る ア プ. −15−. 3.
(4) r. お き ， PR と の 類 似 度 δ を 以 下 の 式 で 求 め ， 学 習 結果の妥当性を比較・評価する．. r r PR • PA δ= r r PR PA. こ の よ う な 実 験 を ，17 人 の 被 験 者 に 対 し て 行 っ た ． な お ， 実 験 用 に 準 備 し た コ ン テ ン ツ は 全 40 種 類 で あ る た め ，実 験 中 に 同 一 コ ン テ ン ツ が 複 数 回 ユ ー ザ に 提 供 さ れ る こ と も し ば し ば あ っ た ．表 4 に典型的な被験者の挙動として，実験中の操作 アクション回数を示す． 表 4 に 示 し た 被 験 者 は ，“最 後 ま で 見 る ”等 の プ ラス評価をフィードバックする挙動に比較して， “ス キ ッ プ ”と い っ た マ イ ナ ス 評 価 フ ィ ー ド バ ッ ク 回 数 が 多 い ．特 に ス キ ッ プ に 関 し て は ，過 去 に 見 た コ ン テ ン ツ は 全 て ス キ ッ プ し て い る ．こ の 被 験 者 は 一 例 で あ る が ，他 の 被 験 者 も こ の ユ ー ザ と 同様の挙動を示した．. 図 1 PM サ ー ビ ス 表 示 画 面 Fig. 1 PM service player 表 3. Table 4. ユーザの挙動に基づくフィードバック情報 Table 3 Feedback based on user ’s action ユーザの挙動 評価値 V. 鑑 賞 中 コンテンツを巻 き戻 して再 鑑 賞 鑑 賞 中 コンテンツを最 後 まで見 終 える 鑑 賞 中 コンテンツの表 示 画 面 サイズを拡 大 コンテンツ鑑 賞 中 に他 の APL を前 面 に表 示 鑑 賞 中 コンテンツの表 示 画 面 サイズを縮 小 鑑 賞 中 コンテンツをスキップまたは途 中 終 了. 1.0 1.0 0.5 − 0.2 − 0.5 − 1.0. 表 4 被験者の挙動 The behavior of a test user. 配 信 されたコンテンツ 数. 48. 最 後 まで見 た回 数. 15. スキップした回 数. 33. その他 (巻 き戻 し，表 示 サイズ変 更 等 )の 回数. 4.2. 実 験 方 法 と結 果 次 に ， PM サ ー ビ ス を 用 い た ユ ー ザ 嗜 好 学 習 実 験方法を以下に示す． ・ 被 験 者 は 約 １ 時 間 ，PM サ ー ビ ス を 利 用 し て 音 楽 ビ デ オ ク リ ッ プ を 鑑 賞 す る ． 鑑 賞 中 の 操 作 (ク リ ッ プ の ス キ ッ プ お よ び 巻 き 戻 し ，最 後 ま で 見 終 え る 等 )は ， 被 験 者 の 意 思 に 任 せ る ． ・ PM サ ー ビ ス で 提 供 す る コ ン テ ン ツ は ，さ ま ざ まなジャンルの音楽をメインとしたビデオクリ ップであり，１クリップあたり 3 分∼4 分に収ま る も の の み で あ る ．ま た ，１ ク リ ッ プ が １ 曲 に 相 当 す る ． 本 実 験 で 用 い た コ ン テ ン ツ は 全 40 種 類 である． ・ コ ン テ ン ツ (音 楽 ク リ ッ プ )に 付 与 す る メ タ 情 報 に は ，コ ン テ ン ツ 属 性 小 項 目 を ，当 該 音 楽 ク リ ッ プ に 相 応 し い と 思 わ れ る 音 楽 ジ ャ ン ル と し ，そ の 小 項 目 重 み 値 は 一 律 70 の 値 を 与 え た ． 例 え ば ， あ る 音 楽 ク リ ッ プ が ， “Rock”と “Rap”の 要 素 が 盛 り 込 ま れ て い る な ら ば ，当 該 コ ン テ ン ツ の コ ン テ ン ツ 属 性 に は “Rock”と “Rap”の 項 目 名 で 示 さ れ る 小 項 目 が 存 在 し 、 各 小 項 目 の 重 み 値 は 一 律 70 で ある． ・ PM 利 用 後 ，ユ ー ザ か ら 理 想 的 な ユ ー ザ 嗜 好 属 性 情 報 (具 体 的 に は ， 表 1 の “Genre”属 性 の 小 項 目 お よ び そ の 重 み 値 )を ア ン ケ ー ト で 収 集 す る ． こ. r の 結 果 を PR と お く ．. (5). 初 めてのコンテンツ. 37. 過 去 に見 たコンテン ツ. 21. 初 めてのコンテンツに 対 するスキップ. 12. 過 去 に見 たコンテン ツに対 するスキップ. 21. 0. r. こ の 実 験 デ ー タ を 基 に UA の 学 習 結 果 PA を 算. r. 出 し ， ア ン ケ ー ト に よ り 得 た PR と の 類 似 度 δ を 算 出 す る ． こ こ で 、 (1) 式 に お け る µ の 値 を 一 律. (“ス キ ッ プ ”に 対 し て も ，“最 後 ま で 見 る ”に 対 し て も 同 じ 値 ) µ = 0.5 と し て 算 出 し た と こ ろ ， 類 似 度. δ = −0.20 と な っ た ．す な わ ち ，学 習 結 果 は ユ ー ザ 嗜 好 を 適 切 に 学 習 し て い な い こ と と な る ．そ こ で ， (1) 式 に お け る µ の 値 を “ ス キ ッ プ ” に 対 す る 調 整 値 µ Skip ， お よ び “最 後 ま で 見 る ”に 対 す る µ Play を 変 動 さ せ ，そ の 値 に 基 づ い た 学 習 値 を 用 い て 類 似 度を計算した．この計算結果を図 2 に示す． 図 2 の グ ラ フ に お い て ， UA 学 習 の 調 整 値 と 類 似 度 の 関 係 を 視 覚 化 す る た め ， 調 整 値 µ Skip と. µ Play を (6) 式 で 表 さ れ る 一 定 の 関 係 を 持 た せ て. µ Skip お よ び µ Play の 値 を 変 化 さ せ た ． 図 2 の 横 軸 は ，(6)式 の 関 係 を 満 た す µ Play の 値 で あ り ， µ Play の 値 を 大 き く す る ほ ど µ Skip は 小 さ く な る ．す な わ ち ，グ ラ フ の 右 へ い く ほ ど ，“最 後 ま で 見 た ”に 対 す る プ ラ ス 評 価 フ ィ ー ド バ ッ ク を 強 く な り ，逆 に 左 へ 行 く ほ ど ，“ス キ ッ プ ”に 対 す る マ イ ナ ス 評 価 フィードバックが強くなる．. r. ・ PM 利 用 中 に 学 習 し た UA の 学 習 結 果 を PA と. −16−. 4.
(5) µ Play + µ Skip = 1.0. δ. (6). 4.3. 学 習 フィードバック値 調 整 とその効 果 前 節 の 結 果 よ り ， 学 習 パ ラ メ ー タ µ Skip お よ び. µ Play を ユ ー ザ お よ び コ ン テ ン ツ に 応 じ て 変 動 さ. 1. せ ，ユ ー ザ 嗜 好 を 学 習 す る 必 要 が あ る と 考 え ら れ る ．そ こ で ，こ れ ら の 学 習 パ ラ メ ー タ の 調 整 方 法 を全被験者の学習結果を参考に導出することに す る ．調 整 方 法 の 導 出 の た め ，次 の よ う な 調 整 を 施 し ，そ の 効 果 を グ ラ フ 化 に よ り 視 覚 的 に 検 証 し た．. 0.8 0.6 0.4. δa. 0.2 0 -0.2. 0.3. 0.5. 0.7. 0.9. µ Play. ( 調 整 1) 一 度 表 示 し た コ ン テ ン ツ を 再 度 表 示 す る と ス キ ッ プ す る ユ ー ザ が 多 い た め ，二 度 以 上 表 示 さ れ た コ ン テ ン ツ に 対 す る ”ス キ ッ プ ”の 評 価 フ ィ ー ド バ ッ ク を 低 減 す る ．こ の よ う な 条 件 の 下 で ，さ ら に 図 2 と 同 様 の 方 法 で ，“ス キ ッ プ ”に 対 す る 調 整 値 µ Skip ，お よ び “最 後 ま で 見 る ”に 対 す る. A 図 2 Fig. 2. UA に よ る 学 習 結 果 の 類 似 度 Similarity between. r r PR and PA .. 図 2 に お い て ， 点 A は ， µ Play と µ Skip の 値 を 同. µ Play を 変 動 さ せ ， そ の 値 に 基 づ い た 学 習 値 を 用. r r 等 に し て UA 学 習 値 PA を 算 出 し た と き の ， PR と の 類 似 度 で あ り ，そ の 値 は δ = −0.20 で あ る ．こ れ. い て 類 似 度 を 計 算 し た と こ ろ ，図 3 の よ う な グ ラ フが得られた．. に 対 し ， µ Play の 値 を 大 き く す る と ， 学 習 結 果 が. 1. 理 想 値 に 近 づ く こ と が 分 か る ．こ の 被 験 者 は ス キ ッ プ 回 数 が 33 回 で あ る の に 対 し ， 最 後 ま で 見 た 回 数 が 15 回 で あ り ， マ イ ナ ス 評 価 フ ィ ー ド バ ッ ク 回 数 が 多 く ，そ の た め ，学 習 さ れ た 小 項 目 の 重 み 値 の 多 く が マ イ ナ ス の 値 と な る が ，ア ン ケ ー ト で 得 た ユ ー ザ の 理 想 値 で は ，マ イ ナ ス の 項 目 よ り も む し ろ プ ラ ス の 項 目 が 多 い た め ，学 習 値 と 理 想 値 と は 正 反 対 の 結 果 と な っ て し ま う ．こ れ は ，ス キップによるマイナス評価フィードバックの影 響 が 強 く な り ，プ ラ ス 評 価 の 学 習 結 果 が 目 立 た な く な っ て し ま う こ と を 意 味 す る ．そ こ で ，ス キ ッ プ操作に対するマイナスフィードバックの強さ を 調 整 す る た め ，ス キ ッ プ 操 作 の 要 因 と 意 味 を 分 析すると，以下のように考えられる． ■ 一 度 見 た コ ン テ ン ツ を も う 一 度 見 る よ り も ，他 の コ ン テ ン ツ を 見 た い と 思 う ユ ー ザ が い る ．(表 4 の 被 験 ユ ー ザ に は ，過 去 に 見 た コ ン テ ン ツ が 表 示 さ れ た こ と が 21 回 あ り ， こ れ ら に 対 し て 当 該 ユ ーザは全てスキップしている．) ■ 音楽等のコンテンツにはさまざまなキーワー ド (小 項 目 )で 示 さ れ る (さ ま ざ ま な ジ ャ ン ル が 融 合 さ れ て い る )も の が 多 く ， 好 き な ジ ャ ン ル の 要 素 が あ っ て も ，好 き で は 無 い 要 素 が 含 ま れ て い る と ス キ ッ プ さ れ る こ と が あ る ． (例 え ば ， 純 粋 な “Rock”が 好 き な ユ ー ザ で あ れ ば ， ”Rock”と ”Rap” の 融 合 し た 音 楽 に 対 し て ，ス キ ッ プ す る こ と が あ り 得 る ． こ の 場 合 ， ”Rock”と ”Rap”の 小 項 目 に 対 してマイナス評価がフィードバックされる．) ■ 映 画 や ド ラ マ 等 の 番 組 に 比 べ て ，音 楽 集 の よ う な 番 組 は ， 映 像 ク リ ッ プ (シ ー ン )間 の 繋 が り が 弱 く ，１ つ １ つ の ク リ ッ プ が 独 立 し て い る た め ，あ るクリップをスキップしても番組全体としてス トーリーが分からなくなる等の問題が無い． こ の よ う な “ス キ ッ プ ”の 要 因 や 頻 度 は ユ ー ザ に よ り 異 な る た め ，次 節 で は ，ユ ー ザ に 応 じ た フ ィードバック値の調整方法について検証する．. δ. 0.8 0.6. δc δb δa. 0.4 0.2 0 -0.2. 0.3. 0.5. Fig.3. 0.7. 0.9. µ Play. 図 3 調整 1 の効果 Effect of the adjustment 1.. 図 3 において， δ a は，図 2 のグラフと同様， 二度以上同じコンテンツを表示した際のスキッ プに対する評価フィードバックを低減しないパ ターンである．これに対して δb は，同じコンテ ンツに対するスキップの評価を半分に低減した 場 合 で あ り ，δ c は ，前 記 の ス キ ッ プ 評 価 を 無 効 化 し た 場 合 の 類 似 度 で あ る ．こ の グ ラ フ よ り ，同 じ コンテンツを表示した際に起こるスキップによ る マ イ ナ ス 評 価 を 低 減 す る ほ ど ，類 似 度 が 高 く な る µ Play の 値 域 が 広 く な る ． 例 え ば ， δ a > 0.8 を 満 た す 値 域 は 0.78 < µ Play < 0.98 で あ る が ，δ c > 0.8 を 満 た す 値 域 は 0.60 < µ Play < 0.92 と な る ．し た が っ て ，過 去 に 表 示 し た コ ン テ ン ツ の 再 表 示 に 対 す る ス キ ッ プ 評 価 を 低 減 す る こ と に よ り ， UA の 学 習 結 果 を 理 想 値 に 近 づ け る た め の µ Play の 調 整 が 容 易 に な り ，ま た ，ユ ー ザ の 操 作 に お け る ノ イ ズ (好 み 以 外 の 原 因 に よ る 操 作 ア ク シ ョ ン )の 影 響 か ら 学習結果が著しく悪くなることを避けることが できる．. −17−. 5.
(6) (調 整 2) 図 4 の よ う な グ ラ フ に お い て ，類 似 度 δ c. な い 場 合 ，ユ ー ザ に よ っ て は 学 習 結 果 が 理 想 値 か ら 著 し く 離 れ て し ま う こ と が あ る ．（ 例 え ば ， 過 去に見たコンテンツに対するスキップが多いユ ー ザ に 対 し て 顕 著 に 現 れ る ）． こ れ に 対 し て ， 提 案 方 式 の よ う に ，ユ ー ザ の ス キ ッ プ 率 や 過 去 に 表 示したコンテンツかどうかのチェックを基にし た本提案のフィードバック値調整方法を適用す る と ， UA の 学 習 結 果 は ， 全 被 験 者 に 対 し て 理 想 値 と 類 似 度 を 高 く で き ，大 き く 離 れ る こ と が 無 く 安定させることができた．. が ピ ー ク に な る と き の µ Play お よ び µ Skip と ， 当 該 ユ ー ザ の ス キ ッ プ 率 (全 操 作 ア ク シ ョ ン 回 数 の う ち ， ス キ ッ プ 回 数 が 占 め る 割 合 ) PSkip の 関 係 を 求 め る ．た だ し ，過 去 に 表 示 し た コ ン テ ン ツ の 再 表 示に対するスキップは学習の対象外であるため， こ こ で の PSkip の 算 出 に 用 い る ス キ ッ プ 回 数 に は ， こ の 回 数 を 除 外 す る こ と と す る ． 被 験 者 17 人 分 の こ の ２ つ の パ ラ メ ー タ を プ ロ ッ ト (横 軸 に PSkip ， 縦 軸 に µ Play お よ び µ Skip )し た と こ ろ ，図 4 の よ う. 5. お わ り に. なグラフが得られた．. µ. 1. y = 0.8313x + 0.1888 プロット. 0.8. µ Play μ µ Skip μ µ Play μ µ Skip μ. 0.6 0.4 0.2. 近似式. y = -0.8313x + 0.8112. 0 0 図 4. 本 報 告 で は ，コ ン テ ン ツ 鑑 賞 中 の ユ ー ザ の 挙 動 か ら ユ ー ザ 嗜 好 を 学 習 す る UA の 基 本 学 習 ア ル ゴ リ ズ ム を 提 案 し ，こ の 基 本 ア ル ゴ リ ズ ム を 実 験 に よ り 検 証 し た ．さ ら に 実 験 結 果 か ら ，本 学 習 ア ル ゴリズムの学習過程におけるフィードバック値 (コ ン テ ン ツ 評 価 値 )を ユ ー ザ の 操 作 頻 度 お よ び コ ン テ ン ツ に 応 じ て 調 整 す る 方 法 を 提 案 し ，そ の 効 果 を 示 し た ．今 後 は さ ら な る ユ ー ザ の 特 徴 的 な 挙 動 を 実 験 等 に よ り 抽 出 し ，学 習 ア ル ゴ リ ズ ム を 洗 練させる予定である．. 0.5. 1. 謝辞. PSkip. 研 究 を 進 め る に あ た っ て ，有 益 な ご 指 導・ご 意 見 を く だ さ っ た NTT 未 来 ね っ と 研 究 所 お よ び NTT ネ ッ ト ワ ー ク サ ー ビ ス シ ス テ ム 研 究 所 の 皆 様に深く感謝いたします．. スキップ率とフィードバック調整値の関係 Fig. 4. Relation between. PSkip and µ .. 文. 図 4 に示されるように，被験者のスキップ率. 献. PSkip が 高 い ほ ど ， UA の 学 習 結 果 を 理 想 値 に 近 づ. [1] インターネットラジオ: http://spinner.com. け る た め に は ， µ Play を 大 き く (す な わ ち µ Skip を 小. [2] 村 崎 康 博 , 金 淵 培 , 柴 田 正 啓 , 浦 谷 則 好 : “ユ ー ザ モ デ ル エ ー ジ ェ ン ト に よ る 番 組 選 択 シ ス テ ム ”, 信 学 技 報 AI2001-50, pp.25-31, Nov. 2001.. さく＝１回あたりのスキップによるマイナス評 価 フ ィ ー ド バ ッ ク を 弱 く )す る こ と が 効 果 的 で あ る ．図 4 か ら 求 め ら れ る 近 似 式 は お お よ そ 以 下 の ようになる． (7) µ Play = 0.8PSkip + 0.2. µ Skip = 1.0 − µ Play = −0.8PSkip + 0.8. [3] MSN TV: http://www.webtv.com [4] H. Shibata and T. Hoshiai: “Method for personalized information recommending agents to learn user preference for programmable movie service”, APCC2001, pp.201-204, Sep. 2001.. (8). [5] 柴 田 弘 , 星 合 隆 成 : “パ ー ソ ナ ラ イ ズ 情 報 提 案 サ ー ビ ス に お け る 自 律 エ ー ジ ェ ン ト ”, 信 学 技 報 KBSE2001-56, pp.53-60, Jan. 2002.. こ の 結 果 よ り ，(1)式 の 学 習 方 法 に お け る ，フ ィ ー ド バ ッ ク 調 整 値 µ と し て ，”最 後 ま で 見 る ”に 対. [6] H. Shibata, T. Hoshiai, M. Kubota and M. Teramoto: “Agent technology recommending personalized information and its evaluation”, IWADS2002, pp.176-183, Nov. 2002.. し て は (7) 式 で 求 め ら れ る µ Play の 値 を ， ” ス キ ッ. r. プ ” に 対 し て は µ Skip の 値 を 用 い て 学 習 結 果 PA を. r. [7] 星 合 隆 成 , 柴 田 弘 : “御 用 聞 き社 会 構 築 に向 けてのコ ンテンツ情 報 流 通 網 と自 律 分 散 照 合 環 境 アーキテク チ ャ ”, 信 学 会 論 文 誌 D-I, Vol.J83-D-I, No.9, pp.1001-1012, Sep. 2000.. 算 出 し ， 理 想 値 PR と の 類 似 度 を 求 め た ． な お ， ” 巻 き 戻 し ”操 作 は ， ”最 後 ま で 見 る ”と 同 様 ， プ ラ ス 評 価 フ ィ ー ド バ ッ ク に な る た め ，”巻 き 戻 し ”に 対 す る フ ィ ー ド バ ッ ク 調 整 値 µ Rewind は µ Play と 同. [8] 星 合 隆 成 : “意 味 情 報 ネットワーク SIONet におけるエ ン テ ィ テ ィ の オ ン ラ イ ン 増 減 設 機 構 ”, 信 学 会 論 文 誌 B, Vol.J85-B, No.2, pp.180-199, Feb. 2002.. じ 値 と し た ．そ の 他 の 操 作 (画 面 サ イ ズ 変 更 等 )は ， 本実験では対象外とした． 以上の条件の下での全被験者に対する学習結 果 の 類 似 度 は ，平 均 0.84，標 準 偏 差 0.08 と な り ， 安 定 し て 高 い 値 が 得 ら れ た ．一 方 ，フ ィ ー ド バ ッ ク値の調整を行わずに学習した結果の類似度は， 平 均 0.41， 標 準 偏 差 0.45 で あ っ た ． こ の 結 果 よ り ，フ ィ ー ド バ ッ ク 値 の 調 整 を 行 わ. [9] 星 合 隆 成 : “P2P の理 念 および実 現 技 術 :SIONet の全 貌 ”, P2P Conference in JAPAN 2002 Spring, April 12 2002, http://www.p2pconf.com [10] R. S. Sutton and A. G. Barto: “Reinforcement Learning - An Introduction”, MIT Press, 1998.. −18−. 6.
(7)
関連したドキュメント
This paper attempts to elucidate about a transition on volume changes of “home province’” and “region” in course of study and a meaning of remaining “home province” in the
わが国において1999年に制定されたいわゆる児童ポルノ法 1） は、対償を供 与する等して行う児童
介護問題研究は、介護者の負担軽減を目的とし、負担 に影響する要因やストレスを追究するが、普遍的結論を
（（.; ders, Meinungsverschiedenheiten zwischen minderjähriger Mutter und Vormund, JAmt
「系統情報の公開」に関する留意事項
Zeuner, Wolf-Rainer, Die Höhe des Schadensersatzes bei schuldhafter Nichtverzinsung der vom Mieter gezahlten Kaution, ZMR, 1（（0,
[r]
[r]
