実験手順

推薦結果の精度と意外性，システムのインタフェースの有効性の観点から提案システムを評価す るため，工学系大学生，大学院生10人を対象に評価実験を行なった．実験は実験前アンケート，

楽曲の評価，実験後アンケートの3ステップから構成される．以下では各ステップについて説明 する．

実験前アンケートでは実験参加者の音楽への関心，向き合い方を中心に調査した．表12にアン ケートの内容を示す．このアンケートの結果は楽曲評価の結果と合わせて考察に用いる．

表12 実験前アンケート

質問内容 回答形式

Q1: Androidアプリの操作に慣れています

か？ 5^{段階評価：}1(^{慣れていない}) - 5(^{慣れている}) Q2: 音楽を聴く頻度を教えてください． 毎日・2,3日に一度・週に一度・それ以下・全

く聴かない Q3: ^{普段スマートフォンや}iPod^{などの携帯}

端末で音楽を聴いていますか？ はい・いいえ Q4: 普段どのような状況や気分の時に音楽を

聴きますか？ （複数回答可）（例：通学中，

就寝前，勉強中，落ち込んだ時，リラックス したい時，気分を上げたい時）

記述(^必須回答)

Q5: 普段どのようなジャンルの音楽を聴きま すか？ （複数回答可）（例：ロック，アニソ ン，ジャズ）

記述(^必須回答) Q6: ^自分のPCや音楽プレーヤにどれくらい

楽曲がありますか？（例：約200^{曲） 記述}(必須回答) Q7: ^自分のPCや音楽プレーヤにどれくらい

音楽アルバムがありますか？（例：約50^{個） 記述}(必須回答) Q8: ^自分のPCや音楽プレーヤにどれくらい

音楽アーティストがいますか？（例：約20 組）

記述(^必須回答) Q9: 音楽配信サービスを使用していますか？

使用している場合はどのサービスを、どのよ うに使用しているか教えてください．（例：定 額配信サービスを毎日利用，推薦されたプレ イリストを聴くのに使用）

記述(^必須回答)

楽曲の評価には3.5^{節で実装した}Androidアプリを用いる．実験用Android^{端末は参加者によ} り，実験参加者の私物スマートフォン，貸出スマートフォン・タブレットなど，統一されていない．

また，Androidアプリの操作に慣れていない実験参加者もいたが，事前に使用方法を説明すること

で問題なく実験を進めることができた．実験時に使用した楽曲は2016^年8^月10^日から2016^年 10^月23^{日に投稿された}683,415^件の「#nowplaying」付きツイートから抽出された202,293^曲で ある．実験参加者には2種類のタスクを行ってもらった．以下，それぞれのタスクについて詳細を 述べる．

タスク1では指定した状況について推薦された楽曲を評価してもらう．評価の際には実際に自身

が置かれた状況は無視し，評価対象の状況を想定して評価をしてもらう．評価対象の状況は「作業 中A^{」，「作業中}B^{」，「リラックス}A^{」，「リラックス}B^{」，「ランニング}A^{」，「ランニング}B^」の6^種 類を用意し，「状況選択画面」の上部に専用の選択ボタンを設置した（図8^）．

図8 状況選択画面

このうち「作業中A^{」，「リラックス}B^{」，「ランニング}A^」の3種はデータベース内の全楽曲から ランダムに選曲したものを提示しており，提案システムによる推薦結果との比較評価のための擬 似的な状況である．残りの3種は提案手法による推薦結果を提示する．「作業中」，「リラックス」，

「ランニング」は3.2節で行った音楽と状況に関するアンケートの結果から比較的多くの回答を得 ており，実験参加者にも状況を想定してもらいやすいという理由から評価対象として採用した．状 況選択ボタンは実験参加者にどちらの推薦手法によるものかわからないように外見等を統一してあ る．それぞれの状況について提示された上位10^{曲を評価対象とし，図}7の「楽曲再生画面」で楽 曲の評価を行う．この時，提示された楽曲の楽曲情報に誤りがあったり，YouTube^やiTunes^で適 切な楽曲が再生できない場合がある．この場合には「WRONG」ボタンを押してもらい，評価対象 から省き，代わりに11位以下から順に楽曲を選択し，合計で10曲評価してもらう．楽曲の評価項 目は以下の3^{点である．}

• ^{状況に適した楽曲か}

自身の好みとは関係なく，「状況に適していると感じる人が多いと思うか」という視点 で評価してもらう．評価には「SUIT」ボタンを用い，「そう思わない」を1^{，「そう思} う」を5^とした5^{段階評価を行う．}

• 推薦結果として意外性があったか

意外性の定義は「自身にとって予想できる推薦結果であったか」とする．「タイトルか ら想像がついた」，「以前から状況に適した楽曲だと思っていた」，「推薦システムを使わ ずとも状況に適した楽曲として自力で発見できそうである」などを，意外性なしと判断 する基準とした．評価には「UNEXP」ボタンを用い，「そう思わない」を1^{，「そう思} う」を5^とした5^{段階評価を行う．}

• ^{未知の楽曲であったか}

自身にとって未知の楽曲であったかを評価をしてもらう．評価には「NOVE^{」ボタンを} 用い，未知の楽曲であった場合を1，既知の楽曲であった場合を0^とした2^{段階評価を} 行う．

タスク2では実験参加者の実際の状況に対して推薦された楽曲を評価してもらう．評価対象の状 況はスマートフォンの機能から推定された状況をベースに実験参加者が自由に状況を組み合わせた 複合状況5種類以上とする．評価曲数は各複合状況に付き，推薦結果の上位1^{曲以上とし，評価項} 目はタスク1^{と同様とする．}

実験後アンケートでは推薦システムについての主観的な評価を収集し，楽曲評価の結果と合わせ て評価する．表13に実験後アンケートの内容を示す．

表13 実験後アンケート

質問内容 回答形式

Q1: 状況に適した楽曲が推薦されていました

か？ 5^{段階評価：}1(^{そう思わない}) - 5(^そう思う) Q2: 意外性のある楽曲が推薦されていました

か？ 5^{段階評価：}1(^{そう思わない}) - 5(^そう思う) Q3: 未知の楽曲が推薦されていましたか？ 5^{段階評価：}1(^{そう思わない}) - 5(^そう思う)

Q4-1: 状況に適した楽曲を再生するのに適切

なシステムだと思いましたか？ 5^{段階評価：}1(^{そう思わない}) - 5(^そう思う)

Q4-2: Q4-1の理由を教えてください． 記述(^必須回答)

Q5-1: 新たな楽曲と出会うのに適切なシステ

ムだったと思いますか？ 5^{段階評価：}1(^{そう思わない}) - 5(^そう思う)

Q5-2: Q5-1の理由を教えてください． 記述(必須回答)

Q6-1: 推薦された結果好きになった楽曲や

アーティストはありましたか？ はい・いいえ Q6-2: Q6-1で「はい」と答えた場合はおおよ

その数を教えてください． 記述(^自由回答)

Q7-1: 「状況」の選択肢は適切でしたか？ 5^{段階評価：}1(^{そう思わない}) - 5(^そう思う)

Q7-2: Q7-1の理由を教えてください． 記述(^必須回答)

Q8-1: 「複合状況」は楽曲を探索する上で有

効でしたか？ 5^{段階評価：}1(^{そう思わない}) - 5(^そう思う)

Q8-2: Q8-1の理由を教えてください． 記述(^必須回答)

Q9-1: 現在の状況の推定は楽曲を探索する上

で有効でしたか？ 5^{段階評価：}1(^{そう思わない}) - 5(^そう思う)

Q9-2: Q9-1の理由を教えてください． 記述(^必須回答)

Q10: その他，実験中に気付いた点や使いにく かった点等ありましたらご自由にご回答くだ さい．

記述(^自由回答)