6. レシピ推薦システムの評価実験 29
6.2 実験システム
6.2.5 レシピ推薦の結果の表示と評価をするシステム
図 10 現在の在庫食材記録のシステムの画面(その1)
度合い)を5 段階で付けてもらい,それを用いて推薦度関数の重み調整を行う.
約30個のレシピの推薦満足度の値は,以下の図12,13のようなフォームに回 答することで取得した.
このシステムは,5章で述べたように初回の推薦の時と(前日の推薦結果が悪 かったため)ユーザ調整をやり直したい時のみ使用する.
図 11 現在の在庫食材記録のシステムの画面(その2)
図 12 ユーザに合わせて推薦を調整するシステムのイメージ(その1)
比較のため,上記の2種類の提案手法に加えて,ベースラインである「ユーザ が一番重要視している要因一つだけでランキング付したレシピ推薦」手法と「レ シピDBからランダムに推薦するレシピ推薦」手法のシステムも作成し,この2 種類の提案手法のシステムと2種類のベースラインのシステムの計4つのシステ ムを被験者に評価してもらった.
この4つのシステムは,実験ではsystem1〜4と表示し,system1は「重み調整 の再計算を許した提案手法で推薦」したシステム,system2は「重み調整を初回 の調整のまま変更しない提案手法で推薦」したシステム,system3は「ユーザが 一番重要視する1要因のみを指標として用いて推薦」したシステム,system4は
「レシピDBからランダムにレシピを推薦」したシステムである.この4つのシ ステムは,被験者には各推薦システムがどのような推薦方法で推薦しているかは わからないようにしてある.
4つのシステムの関係は,図14のようなイメージである.
具体的に評価システムの表示・評価方法を説明すると,実験では推薦結果の満 足度評価(自炊のメニューを決定の役に立つか)を行ってもらうため,上位5件 のレシピを表示し,どれが1位のレシピかだけ分かるようにして表示した.
図 13 ユーザに合わせて推薦を調整するシステムのイメージ(その2)
図 14 実験で使う各システムの関係図
そのうえで,1位のレシピだけを見て推薦結果の満足度を評価してもらい,そ の後に,5つのレシピ全部提示したときの推薦結果の満足度を評価してもらった.
また,満足度評価は,「×」,「×〜△」,「△」,「△〜○」,「○」の 5段階評価で 行った.イメージとしては図15,16,17のようなフォームである.
上記の2種類のベースラインも,同様の評価方法で推薦結果の満足度を評価して もらった.ベースラインの一つである「1要因のみを用いてランキングした」推 薦における各ユーザが一番重要視している要因は,初期設定のシステムで回答し てもらった「食事レシピ決定のポリシー」の入力データによって決定した.