第 5 章 評価実験
5.2. 必要な持ち物推定実験
5.2.2. 必要な持ち物推定実験 1:パラメータ ! の調整
5.2 必要な持ち物推定実験
・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・
81
評価については,以下のルールに則って点数を付与して比較する.
・ 通知レベルが High かつ正解だった場合
→ 3 ポイント
・ 通知レベルが Middle かつ正解だった場合
→ 2 ポイント
・ 通知レベルが Low かつ正解だった場合
→ 1 ポイント
・ 通知レベルが Low かつ不正解だった場合
→ -1 ポイント
・ 通知レベルが Middle かつ不正解だった場合
→ -2 ポイント
・ 通知レベルが High かつ不正解だった場合
→ -3 ポイント
・ 必要な物であるにも関わらず通知が出なかった場合
→ -10 ポイント
5.2 必要な持ち物推定実験
・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・
82
表 5.5)ものの,誤った通知の数が飛躍的に増えていることがわかった(図 5.5).
図 5.4 ユーザ C と D について,パラメータ!を変化させた場合のポイント.
表 5.5 30 日間の評価期間における正しい通知の出た回数(単位:回).
パラメータ! 0.50 0.60 0.70 0.80 0.90 1.00 ユーザ C,蓄積日数 30 日 176 178 178 180 190 196 ユーザ D,蓄積日数 30 日 203 203 203 203 203 203 ユーザ C,蓄積日数 100 日 189 191 191 194 198 199 ユーザ D,蓄積日数 100 日 203 203 203 203 203 203
0 50 100 150 200 250 300 350 400
0.5 0.55 0.6 0.65 0.7 0.75 0.8 0.85 0.9 0.95 1 得た
ポイ ント
パラメータk
ユーザC,蓄積日数30日 ユーザD,蓄積日数30日 ユーザC,蓄積日数100日 ユーザD,蓄積日数100日
5.2 必要な持ち物推定実験
・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・
83
図 5.5 30 日間の評価期間における誤った通知の数の変化.
5.2.2.2. 必要な持ち物推定実験 1:パラメータ ! の調整の考察
図 5.4 において,蓄積日数 30 日,100 日のいずれにおいてもユーザ D の方が良い ポイントを獲得するという結果となったことは非常に興味深い.期間中において持ち 物が変化するということは,言わばノイズであり,ポイントも悪化するものと予測し ていたためである.
この,予測とのずれは,図 5.5 のグラフから一定の理由を窺い知ることができる.
このグラフによれば,誤って出した通知の数がユーザ D に比べてユーザ C の方が 30
〜70%程度多い.すなわち,ユーザ C では誤った高いレベルの通知をしていたのに対 し,ユーザ D はノイズが乗ったことで,結果的に通知のレベルが下がったと推測され る.
この 2 つのグラフを合わせ見ると,!=0.85ぐらいまではほとんど誤った通知が増 えていないものの,ユーザ C のポイントは蓄積日数 30 日・100 日共に増加傾向にあ ることがわかる.これは,誤った通知のレベル(Low/Middle/High)が低下し,正し
0 50 100 150 200 250 300 350
0.5 0.55 0.6 0.65 0.7 0.75 0.8 0.85 0.9 0.95 1 誤っ
て出 して しま った 通知 の総 数︵ 回︶
パラメータk
ユーザC,蓄積日数30日 ユーザD,蓄積日数30日 ユーザC,蓄積日数100日 ユーザD,蓄積日数100日
5.2 必要な持ち物推定実験
・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・
84
い通知のレベルが上昇していることを意味する.
以上により,実験 3 以降ではパラメータ!=0.85とすることとした.