6.1 5 章の心理実験で得られた知見の楽曲検索への応用
6.8 評価
提案手法は，楽曲の試聴から想起される色彩印象（i.e.,色彩ベクトル）が楽曲固有 であり，その色彩印象は歌詞のみの提示から想起される色彩印象と相関があるとい う前提に基づいている．したがって，この前提および提案手法が妥当であれば，楽 曲の試聴から得られた色彩ベクトルをクエリとした場合，クエリに対応する楽曲が 上位に検索されると予想される．
そこで，提案手法を評価するために，評価用楽曲を新たに用意し，心理実験によっ て評価用楽曲の試聴から想起される色彩ベクトルをクエリ色彩ベクトルとして作成 する．そして，作成されたクエリ色彩ベクトルを用いて提案手法の評価を行う．こ の評価は，情報検索で一般的に用いられている，再現率，適合率，および，F 尺度 [21]を用いて行う（後述）．
6.8.1 クエリ色彩ベクトルの作成（心理実験）
本節では，提案手法を評価するために，心理実験によって楽曲の試聴から想起さ れる色彩印象を調査し，そこから得られたデータを用いて，クエリ色彩ベクトルを 作成する．心理実験は，被験者に楽曲を試聴させ，楽曲の試聴から想起される色彩 を回答させるという内容である．
使用楽曲
5章の心理実験で使用していない50曲を新たに評価用楽曲として用意した．これ らの評価用楽曲に関しては，5章の心理実験で使用した楽曲と同様に，音楽検索サ イトを参考に，できるだけアーティスト，曲調が異なるように配慮しながら選曲し た．評価用楽曲として使用した楽曲の一覧は付録Eに記載しておく．
また，5章で行った心理実験と同様に，被験者負担を考慮し，楽曲の1番に相当す る部分のみを使用することにした．これに伴い，楽曲色彩ベクトルの推定に関して も，楽曲の1番に相当する部分のみを使用することにした．
被験者
被験者は，大学生57名（男性27名，女性30名，平均年齢20.10歳）である．被 験者はグループ分けをせず，全ての被験者に対して，評価用楽曲50曲全てを割り当 てた．
実験手続き
被験者に楽曲を試聴させ，楽曲の試聴から想起される色彩を回答するよう求めた．
色彩の回答方法に関しては，5章および6.5節のプリミティブワードの色彩ベクトル の作成で行った心理実験と同様の方法を用いた．
クエリ色彩ベクトルの作成
被験者の回答からクエリ色彩ベクトルを作成する方法に関しては．5章および6.5 節と同様の方法を用いた．すなわち，楽曲mi(i= 1, ...,50)に関するクエリ色彩ベク トルq(mi)は，式（6.9）によって与えられる．
q(mi) = (t(mi, c1)
3x(mi) , ...,t(mi, c35)
3x(mi) ) (6.9)
ただし，x(mi)は心理実験において楽曲miを試聴した被験者数，t(mi, cj)は楽曲 miに関する全ての回答のうち，色彩cj(j = 1, ...,35)に関する延べ回答数とする．な お，上述の被験者に関する説明から，x(mi) = 57である．
6.8.2 評価方法
システムの性能評価は，式（6.10），式（6.11），式（6.12）によって与えられる R，P，F の値を用いて行う．ただし，Rは再現率，P は適合率，F はF 尺度とす る．再現率，適合率，F 尺度は，情報検索分野で一般的に用いられている評価指標 である[21]．
R = 検索された楽曲中の正解楽曲数
全楽曲中の正解楽曲数 (6.10)
P = 検索された楽曲中の正解楽曲数
検索された楽曲数 (6.11)
F = 2
1/R+ 1/P (6.12)
ここで，正解となる楽曲は，評価用楽曲のうち，入力したクエリ色彩ベクトルと
閾値θcorrect以上のコサイン類似度を持つクエリ色彩ベクトルに対応する楽曲とする．
したがって，θcorrect = 1の場合は，クエリとして入力した楽曲のみを正解とする場 合に相当する．また，θcorrect 6= 1の場合は，楽曲の試聴から想起される色彩が，クエ リ楽曲の試聴から想起される色彩に類似した楽曲も正解とする場合に相当する．検 索される楽曲は，6.4節の式（6.3）により推定された評価用楽曲の色彩ベクトルの うち，クエリベクトルとの類似度の高い上位N 位までの色彩ベクトルを持つ楽曲と する．
本章における評価では，θcorrectの値として，0.6，0.7，0.8，0.9，1を用い，Nの 値として，1から10までの値を用いる．また，6.6.2節におけるθ（未知語の影響度 と色彩ベクトルを推定するための，プリミティブワードと未知語の類似度に関する 閾値）の値として，0.3，0.4，0.5，0.6，0.7，0.8，0.9を用いる．なお，各θcorrectの 値に対する平均正解楽曲数を表6.2に示す．
表 6.2: 平均正解楽曲数 θcorrect
0.6 0.7 0.8 0.9 1 平均正解楽曲数 16.48 10.12 5.44 2.08 1
6.8.3 結果
6.4節の式（6.3）における色彩と結びつきのある単語の集合A(m)として，プリミ ティブワードのみを想定する手法（手法1）のパフォーマンスを表6.3，図6.5，図 6.6，図6.7 に示し，プリミティブワードと未知語（6.6.2節において，色彩と結びつ きのある単語とみなされた未知語）の両方を想定する手法（手法2）のパフォーマ ンスを表6.4，図6.8，図6.9，図6.10，図6.11，図6.12，図6.13，図6.14，図6.15，
図6.16，図6.17，図6.18，図6.19 に示す．ただし，表6.3，表6.4において，R，P，
F，θcorrect，N は，それぞれ，再現率，適合率，F 尺度，6.8.2節のθcorrect，6.8.2節
のNを表し，表中の各数値は評価用楽曲50曲に関する平均値を表す．なお，手法2 に関しては，6.6.2節におけるθの値として，6.8.2節で述べた7種類のθの値（i.e., 0.3，0.4，0.5，0.6，0.7，0.8，0.9）のうち，6.8.2節で述べた全てのθcorrectの値（i.e., 0.6，0.7，0.8，0.9，1）に関するF 尺度の平均値が最も高い値を示した，0.6の場合 を手法2のパフォーマンスとする．参考のため，手法1のパフォーマンス，および，
6.8.2節で述べた7種類のθの値に関する手法2のパフォーマンスを，付録Fに記載
しておく．
図6.5，図6.6，図6.7は，それぞれ，θcorrect = 1の場合の再現率，適合率，F 尺度 に関する結果を示す．表6.3，表6.4，図6.5，図6.6，図6.7より，正解楽曲をクエリ 楽曲のみとする場合（i.e., θcorrect = 1の場合）に関しては，プリミティブワードと 未知語の両方を想定する手法（手法2）の方が，プリミティブワードのみを想定す る手法（手法1）よりも，パフォーマンスが高いことが分かる．
図6.8，図6.9，図6.10は，それぞれ，θcorrect = 0.9の場合の再現率，適合率，F 尺度に関する結果を示す．図6.11，図6.12，図6.13は，それぞれ，θcorrect= 0.8の 場合の再現率，適合率，F 尺度に関する結果を示す．図6.14，図6.15，図6.16は，
それぞれ，θcorrect = 0.7の場合の再現率，適合率，F 尺度に関する結果を示す．図 6.17，図6.18，図6.19は，それぞれ，θcorrect = 0.6の場合の再現率，適合率，F 尺度 に関する結果を示す．表6.3，表6.4，図6.8，図6.9，図6.10，図6.11，図6.12，図 6.13，図6.14，図6.15，図6.16，図6.17，図6.18，図6.19より，楽曲の試聴から想 起される色彩がクエリ楽曲の試聴から想起される色彩に類似した楽曲も正解とする 場合（i.e., θcorrect 6= 1の場合）に関しても，プリミティブワードと未知語の両方を 想定する手法（手法2）の方が，プリミティブワードのみを想定する手法（手法1）
よりも，パフォーマンスが高いことが分かる．
以上より，本研究で提案した手法は，6.4節の式（6.3）における色彩と結びつき のある単語の集合（i.e., A(m)）として，プリミティブワードと未知語の両方を想定
する手法（手法2）の方が，プリミティブワードのみを想定する手法（手法1）より も，パフォーマンスが高いと言える．
表 6.3: 手法1に関するパフォーマンス
θcorrect 平均値
0.6 0.7 0.8 0.9 1
N = 1 R 0.0573 0.0689 0.0852 0.0960 0.1000 0.0756 P 0.8600 0.6600 0.4000 0.2200 0.1000 0.5367 F 0.1068 0.1226 0.1279 0.1227 0.1000 0.1113 N = 2 R 0.1036 0.1209 0.1438 0.1580 0.1600 0.1285 P 0.7800 0.6100 0.3800 0.1900 0.0800 0.4900 F 0.1808 0.1975 0.1892 0.1563 0.1067 0.1640 N = 3 R 0.1551 0.1902 0.2353 0.2830 0.3000 0.2147 P 0.7733 0.6333 0.4267 0.2200 0.1000 0.5067 F 0.2545 0.2849 0.2766 0.2243 0.1500 0.2345 N = 4 R 0.2053 0.2516 0.3177 0.3280 0.3600 0.2716 P 0.7750 0.6200 0.4200 0.2000 0.0900 0.5000 F 0.3189 0.3472 0.3314 0.2251 0.1440 0.2742 N = 5 R 0.2518 0.3113 0.3869 0.4097 0.4200 0.3316 P 0.7600 0.6120 0.4160 0.2000 0.0840 0.4947 F 0.3707 0.3996 0.3686 0.2446 0.1400 0.3098 N = 6 R 0.2989 0.3605 0.4468 0.4530 0.4600 0.3777 P 0.7533 0.5933 0.4100 0.1900 0.0767 0.4844 F 0.4187 0.4346 0.3958 0.2442 0.1314 0.3342 N = 7 R 0.3356 0.3958 0.4807 0.4920 0.5200 0.4168 P 0.7314 0.5629 0.3857 0.1771 0.0743 0.4648 F 0.4497 0.4500 0.3959 0.2391 0.1300 0.3462 N = 8 R 0.3689 0.4423 0.5104 0.5553 0.5600 0.4574 P 0.7100 0.5500 0.3700 0.1725 0.0700 0.4521 F 0.4742 0.4735 0.3981 0.2438 0.1244 0.3595 N = 9 R 0.4012 0.4716 0.5455 0.5753 0.5800 0.4854 P 0.6867 0.5200 0.3467 0.1556 0.0644 0.4330 F 0.4942 0.4774 0.3932 0.2276 0.1160 0.3634 N = 10 R 0.4290 0.5033 0.5709 0.5953 0.6000 0.5101 P 0.6660 0.5020 0.3280 0.1420 0.0600 0.4160 F 0.5091 0.4858 0.3877 0.2139 0.1091 0.3658
表6.4: 手法2に関するパフォーマンス（θ= 0.6の場合）
θcorrect 平均値
0.6 0.7 0.8 0.9 1
N = 1 R 0.0627 0.0788 0.0955 0.1110 0.1200 0.0857 P 0.9200 0.7200 0.4400 0.2200 0.1200 0.5667 F 0.1167 0.1395 0.1502 0.1347 0.1200 0.1247 N = 2 R 0.1207 0.1408 0.1675 0.1693 0.2000 0.1485 P 0.9000 0.6700 0.4200 0.2000 0.1000 0.5467 F 0.2105 0.2275 0.2187 0.1631 0.1333 0.1869 N = 3 R 0.1774 0.2216 0.2834 0.2997 0.3000 0.2362 P 0.8800 0.6800 0.4533 0.2133 0.1000 0.5478 F 0.2909 0.3230 0.3157 0.2229 0.1500 0.2561 N = 4 R 0.2234 0.2753 0.3308 0.3680 0.3800 0.2921 P 0.8350 0.6500 0.4250 0.2100 0.0950 0.5242 F 0.3462 0.3739 0.3386 0.2411 0.1520 0.2904 N = 5 R 0.2611 0.3229 0.3835 0.4147 0.4400 0.3380 P 0.7840 0.6160 0.4040 0.1960 0.0880 0.4947 F 0.3838 0.4081 0.3590 0.2411 0.1467 0.3113 N = 6 R 0.2981 0.3586 0.4134 0.4287 0.4400 0.3625 P 0.7533 0.5767 0.3733 0.1733 0.0733 0.4667 F 0.4181 0.4263 0.3597 0.2253 0.1257 0.3199 N = 7 R 0.3376 0.4068 0.4697 0.4913 0.5000 0.4127 P 0.7371 0.5657 0.3743 0.1771 0.0714 0.4610 F 0.4527 0.4561 0.3845 0.2394 0.1250 0.3435 N = 8 R 0.3811 0.4555 0.5242 0.5720 0.6000 0.4733 P 0.7300 0.5575 0.3675 0.1750 0.0750 0.4567 F 0.4890 0.4829 0.3990 0.2479 0.1333 0.3656 N = 9 R 0.4057 0.4799 0.5560 0.5860 0.6000 0.4939 P 0.6956 0.5267 0.3489 0.1600 0.0667 0.4352 F 0.4999 0.4839 0.3970 0.2338 0.1200 0.3670 N = 10 R 0.4388 0.5254 0.5922 0.6060 0.6200 0.5240 P 0.6820 0.5200 0.3320 0.1460 0.0620 0.4227 F 0.5208 0.5042 0.3946 0.2196 0.1127 0.3734
0 0.1 0.2 0.3 0.4 0.5 0.6 0.7
1 2 3 4 5 6 7 8 9 10
N
再現率
手法1 手法2
図 6.5: θcorrect= 1の場合の再現率
0 0.02 0.04 0.06 0.08 0.1 0.12 0.14
1 2 3 4 5 6 7 8 9 10
N
適合率
手法1 手法2
図 6.6: θcorrect= 1の場合の適合率
0 0.02 0.04 0.06 0.08 0.1 0.12 0.14 0.16
1 2 3 4 5 6 7 8 9 10
N
F尺度
手法1 手法2
図 6.7: θcorrect= 1の場合のF尺度
0 0.1 0.2 0.3 0.4 0.5 0.6 0.7
1 2 3 4 5 6 7 8 9 10
N
再現率
手法1 手法2
図6.8: θcorrect= 0.9の場合の再現率
0 0.05 0.1 0.15 0.2 0.25
1 2 3 4 5 6 7 8 9 10
N
適合率
手法1 手法2
図6.9: θcorrect= 0.9の場合の適合率
0 0.05 0.1 0.15 0.2 0.25 0.3
1 2 3 4 5 6 7 8 9 10
N
F尺度
手法1 手法2
図6.10: θcorrect= 0.9の場合のF 尺度
0 0.1 0.2 0.3 0.4 0.5 0.6 0.7
1 2 3 4 5 6 7 8 9 10
N
再現率
手法1 手法2
図6.11: θcorrect= 0.8の場合の再現率
0 0.1 0.2 0.3 0.4 0.5
1 2 3 4 5 6 7 8 9 10
N
適合率
手法1 手法2
図6.12: θcorrect= 0.8の場合の適合率
0 0.05 0.1 0.15 0.2 0.25 0.3 0.35 0.4 0.45
1 2 3 4 5 6 7 8 9 10
N
F尺度
手法1 手法2
図6.13: θcorrect= 0.8の場合のF 尺度
0 0.1 0.2 0.3 0.4 0.5 0.6
1 2 3 4 5 6 7 8 9 10
N
再現率
手法1 手法2
図6.14: θcorrect= 0.7の場合の再現率
0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8
1 2 3 4 5 6 7 8 9 10
N
適合率
手法1 手法2
図6.15: θcorrect= 0.7の場合の適合率
0 0.1 0.2 0.3 0.4 0.5 0.6
1 2 3 4 5 6 7 8 9 10
N
F尺度
手法1 手法2
図6.16: θcorrect= 0.7の場合のF 尺度
0 0.1 0.2 0.3 0.4 0.5
1 2 3 4 5 6 7 8 9 10
N
再現率
手法1 手法2
図6.17: θcorrect= 0.6の場合の再現率
0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1
1 2 3 4 5 6 7 8 9 10
N
適合率
手法1 手法2
図6.18: θcorrect= 0.6の場合の適合率
0 0.1 0.2 0.3 0.4 0.5 0.6
1 2 3 4 5 6 7 8 9 10
N
F尺度
手法1 手法2
図6.19: θcorrect= 0.6の場合のF 尺度
6.8.4 考察
未知語に関する影響度と色彩ベクトルの推定について
6.4節の式（6.3）における色彩と結びつきのある単語の集合（i.e., A(m)）として，
プリミティブワードと未知語の両方を想定する手法（手法2）の方が，プリミティブ ワードのみを想定する手法（手法1）よりも，パフォーマンスが高いという，6.8.3 節の結果は，5章によって得られたプリミティブワード以外にも，色彩と結びつきの ある重要な単語が，評価用楽曲に含まれていることを示唆している．しかし，心理 実験によってプリミティブワードの調査を行う場合，実験で使用する楽曲は有限個 の楽曲とならざるを得ず，心理実験で得られたプリミティブワードが色彩と結びつ きのある単語を全て網羅することは困難である．本研究で提案した未知語に関する 影響度と色彩ベクトルの推定は，この問題を軽減させるために提案した手法である．
6.8.3節において，プリミティブワードと未知語の両方を想定する手法（手法2）の
方が，プリミティブワードのみを想定する手法（手法1）よりも，パフォーマンス が高かったことを考慮すれば，本研究で提案した，未知語に関する影響度と色彩ベ クトルの推定が，パフォーマンスの向上に貢献していたと考えられる．よって，本 研究で提案した未知語に関する影響度と色彩ベクトルの推定手法は，妥当な手法で あったと言える．
楽曲の試聴による色彩印象と推定された楽曲の色彩印象の比較
手法2（6.6.2節におけるθの値が0.6の場合）によって推定された楽曲色彩ベクト
ルと，人間が楽曲の試聴から想起した色彩印象（i.e., 6.8.1節で作成したクエリ色彩 ベクトル）が，どの程度，類似しているかを確認する．
比較はPearsonの積率相関係数rを求めることによって行う．すなわち，評価用
楽曲mi(i= 1, ...,50)に関して，手法2によって推定されたmiの楽曲色彩ベクトル の色彩cj(j = 1, ...,35)に対応する要素の値をxij，楽曲の試聴から得られたmiの色 彩ベクトル（i.e., 6.8.1節で作成したmiのクエリ色彩ベクトル）の色彩cjに対応す る要素の値をyij として，楽曲miにおける変数xとyに関する相関係数rを求める．
この比較によって得られた，相関係数rの分布を表6.5に示す．表6.5において，
中央列の数値は左端列に示す範囲の相関係数となった楽曲数を表し，右端列の数値 は左端列に示す範囲の相関係数となった楽曲のうち，有意確率5%水準（両側）を 満たす楽曲数を表す．本節では，色彩ベクトルの各要素の値によって相関係数を求 めているため，相関係数の導出に用いたサンプルサイズは35である．したがって，
相関係数の検定（両側）における棄却の限界値は0.3338である．
Pearsonの積率相関係数は，0.2以上の場合に相関関係があるとされている[42]．し
たがって，表6.5から分かるように，評価用楽曲50曲中46曲に相関関係が見られ た．このうち，有意確率5%水準（両側）を満たす楽曲に限定した場合でも，50曲 中37曲に相関関係が見られた．この結果は，手法2によって推定された楽曲色彩ベ クトルと人間が楽曲の試聴から想起した色彩印象の間に相関関係があることを示唆