楽曲検索システム

(1)

歌詞と色彩の関係に着目した経験基盤主義的感性情報処理による

楽曲検索システム

仲村哲明

電気通信大学大学院電気通信学研究科博士（工学）の学位申請論文

2011 ^年 3 ^月

(2)

歌詞と色彩の関係に着目した経験基盤主義的感性情報処理による

楽曲検索システム

博士論文審査委員会

主査坂本真樹准教授

委員兼子正勝教授

委員吉浦裕教授

委員梶本裕之准教授

委員内海彰准教授

(3)

著作権所有者

仲村哲明

2011

(4)

A music retrieval system based on experience-based human information processing focusing on cognitive correlation

between colors and lyrics

Tetsuaki Nakamura

Abstract

Currently, there are many music retrieval methods proposed. Many researchers tackle the research for developing music retrieval methods based on not only tradi- tional literal information and acoustic information but also human feeling information. This paper focuses on the cognitive relation between colors associated with song lyrics and colors evoked through listening songs. This paper proposes the method for retrieving songs associated with a combination of colors.

According to the previous study for the relationship between music and colors, when people in general, not trained for music, associate music with color, music reminds them of concrete situations, times, and places. This study suggests that people in general associate music with colors based on experience-based scene reminding.

Chapter 4 argues that experience-based scene reminding plays an important role in processing linguistic expressions. This paper explored how people comprehend synesthetic metaphors, to which previous studies had paid little attention. The results of psychological experiments showed that experience-based scene reminding played an important role in the comprehension process of synesthetic metaphors.

This result supports our approach focusing on experience-based scene reminding is cognitively plausible.

Chapter 5 reports two psychological experiments we conducted to show that there are cognitive relationship among music, colors, and lyrics expressing various human experiences, situation, times, and places. The psychological experiments use 80 J- POPs as materials. In experiment 1, 60 males and females were asked to listen to each song and choose one to three colors from 35 sample colors associated with the song. In experiment 2, other 60 males and females were asked to choose one to three colors from 35 sample colors associated with lyrics of each song. The comparison between the results of experiment 1 and experiment 2 shows that there is a significant correlation between colors chosen in experiment 1 and colors chosen in experiment 2. The results suggest that it is cognitively reasonable to recommend songs using

(5)

the correlation between colors and lyrics.

Chapter 6 proposes a music retrieval method using the relationship among music, lyrics, and colors and a prototype system. Evaluating the prototype system shows that colors estimated by the system significantly correlate with those evoked by listening music. Thus, this study concludes that our proposed method is an eﬀective new music information retrieval method.

(6)

歌詞と色彩の関係に着目した経験基盤主義的感性情報処理による

楽曲検索システム

仲村哲明概要

本論文では，楽曲から想起される色彩と歌詞のみの提示から想起される色彩に相関関係があることを心理実験によって確認する．そして，歌詞のみの提示から色彩を想起する際に重要な，色彩と結びつきのある手がかり語の存在を明らかにする．これらの知見に基づいて，本論文では，新しい楽曲検索手法として，楽曲，歌詞，色彩の結びつきを利用した楽曲検索手法を提案する．

近年，情報メディアの普及に伴い，インターネットによるデータ配信サービスの拡大によって，我々はオンラインで楽曲データを購入できるようになった．オンラインで楽曲データを購入する場合，ユーザは楽曲データの配信元のデータベースにアクセスすることになるが，そこには莫大な数の楽曲データが蓄積されている．ユーザは大量の楽曲データの中から所望する楽曲を適切に検索しなければならない．最も単純な楽曲検索手法は，楽曲のタイトルやアーティスト名などの属性情報を，ユーザがクエリとして用いることで楽曲を検索する手法である．しかし，この手法では，

ユーザがあらかじめ楽曲のタイトルやアーティスト名といった属性情報を知っている必要があるため，検索したい楽曲に関する属性情報を知らない場合や，属性情報を間違って覚えている場合には，検索を行うことができないという問題がある．このような問題に対応するために，楽曲の属性情報を用いない楽曲検索技術に関する研究が盛んに行われている．楽曲の属性情報を用いない楽曲検索技術の1つとして，

感性情報をクエリとする楽曲検索技術がある．これまでに提案されている感性情報をクエリとする楽曲検索技術のほとんどは，感性語あるいは感性語に対する評価尺度を感性情報として用いる手法である．このような検索手法は，特に明確な楽曲の検索を目的とせず，漠然とユーザの気分に合った楽曲を検索したい場合に有効な検索手法である．しかし，漠然とした心的状態を，感性語あるいは感性語に対する評価尺度によって表現するのが困難であることは，これらの手法を評価するために集められた被験者の意見においても確認されいてる．そこで，本論文では，楽曲検索における感性情報として，感性語や感性語に対する評価尺度とは異なる情報として色彩に着目し，色彩をクエリとする楽曲検索手法を提案する．

2章では，従来から提案されている楽曲検索技術を紹介し，従来手法の問題点について述べる．従来手法は，楽曲の音響的特徴を重視する楽曲検索手法と，楽曲に

(7)

対する感性情報を重視する楽曲検索手法に大別することができる．これらの手法に関する問題点を指摘することによって，感性語や感性語に対する評価尺度とは異なる感性情報の必要性を述べる．

3章では，感性情報として色彩に着目し，楽曲と色彩の結びつきに関する先行研究について述べる．ここでは，楽曲と色彩の結びつきに関する先行研究によって，特に音楽的な訓練を受けていない一般的な人の場合，楽曲から色彩を想起する際には経験に基づくシーン想起が重要な役割を果たしているという知見が報告されていることを述べる．これにより，経験に基づくシーン想起というアプローチによって，楽曲と色彩の結びつきによる楽曲検索手法の可能性を示す．

4章では，経験に基づくシーン想起というアプローチから楽曲と色彩の結びつきによる楽曲検索手法の検討が妥当であることを，人間の認知のあり方が反映される言語の意味の生成や理解に関する研究を通して確認する．本論文では，創造的な言語表現であるとされる比喩の中でも，共感覚比喩に着目し，共感覚比喩がどのようなプロセスによって理解されているのかについて分析を行う．その結果，これまで経験的要因が重視されていなかった共感覚比喩においてさえ，経験に基づく処理が重要であるということを確認する．これにより，楽曲と色彩を結ぶ認知メカニズムとして，経験に基づくシーン想起を重視して，楽曲検索における色彩の利用を検討することが妥当な手法であることを確認する．

5章では，経験に基づくシーン想起のための情報として歌詞に着目し，心理実験によって，楽曲の試聴から得られる色彩と歌詞のみの提示から得られる色彩の間に相関関係があることを示す．この心理実験から，楽曲，歌詞，色彩の結びつきに基づく楽曲検索手法の可能性を示す．また，心理実験の結果を分析することで，歌詞のみの提示から色彩を想起するために重要な役割を果たす手がかり語が存在することを示す．

6章では，楽曲，歌詞，色彩の結びつきを利用した楽曲検索手法を提案し，計算機に実装することで，感性情報として色彩を用いる楽曲検索システムを実現する．このシステムを評価した結果，システムが推定した楽曲に関する色彩印象と心理実験から得られた楽曲に関する色彩印象の間に相関関係があることを示す．これにより，

提案手法は新しい楽曲検索手法として有効であることを述べる．

最後に，7章では，本論文をまとめ，今後の課題と展望について述べる．

(8)

図目次

1.1 インターネット有料音楽配信購入率の推移 . . . . 2

1.2 本論文の構成 . . . . 4

2.1 入力音声の自動識別による楽曲検索手法（大石ら，2006より転載） . 6 2.2 声質の類似度に基づく楽曲検索手法（藤原・後藤，2007より転載） . 7 2.3 文字列照合による楽曲検索（永野ら，2004より転載） . . . . 8

2.4 ユーザの嗜好に基づく楽曲検索（Hoashi et al.，2007より転載） . . . 10

2.5 楽曲に対する印象の因子分析に基づく楽曲検索（池添ら，2001より転載） . . . . 11

2.6 楽曲に対する印象の因子分析に基づく楽曲検索における楽曲の登録（池添ら，2001より転載） . . . . 12

2.7 感性の個人差に対応した楽曲検索（杉原ら，2005より転載） . . . . . 13

2.8 音響情報の統計量と形容詞対の評価尺度を用いた楽曲検索のインターフェイス（熊本・太田，2006より転載） . . . . 13

2.9 音響情報の統計量と形容詞対の評価尺度を用いた楽曲検索（熊本・太田，2006より転載） . . . . 14

3.1 長田ら（2003）で使用された色彩（長田ら，2003より転載） . . . . . 19

3.2 山脇・椎塚（2005）で使用されたカラーイメージスケール（山脇・椎塚，2005より転載） . . . . 21

3.3 坂本・鎌田（2007）で使用された配色パターン（坂本・鎌田，2007より転載） . . . . 23

4.1 Ullmann（1951）による感覚モダリティ属する語の修飾の方向性 . . . 30

4.2 Williams（1976）による感覚モダリティ属する語の修飾の方向性（Williams， 1976より転載）） . . . . 31

4.3 Yu（2003）によって確認された中国語の共感覚比喩に関する方向性 . 31 4.4 Werning et al.（2006）による共感覚比喩の理解しやすさの方向性（Werning et al.，2006より転載） . . . . 32

4.5 楠見（1988，1994）による理解しやすさの高いの修飾の方向性 . . . . 33

4.6 2段階カテゴリ化モデル . . . . 35

4.7 2段階カテゴリ化モデルにおけるシーン想起 . . . . 35

4.8 異なり数の平均値 . . . . 40

4.9 延べ数の平均値 . . . . 41

(12)

4.10 共感覚比喩の理解プロセス . . . . 42

4.11 赤い味の理解プロセス . . . . 42

4.12 赤い声の理解プロセス . . . . 43

5.1 実験で使用したカラーパレット . . . . 52

5.2 心理実験で使用した35色をL*a*b表色系で表現したときのクラスター分析結果（デンドログラム） . . . . 57

5.3 類似した色彩のグループ化 . . . . 58

6.1 試作システムの入力画面の例 . . . . 65

6.2 試作システムの出力画面の例 . . . . 65

6.3 実験で使用したカラーパレット（再掲） . . . . 69

6.4 未知語の影響度と色彩ベクトル . . . . 72

6.5 θcorrect = 1の場合の再現率 . . . . 79

6.6 θ_correct = 1の場合の適合率 . . . . 79

6.7 θ_correct = 1の場合のF 尺度. . . . 79

6.8 θ_correct = 0.9の場合の再現率 . . . . 80

6.9 θ_correct = 0.9の場合の適合率 . . . . 80

6.10 θ_correct = 0.9の場合のF 尺度. . . . 80

6.17 θcorrect = 0.6の場合の再現率 . . . . 83

(13)

表目次

3.1 白石（1999）によって得られた楽曲と色彩の対応関係（白石，1999よ

り抜粋） . . . . 17

3.2 坂本・鎌田（2007）で使用された形容詞 . . . . 23

3.3 坂本・鎌田（2007）で使用された特徴 . . . . 24

4.1 比喩の種類 . . . . 29

4.2 感覚モダリティに属する語が修飾語として最初に用いられた年代（Williams， 1976より抜粋） . . . . 30

4.3 実験に使用した共感覚比喩 . . . . 37

4.4 メタファーの理解において出現する特徴 . . . . 38

4.5 特徴の分類 . . . . 39

4.6 連想語に付与するラベルおよび付与条件 . . . . 44

4.7 分類結果 . . . . 47

4.8 共感覚比喩の理解と楽曲からの色彩想起の共通点 . . . . 48

5.1 実験の種類 . . . . 50

5.2 色彩の回答方法 . . . . 53

5.3 楽曲の試聴からの色彩想起実験（実験1）の結果 . . . . 54

5.4 歌詞のみの提示からの色彩想起実験（実験2）の結果 . . . . 55

5.5 実験1と実験2の比較結果 . . . . 56

5.6 楽曲の試聴からの色彩想起実験（実験1）の結果（色彩グループ） . . 59

5.7 歌詞のみの提示からの色彩想起実験（実験2）の結果（色彩グループ） 59 5.8 実験1と実験2の比較結果（色彩グループ） . . . . 60

5.9 色彩想起に影響を与えた箇所の異なり数 . . . . 62

6.1 色彩の回答方法（再掲） . . . . 69

6.2 平均正解楽曲数 . . . . 75

6.3 手法1に関するパフォーマンス . . . . 77

6.4 手法2に関するパフォーマンス（θ= 0.6の場合） . . . . 78

6.5 楽曲の試聴による色彩印象と推定された楽曲の色彩印象の比較結果 . 85 A.1 心理実験に使用した楽曲の一覧（順不同，敬称略） . . . . 97

B.1 心理実験に使用した楽曲の35色に関する相関係数一覧（表A.1の順，敬称略） . . . . 100

(14)

C.1 心理実験に使用した楽曲の13色彩グループに関する相関係数一覧（表

A.1の順，敬称略） . . . . 103

D.1 色彩想起に影響を与えた歌詞中の箇所（上位50位まで） . . . . 106

E.1 システム評価に使用した楽曲の一覧（順不同，敬称略）. . . . 107

F.1 手法1に関するパフォーマンス . . . . 110

F.2 手法2に関するパフォーマンス（θ= 0.3の場合） . . . . 111

F.8 手法2に関するパフォーマンス（θ= 0.9の場合） . . . . 117 G.1 システム評価に使用した楽曲の相関係数一覧（表E.1の順，敬称略） 118

(15)

第 1 ^{章序論}

1.1 研究の背景

近年，情報メディアの普及はますます拡大し，それに伴うユーザの情報検索要求は多様化している．一口に情報メディアと言っても多種多様なものがある．我々の日常生活に密着し，目にする機会の多い情報メディアの1つとしては，音楽情報メディアが挙げられる．特に最近では，Apple社のiPodに代表されるような情報メディアの普及により，情報メディアに楽曲データを保存しておくことで，どのような場所でも気軽に音楽を楽しむことができる．当然ながら，我々が音楽を楽しむ際には，楽曲データを何らかの形で購入しなければならないが，昨今のインターネットによるデータ配信サービスの拡大によって，我々はオンラインで楽曲データを購入できるようになった．社団法人日本レコード協会による音楽メディアユーザ実態調査では，

インターネット有料音楽配信購入率は年々増加しており，2009年の購入率は2006年の2倍以上であったと報告されている（図1.1参照）．

オンラインで楽曲データを購入する場合，ユーザは楽曲データの配信元のデータベースにアクセスすることになるが，このデータベースには莫大な数の楽曲データが蓄積されており，ユーザはその中から所望する楽曲を適切に検索して購入することになる．このとき問題となるのは，データベースには膨大な数の楽曲が登録されているということである．膨大な数の楽曲データがデータベースに蓄積されていることで，我々が多種多様な楽曲に触れられる機会は非常に多くなり，未知の楽曲との出会いを期待することができる．その反面，ユーザは大量の楽曲データの中から所望する楽曲を適切に検索しなければならず，この作業には多大な労力を要する．したがって，この作業をいかに効率よく行うかということが問題であり，このとき必要とされる情報検索技術が楽曲検索技術である．

最も単純な楽曲検索手法は，楽曲のタイトルやアーティスト名などの属性情報を，

ユーザがクエリとして用いることで楽曲を検索するという手法である．しかし，この手法は，ユーザがあらかじめ楽曲の属性情報を知識として持っていることを前提としている．そのため，ユーザが検索したい楽曲に関する属性情報を知らない場合や，ユーザが属性情報を間違って覚えていた場合，この手法によって，所望する楽曲を検索することができない．

このような問題を解決するために，最近では，様々な楽曲検索手法が提案されている．従来より提案されている楽曲検索手法は，楽曲の音響的な特徴を重視した手法と，楽曲に対する感性的な印象に関する情報を重視した手法に，大別することができる．楽曲の音響的な特徴を重視した手法は，ユーザがクエリとして，歌声，ハミ

(16)

図1.1: インターネット有料音楽配信購入率の推移

ング，楽曲データの一部などを入力することで，クエリに近い楽曲，あるいは，クエリとして与えられたメロディを含む楽曲を検索する手法である．この手法は，ユーザが所望する楽曲に関する属性情報を知らない場合に有効である．しかし，この手法を利用するためには，ユーザがあらかじめクエリとして用いるメロディなどの知識，あるいは，楽曲データを所有していなければならないという条件がある．したがって，この手法は，あらかじめ目的とする楽曲が決まっているユーザに対しては有効な手法であるが，未知の楽曲との出会いを期待することはできない．これに対して，楽曲に対する感性的な印象に関する情報を重視した手法は，ユーザがクエリとして，楽曲に対する印象を感性語あるいは感性語に対する評価尺度を入力することで，その印象を持つ楽曲を検索する手法である．したがって，この手法は，特に明確な楽曲の検索を目的とせず，漠然と気分や好みに合った楽曲を検索したい場合に有効であり，未知の楽曲との出会いを期待することができる．この手法で一般的に用いられている情報は，楽曲試聴時におけるユーザの心的状態である．しかし，漠然とした心的状態を感性語を用いて明確に表現するのが困難であることを考慮すれば，必ずしも，感性語あるいは感性語に対する評価尺度を用いる手法が適切であるとは言えない．

以上を考慮すると，楽曲に対する感性情報をクエリとしつつも，従来手法とは異なる感性情報を用いた楽曲検索手法を提案することは，今後の楽曲検索技術の発展において重要であると言える．このような背景から，本研究では，ユーザの感性情報を利用した新しい楽曲検索手法の提案を目的とする．

(17)

1.2 本研究の位置づけ

1.1節で述べた本研究の目的から，本研究の位置づけは，以下の通りである．第1 に，本研究は，特に明確な楽曲の検索を目的としない場合の楽曲検索手法を提案する．第2に，本研究で提案する楽曲検索手法は，明確な楽曲の検索を目的としない場合の楽曲検索手法として従来より提案されている，感性情報を用いた楽曲検索手法の1つである．第3に，本研究で提案する楽曲検索手法は，感性情報を用いた楽曲検索手法として従来より提案されている手法で採用されている，ユーザの嗜好，感性語，感性語に対する評価尺度とは異なる，新たな感性情報を用いた楽曲検索手法である．具体的には，新たな感性情報として色彩を用いる．第4に，本研究は，色彩を用いた楽曲検索手法を提案することで，今後の楽曲検索技術の発展を目指す．

1.3 論文の構成

本論文は，図1.2に示すように，7つの章で構成される．1章では，本論文の研究背景と目的，そして，本論文の大まかな構成を述べる．2章では，従来より提案されている楽曲検索技術とその問題点を指摘し，ユーザの感性情報を利用した新しい楽曲検索手法の必要性を述べる．3章では，楽曲検索における感性情報として，色彩情報の利用可能性について述べる．具体的には，まず，共感覚という側面に関する先行研究から得られた知見が楽曲検索技術に応用可能かどうかを検討する．次に，

共感覚という側面以外の，楽曲と色彩の結びつきに関する先行研究から得られた知見が楽曲検索技術に応用可能かどうかを検討する．これらの検討によって，我々の経験に基づくシーン想起というプロセスに着目することで，楽曲検索における感性情報として，色彩の利用可能性を述べる．4章では，経験に基づくシーン想起というプロセスに着目し，楽曲検索における感性情報として色彩の利用を検討することの妥当性を，人間の認知のあり方が反映される言語の意味の生成や理解に関する研究を通して確認する．具体的には，共感覚比喩の理解プロセスにおいて，経験に基づくシーン想起が重要な役割を果たしていることを述べることで，この確認を行う．

5章では，シーン想起を促す情報として歌詞に着目し，楽曲，歌詞，色彩の結びつきによる楽曲検索技術の実現可能性を示す．すなわち，楽曲の試聴によって想起される色彩と歌詞のみの提示によって想起される色彩の間の相関関係を，心理実験によって調査する．この調査によって，歌詞情報のみを分析することで，楽曲の試聴から想起される色彩が推定可能であるということを示す．6章では，楽曲，歌詞，色彩の結びつきによる楽曲検索手法を具体的に提案し，提案手法を計算機に実装することで，歌詞情報のみを分析することで楽曲の試聴から想起される色彩が推定可能であり，このことを応用して楽曲検索を行うことが可能であるということを示す．また，試作した楽曲検索システムのパフォーマンスを評価する．7章では，結論として本論文の内容をまとめ，今後の課題や展望について述べる．

以上から，本論文の成果は2つ挙げられる．1つは，共感覚比喩の理解プロセスにおいて経験に基づくシーン想起が重要な役割を果たしていることを示したことであ

(18)

1章：研究背景と目的，および，本論文の大まかな構成

2章：従来の楽曲検索技術およびその問題点

3章：楽曲検索における色彩情報の利用可能性の検討

4章：楽曲と色彩を結ぶ認知メカニズムとして，

経験に基づくシーン想起に着目することの妥当性の確認

5章：楽曲，歌詞，色彩の結びつきによる楽曲検索技術の実現可能性の検証

6章：色彩に基づく楽曲検索システムの提案および評価

7章：結論

図1.2: 本論文の構成

る（4章）．もう1つは，歌詞のみを分析することで，色彩をクエリとした楽曲検索が可能であることを示したことである（5章および6章）．

なお，本論文では経験基盤主義という立場をとるが，この経験基盤主義という用語は，辻（2002）[52]において定められている用語として用いる．辻（2002）によれば，経験基盤主義とは，以下のようなものである．

人間の理性観を代表する考え方の1つで，理性が身体を通した種々の経験に動機付けられて存在すると見る考え方．………

………（中略）…………経験基盤主義の最も肝要な点は，生物的に

決定された知覚様式（ものの見え方など）・身体感覚（前後・上下感覚など）から出発すること（身体性）や，経験主体としての人間が，自然環境ならびに社会環境との相互作用的な関わりを通して，多様な経験をなし得るという事実を重視することにある．（辻（2002）より引用）

(19)

第 2 章従来の楽曲検索技術

近年，情報メディアの普及はますます拡大し，それに伴うユーザの情報検索要求は多様化している．一口に情報メディアと言っても多種多様なものがあるが，我々の日常生活に密着し，目にする機会の多い情報メディアとしては，音楽情報メディアが挙げられる．特に最近では，Apple社のiPodに代表されるような情報メディアの普及により，情報メディアに楽曲データを保存しておくことで，どのような場所でも気軽に音楽を楽しむことができる．我々が音楽を楽しむ際には，楽曲データを何らかの形で購入しなければならないが，昨今のインターネットによるデータ配信サービスの拡大によって，我々はオンラインで楽曲データを購入できるようになった反面，データベースには無数の楽曲が登録され，ユーザは膨大な数の楽曲の中から，所望する楽曲を適切に探し出さなければならなくなっている．

最も単純な楽曲検索手法は，例えば，Apple社の楽曲データ配信サービスiTunes-

Storeのように，楽曲のタイトルやアーティスト名などの属性情報を，ユーザがクエ

リとして用いることで，楽曲を検索するという手法である．しかし，この手法では，

ユーザがあらかじめ楽曲の属性情報を知識として持っている必要があり，ユーザが検索したい楽曲に関する属性情報を知らない場合や，ユーザが属性情報を間違って覚えていた場合などは，所望する楽曲を検索することができないという問題がある．

このため，最近では，明確な属性情報を必要としない楽曲検索技術が盛んに研究されており，様々な手法が提案されている．本章では，明確な属性情報を用いなくても所望する楽曲を検索可能にする手法として，従来より提案されている楽曲検索技術を紹介するとともに，それらの問題点について述べる．これにより，新しい楽曲検索手法の必要性を述べる．

従来の楽曲検索技術は，音響信号の特徴に焦点を当てた手法と楽曲に対するユーザの感性情報に焦点を当てた手法に大別することができる．以下では，それぞれの手法を紹介しながら，それらの手法における問題点を指摘していく．

2.1 音響信号の特徴量を重視した楽曲検索技術

音響信号の特徴量を重視した楽曲検索技術は，クエリとして，所望する楽曲に関する何らかの音響情報をユーザが用いる手法である．音響信号をクエリとして用いた楽曲検索技術は，従来より様々な手法が提案されている．代表的な手法としては，

ハミングや楽曲あるいは楽曲の一部をクエリとして用いる手法がある．以下では，

これまでに提案されている，音響信号をクエリとして用いた楽曲検索技術を紹介するとともに，それらの問題点について述べる．

(20)

図2.1: 入力音声の自動識別による楽曲検索手法（大石ら，2006^{より転載）}

2.1.1 歌声と朗読音声の自動判別による楽曲検索

大石ら（2006）[41]は，入力音声をクエリとする楽曲検索システムを提案している．彼らが提案しているシステムは，図2.1に示すように，クエリが歌声であるか曲名の読み上げ音声（朗読音声）であるかを自動判別する．クエリが歌声であると判別された場合，システムは，ハミング検索手法によって，クエリとして与えられたメロディが含まれる楽曲を検索する．一方，クエリが朗読音声であると判別された場合，システムは，音声認識によってクエリを書き起こし，書き起こされた曲名の楽曲を検索する．

このシステムでは，クエリを歌声あるいは朗読音声に分類するために，与えられた音声情報に関するMFCC（Mel Frequency Cepstrum Coeﬃcients）と呼ばれる短時間のスペクトル特徴，および，与えられた音声情報の基本周波数の時間変化（時系列に対する線形回帰係数）の2つの尺度を用いて，音声情報の特徴ベクトルを構成している．システムは，この特徴ベクトルを用いて，あらかじめ歌声と朗読音声から算出されるそれぞれの特徴ベクトルの分布を学習することで，クエリとして与えられた音声情報が歌声であるか朗読音声であるかを判別する．

クエリが歌声と判別された場合，システムはメロディの時間構造の特徴を抽出することで楽曲検索を行う．システムは，データベース中の楽曲およびクエリとして与えられたメロディに関して，10ms毎に基本周波数を推定し，ある時刻における基本周波数とその時刻から離れた時刻における基本周波数の相関係数をそれぞれの時刻毎に求める．そして，その相関係数の系列を特徴ベクトルとして用いる．このように算出された特徴ベクトルに関して，クエリとデータベース中の楽曲を比較することで検索を行う．

クエリが朗読音声と判別された場合，システムは記述文法音声認識実行キット

Julian-3.4.2を用いて音声認識を行い，出力された曲名によって楽曲検索を行う．

大石ら（2006）では，この手法の問題点として，約8割で検索に成功する歌唱者もいれば，全く検索に成功しない歌唱者もおり，歌唱者によって偏りのある検索手

(21)

図2.2: 声質の類似度に基づく楽曲検索手法（藤原・後藤，2007より転載）

法であると報告している．

2.1.2 声質の類似度に基づく楽曲検索

藤原・後藤（2007）[5]は，クエリとして与えられた楽曲と類似した声質を持つ楽曲を検索する楽曲検索システムを提案している．彼らが提案しているシステムは，図 2.2に示すように，あらかじめ登録楽曲の音響信号を分析し，それぞれの楽曲に関するボーカルの声質を表現する特徴量を抽出しておく．そして，クエリとして楽曲が与えられると，クエリ楽曲のボーカルの声質を表現する特徴量を抽出し，クエリ楽曲のボーカルの声質の特徴量と登録楽曲のボーカルの声質の特徴量の類似度を計算し，類似度の高い楽曲を検索結果として出力する．

このシステムでは，伴奏音抑制，特徴抽出，高信頼度フレーム選択の3つの処理によって，ボーカルの声質の特徴量を計算する．伴奏音抑制処理では，ボーカルメロディの基本周波数を推定し，推定された基本周波数に基づいてボーカルメロディの高調波構造を抽出する．そして，抽出されたメロディの音響信号を再合成することで，伴奏音の影響を低減させている．特徴抽出処理では，伴奏音抑制処理によって再合成された音響信号に関して，LPMCC（LPCメルケプストラム係数）と呼ばれるスペクトル特徴量，および，ボーカルメロディの基本周波数の時間変化係数の 2つの尺度を，ボーカルメロディの特徴量（特徴ベクトル）として抽出する．高信頼度フレーム選択処理では，あらかじめ，歌声の学習データおよび非歌声の学習データを用いて，音響情報がどの程度歌声に近いかを判別できるようにしておき，特徴抽出処理によって抽出されたボーカルメロディの特徴量から，歌声として信頼できる区間のみの特徴量を抽出する．この高信頼度フレーム選択処理は，楽曲の中には，

歌声が存在する区間とそうでない区間が混在しており，処理の対象を歌声が存在す

(22)

図2.3: 文字列照合による楽曲検索（永野ら，2004より転載）

る区間に限定するために行われる処理である．提案されたシステムは，以上の3つの処理によって得られた特徴ベクトルに関して，クエリとデータベース中の楽曲を比較することで検索を行う．この手法に関しては，計算時間や必要な記憶容量の面において問題があると報告されている．

2.1.3 文字列照合を利用した楽曲検索

永野ら（2004）[38]は，クエリとして与えられた楽曲と類似する楽曲として，再演奏された楽曲，テンポの異なる楽曲，移調された楽曲，他の楽器を用いて演奏された楽曲のような楽曲を想定し，それらの楽曲も検索可能なシステムの構築を試みている．彼らの提案手法は，Ghias et al.（1995）[7]の研究を拡張した手法である．

Ghias et al.の提案手法は，単旋律の音高系列を， S（同じ）， U（上がる）， D

（下がる）といった，相対音高を表す文字列で表現することで単旋律の照合を行うという手法である．永野らの提案手法は，Ghias et al.の手法を多重奏の音響信号に対応可能にしたものであり，楽曲の音響データを単純な符号系列で表現し，この符号系列に対して文字列照合を行うことで，ロバストかつ高速な楽曲検索を目指した手法である．この手法は，図2.3に示すように，各楽曲の音響信号に関して，パワースペクトルを抽出することで，2値多重音響特徴ベクトルと呼ばれる特徴ベクトルを抽出する．そして，抽出された特徴ベクトルを単純な符号系列として表現する．その結果，クエリとして与えられた符号系列に類似する符号系列を含む楽曲を検索するという手法である．

永野ら（2004）によれば，この手法は，音響信号のスペクトル特徴量のみを用いた検索手法よりも，高い精度を得られたが，原曲，テンポ変換，移調に対する結果と比較して楽器変換に対する精度は低かったと報告している．

(23)

2.1.4 音響信号の特徴量を重視した楽曲検索技術の問題点

以上のように，音響信号の特徴量を重視し，クエリとして何らかの音響情報を用いる楽曲検索技術に関しては，様々な手法が提案されているが，いくつかの問題点がある．第1に，このような検索手法は，ユーザがあらかじめ所望する楽曲の音響的な情報を知識あるいはデータとして所有していることが前提となっている．したがって，検索したい楽曲のメロディはなんとなく覚えているが，その楽曲の属性情報（i.e., タイトルやアーティスト名など）が分からないようなユーザにとって有益な楽曲検索技術である反面，特に明確な楽曲の検索を目的とせず，漠然とユーザの気分や好みに合った楽曲を検索したい場合には有効ではない．第2に，目的とする楽曲があらかじめ決まっているため，ユーザの全く知らない楽曲を新しく発見するという意外性という側面に関しては，あまり期待することができないと考えられる．

2.2 感性情報を重視した楽曲検索技術

2.1節で紹介したように，音響信号の特徴量を重視した楽曲検索技術は，従来より盛んに研究されており，枚挙に遑がない．しかし，2.1.4節で述べたように，音響信号の特徴量を重視した楽曲検索技術にはいくつかの問題点がある．また，音楽は本質的に我々の感性に作用するものであるということを考慮すれば，音響信号の特徴という，客観的な情報のみで検索を行うのではなく，楽曲からどのような印象を受けるかといった，我々の感性情報を重視して楽曲検索を行うことは非常に重要である．このことから，最近では，楽曲に対する我々の感性情報を楽曲の特徴として扱う楽曲検索技術に関する研究が盛んに行われている．そこで，本節では，楽曲に対する感性情報を重視した楽曲検索手法を紹介するとともに，それらの問題点について述べる

2.2.1 ユーザの嗜好に基づく楽曲検索

ユーザの音楽的な嗜好（好き/嫌い）に適した楽曲を自動的に検索するという楽曲検索手法は，従来より盛んに提案されている[12, 61, 17, 27, 13, 62]．

Yoshii et al.,（2006）[61]は，登録楽曲のうちのいくつかの楽曲に対するユーザの好き/嫌いの評価を用いて，ユーザの嗜好に合った楽曲を提供する手法を提案している．彼らは，ユーザと共通する楽曲の評価を行った他のユーザの楽曲評価結果を参考にすることで楽曲を推薦する協調フィルタリングと呼ばれる手法と，ユーザの好む楽曲に類似した音響的な特徴を持つ楽曲を推薦する手法を，ベイジアンネットワークを用いて統合的に扱い，ユーザの嗜好をベイジアンネットワーク中の隠れ変数として表現することで，両手法の特徴を活かした楽曲検索手法を提案している．

梶 et al.,（2004）[19]は，ユーザの嗜好に関する情報とユーザの置かれた状況に関

する情報を併用する楽曲検索手法を提案している．彼らは，楽曲の特徴量として歌詞に着目し，ユーザの好む楽曲と歌詞が類似している楽曲をユーザの嗜好に合った

(24)

図 2.4: ユーザの嗜好に基づく楽曲検索（Hoashi et al.，2007より転載）

楽曲としている．この情報に加え，ユーザが楽曲を試聴する際の時間帯，場所，心理状態などに関するラベルをあらかじめ用意しておき，ユーザの嗜好に合い，かつ，

試聴する状況が類似した楽曲を推薦するという手法を提案している．なお，この研究において，各楽曲に対する状況のラベル付けは，Webブラウザを用いたアンケートによって行われている．

Hoashi et al.,（2007）[12]は，ユーザの嗜好に基づく楽曲検索手法が抱える問題点として，複数のジャンル（i.e., 音響的な特徴）の楽曲がユーザから提供された場合に適切な選曲を行えないという点を指摘している．彼らは，この問題点を解決するための手法として，図2.4に示すように，ユーザから与えられた複数の楽曲のうち，

ジャンルの類似している楽曲同士を1つのグループにまとめ，その結果として得られた各グループを代表するような特徴を個々のクエリとして用い，最終的に，個々のクエリに類似した楽曲を統合してユーザに提示するという手法を提案している．

2.2.2 楽曲に対する印象の因子分析に基づく楽曲検索

池添ら（1999，2001）[15, 16]は，SD法によって収集された楽曲の印象を因子分析し，その結果得られた因子を次元とする音楽感性空間と呼ばれる空間を用いて，楽曲を検索する手法を提案している．彼らは，心理実験を実施し，あらかじめ用意した楽曲に対する印象をいくつかの形容詞対（文献[15]では7種類，文献[15]では8 種類）を用いたSD法によって収集している．そして，得られたデータを因子分析し，幾つかの因子を抽出している（文献[15]では楽曲の明暗，力量，質量と解釈した3因子，文献[15]では楽曲の明度，力量，安定度，質量，躍動性の5因子）．彼らのシステムでは，まず，図2.5に示すように，心理実験によって収集されたデータを用いて，用意された形容詞対に対する評価値を，因子分析によって抽出された各因子を次元とする音楽感性空間上の座標に写像する操作を学習する．そして，学習後のシステムに対して，ユーザが所望する楽曲の印象を7種類の形容詞対に関する

(25)

図2.5: 楽曲に対する印象の因子分析に基づく楽曲検索（池添ら，2001より転載）

尺度として与えると，システムはクエリを感性空間座標に写像し，感性空間においてクエリとユークリッド距離の近い位置に配置されている楽曲を検索結果として出力する．彼らは，クエリを音楽感性空間上へ写像するための学習に関して，重回帰分析による学習と階層型ニューラルネットワークの誤差逆伝播法による学習の2種類を比較している．

システムに対する楽曲の登録は，図2.6に示すように，心理実験によって因子分析された楽曲に関しては，因子分析の結果によって得られた前述の因子の値を直接登録する．また，心理実験による調査がされていない楽曲に関しては，心理実験によって調査済みの楽曲に関する心理実験結果とそれらの楽曲の物理的な特徴量（音の高さの平均値，音の強さの平均値，曲の調性，曲のテンポなど）の関係を学習し，

未知曲に関する音楽感性空間上の座標を推定することで登録が行われている（図2.6 左側の自動インデクシングシステム部および図2.6右側）．

2.2.3 感性の個人差に対応した楽曲検索

杉原ら（2003，2005）[47, 48]は，感性には個人差が存在することを考慮し，個人の感性特性に応じて楽曲を検索することが可能なシステムを提案している．このシステムでは，40種類の感性語対に関する7段階主観評価による40次元のベクトルを感性ベクトルと呼び，図2.7に示すように，絶対基準となる特定の人物（1名，図2.7 の SE ）が，あらかじめデータベース内の全ての楽曲に関する感性ベクトルを主観評価によって作成しておく．次に，ユーザが，システムを使用する以前に，いくつかの学習曲に対して，主観評価によって感性ベクトルを作成し，システムは，絶対基準となる人物の作成した学習曲に対する感性ベクトルと，ユーザの作成した学

(26)

図2.6: 楽曲に対する印象の因子分析に基づく楽曲検索における楽曲の登録（池添ら，2001 より転載）

習曲に対する感性ベクトルを用いて，ユーザの入力した感性ベクトルの，絶対基準となる人物の入力した感性ベクトルへの写像を学習する．写像の学習には，階層型ニューラルネットワークの誤差逆伝播法が採用されている．ユーザは，システムの学習後，所望する楽曲の印象を40次元の感性ベクトルとして表現し，クエリとしてシステムに入力する．システムは，クエリとして与えられた感性ベクトルを，絶対基準となる人物に関する感性空間に写像する．これにより，システムは，単一の感性的な基準（i.e., 絶対基準となる人物の感性的な基準）に従って，クエリに類似した印象の楽曲を検索する．杉原ら（2003,2005）のシステムでは，40次元の感性空間上のユークリッド距離によって，クエリと登録楽曲の印象の類似度を算出している．

ただし，杉原ら（2003,2005）では，この楽曲検索手法は，楽曲の感性ベクトルを評価するための絶対基準となる人物およびユーザの感性が長期にわたって安定していることを前提としており，同じ楽曲に対する評価が時間の経過と共に変化するようなユーザには不向きであると述べられている．

2.2.4 音響情報の統計量と形容詞対の評価尺度を用いた楽曲検索

熊本・太田（2006）[26]は．図2.8に示すような10種類の印象尺度対に関する評価値をクエリとする楽曲検索システムを提案している．彼らは，標準MIDIファイル形式の楽曲に関して，音の高さ，強さ，長さの時間的推移をNグラム統計量で記述することで，楽曲の音響特徴を扱っている．一方，楽曲の印象尺度に関しては，国語辞典を用いて，同義語，反義語，類義語を調査し，それらの出現頻度を基に使用する印象語を決定するという手法（文献[24]）によって，10種類の印象尺度対が選定されている．

(27)

図2.7: 感性の個人差に対応した楽曲検索（杉原ら，2005^{より転載）}

図2.8: 音響情報の統計量と形容詞対の評価尺度を用いた楽曲検索のインターフェイス（熊本・太田，2006^{より転載）}

彼らの提案手法は，図2.9に示すように，楽曲に関する音の高さ，強さ，長さの時間的推移を符号系列として扱い，その符号に関するn-gram（n= 1,2,3,4,5）

および音色に関するunigramと，心理実験によって得られた，楽曲に対する10種類の印象尺度対を，重回帰分析によって対応づけている．これにより得られた重回帰

(28)

図2.9: 音響情報の統計量と形容詞対の評価尺度を用いた楽曲検索（熊本・太田，2006より転載）

式を用いて，楽曲の物理的特徴量と印象尺度対に関する評価値の両方を，印象ベクトルという1つの尺度によって扱うことで，クエリとして与えられた印象尺度対に関する印象ベクトルに近い楽曲が検索される．なお，このシステムでは，クエリと楽曲の印象ベクトルの近さを表す指標として，マハラノビスの汎距離が採用されている．彼らは，この提案手法は，楽曲印象の受け方における個人差の影響が大きく，

この個人差を解消/抑制する必要があると報告している．

2.2.5 感性情報を重視した楽曲検索技術の問題点

以上のように，感性情報を重視した楽曲検索手法は盛んに研究されているが，いくつかの問題点がある．第1に，クエリとしてユーザの嗜好を用いる場合，ユーザの嗜好から外れた楽曲は検索されず，ユーザは自分の嗜好以外の楽曲を自由に検索できないという問題がある．第2に，クエリとして感性語あるいは感性語に対する評価尺度を用いる場合，クエリとして想定されている情報は，楽曲試聴時におけるユーザの心的状態であり，漠然とした心的状態を明確に表現するのは困難である．これは，熊本・太田（2003）[25]において，システム評価に参加した被験者からの意見として報告されていることからも明らかである．第3に，感性語に基づいて楽曲を検索する場合，様々な楽曲を検索するためには，ユーザが相当量の感性語をボキャブラリとして持っていなければならず，使用される感性語が毎回同じものであれば，

新しい楽曲を発見することは困難になるという問題が考えられる．第4に，形容詞対の評価尺度に基づく楽曲検索の場合，微妙なニュアンスにまで対応させた楽曲検

(29)

索を実現しようとすれば，クエリとして用意すべき印象尺度対が多くなり，それに伴いユーザの負担が大きくなることで，システムとしての使い勝手が悪化するという問題が考えられる．特に，2.2.3節で述べた手法では，この問題点に加え，楽曲の印象を評価する絶対基準となる人物の評価次第で，システムのパフォーマンスが変動するという大きな問題を含む．また，このシステムでは，事前にユーザの特性を学習させておかなければならないため，気軽に利用することが困難であると言える．

以上から，楽曲検索において，我々の感性情報を重視して楽曲検索を行うことは非常に重要であるが，従来手法のように，あらかじめ決められた感性語あるいは感性語に対する評価尺度を用いて心的状態を表現するのではなく，より直感的な印象を反映できるような新しい感性情報を楽曲検索に取り入れる必要があると言える．このことから，次章では，楽曲検索における新しい感性情報として，色彩情報の利用可能性を検討する．

(30)

第 3 章楽曲検索における感性情報としての色彩情報の利用可能性

3.1 色彩情報の利用可能性

2章で述べたように，感性情報を用いた楽曲検索技術は，今後の楽曲検索手法として重要な技術になると期待できる．2章で述べた先行研究では，感性情報として，

形容詞あるいは形容詞対といった感性語が用いられているが，これらの情報以外に，

感性情報として利用できる情報はないだろうか．

例えば，川越・神酒（2003）[20]は，カラー画像から抽出された配色パターンに基づいて，画像から感性情報を抽出する研究を行っている．彼らは，画像から単色の代表色あるいは代表色の組み合わせを抽出し，抽出された色彩あるいは色彩の組み合わせに対応する感性語を，日本カラーデザイン研究所のデータベース[23]を用いて決定するという手法によって，画像に対応する感性語を抽出している．

また，桑原・加藤（1994）[30]は，明るく穏やかなや軽快でコクのあるのような表現（この研究では色調語と呼ばれる）をクエリとして入力すると，クエリの印象に近い配色パターンをデータベースから検索し，ユーザに提示するシステムを提案している．彼らの提案するシステムでは，感性的な言語表現と配色パターンの対応を，相互結合型ニューラルネットワークによって学習することで，色調語から配色パターンを検索可能にしている．ただし，このシステムでは，ユーザが自由に色調語を入力するのではなく，あらかじめ用意された色調語をクエリとして用いている．

このように，感性と色彩の結びつきに着目した研究が行われていることを考慮すれば，楽曲検索において，ユーザの嗜好や感性語以外の感性情報として，色彩情報の利用を検討することは妥当であると言える．そこで，以下では，楽曲と色彩の関係に関する先行研究について述べる．

3.2 楽曲と色彩の直接的な対応関係に関する研究

楽曲と色彩の直接的な対応関係を検討する場合，その代表的な研究として共感覚に関する研究がある．共感覚とは，ある刺激によって様相の異なる2つの経験が生じることであり，特に，音刺激に対して色覚を伴う現象は色聴と呼ばれる[4, 3]．Cytowic

（2002）[4]は，共感覚は，複雑で感性的な対応によって起こるのではなく，非常に単純な動物的な反応であると述べている．このことは，楽曲と色彩の直接的な対応関係の存在を示唆していると考えられる．そこで，この節では，楽曲と色彩の直接

(31)

表3.1: 白石（1999）によって得られた楽曲と色彩の対応関係（白石，1999より抜粋）

音階：長調ペールトーン（暖色系統）

ビビッドトーン（色相全般）

音階：短調ペールトーン（寒色系統）

ダルトーン（寒色系統）

ダークトーン（寒色系統）

テンポ：急ビビッドトーン（暖色系統）

テンポ：緩傾向があまりないタッチ：強ダルトーン（寒色系統）

タッチ：弱ペールトーン（色相全般）

音程：高ペールトーン（黄と青）

ビビッドトーン（黄と青）

音程：低ダルトーン（寒色系統）

的な対応関係に関する先行研究から，楽曲検索において，感性情報として色彩を利用するための手がかりとなる知見が得られないかを検討する．

3.2.1 楽曲と色彩の大まかな対応

白石（1999）[46]は，被験者に対して，楽曲の試聴から想起された印象を，色彩，

線画，形容詞対尺度によって回答させる心理実験を実施した．その結果，楽曲と色彩の関係として，表3.1に示すような結果が得られたと報告している．

この研究で得られた，楽曲を構成する要素と色彩の対応関係は，長調から暖色のペールトーン，短調から寒色のペールトーン，のように非常に大まかなものである．

楽曲検索における感性情報として色彩の利用を考慮する場合，このような大まかな分類を利用すると，長調の楽曲は暖色，短調の楽曲は寒色といったように，非常に大まかな対応しかできず，楽曲検索システムとしての有用性は非常に低くなるという問題が考えられる．例えば，ユーザがクエリとして入力した色彩が暖色であれば，

長調の楽曲が全て検索されてしまうことで検索の絞込みができない，あるいは，黄や青が入力されれば音程の高い楽曲が全て検索されてしまう，というような問題が起こると考えられる．

したがって，白石（1999）のように，調が長調/短調，テンポが強い/弱い，のような楽曲の特徴の大まかな分類，または，暖色，寒色のような色彩の大まかな分類を用いた研究から得られた知見を，楽曲検索に応用することは現実的ではないと考えられる．

(32)

3.2.2 色聴保持者の音刺激と色彩の対応規則

長田ら（2003）[39]は，単純音源に関する調，音高，音色のパラメータと色彩印象に関する色相，明度，彩度のパラメータの間にある，感性語を介さない直接的な対応関係を調査している．彼女らは，まず，共感覚保持者を被験者として，共感覚保持者に関する，調，音高，音色のパラメータと色相，明度，彩度のパラメータの間にある，対応関係を調査した．なお，被験者が共感覚保持者であるかどうかの判断は，以下の4項目に従って判断している．

1. 色彩の選択に再現性が見られること

2. 幼児期から色彩を感じた経験を持っていること

3. 感じる色彩が，色音符による音楽教育経験がないことを含めて，固有のものの記憶に結びついていないこと

4. 色彩を感じる際に，好き/嫌い，快/不快といった情動を伴っていること彼女らは，被験者に対して，提示された音刺激に対する印象に近い色彩をカラーチャートから選択させた．また，彼女らは，約3ヶ月後に，同じ被験者に対して同様の実験を行い，音刺激と色彩の対応関係の再現性も調査している．

長田ら（2003）の実験では，図3.1（a）に示す色相環のうち偶数番号の12色相が色相として採用されている．また，図3.1（b）に示す，横軸に彩度，縦軸に明度をとる座標上に配置される15カテゴリのうち，11カテゴリがトーンとして採用されている．そして，これらの色相とトーンを組み合わせ，132通り（12×11）の色彩を作成し，これらの色彩とは別に，グレー系9色，ピンク系10色，ブラウン系8色，

オフニュートラル系7色を加えた，合計166通りの色彩が採用されている．

彼女らは，実験の結果，色聴保持者に関する音と色彩の対応関係に関して，以下の規則が得られたと報告している．

1. 調と色相は極めて強い相関を持ち，個人内で高い再現性があるが，他の色聴保持者との間には色相に共通性は見られない．ただし，色聴保持者であり，かつ，

絶対音感¹保持者の場合に関しては，ある程度の共通性が見られる．

2. 音色に関しては，高調波成分が増えると選択する色彩の彩度が上がり明度が下がる傾向がある

3. 音高については，音高が上がると色彩の明度が上がる傾向がある 4. 音の優先順位は，調音>高音>色，である

さらに，彼女らは同様の実験を非色聴保持者を被験者として実施した．しかし，被験者である非色聴保持者全員が，明確に色彩を選択できなかったと報告している．そ

1音高を他の音高と比較せずに識別する能力

(33)

図3.1: 長田ら（2003）で使用された色彩（長田ら，2003より転載）

の結果，彼女らは，非色聴保持者に関して，音と色彩の対応関係を明示的に示すのは不可能であると述べている．

次に，彼女らは，非色聴保持者かつ非絶対音感保持者を被験者として，色聴保持者の実験から得られた音と色彩の対応関係に基づいて，音刺激の提示と同時に色刺激を提示されるグループと提示されないグループに分けることによって，音刺激から調同定できるように訓練した．訓練後，被験者に調同定させる実験を行い，被験者が調同定において何を手がかりとしたか，または何をイメージしたかについて調査した．その結果，音刺激の提示と同時に色刺激を提示されるグループの調同定能力が他方のグループよりも向上したことから，非色聴保持者にも調と色彩の対応関係を認識する能力が潜在している可能性を報告している．なお，この訓練において音刺激の提示と同時に色刺激を提示されなかったグループでは，調同定の際に，白いカーテンや川・湖などのような具体的な物やシーンをイメージとして挙げ

楽曲検索システム

歌詞と色彩の関係に着目した 経験基盤主義的感性情報処理による

楽曲検索システム

仲 村 哲 明

電気通信大学大学院電気通信学研究科 博士（工学）の学位申請論文

2011 年 3 月

歌詞と色彩の関係に着目した 経験基盤主義的感性情報処理による

楽曲検索システム

博士論文審査委員会

主査 坂本 真樹 准教授

委員 兼子 正勝 教授

委員 吉浦 裕 教授

委員 梶本 裕之 准教授

委員 内海 彰 准教授

著 作 権 所 有 者

仲 村 哲 明

2011

A music retrieval system based on experience-based human information processing focusing on cognitive correlation

between colors and lyrics

Tetsuaki Nakamura

Abstract

歌詞と色彩の関係に着目した 経験基盤主義的感性情報処理による

楽曲検索システム

仲村 哲明 概要

目 次

図 目 次

表 目 次

第 1 章 序論

1.1 研究の背景

1.2 本研究の位置づけ

1.3 論文の構成

第 2 章 従来の楽曲検索技術

2.1 音響信号の特徴量を重視した楽曲検索技術

2.2 感性情報を重視した楽曲検索技術

第 3 章 楽曲検索における感性情報としての色 彩情報の利用可能性

3.1 色彩情報の利用可能性

3.2 楽曲と色彩の直接的な対応関係に関する研究

歌詞と色彩の関係に着目した経験基盤主義的感性情報処理による

仲村哲明

電気通信大学大学院電気通信学研究科博士（工学）の学位申請論文

2011 ^年 3 ^月

歌詞と色彩の関係に着目した経験基盤主義的感性情報処理による

主査坂本真樹准教授

委員兼子正勝教授

委員吉浦裕教授

委員梶本裕之准教授

委員内海彰准教授

著作権所有者

仲村哲明

歌詞と色彩の関係に着目した経験基盤主義的感性情報処理による

仲村哲明概要

目次

図目次

表目次

第 1 ^{章序論}

第 2 章従来の楽曲検索技術

第 3 章楽曲検索における感性情報としての色彩情報の利用可能性