基礎律動を用いた印象の類似性に基づく 音楽分類に関する研究

2015

年度

早稲田大学大学院基幹理工学研究科情報理工・情報通信専攻修士論文

基礎律動を用いた印象の類似性に基づく 音楽分類に関する研究

2016.2.1

三木 亮祐

指導教員 亀山渉教授

目次

第1章 序論 ･･････････････････････････････････････････ 1 1.1. 研究背景 ･･････････････････････････････････････････ 1 1.2. 研究目的 ･･････････････････････････････････････････ 1 1.3. 本文の構成 ･･････････････････････････････････････････ 2 第2章 関連研究 ･･････････････････････････････････････････ 2 2.1. 脳波の概要 ･･････････････････････････････････････････ 2 2.2. 基礎律動を用いた音楽の分類に関する基礎的検討 ････････････ 2 2.3. ジャンル毎の脳波パターンの特徴量抽出 ････････････････････ 3 第3章 実験方法 ･･････････････････････････････････････････ 3 3.1. 実験概要 ･･････････････････････････････････････････ 3 3.2. 計測機器 ･･････････････････････････････････････････ 4 3.3. データの処理 ･･････････････････････････････････････････ 4 3.4. 被験者 ･･････････････････････････････････････････ 4 3.5. 使用したオーディオコンテンツ ････････････････････････････ 4 3.5.1. 内挿予測・学習器生成 ････････････････････････････ 4 3.5.2. 外挿予測 ･･････････････････････････････････････････ 5 3.6. 実験手順 ･･････････････････････････････････････････ 6 3.7. アンケート ･･････････････････････････････････････････ 7 第4章 結果と分析 ･･････････････････････････････････････････ 8 4.1. 分析の前処理 ･･････････････････････････････････････････ 8 4.2. アンケート結果 ･･････････････････････････････････････････ 8 4.3. SVMによる内挿予測 ････････････････････････････････････ 9

4.3.1. 電極の組み合わせと正規化の有無による精度の検証 ･････ 9

4.3.2. カーネルの検討 ････････････････････････････････････ 25 4.4. SVMによる外挿予測 ････････････････････････････････････ 25 4.4.1. Track6,7について ･････････････････････････････････ 26 4.4.2. 分類精度の検証 ････････････････････････････････････ 26 4.5. 楽曲数を増やした際の内挿及び外挿予測 ････････････････････ 28 4.6. 考察 ･･････････････････････････････････････････ 30 4.6.1. SVMによる内挿予測の分類精度について ･･････････････ 30 4.6.2. SVMによる外挿予測の分類精度について ･･････････････ 30

5.1. まとめ ･･････････････････････････････････････････ 31 5.2. 今後の課題 ･･････････････････････････････････････････ 31

5.2.1. 聴取回数の削減、必要学習データ数の検討 ･････････････ 31

5.2.2. 聴取楽曲数の増加 ･･････････････････････････････････ 31 5.2.3. 他生体情報を追加した解析 ･･････････････････････････ 32

謝辞 参考文献 研究業績

表番号一覧

表 3.1 内挿予測・学習器生成に用いた楽曲 ･････････････････････････ 5 表 3.2 外挿予測に用いた楽曲 ････････････････････････････････････････ 5 表 4.1 被験者の楽曲に対する印象の類似性 ････････････････････････････ 8 表 4.2 電極の組み合わせと正規化の有無による 10-交差検定結果_被験者 A･･ 10 表 4.3 電極の組み合わせと正規化の有無による 10-交差検定結果_被験者 B･･ 11 表 4.4 電極の組み合わせと正規化の有無による 10-交差検定結果_被験者 C･･ 12 表 4.5 電極の組み合わせと正規化の有無による 10-交差検定結果_被験者 D･･ 13 表 4.6 電極の組み合わせと正規化の有無による 10-交差検定結果_被験者 E･･ 14 表 4.7 電極の組み合わせと正規化の有無による 10-交差検定結果_被験者 F･･ 15 表 4.8 電極の組み合わせと正規化の有無による 10-交差検定結果_被験者 G･･ 16 表 4.9 電極の組み合わせと正規化の有無による 10-交差検定結果_被験者 H･･ 17 表 4.10 電極の組み合わせと正規化の有無による 10-交差検定結果_被験者 I･ 18 表 4.11 電極の組み合わせと正規化の有無による 10-交差検定結果_被験者 J･ 19 表 4.12 カーネルを変更した際の内挿予測の分類精度 ･････････････････ 25 表 4.13 Track6,Track7 を含む被験者の楽曲に対する印象の類似性 ･･････ 26 表 4.14 外挿予測の分類精度 ･･･････････････････････････････････････ 27 表 4.15 楽曲数を増加させた分類に使用した楽曲 ･･････････････････････ 28 表 4.16 Track8-Track22 に対する印象の類似性 ････････････････････････ 29 表4.17 楽曲数を増加させた際の内挿予測 ････････････････････････････ 29 表4.18 楽曲数を増加させた際の外挿予測 ････････････････････････････ 29

図番号一覧

図 3.1 実験のフローチャート ･･････････････････････････････････････ 6 図 3.2 楽曲に対する印象評価のための設問 ････････････････････････ 7 図 4.1 電極の組み合わせと正規化の有無による分類精度の比較_被験者 A ･･ 20 図 4.2 電極の組み合わせと正規化の有無による分類精度の比較_被験者 B ･･ 20 図 4.3 電極の組み合わせと正規化の有無による分類精度の比較_被験者 C ･･ 21 図 4.4 電極の組み合わせと正規化の有無による分類精度の比較_被験者 D ･･ 21 図 4.5 電極の組み合わせと正規化の有無による分類精度の比較_被験者 E ･･ 22 図 4.6 電極の組み合わせと正規化の有無による分類精度の比較_被験者 F ･･ 22 図 4.7 電極の組み合わせと正規化の有無による分類精度の比較_被験者 G ･･ 23 図 4.8 電極の組み合わせと正規化の有無による分類精度の比較_被験者 H ･･ 23 図 4.9 電極の組み合わせと正規化の有無による分類精度の比較_被験者 I ･･ 24 図 4.10 電極の組み合わせと正規化の有無による分類精度の比較_被験者 J ･ 24

第 1 章 序論

1.1. 研究背景

今日、コンテンツには多くのメタデータが付与され、コンテンツの分類や検索などに 重要な役割を果たしている。音楽も例外ではなく、題名、作詞者、作曲者、リリース年 月日、ジャンルなど多くのメタデータが付与され、様々な場面で利用されている。この 中で、ジャンルは他のメタデータと違い、音楽制作者や音楽配信者などによって楽曲の 曲調や作曲者などから判定され、自然言語を用いて記述されるメタデータである。その ため、判定者の主観が入り込む余地があり、それが必ずしもユーザの主観印象と一致し ないため、ユーザがジャンルメタデータを有効に利用できないという問題点がある。

例えば、今日普及している音楽用ライブラリソフトやポータブルミュージックプレー ヤの多くには、ジャンルを基に楽曲をソートする機能があるが、上記のような問題があ るため、ソートを行っても目的の楽曲を探すことができない場合がある。これに加え、

中間的な曲調を持つ楽曲はどのジャンルに分類するかなど、自然言語による記述の難し さのみならず、分類そのものの問題も存在する。

1.2. 研究目的

本研究の目的は基礎律動を用いたユーザの楽曲に対する印象の類似性に基づく音楽 分類の方法の確立である。

音楽のジャンルメタデータはユーザの主観印象と必ずしも一致しない。この問題に対 して筆者らは楽曲に対するユーザの印象評価と基礎律動の間には相関がみられること を指摘[1]した。しかし一致度は利用には不十分であり、その要因としてユーザの楽曲 に対する印象を正しく取得できなかったことや、解析手法、測定機器の精度などの問題 が挙げられる。

近年、脳波の測定機器の低価格化が進んでいる。ウェアラブルデバイスの普及にあわ せて脳波計測器の普及、及び基礎律動を利用したサービスやアプリケーションの増加が 予想される。聴覚のみを刺激する音楽聴取において、基礎律動の測定はユーザの楽曲聴 取を妨げることなく行うことができる。また、生起する情動反応を最も効率的に観測で きる生体情報が基礎律動である。

1.3. 本文の構成

本論文の構成は以下の通りである。第 2 章では音楽と脳波に関する関連研究につい て述べる。第3章では実験の方法について述べる。第4章ではSVMによる印象の類似 性に基づく分類精度と考察を述べる。最後に、第6章で結論と残された今後の課題を述 べる。

第 2 章 関連研究

2.1. 脳波の概要

脳波とは脳の活動により生じる電位の変化を記録したものである。脳波は主に頭皮上 から電極で計測される。計測される部位によって検出される脳波パターンは異なるため、

国際10−20法によって世界基準により統一されている。

脳波を用いてユーザの情動を客観的かつ定量的に評価[2]することができる。そのた め、脳波計の入力インターフェースとしての利用が検討されている。

脳波の中で持続的に表れる特定の周波数帯域を基礎律動と呼ぶ。基礎律動は周波数帯 域に分類され、α波8−13[Hz]、β波14-24[Hz]、θ波4-7[Hz]、δ波1-3[Hz]などがあ り、各周波数帯域のパワーが心的活動を反映するとされている。特にα波は情動と深く 関連があり、主にリラックス状態にあるときに出現する。この性質からα波の変化と情 動の変化に関係する研究[3]がされている。

2.2. 基礎律動を用いた音楽の分類に関する基礎的検討

筆者らは音楽メタデータの一つであるジャンルを有効なメタテデータとして利用す るために、ユーザの楽曲に対する印象を反映したユーザ毎の音楽分類法の確立を目指し、

楽曲を聴取した際のユーザの基礎律動から、ユーザの楽曲に対する印象を考慮した音楽 分類手法[1]を報告した。観測された基礎律動の Ward 法によるクラスタリングを施し、

基礎律動データの類似性を得る。並びに、ユーザに対して行った使用楽曲の類似性を問 うアンケート調査を実施し、それらの結果を照合する。その結果、明確なクラスタリン グが行われたため基礎律動データには明らかな特徴が現れる。アンケート結果との一致 度はチャンスレベルを超えたが音楽分類に用いるためにはまだ不十分であり、使用楽曲 の選定やアンケートの取得方法に課題が残された。

2.3. ジャンル毎の脳波パターンの特徴量抽出

脳波と音楽の関係に関する研究は古くから盛んに行われている。その中で、ジャンル に関する研究がある。小川らは同ジャンルの楽曲を聴取した際、基礎律動に固有の特徴 が現れる[4]と報告している。音楽聴取時の脳波に主成分分析を適用して特徴量を抽出 する。この特徴量が、ユーザの聴取した楽曲のジャンルにより異なるためユーザが聴取 している楽曲のジャンルを特定への応用が可能であると示唆される。しかしながら、同 ジャンルの楽曲でも異なる脳波の特徴量が現れる場合もある。これは、ジャンルメタデ ータ付与者とユーザ間のジャンルの不一致、並びに、楽曲に対する印象には個人差があ り、ユーザ毎に大きく異なる場合があるためと考えられる。

第 3 章 実験方法

3.1. 実験概要

ジャンルの異なる楽曲であっても聴取した際の印象が類似する場合がある。これはジ ャンルの意味理解や、楽曲に対する印象に個人差があるためである。印象の類似する楽 曲を聴取した際、ユーザには類似した情動反応が生起する事が期待できる。そこで、楽 曲聴取中の情動反応を評価するために基礎律動を利用する。基礎律動データをサポート ベクターマシン(Support Vector Machine : SVM)を用いて学習することで楽曲の印象の 類似性を分類する分類器が得られることが期待できる。SVM の分類精度は 10−交差検定 を用いて検証する。

本実験ではジャンルの異なる楽曲を被験者に聴取させ、その際の基礎律動を測定する。

また、被験者は使用楽曲同士の類似性を回答し、その回答結果と基礎律動データの相関 関係を検討する。楽曲の分類に適切な手法を検討するため、以下の 4 点について SVM の 内挿・外挿予測の分類精度の差異を検証する。

(ⅰ) 基礎律動データに対する正規化の有無 (ⅱ) 測定点の組み合わせを変更する (ⅲ) SVM の Kernel を変更する (ⅳ) 使用する楽曲数を変更する

3.2. 計測機器

基礎律動の計測には InteraXon 社の簡易脳波計 muse[5]を使用した。muse は前頭部の Fp1 及び Fp2 と側頭部の Tp9 及び Tp10 の 4 点で計測する。muse はサンプリングレート 220[Hz]もしくは 500[Hz]で動作する。本実験では 500[Hz]のサンプリングレートで基礎 律動を記録した。

3.3. データの処理

muse により記録される基礎律動データはサンプリングレート 500[Hz]で出力される 電位データである。一般的に基礎律動を評価する際、周波数のパワー値を用いて評価す る。そこで muse よる記録される基礎律動データに高速フーリエ変換(Fast Fourier Transform : FFT)をほどこし、周波数スペクトルを得る。周波数スペクトルは 1−45[Hz]

のパワーを 0.05[s]毎に得た。基礎律動をパワースペクトルの 50[Hz]周辺を用いなかっ た理由は実験環境に蛍光灯照明があり、交流ノイズの影響を受ける可能性があると考え たためである。１電極から 1−45[Hz]のパワー値を算出するため、単位時間あたり 180 の要素を持つベクトルデータを解析対象とした。

3.4. 被験者

10 名の被験者に実験を行った。10 名の内訳は男性 8 名、女性 8 名であり、平均年齢 22.40 歳、標準偏差 1.17 であった。10 名全員が日本国籍であり、実験時に覚醒状態に あった。各被験者を A-J とする。

3.5. 使用したオーディオコンテンツ 3.5.1. 内挿予測・学習器生成

内挿予測、及び学習器の生成に 5 楽曲を用いた。楽曲の曲名、アーティスト名を表 3.1 に示す。5 楽曲は互いにジャンルが異なる。歌詞を含まないインストゥルメンタル の楽曲を用いた。各楽曲の最も特徴的である箇所を 90[s]を被験者に聴取させる。楽曲 へ没頭するまで時間を要すると考えられるため、楽曲の前後 15[s]を除いた 60[s]の基 礎律動データを解析対象とした。

表 3.1 内挿予測・学習器生成に用いた楽曲

楽曲番号 楽曲名 アーティスト名 ジャンル

to hell

2CELLOS Pop

Track3

科学準備室 アルカラ

Track4 Canon Johan Pachelbel Classic

Track5

月夜蝶

~

君ヲ想フ

フリー音源

邦楽

3.5.2. 外挿予測

外挿予測に 2 楽曲を用いた。楽曲の曲名、アーティスト名を表 3.2 に示す。Track6 は Track1 と同じ Jazz ジャンルが付与されており、類似した印象を生起する可能性が高 い楽曲である。Track7 は Dance/House ジャンルが付与されており、Track1-Track5 のど の楽曲とも異なる曲調をもつ楽曲である。歌詞を含まないインストゥルメンタルの楽曲 を用いた。各楽曲の最も特徴的である箇所を 90[s]を被験者に聴取させる。楽曲へ没頭 するまで時間を要すると考えられるため、楽曲の前後 15[s]を除いた 60[s]の基礎律動 データを解析対象とした。

表 3.2 外挿予測に用いた楽曲

Track Track Title Artist Genre

Track6 Tuesday Wonderland

EST Jazz

Track7 Cling Cling Perfume Dance/House

3.6. 実験手順

実験の手順を表すフローチャートを図 3.1 に示す。被験者は椅子に着席し、muse を 装着する。その際に muse 用のアプリケーションを使い電極の設置状態を確認した。閉 眼し、できるだけリラックスした体制をとらせ、できるだけ動かないように指示をした。

使用した楽曲からランダムに 1 曲選定し聴取させた。全楽曲を聴取したら 10 分休憩を 取らせた。以上の手順を 3 回繰り返した後にアンケート調査を実施した。

図 3.1 実験のフローチャート muse

を装着

5

楽曲からランダムに

楽曲を聴取

全楽曲を聴取した

実験を

回繰り返した

10

分間休憩

Yes

No

アンケートに回答

終了

3.7. アンケート

被験者の楽曲に対する印象評価と、楽曲に対する印象の類似性を評価するためにアン ケート調査を実施した。アンケートには以下の設問を設けた

① 年齢

② 性別

③ 音楽鑑賞の習慣の有無を問う設問(5 段階)

④ 好きな音楽ジャンルの問う設問

⑤ 好きなアーティストを問う設問

⑥ 使用した楽曲が既知のものであったかを問う設問(3 段階)

⑦ 使用した楽曲の印象を問う設問(好き-嫌い、5 段階)

⑧ 使用した楽曲の印象の優劣を問う設問

⑨ 使用した楽曲の印象の類似性を問う設問

⑩ 使用した楽曲に対する印象の評価(形容詞対を用いた SD 法、7 段階)

設問⑨「使用した楽曲の類似性を問う設問」では被験者に使用した楽曲が類似してい るか、もししていればどのようなグループ分けが妥当かを問うた。このとき、1 グルー プに属する楽曲数は任意に決められるものとした。設問⑩「使用した楽曲に対する印象 の評価」では植草らが提案した楽曲に対する印象評価のための設問[7]を用いた。これ を描く楽曲に対して回答した。設問の内容を図 3.2 に示す。

図 3.2 楽曲に対する印象評価のための設問

本実験では設問⑨「使用した楽曲の類似性を問う設問」の回答を被験者の楽曲に対す る印象の類似性とし、この結果と基礎律動データの分類結果を比較した。

第 4 章 結果と分析

4.1. 分析の前処理

本実験では簡易脳波計を利用して基礎律動を記録した。頭部の皮膚上に電極を設置し て記録するが、その際に電極の設置状態により記録される電位の強弱が異なる。基礎律 動を用いて音楽分類をする際に、脳波計を装着する度に記録される基礎律動が異なると 分類精度の低下につながる。そのため記録された基礎律動データに正規化を施した。正 規化は各電極の単位時間あたりのパワーの総和で各周波数のパワーを割るという手法 をとった。これを解析データとし、正規化の有無による分類精度の変化を検討した。

4.2. アンケート結果

本実験ではアンケートの設問⑨「使用した楽曲の類似性を問う設問」の回答を被験者 の楽曲に対する印象の類似性とした。各被験者の回答結果を表 4.1 に示す。

表 4.1 被験者の楽曲に対する印象の類似性

被験者 グループ 1 グループ 2 グループ 3 グループ 4 グループ 5

A 1 2,3 4,5 - -

B 1,4 2,3 5 - -

C 1 2,3 4,5 - -

D 1 2 3 4 5

E 1,4 2 3 5 -

F 1,4,5 2 3 - -

G 1 2,3 4 5 -

H 1,4,5 2,3 - - -

I 1 2,3 4,5 - -

J 1 2,3 4,5 - -

表 4.1 から Track1-Track5 の印象の類似性に基づく分類は被験者ごとに異なることが 分かった。また、互いにジャンルが異なる楽曲同士にも類似した印象を持つことがある ことも確認された。

4.3. SVM による内挿予測

SVM により基礎律動データを学習し、内挿予測の分類精度を検証した。SVM は解析ツ ール R の kernlab[8]パッケージを用いた。

4.3.1. 電極の組み合わせと正規化の有無による分類精度の検証

簡易脳波計 muse には 4 つの測定点がある。基礎律動は測定点によって有意に現れる 情動反応が異なるため、印象の類似性に基づく音楽分類にふさわしい測定点、もしくは その組み合わせを分類精度から検討する。また、4.1 分析の前処理で述べた正規化の有 無により分類精度に変化があるかを検証した。SVM のカーネルはラジアル基底関数カー ネルを用いた。各被験者の 10-交差検定結果を表 4.2-表 4.11 に、分類精度の比較結果 を図 4.1-図 4.10 に示す。

結果から正規化の有無により 10-交差検定の結果、及び分類精度に大きな変化はない ことが分かった。電極のパターンについては 4 電極を全て用いたパターン 15 が最も高 い分類精度となった被験者が 10 名中 9 名であった。被験者 E のみパターン 11 の場合が 最も分類精度が高く 91.41%であったが、4 電極を用いた場合が次に精度が高く 91.00%

であり大差はなく、いずれも高い分類精度である。

表 4.2 電極の組み合わせと正規化の有無による 10-交差検定結果_被験者 A 電極

パターン

Tp9 Fp1 Fp2 Tp10 10-交差検定 エラー値

正規化なし 正規化あり

1 ● 0.2495 0.2711

2 ● 0.2301 0.2556

3 ● 0.2330 0.2672

4 ● 0.3134 0.3218

5 ● ● 0.1197 0.1300

6 ● ● 0.1223 0.1333

7 ● ● 0.1631 0.1798

8 ● ● 0.1322 0.1293

9 ● ● 0.1553 0.1627

10 ● ● 0.1600 0.1672

11 ● ● ● 0.0826 0.0807

12 ● ● ● 0.0832 0.1015

13 ● ● ● 0.0892 0.1018

14 ● ● ● 0.1016 0.0946

15 ● ● ● ● 0.0637 0.0649

表 4.3 電極の組み合わせと正規化の有無による 10-交差検定結果_被験者 B 電極

パターン

Tp9 Fp1 Fp2 Tp10 10-交差検定 エラー値

正規化なし 正規化あり

1 ● 0.1687 0.2138

2 ● 0.3134 0.3056

3 ● 0.3202 0.2821

4 ● 0.2271 0.2564

5 ● ● 0.1208 0.1291

6 ● ● 0.1370 0.1288

7 ● ● 0.0880 0.1183

8 ● ● 0.2341 0.1843

9 ● ● 0.1648 0.1618

10 ● ● 0.1833 0.1569

11 ● ● ● 0.1038 0.0895

12 ● ● ● 0.0757 0.0834

13 ● ● ● 0.0798 0.0810

14 ● ● ● 0.1357 0.1117

15 ● ● ● ● 0.0668 0.0643

表 4.4 電極の組み合わせと正規化の有無による 10-交差検定結果_被験者 C 電極

パターン

Tp9 Fp1 Fp2 Tp10 10-交差検定 エラー値

正規化なし 正規化あり

1 ● 0.1505 0.1921

2 ● 0.2413 0.2519

3 ● 0.1927 0.2242

4 ● 0.2175 0.2315

5 ● ● 0.0768 0.0894

6 ● ● 0.0455 0.0676

7 ● ● 0.0758 0.0945

8 ● ● 0.0959 0.0945

9 ● ● 0.1008 0.1083

10 ● ● 0.0891 0.0923

11 ● ● ● 0.0324 0.0380

12 ● ● ● 0.0465 0.0516

13 ● ● ● 0.0325 0.0401

14 ● ● ● 0.0490 0.0488

15 ● ● ● ● 0.0246 0.0267

表 4.5 電極の組み合わせと正規化の有無による 10-交差検定結果_被験者 D 電極

パターン

Tp9 Fp1 Fp2 Tp10 10-交差検定 エラー値

正規化なし 正規化あり

1 ● 0.3024 0.3080

2 ● 0.2623 0.2688

3 ● 0.2653 0.2856

4 ● 0.3191 0.3218

5 ● ● 0.1446 0.1396

6 ● ● 0.1241 0.1280

7 ● ● 0.2069 0.2026

8 ● ● 0.1593 0.0969

9 ● ● 0.1593 0.1419

10 ● ● 0.1309 0.1403

11 ● ● ● 0.0718 0.0657

12 ● ● ● 0.1240 0.1144

13 ● ● ● 0.1021 0.1087

14 ● ● ● 0.0814 0.0712

15 ● ● ● ● 0.0712 0.0644

表 4.6 電極の組み合わせと正規化の有無による 10-交差検定結果_被験者 E 電極

パターン

Tp9 Fp1 Fp2 Tp10 10-交差検定 エラー値

正規化なし 正規化あり

1 ● 0.3936 0.4046

2 ● 0.2545 0.2665

3 ● 0.3238 0.2819

4 ● 0.4017 0.3984

5 ● ● 0.1692 0.1655

6 ● ● 0.2503 0.1813

7 ● ● 0.3068 0.2915

8 ● ● 0.1487 0.1033

9 ● ● 0.1690 0.1620

10 ● ● 0.2397 0.1847

11 ● ● ● 0.1274 0.0859

12 ● ● ● 0.1479 0.1465

13 ● ● ● 0.2173 0.1597

14 ● ● ● 0.1213 0.0886

15 ● ● ● ● 0.1189 0.0900

表 4.7 電極の組み合わせと正規化の有無による 10-交差検定結果_被験者 F 電極

パターン

Tp9 Fp1 Fp2 Tp10 10-交差検定 エラー値

正規化なし 正規化あり

1 ● 0.4288 0.3889

2 ● 0.3164 0.3134

3 ● 0.2586 0.2820

4 ● 0.3986 0.3750

5 ● ● 0.2395 0.2127

6 ● ● 0.1950 0.1900

7 ● ● 0.3130 0.2697

8 ● ● 0.1376 0.1623

9 ● ● 0.2320 0.2104

10 ● ● 0.2013 0.1815

11 ● ● ● 0.1211 0.1262

12 ● ● ● 0.2070 0.1784

13 ● ● ● 0.1708 0.1534

14 ● ● ● 0.1185 0.1207

15 ● ● ● ● 0.1114 0.1087

表 4.8 電極の組み合わせと正規化の有無による 10-交差検定結果_被験者 G 電極

パターン

Tp9 Fp1 Fp2 Tp10 10-交差検定 エラー値

正規化なし 正規化あり

1 ● 0.2932 0.3243

2 ● 0.2481 0.2766

3 ● 0.2577 0.2987

4 ● 0.2933 0.3139

5 ● ● 0.1227 0.1468

6 ● ● 0.1460 0.1586

7 ● ● 0.1622 0.1847

8 ● ● 0.1289 0.1841

9 ● ● 0.1188 0.1353

10 ● ● 0.1431 0.1597

11 ● ● ● 0.0750 0.1055

12 ● ● ● 0.0842 0.0945

13 ● ● ● 0.0915 0.1064

14 ● ● ● 0.0686 0.1009

15 ● ● ● ● 0.0527 0.0772

表 4.9 電極の組み合わせと正規化の有無による 10-交差検定結果_被験者 H 電極

パターン

Tp9 Fp1 Fp2 Tp10 10-交差検定 エラー値

正規化なし 正規化あり

1 ● 0.2031 0.1966

2 ● 0.1760 0.1723

3 ● 0.2074 0.2120

4 ● 0.2244 0.2140

5 ● ● 0.1029 0.0915

6 ● ● 0.1185 0.1152

7 ● ● 0.1414 0.1404

8 ● ● 0.1030 0.0960

9 ● ● 0.1051 0.1016

10 ● ● 0.1284 0.1285

11 ● ● ● 0.0627 0.0632

12 ● ● ● 0.0714 0.0741

13 ● ● ● 0.0980 0.0949

14 ● ● ● 0.0678 0.0660

15 ● ● ● ● 0.0490 0.0540

表 4.10 電極の組み合わせと正規化の有無による 10-交差検定結果_被験者 I 電極

パターン

Tp9 Fp1 Fp2 Tp10 10-交差検定 エラー値

正規化なし 正規化あり

1 ● 0.2965 0.2836

2 ● 0.2877 0.2497

3 ● 0.3158 0.2643

4 ● 0.3312 0.3176

5 ● ● 0.2095 0.1556

6 ● ● 0.2212 0.1558

7 ● ● 0.2274 0.1866

8 ● ● 0.2007 0.1455

9 ● ● 0.2289 0.1561

10 ● ● 0.2519 0.1722

11 ● ● ● 0.1623 0.1018

12 ● ● ● 0.1743 0.1126

13 ● ● ● 0.1846 0.1215

14 ● ● ● 0.1788 0.1067

15 ● ● ● ● 0.1458 0.0886

表 4.11 電極の組み合わせと正規化の有無による 10-交差検定結果_被験者 J 電極

パターン

Tp9 Fp1 Fp2 Tp10 10-交差検定 エラー値

正規化なし 正規化あり

1 ● 0.3222 0.3326

2 ● 0.2956 0.2989

3 ● 0.2807 0.2871

4 ● 0.3084 0.3187

5 ● ● 0.1891 0.1784

6 ● ● 0.1615 0.1709

7 ● ● 0.1898 0.1938

8 ● ● 0.1549 0.1561

9 ● ● 0.1658 0.1611

10 ● ● 0.1660 0.1625

11 ● ● ● 0.1133 0.1047

12 ● ● ● 0.1301 0.1136

13 ● ● ● 0.1137 0.1169

14 ● ● ● 0.1035 0.1001

15 ● ● ● ● 0.0863 0.0801

図 4.1 電極の組み合わせと正規化の有無による分類精度の比較_被験者 A([9]より引用)

55.00 60.00 65.00 70.00 75.00 80.00 85.00 90.00 95.00 100.00

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15

[%]

55.00 60.00 65.00 70.00 75.00 80.00 85.00 90.00 95.00 100.00

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15

[%]

図 4.3 電極の組み合わせと正規化の有無による分類精度の比較_被験者 C

55.00 60.00 65.00 70.00 75.00 80.00 85.00 90.00 95.00 100.00

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15

[%]

Electrode Pa/ern

55.00 60.00 65.00 70.00 75.00 80.00 85.00 90.00 95.00 100.00

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15

[%]

図 4.5 電極の組み合わせと正規化の有無による分類精度の比較_被験者 E

55.00 60.00 65.00 70.00 75.00 80.00 85.00 90.00 95.00

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15

[%]

55.00 60.00 65.00 70.00 75.00 80.00 85.00 90.00 95.00

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15

[%]

図 4.7 電極の組み合わせと正規化の有無による分類精度の比較_被験者 G

55.00 60.00 65.00 70.00 75.00 80.00 85.00 90.00 95.00 100.00

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15

[%]

55.00 60.00 65.00 70.00 75.00 80.00 85.00 90.00 95.00 100.00

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15

[%]

図 4.9 電極の組み合わせと正規化の有無による分類精度の比較_被験者 I

55.00 60.00 65.00 70.00 75.00 80.00 85.00 90.00 95.00

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15

[%]

55.00 60.00 65.00 70.00 75.00 80.00 85.00 90.00 95.00

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15

[%]

4.3.2. カーネルの検討

SVM に用いるカーネルを対象データの特性に合わせて選択することで分類精度を向上 させることができる。本項では 4 電極(パターン 15)の基礎律動データに正規化を施し た解析データを SVM により学習、内挿予測する際のカーネルを変化させ、分類精度の変 化を検証する。カーネルは kernlab パッケージの rbfdot(Radial Basic kernel)、

polydot(Polynomial kernel) 、 vanilladot(Linear kernel) 、 tahndot(Hyperbolic tangent kernel)、laplacedot(Laplacian kernel)、besseldot(Bessel kernel)を用い た。各カーネルを用いた際の 10-交差検定のエラー値を表 4.12 に示す。

結果からカーネルを変更すると分類精度は大きく変化することがわかった。6 つのカ ーネルのうち、rbfdot(Radial Basic kernel)ラジアル基底関数カーネルが最も高い精 度での分類がされた。

表 4.12 カーネルを変更した際の内挿予測の分類精度

被験者 rbfdot polydot vanilladot tanhdot laplacedot besseldot

A 0.0655 0.4121 0.4131 0.7374 0.4277 0.6173

B 0.0648 0.3840 0.3855 0.6537 0.4134 0.6358

C 0.0267 0.3510 0.3523 0.6929 0.3473 0.7525

D 0.0671 0.4683 0.4658 0.7824 0.4875 0.8694

E 0.0984 0.4743 0.4705 0.7401 0.5845 0.6737

F 0.0944 0.3402 0.3362 0.5262 0.3997 0.5820

G 0.0768 0.4639 0.4616 0.7772 0.6002 0.8318

H 0.0546 0.2647 0.2620 0.4802 0.3076 0.5098

I 0.0897 0.3883 0.3868 0.6168 0.4104 0.6908

J 0.0689 0.3789 0.3766 0.7009 0.3932 0.7254

4.4. SVM による外挿予測

楽曲に対する印象の類似性に基づく楽曲分類において重要な外挿予測について検討 した。ユーザが新しい楽曲を聴取した際に、以前聴取した楽曲とその際の基礎律動デー タから印象の類似性を反映したグループ分けがされることが望ましい。本項では 4.3 SVM による内挿予測で得た分類器を用いて、新たに楽曲を聴取した際の基礎律動データ に対し外挿予測を行い、その分類精度を検証した。

4.4.1. Track6,Track7 について

外挿予測には 3.4.2 外挿予測で述べた Track6,Track7 を聴取した際の基礎律動データ を 用 い た 。 ア ン ケ ー ト の 設 問 ⑨ 「 使 用 し た 楽 曲 の 類 似 性 を 問 う 設 問 」 の 回 答 に Track6,Track7 を加えた結果を表 4.13 に示す。

表 4.13 Track6,Track7 を含む被験者の楽曲に対する印象の類似性

被験者 グループ 1 グループ 2 グループ 3 グループ 4 グループ 5

A 1 2,3,⑥ 4,5,⑦ - -

B 1,4,⑥ 2,3,⑦ 5 - -

C 1,⑥ 2,3 4,5 ⑦ -

D 1 2,⑦ 3,⑥ 4 5

E 1,4,⑥ 2 3 5,⑦ -

F 1,4,5,⑥,⑦ 2 3 - -

G 1 2,3,⑦ 4 5 ⑥

H 1,4,5,⑥ 2,3,⑦ - - -

I 1,⑦ 2,3 4,5,⑥ - -

J 1 2,3 4,5,⑥ ⑦ -

4.4.2. 分類精度の検証

Track6,Track7 を聴取した際の基礎律動データを、4.3 内挿予測で用いた、ラジアル 基底関数カーネルを用いた SVM から得た分類器を用いて分類した。その結果を表 4.14 に示す。セルの数字は各グループに分類されたデータ数を示している。青く着色された セルは Track6 のデータが、赤く着色されたセルは Track7 のデータが分類されるべきグ ループを表しており、そのグループは表 4.13 と対応している。着色されているセルが ない行は被験者が Track1-Track5 のいずれとも印象の類似性がないと回答した場合で

表 4.14 外挿予測の分類精度

被験者 楽曲 グループ 1 グループ 2 グループ 3 グループ 4 グループ 5 分類精度[%]

A Track6 1045 125 10 - - 10.59

Track7 1062 92 26 - - 2.20

B Track6 770 371 39 - - 65.25

Track7 433 616 131 - - 52.20

C Track6 541 85 554 - - 45.85

Track7 903 18 259 - - -

D Track6 20 774 0 386 0 0.00

Track7 84 838 1 256 1 71.02

E Track6 51 0 84 1045 - 4.32

Track7 238 22 120 800 - 67.80

F Track6 1053 95 32 - - 89.24

Track7 1128 34 18 - - 95.59

G Track6 412 726 32 10 - -

Track7 260 846 32 42 - 71.69

H Track6 1162 18 - - - 98.47

Track7 1161 19 - - - 10.56

I Track6 8 587 585 - - 49.58

Track7 41 593 546 - - 3.47

J Track6 276 463 441 - - 37.37

Track7 543 425 212 - - -

4.5. 楽曲数を増やした際の内挿及び外挿予測

4.4.2 分類精度の検証では外挿予測の分類精度を検証したが、被験者、楽曲ごとに大 きな違いがあり、精度が充分でない場合もあった。そこで本項では聴取する楽曲の種類 を 15 楽曲に増加し、内挿予測精度及び外挿予測精度に変化があるかを検証する。外挿 予測に用いる楽曲は Track6、Track7 である。被験者は被験者 B,被験者 E の 2 名であっ た。使用した 15 楽曲 Track8-Track22 は複数のジャンルが付与されており、それぞれ日 本語の歌詞がある。楽曲の内容を表 4.15 に示す。また、Track6-Track22 の印象の類似 性を問うアンケート調査の結果を表 4.16 に示す。

表 4.15 楽曲数を増加させた分類に使用した楽曲

楽曲番号 楽曲名 アーティスト名

Track8

閃光ストリングス

Track9 Future Never Dies Galneryus

Track10

野衾忍法帖 陰陽座

Track11 Marionette Mary’s blood

Track12 Black Empire Anthem

Track13 perfect day supercell

Track14

手をつなごう 絢香

Track15

僕が一番欲しかったもの

Track16 Lion (Album ver.)

玉置浩二

Track17

フタリ カノン

Track18

北緯

度 細川たかし

Track19

また君に恋してる 坂本冬美

Track20

天城越え 舟木一夫

Track21

おんな港町

バージョン 八代亜紀

Track22

門出 福田こうへい

表 4.16 Track8-Track22 に対する印象の類似性

被験者 グループ

1

グループ 2

グループ 3

グループ 4

グループ 5

グループ ６

グループ ７

グループ ８ B 8,9,10,11 12 13,14,17

⑥,⑦

15,16 18,19,20, 21,22

- - -

E 8,9,11 10,12,13 14,15,16

⑥

17 18,20,21 19 22 ⑦

表 4.16 から各楽曲の印象の類似性は 2 被験者の間に異なることがわかった。これら の楽曲を聴取した際の基礎律動データを SVM により学習し、内挿予測の分類精度を検証 した。また、Track6,Track7 を聴取した際の基礎律動データを用いた外挿予測の分類精 度を検証した。解析データは 4 電極のデータを用い、正規化を行った。SVM のカーネル はラジアル基底関数カーネルを用いた。内挿予測の 10-交差検定のエラー値を表 4.17 に、外挿予測の分類精度を表 4.18 に示す。青く着色されたセルは Track6 のデータが、

赤く着色されたセルは Track7 のデータが分類されるべきグループを表している。

表 4.17 楽曲数を増加させた分類の内挿予測

被験者 分類精度

B 0.1369

E 0.0589

表 4.18 楽曲数を増加させた分類の外挿予測

被験者 楽曲 グループ

1

グループ 2

グループ 3

グループ 4

グループ 5

グループ ６

グループ ７ B Track6 375 165 326 113 201 -

Track7 42 11 116 104 907 -

E Track6 173 212 2 21 620 0 152

Track7 369 319 3 18 175 0 296

4.6. 考察

4.6.1. SVM による内挿予測の分類精度について

SVM により基礎律動データを学習し、内挿予測の分類精度を検証した。脳波計 muse の電極パターンと正規化の有無によって分類精度が変化するか検証した。その結果、4 電極全てを用いたパターン 15 が多くの被験者で最も高い分類精度となった。これは、

測定点が多くなるほど情報量が多くなり、分類の精度が向上したためであると考えられ る。また、正規化の有無により分類精度に大きな変化がなかったことから、この正規化 の手法が有効であることが示唆された。

SVM に用いるカーネルを変更した際の分類精度の変化を検証した。ラジアル基底関数 カーネルは学習対象データの特性が明らかでない場合などに用いられるカーネルで、一 般的によく用いられるカーネルである。他に 5 つのカーネルを用いて分類精度を検証し たが、どのカーネルの場合でもラジアル基底関数カーネルから大きく分類精度が低下し た。この結果から音楽聴取中の基礎律動データの学習、分類にはラジアル基底関数カー ネルが最も適していることがわかった。

SVM で学習するデータのバリエーションを増やす目的に、聴取する楽曲数を 15 楽曲 に増加させた。結果は楽曲を増加させた場合でも非常に高い分類精度が得られたため、

SVM による分類の内挿予測は有効であることが示唆された。

4.6.2. SVM による外挿予測の分類精度について

内挿予測で生成した学習器を用いて外挿予測をし、その分類精度を検証した。ユーザ が新しい楽曲を聴取した際に、以前聴取した楽曲とその際の基礎律動データから印象の 類似性を反映したグループ分けがされることが望ましい。Track6,Track7 の外挿予測精 度は被験者ごと、楽曲ごとにおおきく異なることが表 4.14 外挿予測の分類精度から分 かる。Track6 は Track1 と同じ Jazz ジャンルが付与されており、類似した印象を生起 する可能性が高い楽曲であり、Track7 は Dance/House ジャンルが付与されており、

Track1-Track5 のどの楽曲とも異なる曲調をもつ楽曲である。そのため、Track6 の分類 精度は高く、Track7 の分類精度が低くなると予測したがそのような傾向はなかった。

これは被験者ごとに、類似性を感じる要素に個人差があるためであると考えられる。

楽曲数を増加させた際に、被験者はより多くの印象をもつことになり、分類器が多く のパターンを学習する。そのため、分類精度が向上すると予測したがそのような傾向は なく、5 楽曲を用いた際と同様に、被験者ごと、楽曲ごとにおおきく異なった。この結 果から分類器が学習するデータのパターンが不足しており、15 楽曲では不十分である

第 5 章 結論

5.1. まとめ

本研究では基礎律動を用いたユーザの楽曲に対する印象の類似性に基づく音楽分類 の方法の確立を目的に、楽曲聴取中の基礎律動データに対してSVMを用いて分類した。

内挿予測では脳波計museの4電極を用いて、ラジアル基底関数カーネルを用いた場合 が多くの被験者で最も高い分類精度となった。その分類精度は平均 92.81[%]標準偏差 2.14と非常に高かった。このことからSVMによる分類は有効であることが示唆された。

また、各電極の単位時間あたりのパワーの総和で各周波数のパワーを割る正規化が有効 であるということが、分類精度に変化が見られなかったことから示唆された。

実際に音楽鑑賞の際の利用を想定し、学習データに含まれない楽曲を用いた外挿予測 を検討した。Track1-Track5 を聴取した際の基礎律動データを学習した学習器を用いて Track6,Track7 を聴取した際の基礎律動データを分類した。分類精度は被験者ごと、楽 曲ごとにおおきく異なった。この要因として学習データのパターンが不足していた事が あげられる。そのため楽曲数を 15 楽曲に増加させて検証したが分類精度の向上は見ら れなかった。学習データの 15 楽曲では不十分であり、更に楽曲を増加させることで分 類精度が向上する事が予想される。

5.2. 今後の課題

5.2.1. 聴取回数の削減、必要学習データ数の検討

Track1-Track5 を聴取する際、被験者は 3 回ずつ聴取した。これは学習データ数を十 分に確保するためであったが、複数回聴取した際に毎回同じ印象を受けるとは限らない。

そのため、アンケートで楽曲の印象を正しく取得できなかった可能性がある。また、実 際の利用を想定した際にはユーザに複数回楽曲を聴取させることは望ましくない。楽曲 の聴取回数は 1 回とし、楽曲数を増加することで学習データ数を確保する事が今後の課 題としてあげられる。

5.2.2. 聴取楽曲数の増加

外挿予測の結果から分類器が学習するデータのパターンが不足しており、15 楽曲で は不十分であることが、分類精度が高くないことの要因であると考えられる。そのため 学習器を生成する際の学習データはより多くの楽曲を聴取した際の基礎律動データを 用いることで外挿予測でも高い分類精度を得ることができると予測される。

5.2.3. 他生体情報を追加した解析

本研究では基礎律動を用いて楽曲に対する印象の類似性に基づく楽曲分類を検討し た。基礎律動を用いた理由は、ユーザの音楽聴取を妨げることなく記録でき、生起する 情動反応を最も効率的に観測できる生体情報であると考えたためである。しかし、この 他にも心拍や鼻部温度などの生体情報もユーザの音楽聴取を妨げることなく記録でき る。瞳孔径と基礎律動を用いて映像の視聴時の視聴者の感情の推定が可能である[10]こ とが報告されている。ここでは瞳孔径、基礎律動いずれかを用いた場合では感情の推定 はできず、2つの生体情報を組み合わせた場合に感情の推定が可能となったと報告され ている。音楽に対する印象も基礎律動だけでなく他の生体情報を組み合わせることで高 い分類精度が得られる可能性がある。

謝辞

3 年間に渡りご指導いただいた亀山先生、菅沼先生に御礼申し上げます。また、多く の助言を下さった研究室のメンバーに感謝いたします。

参考文献一覧

[1]三木亮祐, 亀山渉, 菅沼睦, “基礎律動を用いた音楽分類に関する基礎的検討”, 電子

情報通信学会技術報告, HCS, 114(67), pp.211-216, 2014年5月

[2]河野悠平, 村中徳明, “脳波測定による感性評価に関する脳活動部位の推定”, 電子情

報通信学会技術研究報告. NC, ニューロコンピューティング, 110(355), pp.69-72, 2010年12月

[3]

砂原 一輝

柴田 啓司

稲積 泰宏

[4]小川 宣洋, 満倉 靖恵, “ニューラルネットワークを用いた音楽聴取時の脳波解析(機

械学習によるバイオデータマインニング,一般)”, 電子情報通信学会技術研究報告. NC, ニューロコンピューティング, 107(92), pp.5-9, 2007年6月

[5]http://www.choosemuse.com/(2016年2月1日最終確認)

[6]http://www.hmix.net/music_gallery/image/asian.htm(2016年2月1日最終確認)

[7]植草里奈, “基礎律動と印象評価を用いた楽曲の分類に関する研究”, 早稲田大学基幹

理工学部情報理工学科亀山研究室卒業論文, 2015年2月7日

[8]https://cran.r-project.org/web/packages/kernlab/kernlab.pdf(2016年2月1日最終 確認)

[9] 三木亮祐, 亀山渉, 菅沼睦, “基礎律動を楽曲印象の類似性に基づく楽曲分類”, 電子 情報通信学会, 2016年総合大会, 2016年3月(発表予定)

[10]犬束美咲, “映像視聴時の瞳孔径と基礎律動を用いた視聴者の反応と映像カテゴリ の対応関係分析に関する研究”, 早稲田大学基幹理工学部情報理工学科亀山研究室卒業 論文, 2015年2月7日

研究業績

題目 発表年月 発表 連名者

基 礎 律 動 を 用 い た 音 楽 分 類 に 関 す る 基礎的検討

2014年5月 電子情報通信学会 HCS

菅沼睦、亀山渉

基 礎 律 動 を 楽 曲 印 象 の 類 似 性 に 基 づ く楽曲分類

2016年3月(発表予 定)

2016年

電子情報通信学会 総合大会

菅沼睦、亀山渉