( )

NAIST-IS-MT1251006

修士論文

個人性を考慮した

EEG

感情分類システムの構築

有吉 智貴

2014 年 3 月 13 日 奈良先端科学技術大学院大学 情報科学研究科 情報科学専攻

本論文は奈良先端科学技術大学院大学情報科学研究科に 修士 (工学) 授与の要件として提出した修士論文である。 有吉 智貴 審査委員： 中村 哲 教授 （主指導教員） 池田 和司 教授 （副指導教員） 戸田智基 准教 （副指導教員） サクリアニ サクティ 助教 （副指導教員） グラム ニュービッグ 助教 （副指導教員）

個人性を考慮した

EEG

感情分類システムの構築

∗

有吉 智貴

内容梗概  生理学的な情報を用いて感情分類システムを構築するにあたって, 被験者に適 切な刺激を提示することは重要である. 従来の刺激の選出方法は実験者が事前に 調査した情報をもとに被験者共有の刺激を用意する. 被験者は提示された刺激に 対して主観評価を行い, その主観評価を用いて Positive, Negative と言った感情ク ラスラベルを生理学的な特徴量に付与する. しかし, 被験者の主観評価の結果, 提 示した刺激に対して感情の変化が表れず, ほとんどすべての刺激に対して Positive でも Negative でもなく Neutral な刺激であると判断してしまう場合がある. そこ で被験者の感性に合わせた刺激セットを被験者別に構築をすることで, 提示時に, より生理学的な反応が表れることが期待される. 本論文では被験者個人の感性を 考慮した画像セットの作成方法を提案する. 提案手法では大量の刺激を対象に評 価実験を行い, その評価をもとに被験者別の刺激セットを構築する. 更に感情ク ラスの付与に誤りが生じる可能性がある曖昧な刺激を除外し, より分類精度が向 上する刺激セットの構築を行う. 生理学的な情報を計測するために脳波計 (EEG: Electroencephalograph) を, 刺激には International Affective Picture System とい う画像セットを, そして主観評価には Self-Assessment Manikin という手法を活用 する. 提案手法である被験者依存の刺激セットを用いた感情分類システムと従来 手法の被験者非依存の刺激セットを用いた感情分類システムを作成し, それらの 分類精度を比較した. その結果, 提案手法の刺激セットを用いた分類器の方が分 類精度が高く, 統計的に有意差があったことを示す. 更に提案手法の刺激セット で被験者別に感情分類器を作成し, 分類精度をまとめた. キーワード

EEG, Valence, Arousal, International Affective Picture System, サポートベク ターマシン

∗_{奈良先端科学技術大学院大学 情報科学研究科 情報科学専攻 修士論文, NAIST-IS-MT1251006,}

EEG based emotion classification system

considering individuality

∗

Tomoki Ariyoshi

Abstract

When we make an emotion classification system with physiological information, it is important to show appropriate stimulus to subject. In previous methods, the experimenter chooses stimulus set for all subjects based on previously investigated information. Subjects evaluate the stimulus and label an emotional class, such as positive or negative or neutral. However, as a result of subjective evaluation, subjects may have difficulty in perceiving stimulus and they classify most stimuli as the neutral class. Thus, we propose to make a subject-dependent stimulus set considering emotional individuality. When subjects watch this stimulus, we can get a correct emotional and physiological response. In this study, we propose a method of how to create a stimulus set considering individuality of each subject. We propose that subjects evaluate a large number of stimulus, and a stimulus set is made with this evaluation. Ambiguous stimuli, which may be labeled as differ-ent classes, we eliminated and the stimulus set is improved. We use EEG, Elec-troencephalograph, to measure physiological information, International Affective Picture System, as a stimulus set, and Self-Assessment manikin, as a subjective evaluation. We compare classifiers learned by a subject-dependent stimulus set in the proposed method with a classifier learned by a subject-independent stimulus set in the previous method. As a result, the accuracy of proposed classifier is higher than that of the previous method.

Keywords:

EEG, Valence, Arousal, International Affective Picture System, Support Vector Machine

∗_{Master’s Thesis, Department of Information Science, Graduate School of Information}

Contents

1. 序論 1 1.1 背景 . . . 1 1.2 目的 . . . 1 1.3 本論文の構成 . . . 2 2. 感情分類に関する基本技術 3 2.1 脳波とは . . . 3 2.2 感情とは . . . 3

2.3 SAM 評定と Valence, Arousal . . . 3

2.4 International Affective Picture System . . . 4

2.5 分類器 . . . 4 2.5.1 ナイーブベイズ . . . 5 2.5.2 フィッシャーの線形判別法 . . . 5 2.5.3 サポートベクターマシン . . . 7 2.6 画像刺激提示時の EEG データを用いた感情分類の先行研究 . . . . 8 2.6.1 実験設定 . . . 8 2.6.2 特徴量 . . . 9 2.6.3 分類器 . . . 9 2.6.4 Arousal 分類評価 . . . 9 2.7 まとめ . . . 10 3. 先行研究に基づいた予備実験 11 3.1 画像に対する SAM 評定 . . . 11 3.1.1 目的 . . . 11 3.1.2 実験設定 . . . 11 3.1.3 結果 . . . 14 3.1.4 考察 . . . 15 3.2 共有画像を用いた感情分類器の評価 . . . 15 3.2.1 目的 . . . 15 3.2.2 実験設定 . . . 15 3.2.3 結果 . . . 19 3.2.4 考察 . . . 22

3.3 従来研究の問題点 . . . 22 3.4 まとめ . . . 23 4. 被験者依存型画像セットの構築の提案 24 4.1 目的 . . . 24 4.2 画像セット選出の提案 . . . 24 4.3 脳波実験で用いる画像の選出 . . . 26 4.4 脳波測定実験 . . . 26 4.5 被験者依存画像セットと被験者非依存画像セットの比較 . . . 26 4.5.1 SAM 評定を用いた画像評価実験の結果 . . . 27 4.5.2 訓練データとテストデータ . . . 28 4.5.3 分類器 . . . 28 4.6 まとめ . . . 29 5. 被験者依存型感情分類器の構築 30 5.1 結果 . . . 30 5.1.1 被験者依存画像セットと被験者非依存画像セットの比較 . 30 5.1.2 被験者依存画像セットを用いた感情分類器 . . . 33 5.2 まとめ . . . 35 5.3 考察 . . . 35 6. まとめと今後の課題 37 6.1 まとめ . . . 37 6.2 今後の課題 . . . 37 謝辞 39 参考文献 40 付録 42 A. 発表リスト 42 A.1 学会発表 . . . 42

List of Figures

1 SAM 評定で用いる画像 . . . 4 2 刺激提示に用いる IAPS 画像の選出方法 . . . 12 3 画像刺激提示例 . . . 13 4 各画像に対する感情クラス付与の流れ . . . 13 5 被験者別の各クラスに属する画像枚数 . . . 14 6 32 チャンネル脳波計 . . . 16 7 実験デザイン . . . 17 8 分類器の精度の時間的変化時間の捉え方 . . . 18 9 Neutral VS. Positive 分類精度交差検定の結果 . . . 20 10 Neutral VS. Negative 分類精度交差検定の結果 . . . 21

11 Low Arousal VS. High Arousal 分類精度交差検定の結果 . . . 21

12 被験者共有の画像で作成した被験者非依存分類器 . . . 22 13 実験全体の流れ . . . 25 14 被験者別の各クラスに属する画像枚数 . . . 27 15 各画像に対する被験者間の Valence, Arousal の平均値 . . . 28 16 被験者依存画像セット VS. 被験者非依存画像セット . . . 31 17 FDA に被験者依存画像セットを学習させた感情分類器 . . . 32 18 NB に被験者依存画像セットを学習させた感情分類器 . . . 32 19 SVM に被験者依存画像セットを学習させた感情分類器 . . . 33 20 Neutral VS. Negative 被験者依存の分類器の分類精度 . . . 34

List of Tables

1.

序論

1.1

背景

 今日企業が商品を宣伝するためにテレビコマーシャルや広告といった宣伝媒体 を用いることが一般的である. これら宣伝媒体の主な目的は宣伝する商品・サー ビスに対して視聴者の購買意欲を向上させることである. 購買意欲を向上させる ための方法として, 視聴者を感情的な覚醒状態にすることで, 購買意欲を向上させ ることができるという報告がある [1]. よってこれら宣伝媒体に求められる要素と して, 視聴者を覚醒状態にする刺激を組み込むことが求められる. 被験者を覚醒状態にする刺激が実際に広告媒体に含まれているかを評価する手 法が研究されはじめている. これらの宣伝媒体に対して主観評価を行うことで, 購 買意欲を向上させる要因の有無を評価することが出来る. 一方で, 脳情報や皮膚 コンダクタンスや筋電のような生理学的な情報を用いた感情分類の研究もなされ ており [2], 宣伝媒体のような視覚刺激に対して評価を行う研究がある [3]. 脳波 は刺激提示に対して迅速に反応し, アイトラッカーのような生体計測デバイスを 併用することによって, 感性的な反応に対する原因を特定することも可能である [4]. このような視覚刺激に対する客観的で生理学的な評価尺度の設計は有望であ ると考える. 脳波測定装置を装着している被験者に刺激を提示し, 刺激に対する感情的な覚 醒度合と脳波データを計測することで, 感情分類器に学習させるデータを構築す ることが出来る. 感情的な覚醒度合を計測する主観評価により, 刺激に対する感 情クラスの付与が行われる [5]. そして評価値をもとに感情クラスを定義して感情 分類を行う研究がなされている. 覚醒度だけではなく, 快次元で測定できる快適 度を取り入れることによって, Negative や Positive といった感情クラスの付与も 可能となり, 快適度を取り入れた分類を行う研究も行われている [2, 6]. しかし, これらの研究では, 刺激セットの計測において, 被験者間の感受性のば らつきは考慮していない. その結果, 一部の感情クラスに属する刺激の数が減少 し, 被験者個人の感情分類器の分類精度が低下する可能性がある.

1.2

目的

 本研究では感情分類システムを作成するにあたって用意する刺激セットの作成 方法に着目する. 従来の作成方法では刺激コーパスから目的の条件に合わせた刺

激を選出し, 脳波測定実験にて被験者に刺激提示しつつ, 画像に対して主観評価を 行わせている. しかし, この刺激選出の方法は被験者間で共有の刺激を用いてい るため, 被験者によってはある感情クラスに属する刺激の数が少数になってしま う可能性がある. そのため, 被験者共有の刺激セットを提示するのではなく, 被験 者の感情の個人性を考慮した刺激セットを用意することで, 感情クラスに属する 刺激の数が少数になるのを防ぎ, 且つ感情に関する生理的な反応が感情分類器の 分類精度を向上させると. 考えられる. そこで本研究では, 被験者非依存型刺激セット, つまり共有刺激セットを用いた ときの感情分類器と, 被験者個人の感情を考慮している被験者依存型刺激セット を用いたときの感情分類器の分類精度を比較し, 提案手法である被験者依存刺激 セットの方が分類精度が高いことを示し, その有効性を示す.

1.3

本論文の構成

 本論文はまず, 2 章で感情分類に関する感情やデータ解析技術や先行研究の紹 介を行う. この研究における刺激画像, 評価方法, 分類器を参考に本研究において 分類器を作成する. 3 章では従来研究で用いた被験者非依存の刺激セットの問題 点を挙げるために予備実験を行い, 実験設定から結果まで述べている. 4 章では被 験者依存の分類システムの構築や提案手法について述べている. 被験者の感性に おける個人性を配慮した刺激セットの作成, 実験デザインについて述べ, 分類器 の精度を高めるアプローチを提案した. 5 章では実際に被験者の感性における個 人性を考慮した刺激セットを用いた感情分類器と, 個人性に対して無考慮な刺激 セットを用いた感情分類器の精度を比較する, . 6 章ではそれらの結果を踏まえた 考察と今後の課題について述べる.

2.

感情分類に関する基本技術

2.1

脳波とは

 脳波 (Electroencephalogram: EEG) とは, 脳から生じる電気活動を, 頭皮上, 脳 内部に置いた電極で記録したものを指す. 脳電図, EEG と呼び方があるが, 一般 的には脳波と呼ばれている. 脳波のデータ自体を EEG と呼ぶ一方で, 脳波を測定 するための測定機器の名称もまた EEG と呼ばれている. 脳波を用いた研究のアプローチとして, 電気生理学的反応である事象関連電位 (Event-Related Potential: ERP) に着目する手法や, 脳波データからフーリエ変 換といった処理によって得られる特徴量に着目する手法など, 様々なアプローチ が存在する.

2.2

感情とは

 感情とはものごとや人間等に抱く気持ちのことである. 感情を表現するには 2 通りの表現方法が存在する. １つ目は basic emotions (基本感情) [7] と言って 6 つの代表的な感情 (喜び, 悲しみ, 怒り, 恐怖, 嫌悪, 驚き) で表現する方法である. 代表的な感情, つまりラベル付けされた感情で線引きをして区別することは困難 である [8]. 2 つ目は dimensions of emotion (感情次元) [9] と言って感情値を定義 し, 感情を数値化して表現する方法である. この表現方法は同じ感情値であって も, 基本感情のうち, どの感情にあたるのかは不明である. その他にも感情の表現 にはさまざまな手法があり, 各々の長所や短所が存在する. 目的に合わせてどの 表現を用いるかを決定する必要がある.

2.3 SAM

評定と

Valence, Arousal

 感情研究における主観評価の手法に Self-Assessment Manikin, SAM 評定とい う手法がある. この手法は Valence (快適度), Arousal (覚醒度), Dominance (支配 度) と呼ばれる値を測定することができる. ここで, 感情を示す指標は Valence と Arousal であり, 形容詞を用いて行う主観評価方法である Semantic-Differencial と 相関がある [10] . Valence は快次元を示し, Arousal は覚醒次元を示す感情値であ り, 図 1 に掲載されている各画像を用いて評価することが可能である. 尚, この評 価値は 2.2 節でいう dimensions of emotion に付随する表現方法である.

Figure 1 SAM 評定で用いる画像

2.4 International Affective Picture System

 画像刺激は International Affective Picture System (以下 IAPS) [11] という画 像集がある. この画像集は 1000 例以上の人間の体験を表している. これらの詳細 は付属されているテクニカルレポート [12] に掲載されている. 各画像には 4 ケタ の番号が付けられており, カタログ化されている. また各画像には 100 人の被験 者を対象に 2.3 節で紹介した SAM 評定を用いた評価実験を実施しており, 被験者 間の Valence, Arousal の平均, 分散の値が付与されている.

2.5

分類器

 脳波データの特徴量から感情表現を推定するうえで, 分類器の使用が有効であ る. 本研究で主に使用する分類器を説明する. 脳波データの特徴量の次元が D 次 元で x =_{x1, x2,· · · , xD} とする.

2.5.1 ナイーブベイズ  ナイーブベイズは特徴量ベクトルの各次元に存在する特徴が独立に出現するこ とを仮定して，ベイズの定理に基づいて分類を行う手法である． 入力ベクトルを x とするとき, その特徴量ベクトルに対する感情クラス ckであるときの事後確率 p(ck|x) は P (ck|x) = P (ck)P (x|ck) P (x) ∝ P (ck)P (x|ck) (1) のように示される. クラスを予測したい未知の特徴量ベクトルは, 事後確率 p(ck|xi) が最も高いクラスへ分類する. この手法を最大事後確率推定 (MAP 推定) と呼 ぶ. 右辺の尤度である P (x_|ck), と事前確率である P (ck) を求める必要がある. xi, xj(i̸= j) は互いに独立と仮定したとき, P (x|ck) = ∏ i P (xi|ck) (2) のように計算できる. P (xi|ck) の確率は P (xi|ck) = 1 √ 2πσik exp { −(xi− µik)2 2σ2 ik } (3) である. µikと σik2 はクラス ckに属する特徴量ベクトルの i 次元目の平均と分散で ある. P (ck|x) が最大となるような ckを cmapとするとき,

ck map = arg max ck P (ck|x) = arg max ck P (ck) ∏ i P (x|ck) (4) となる. しかしこの式だと積の部分がアンダーフローを起こす可能性があり, 対 数をとって積の部分を和にする必要がある. よって,

ck map = arg max ck

log P (ck|x) = arg max ck { log P (ck) + ∑ i log P (xi|ck) } (5) のような式となり, 事後分布を最大にするクラス ckを推定することが可能となる. 2.5.2 フィッシャーの線形判別法  フィッシャーの線形判別法は訓練データの各クラスのクラス内分散とクラス間 分散を用いて, 分類を行う手法である. クラス内分散とクラス間分散の比を最大に

し, 分類を行いやすくする. 入力ベクトル x に対して, 式 6 のようにスカラーに射 影する. w は x を射影する方向を表し y はクラスを分類する境界の方程式を示す. y(x) = wTx. (6) クラス c1に属する入力ベクトルの平均を m1, クラス c2に属する入力ベクトルの 平均を m2としたとき式 7 となる. m1 = 1 N1 ∑ n∈c1 xn, m2 = 1 N2 ∑ n∈c2 xn. (7) このクラスの平均を用いることで, w に関する式が得られる. m2− m1 = wT(m2− m1) (8) この m2− m1が最大となる w を求めるために, ラグランジュ未定乗数法で解くと, w∝ (m2− m1) (9) となる. この w を用いることで, 分類する直線の傾きを求めることができるが, そ の直線では重なり合う部分が多くなってしまい, うまく分類ができない. そこで フィッシャーの提案した手法では, 射影されたクラス平均間の分離度を大きくす るだけでなく, 各クラス内では小さな分散を与える関数を最大化する. その関数 をクラス内共分散 SWとクラス間共分散 SBの比で定義される式 12 で示す. 式 12 が最大になるような w を求めることで共分散を考慮した分類ができる. SB = (m2− m1)(m2 − m1)T (10) SW = ∑ n∈c1 (xn− m1)(xn− m1)T + ∑ n∈c2 (xn− m2)(xn− m2)T (11) J (w) = w T_S Bw wT_S Ww (12) 最大値を求めるために J(w) を w で微分し, 解いた式が w∝ Sw−1(m2− m1) (13) となる. この w を用いることで共分散を考慮した分類ができる.

2.5.3 サポートベクターマシン  サポートベクターマシンはカーネル関数を用いて線形分離可能な高次元空間で 線形的なアプローチで学習を行うアルゴリズムである. x を入力ベクトル, y(x) は出力 (分類問題のときはクラスのラベル, 回帰問題のときは数値) , ϕ(x) を特徴 空間変換関数とするとき, 通常の線形回帰, 線形判別の問題では y(x) = wTϕ(x) + b. (14) といった線形モデルを用いる. 入力ベクトル x と教師信号の組からパラメータ w, b を学習するのが目的となる. 分類境界と訓練データの間の最短の距離のことを マージンと言い, マージンの最大化する分類境界を探す. 超平面 y(x) = 0 から点 x までの距離は|y(x)|/||w|| で与えられるため, arg max w,b { 1 ||w||minn [tn(w T_{ϕ(x) + b)]} (15)} のように最適化問題を定義することができ, この問題を解くことでマージンを最 大化する w, b を求めることができる. ここで w は n に依存せず, 境界に最も近い 点においては tn(wTϕ(x) + b) = 1 と示すことが可能で, arg min w,b 1 2||w|| 2 ₍₁₆₎ subject to tn(wTϕ(xn+ b)≥ 1 n = 1, · · · , N (17) といった最適化問題を解くことでマージンを最大化する w, b を求めることがで きる. さらに一部の訓練データの誤分類を許すようなソフトマージンサポートベク ターマシンがある. この手法では誤分類したデータに対してペナルティを与え, 正 しく分類されたデータにはペナルティを与えない誤差関数を用いて, マージンを最 大化して最適化を行う. ペナルティの与え方としては, スラック変数を用いて, マー ジン境界からの距離に比例するようにする. スラック変数 ξn≥ 0 (n = 1, · · · , N) は各データ毎に定義される変数で, データが正しく分類され且つ, マージン境界の 上または外側に存在する場合は ξn = 0, それ以外のときは ξn =|tn− y(xn)| とし て定義される. したがって分類境界 y(x) = 0 上にあるデータについては ξn = 1, 誤分類されたデータについては ξn > 1 が成り立つ. このスラック変数 ξnを用い

ることで式 17 の制約式を次のように修正する. tn(wTϕ(xn+ b)≥ 1 − ξn n = 1,· · · , N (18) ξn ≥ 0. (19) さらに式 17 で示した目的関数に関しても式 20 のようにペナルティを考慮した形 に修正する. C N ∑ n=1 ξn+ 1 2||w|| 2_{. (20)} このときの C > 0 はスラック変数を用いて表されるペナルティとマージンの大き さの間のトレードオフを制御するパラメータである. この最適化問題を解くこと で, 誤分類を許すような分類が可能となる. C →∞の極限をとるとき, 分離可能な データに対するハードマージンサポートベクターマシンの最適化問題と等しくな る. この最適化問題で得られる w, b を用いて分類する.

2.6

画像刺激提示時の

EEG

データを用いた感情分類の先行研究

 脳波データを用いた感情分類の研究はすでにいくつか存在し, その中で本研究 の目的に沿った研究を従来研究とする [2]. 画像刺激を提示した際の被験者の脳波 データから, 高 Arousal, 低 Arousal の 2 クラスで分類を行った. 視覚刺激を用い るため, 測定部位は主に後頭部だった. 2.6.1 実験設定   2.4 節で説明した IAPS から画像を選出し, 提示刺激としていた. IAPS のテ クニカルレポートに掲載されている各画像に対する Arousal の評価値をもとに, Arousal の高い画像を 50 枚, 低い画像を 50 枚選出し, 脳波測定実験の際, 被験者 に提示した. 作成した画像セットをランダムに並び替え, 脳波実験を行う. 画像の提示方法は 3 [s] 間休憩・準備期間として暗い画面を表示し, その次に暗い画面の中央に注視 点である白い十字マークを表示した. 次の画面で画像刺激を提示するのだが, 被 験者に画像が提示されるタイミングを悟られないために, 注視点を表示する時間 は 2 [s] から 4 [s] で 画像提示のタイミングをランダムとした. 画像の提示時間は 6 [s] で, 刺激提示終了後, 時間制限無しの主観評価を行った.

主観評価は 2.3 節で紹介した SAM 評定を用いた. この従来研究では Arousal の みを 0∼4 の値, 5 段階で評価していた. Arousal の値が小さければ小さいほど calm というラベル, 大きければ大きいほど exciting ラベルとみなすことができる. その 5 段階評価をもとに, 2 クラス分類と, 3 クラス分類を行っている. 2 クラス分類の とき, 1 の評価値が付与された画像を calm クラスに振り分け, それ以外の 2∼4 の 評価値が付与されている画像に対しては exciting クラスとして振り分けた. 3 ク ラス分類の場合, 0 は calm クラス, 1, 2 を neutral クラス, そして 3, 4 を exciting クラスとして振り分けた.

頭皮上に置かれた電極間に生じるわずかな電位差にはあるリズムが生じる. こ のリズムを持った波を脳波 (EEG: Electroencephalogram) と呼ぶ. 脳波は自発的 に絶え間もなく出現し続けた. この研究では P, Tp, O チャンネルを用いて分類器 を作成した. 従来研究での脳波計は 64 チャンネルでサンプリングレート 1024Hz の Biosemi Active Two device という脳波計を用いていた [13].

2.6.2 特徴量  従来研究では学習器に学習させる特徴量は脳波データから算出されたウェーブ レット係数である. 連続ウェーブレット変換を用いて, 4 - 45 [Hz] の周波数帯の 特徴量を抽出した. 2.6.3 分類器   2.5 で紹介したナイーブベイズモデルとフィッシャーの線形判別モデルを用い た分類器を作成した. 2.6.4 Arousal 分類評価  主観評価の結果, Arousal の 5 段階評価に対応した画像の枚数にバラつきがあっ た. 5 段階のうち 1 に属する画像は他の評価段階と比べ枚数は多くなっている. 評 価段階が上がるにつれ, 枚数は減っていく傾向があった. 脳波を用いた分類器に関しては分類精度はナイーブベイズ分類器の方がフィッ シャー線形判別モデルよりも分類精度が高いことがわかった. 従来研究では被験 者依存の分類器を作成しており, 2 値分類器, 3 値分類器の分類精度の結果が記載 されている. ナイーブベイズ分類器の分類精度は被験者によっては精度が高く, 2 値分類で約 70 % , 3 値分類で約 60 % という結果になっている. しかし, 他の被験

者の場合, 2 値分類で 50 ∼ 60 % で, 3 値分類では 30 ∼ 45 % 程で, かなり低い精 度になっている.

2.7

まとめ

 この章では本研究で用いる技術を述べた. 感情の表現方法は複数有り, 代表的な 感情で表現する basic emotion (基本感情), 感情を数値化して表現する dimensions of emotion (感情次元) などがあり, 各々の表現方法には長所短所が存在し, 目的 に合った手法を用いる必要がある. さらに刺激に対する感情を評価する主観評価方法である SAM 評定に関しても 紹介した. この手法は感情を表す絵を用いることで dimensions of emotion におけ る Valence と Arousal の感情値を評価することができる. そして IAPS という画像刺激コーパスに関する紹介もした. この画像刺激コー パスは多彩な人間の体験を表した画像を集めたもので, 各画像に対して SAM 評 定を行い, 感情値が付与されている. 感情をテーマとした研究で主に提示刺激と して用いられている. 分類器に関してはナイーブベイズ, フィッシャーの線形判別法, サポートベク ターマシンについて説明した. IAPS の画像刺激提示時の EEG データを用いた感情分類の先行研究の説明も 行った. この研究では IAPS のテクニカルレポートを参考に, High Arousal クラ ス 50 枚, Low Arousal クラス 50 枚の計 100 枚を IAPS から選出した. その画像刺 激を提示している際の脳波データと刺激に対する SAM 評定の結果を用いて, 分 類器を作成した. 分類器の分類精度は被験者によって個人差はあり, 高くて 2 値 分類で約 70 % , 3 値分類で約 60 % , 低くてチャンスレート程度となった.

3.

先行研究に基づいた予備実験

 本章では 2.6 章で説明した先行研究に基づいて行った予備実験について説明す る [2]. 先行研究では 100 枚の画像に対して全被験者が主観評価を行うため, 提示 画像は全被験者共有の画像セットである. 2.6.4 節で書かれているように Arousal の値が小さいと画像の枚数が多く, Arousal の値が大きくなればその分画像の枚数 は減少していく. そしてその共有の画像セットを用いて感情分類システムを構築 した場合, 分類精度に個人差があり, 被験者によっては分類精度がとても下がって しまう. これらの問題点を確認するために, 予備実験を行う.

3.1

画像に対する

SAM

評定

3.1.1 目的 従来研究で 100 枚という限られた画像に対して被験者が主観評価をすることに よって, 各クラスに属する画像の枚数に差が生じる. 実際に画像を用いて主観評 価実験を行い, クラス間の枚数に差が生じるかを調査する. 3.1.2 実験設定  本研究では, 奈良先端科学技術大学院大学の倫理委員会から実験実施の了承を 得た上で実験を行った. 本研究で行う実験は被験者に画像刺激を提示するため光 源性てんかんの発作を誘発する可能性はないとは言えないので, 持病にてんかん を持っていないこと, 刺激画像には不快感を与える画像も含まれており, それらの 画像を含め提示することに対し問題視しないことを条件とした. 本研究における 被験者は 22 歳から 26 歳までの右利きの健康な成人男性 11 名を被験者とした. 刺激画像は 2.4 節で紹介した, IAPS のテクニカルレポート [12] の感情値をもと に IAPS から刺激画像を選出する. 図 2 のように, Positive は Arousal が 5.599 以 上, Valence が 6 以上, Negative は Arousal が 6.11 以上, Valence が 4 以下, Neutral は Arousal が 4.081 以下, Valence が 4.5 以上 5.5 以下と定義するとき, 各クラスに 属する画像を 100 枚ずつ選出する. 選出された 300 枚の画像を用いて, 次に主観 評価実験を実施する. 用意した 300 枚の画像に対して, 被験者は SAM 評定で各画像を評価する. 全て の画像をランダムに並べ替え, 図 3 のようなデザインで SAM 評定を行う. 1 枚の 画像に対して SAM 評定を行い, 画像の横の Next ボタンを押すことで次の画像を

SAM 評定で評価することができる.

主観評価実験の結果から, 感情クラスの決定を行う. Valence は SAM 評定上, 値 の 5 が中性的な状態であることが定義づけられているが, Arousal に関しては明確 な基準が存在せず, 被験者の判断に依存した基準となっている. そこで Arousal の 値に関しては Z スコアで正規化を行い, その値を用いて図 4 のようにクラス分けを 行う. Positive は Valence が 6 以上で且つ Arousal の Z スコアが 0 以上, Negative は Valence が 4 以下で且つ Arousal の Z スコアが 0 以上, そして Neutral は Valence が 5 で且つ Arousal の Z スコアが 0 未満という条件でクラスを付与する. 尚, これ らの条件に当てはまらない画像はクラス分類の境目にある評価値であるため, 画 像セットから除外される. クラスの境目にある評価値の画像を除外する理由は, 正 確な感情クラスを画像に付与しなければ感情分類システムの分類精度が低下する からである. IAPS から選出された 300 枚の画像から各被験者の主観評価を用い て, 正確な感情ラベルが付与された被験者依存の提示画像セットを構築していく. Figure 2 刺激提示に用いる IAPS 画像の選出方法

Figure 3 画像刺激提示例

3.1.3 結果

 図 5 は各被験者の主観評価によって付与された感情クラスに属する画像の枚数 である. 300 枚中ほとんどの画像を Neutral クラスと見なしている被験者もいた. 従来手法と同様, Arousal が低い Neutral クラスの画像は多い傾向にあるが, 一部 の被験者は Arousal が高く Valence が低い, Negative クラスの方が上回っている.

S1

S2

S3

S4

S5

S6

S7

S8

S9

S10

S11

Positive

Negative

Neutral

Number of Images

0

50

100

150

200

250

300

Figure 5 被験者別の各クラスに属する画像枚数

3.1.4 考察

 図 2 のように IAPS の中でも Valence, Arousal が極端な画像を用いて主観評価 実験を実施したのにも関わらず, ほとんどの被験者は Neutral クラスに入る傾向 があった. そして IAPS や実験デザインが被験者個人の感受性や好みに合わなかっ たため, 各感情クラスに付与される画像の枚数に個人差が生じた. 個人に合わせ た画像刺激を用いて, 画像の選出を行うべきだと考察される.

3.2

共有画像を用いた感情分類器の評価

3.2.1 目的  従来研究では被験者間共有の画像を提示されている時の脳波データを用いて分 類器を作成した. そこで 3.1 節の主観評価実験の結果から従来研究と同様に被験 者間で共有される画像を選出し, 実際に共有画像提示中の脳波データを用いた分 類器を評価するのが目的である. 3.2.2 実験設定  被験者は 3.1 節の図 5 の S2, S4, S9, S11 のデータを用いた. 3.1 節で選出された被験者別の画像セットを 1 枚ずつ被験者に提示し, その間の 脳波を測定する. この脳波測定実験では主観評価は実施しない.

脳波を測定する装置として，BrainAmp (Brain Products 製) BP-01100-128 を 使用した. 計測には図 6 に示す 32 チャンネルを使用した. サンプリング周波数は 500 [Hz] で脳波を測定し, 高速フーリエ変換によって脳波データをパワースペク トルに変換し, 4[Hz] - 22 [Hz] のパワースペクトルを 1 [Hz] 間隔で抽出した. 画 像刺激は NEC 製プラズマディスプレイ PX-50XM2 を使用し，フォトセンサを用 いて画像刺激の提示と脳波計測の時間同期を行った. 測定部位は従来研究で用い ている P7, P8, Tp9, Tp10, O1, O2, そしてそれに加えて Fp1, Fp2 を加えている. Fp1 と Fp2 の脳波には感情や思考によって変化するため, 本実験において興味関 心や印象深い刺激に対して反応を示す可能性があると考えられる [14].

Figure 6 32 チャンネル脳波計 被験者は楽な姿勢で椅子に座り, モニターに表示される画像刺激を注視する. 実 験デザインを図 7 に示す. 尚, 提示する画像の順番はランダムである. 図中にあ る 1 と 3 はただ暗い画面が表示するだけのタームである. 2 では注視点を表示す るタームで, 被験者は注視点を注視し, 画像刺激を受ける準備を行う. そして 4 で は刺激画像の提示を行う. 尚, 実験開始のタイミングは被験者がボタンをクリッ クによるものなので, 呼吸や準備のタームは用意していない.

Figure 7 実験デザイン

4 名の被験者の画像セットから共有画像を選出し Valence を考慮しない, Arousal の Z スコアを用いて High Arousal クラスと Low Arousal クラスを各画像に付与 した. Arousal の Z スコアが 0 以上のときは High Arousal クラス, 0 未満のときは Low Arousal クラスとする. 各被験者に High Arousal クラスの画像が 16 枚, Low Arousal クラスの画像が 8 枚選出された. この選出をすることによって, 少ない刺 激数で, Arousal のクラスを分けることができ且つ, 共有の刺激を用いることで, 被験者の感情の個人性に対して無考慮な刺激セットを作成できる. 被験者 4 名のデータのうち 1 名のデータをテストデータとして用いて交差検定 を行う. 3 名分のデータを用いた感情分類器を作成し, その分類器の学習とは関 係のない被験者のデータを用いて評価を行う. チャンスレートは画像の枚数から 66.6 % となる. 本研究における特徴量は脳波時系列データを高速フーリエ変換したときのパ ワースペクトルを用いる. 実験対象となる各チャンネルのパワースペクトルのベ クトルを繋ぎ合わせて 1 つの特徴量ベクトルとする. パワースペクトルを特徴量 として用いた分類器の作成を行う研究は存在し, 周波数帯によっては感情に関す る特徴が現れている [15]. 周波数帯域は 4 [Hz] から 22 [Hz] のバンドパスであり, 1 [Hz] 刻みで出力するので, 1 チャンネルにつき 18 個のパワースペクトルが得ら れるため, 1 つの特徴量ベクトルは 18 [パワースペクトル] × 8 [チャンネル] の長 さ 144 のベクトルとなる. 尚, 基準振幅値を考慮するために脳波データが-50 μ V 以下の値を取った時は-50 [μ V] に置き換え, +50 [μ V] 以上の値を取ったとき は+50 μ V に置き換えて高速フーリエ変換を行った [16].

尚, 本研究では画像提示から何秒後の脳波データが高い分類精度になるかを調 べる. 分類精度の最高値を示す時間帯を求める手法 [17] があり, それを用いて刺 激提示から何秒後の脳波データに特徴が現れるかを検定する. 脳波データの特徴 量を抽出するターゲットウインドを設定し, 画像提示時間からそのターゲットウ インドをずらしつつ分類精度を計算する. ターゲットウインドウを図 8 のように 時間方向にずらし, その都度高速フーリエ変換によってパワースペクトルに変換 し, 分類器に学習させ分類精度を計算を行う. Figure 8 分類器の精度の時間的変化時間の捉え方 尚, 本研究ではターゲットウインドウの大きさを 3000 [ms] とし, ターゲットウ インドウをずらしつつ解析を行う. 抽出された 3000 [ms] 分の脳波データの中に 更に 1000 [ms] 分のウインドウ作成し, そのウインドウを 100 [ms] ずつずらしな がら特徴量を抽出する. 画像 1 枚につきパワースペクトルの特徴量ベクトルは 21 個得ることができ, 被験者間の各時間における分類精度の平均をみて, どの時間の 特徴量が分類精度向上に繋がるかを計算した. 分類器は 2.5 節で説明して且つ従来研究で用いている, ナイーブベイズ, フィッ シャーの線形判別法, そしてさらに非線形分類器であるサポートベクターマシン

を追加して評価を行う. サポートベクターマシンは言語の kernlab パッケージの ksvm 関数を用いており, ガウシアンカーネルの分散値は指定がなければ, kernlab パッケージ内に含まれる sigest というオブジェクトによる動径基底カーネルの超 パラメータ推定で推定される. コストパラメータ C は C = 1, つまりソフトマー ジンのときに分類精度が向上するため, C = 1 で分類器を作成した. 3.2.3 結果  この実験で測定した脳波データを用いて, 刺激提示から何秒後のデータが, 感性 的な特徴で分類できるかを調べる. ウインドウのサイズを 3000 [ms] としたとき, 500 [ms] ずつウインドウをスライドさせて, そのウインドウ内に更に 1000 [ms] の ウインドウ用意して 100 [ms] ずつスライドさせた. 1000 [ms] のウインドウに含 まれている脳波データから特徴量 1 個抽出できるので, 結局画像 1 枚につき 21 個 特徴量が抽出できる. それらの特徴量を用いてナイーブベイズ, フィッシャーの線 形判別法, サポートベクターマシンでの分類器を作成し, 分類精度を求めた. 脳波 データに特徴が出ている時間帯の特定が可能であるなら, その時間帯の脳波デー タを用いて分類精度を求める. 各被験者別の分類システム, 全被験者の特徴量を 学習した分類システム, 一人を除いた被験者の特徴量を学習した分類システムを 作成し, それらの分類精度をクラス分けのパターン別で作成する. 尚, 分類システ ムを評価する際, 20 % をテストデータとして用いて, 残りの 80 % をトレーニン グデータとして用いて交差検定を通して分類精度の評価を行う. 分類器はフィッ シャーの線形判別法, ナイーブベイズ, サポートベクターマシンを用いて分類シス テムを作成する. そして分類器であるナイーブベイズは NB, フィッシャーの線形 判別法は FDA, そしてサポートベクターマシンは SVM として表している. まず, Neutral クラスと Positive クラスの分類の際, 画像を提示してから何 [ms] 後の脳波データに特徴が出るのかを調査した. 被験者別で分類精度を算出し, そ の平均を算出しグラフ化したものを図 9 とする. 横軸の時間は対象とするウイン ドウの始点時間で, 縦軸の分類精度は被験者間の平均である.. 画像提示から 10 秒 間, 本研究で用いる特徴量で分類できる時間帯を特定することは困難である. 本 研究では Neutral クラスと Positive クラスの分類は行わない. Neutral クラスと Negative クラスの分類の際, 画像を提示してから何 [ms] 後の 脳波データに特徴が出るのかを調査した. 被験者別で分類精度を算出し, その平 均を算出しグラフ化したものを図 10 とする. その結果 2500 [ms] から 5500 [ms] までの 3000 [ms] 間が分類に最適であることがわかった.

Low Arousal クラスと High Arousal クラスの分類の際, 画像を提示してから何 [ms] 後の脳波データに特徴が出るのかを調査した. 被験者別で分類精度を算出し, その平均を算出しグラフ化したものが図 11 である. 尚, 被験者の主観評価の結果, Low Arousal クラスと High Arousal クラス付与をする際, 該当する脳波データが 少ないため, 分類器を作成できない被験者は除外してある. その結果 1500 [ms] か ら 4500 [ms] までの 3000 [ms] 間が分類に最適であることがわかった. 0 1000 2000 3000 4000 5000 6000 7000 0.45 0.50 0.55 0.60 0 1000 2000 3000 4000 5000 6000 7000 0.45 0.50 0.55 0.60 0 1000 2000 3000 4000 5000 6000 7000 0.45 0.50 0.55 0.60

Start Time [ms]

Accurac

y

FDA NB SVM

0 1000 2000 3000 4000 5000 6000 7000 0.50 0.52 0.54 0.56 0.58 0.60 0 1000 2000 3000 4000 5000 6000 7000 0.50 0.52 0.54 0.56 0.58 0.60 0 1000 2000 3000 4000 5000 6000 7000 0.50 0.52 0.54 0.56 0.58 0.60

Start Time [ms]

Accurac

y

FDA NB SVM

Figure 10 Neutral VS. Negative 分類精度交差検定の結果

0 1000 2000 3000 4000 5000 6000 7000 0.56 0.58 0.60 0.62 0.64 0 1000 2000 3000 4000 5000 6000 7000 0.56 0.58 0.60 0.62 0.64 0 1000 2000 3000 4000 5000 6000 7000 0.56 0.58 0.60 0.62 0.64

Start Time [ms]

Accurac

y

FDA NB SVM

High Arousal クラス, Low Arousal クラスが付与された被験者共有の刺激セッ トを用いて, 被験者全員の訓練データを用いた被験者非依存分類器を作成した. 分 類結果は図 12 となった. FDA がフィッシャーの線形判別法, NB がナイーブベイ ズ, SVM がサポートベクターマシンの分類精度である. チャンスレートが 66.6 % に対し, ほぼ同じ値となった. Figure 12 被験者共有の画像で作成した被験者非依存分類器 3.2.4 考察  共有画像を用いることによって提示画像の統一はできるものの, 分類器の分類 精度は落ちてしまう. 原因として考えられるのは共有画像を用いることによって 被験者の主観評価によって決定された画像のクラスが偏ったままであり, 画像枚 数が少ないクラスの分類精度が落ちているのが原因であると考えられる.

3.3

従来研究の問題点

 従来研究では分類器の精度に個人差があった. この個人差の原因として考えら れるのは, 画像の選出方法と特徴量に対するクラス付与の方法にある. 提示画像 セットは被験者間において同じ画像を用いたため, 被験者個人の好み, 趣向に合

わせた画像の選出は行われていなかった. よって被験者によっては選出された提 示画像では本来の感情を露呈することができず, 正確に生理学的な反応ができな かった可能性がある. 従来研究の主観評価の結果をみて分かる通り, 100 枚という 限られた画像に対して被験者が主観評価をすることによって, 各クラスに属する 画像の枚数に差が生じてしまい, クラスによっては分類不可能なくらい少ない画 像枚数, つまり特徴量が少なすぎて分類器に学習させるのが困難となってしまい, 分類精度にも個人差が表れると考えられる. 実際に作成した分類器もチャンスレートと同等程度となってしまったことから, 被験者共有の画像を用いた分類器を作成して精度を向上させるのは困難であると 考察される.

3.4

まとめ

 従来研究では IAPS のテクニカルレポートを用いて極端な感情値の画像を 300 枚用意し, 被験者の SAM 評定の結果をもとに画像に対して感情クラスを付与した. その結果, 被験者によっては均等にクラス分類されず, ほとんどの画像が Neutral クラスに分類されてしまうことがわかった. さらに被験者同士で共有している画像の脳波データを用いて分類器を作ると, 分類精度が低いこともわかった.

4.

被験者依存型画像セットの構築の提案

4.1

目的

 本研究の目的は, 従来研究の問題点である被験者依存型感情分類器における分 類精度の個人差の解消である. この個人差が生じる原因は提示画像の選出方法や, 主観評価による特徴量へのクラス付与の手法, つまり実験デザインに問題がある と考えられる. そこで従来手法の実験デザインを改良することによって, 各被験 者の感性に合わせた実験デザインの構築をすることが求められる. 尚, 提案した 実験デザインによって作成された感情分類器と従来法で作成された感情分類器の 分類精度の比較を行い, 提案手法の分類精度向上の有効性を示す. 本研究では主 観評価結果と IAPS テクニカルレポートの結果をもとに厳選した小数枚の画像刺 激を被験者に提示し, そのときの被験者の脳波データに, 刺激に因んだ生理学的な 反応に差が出るのかを調べる.

4.2

画像セット選出の提案

 提案方法の全体の流れを図 13 に示した. まず IAPS のテクニカルレポート [12] に記載されている Valence 値, Arousal 値を参考に感情値が極端な画像の抽出を行 う. 過去の主観評価実験の評価値を用いて Valence が高く, Arousal の高い Positive クラス, Valence が低く, Arousal が高い Negative クラス, そして Valence が中間 値で Arousal が低い Neutral クラスに属する画像を抽出する. 次に抽出された画 像に対して, SAM 評定を用いた主観評価実験を実施する. この主観評価の結果を もとに, 各被験者の感性を考慮した感情クラスを各画像に付与する. この主観評 価実験では脳波測定を行わず, 2 週間後に被験者別に作成した画像セットを用い て, 脳波測定実験を行う. 2 週間後に実施する理由は, 一度主観評価実験を行った 時に画像刺激に対する慣れが生じている可能性があるからである. 画像に対する 慣れを緩和するために時間を空けている. そして脳波実験を実施後, 測定した脳 波データを解析して分類器を作成して評価する. この実験デザイにより, 過去の 画像評価実験の結果と被験者個人の感性を考慮した画像セットを被験者別に作成 することができ, 被験者の脳波にも感情に関する特徴の発生が期待できる.

4.3

脳波実験で用いる画像の選出

 主観評価実験で用いる画像の選出方法と主観評価実験の設定は 3.2.2 節と同じ 設定である. 3.1.2 節のクラス付与, 選出方法に加え, 感情値の極端な画像を選 出し, 各感情クラスに属する画像の枚数を均等になるように調整する. 各感情ク ラスに属する画像の枚数のバランスを取るために, 各クラスの中で一番画像の枚 数が少ない感情クラスの画像の枚数に合わせて, 各クラスから脳波実験で提示す る画像を選出する. Neutral の選出は. Arousal の値が小さいものから, Positive, Negative は Arousal の値が大きいものから順に選出する. 例えば Positive クラ ス 15 枚, Negative クラス 65 枚, Neutral クラス 145 枚という振り分けである時, Positive クラスは 15 枚全て選出するが, Negative クラスの場合は Arousal 値が大 きい順番で 15 枚選出する. Neutral クラスは逆に Arousal 値が低い順番で 15 枚選 出する. 尚, 4.5 節で提案している手法においては, 従来研究との比較のため, 従来 研究の条件に合わせた画像の選出を行っている.

さらに Valence は考慮せずに Arousal のみに着目したクラス分けも行う. SAM 評定では Arousal を 9 段階で評価するが, もし被験者が Arousal の 1∼9 の評価値 の中から 3 種類以上の値で評価するなら, 中間値で隔てて Arousal のクラス分け を行う. 例を挙げるとするなら, Arousal の評価に 1, 4, 9 といった 3 種類の評価 値を用いた場合, 1 に属する画像を Low Arousal クラス, 9 に属する画像を High Arousal クラス, そして 4 に属する画像を該当クラス無しとして除外する. 奇数種 類なら中央値で評価されている画像を除外して, 偶数種類なら中央値の 2 つで評 価されている画像を除外する. この処理を施す理由は, クラスの境界付近のクラ スラベル自体が曖昧だからである.

4.4

脳波測定実験

  4.3 節で選出された被験者別の画像セットを 1 枚ずつ被験者に提示し, その間の 脳波を測定する. この脳波測定実験では主観評価は実施しない. 実験装置の説明 と実験設定は 3.2.2 節と同じである.

4.5

被験者依存画像セットと被験者非依存画像セットの比較

 提案手法である被験者依存画像セットによって構築された感情分類システムと 従来法である被験者非依存画像セットによって構築された感情分類システムの分 類精度を評価し, どちらの画像セットを用いたほうが高い精度を示すかを比較す

る. クラスの分類は従来研究でも行われている, 4.3 節で述べた High Arousal クラ スと Low Arousal クラスの分類を行う. 4.5.1 SAM 評定を用いた画像評価実験の結果  被験者別の各感情クラスに属する画像の枚数は 3.1.3 節の図 5 に示してあるが, 実際に被験者に提示する画像の枚数は図 14 に示す. 被験者別に画像セットを作 成したが, 図 5 を見てわかる通り, 全体的に Positive クラスに分類されている画像 の枚数が少ないことがわかる. 提示する画像の枚数は画像の枚数が一番少ないク ラスの枚数に合わせて選出するので, 1 クラスに含まれる画像の枚数が少なけれ ば, その被験者に提示する画像の枚数も減少する. 例えば Neutral クラスの枚数が 150 枚, Positive クラスが 15 枚, Negative クラスが 30 枚のとき, 被験者に提示さ れる画像の枚数は Neutral クラス 15 枚, Positive クラス 15 枚, Negative クラス 15 枚, 計 45 枚となる. 今回, 被験者の長期拘束を控えるため, 各クラス 40 枚, 計 120 枚を上限として画像を選出する. 各画像に対する被験者間の Valence, Arousal の 平均値をプロットした図を図 15 に示す. 図中の点一つ一つが画像を表している. Valence が低くて Arousal が高い画像に対し, Valence が高くて Arousal が高い画 像は少ない. S1 S2 S3 S4 S5 S6 S7 S8 S9 S10 S11 Number of Images 0 50 100 150 200 Figure 14 被験者別の各クラスに属する画像枚数

1

2

3

4

5

6

7

8

9

1

2

3

4

5

6

7

8

9

Arousal

V

alence

Figure 15 各画像に対する被験者間の Valence, Arousal の平均値

4.5.2 訓練データとテストデータ  一人を除く全被験者のデータを訓練データとして用いて, 被験者依存画像セッ トの分類器, 被験者非依存画像セットの分類器を作成する. 除かれた被験者はテ ストデータとして扱うが, テストデータを統一するため, テストデータは被験者依 存・非依存画像セットを合わせたものとする. 全被験者による交差検定の評価を 行い分類精度を算出し, その平均を各画像セットの分類精度とする. 4.5.3 分類器   3.2.2 節と同様で, 画像セットの比較のために用いる分類器はフィッシャーの線 形判別法, ナイーブベイズ, サポートベクターマシンの 3 つの分類器で比較を行う.

4.6

まとめ

 本研究の提案手法は従来法とは異なり, 主観評価実験と脳波実験を分離してお り, 主観評価の結果を用いて脳波実験で提示する被験者依存画像セットを作成す る. この被験者依存画像セットは従来法の被験者非依存画像セットとは異なり, 大 量の画像の中から被験者の感性に合わせた画像を選出している. 尚, 感情クラス の境目にあたる感情値を持つ画像は排除され, 脳波データに対して正しい感情ク ラスが付与されている画像が含まれている. 被験者依存画像セットが被験者非依 存画像セットよりも分類精度が向上することを示すために, 4.5 節で述べられてい る手法があり, これを用いてどちらの画像セットの分類精度が高いのかを検定す ることが可能である.

5.

被験者依存型感情分類器の構築

 被験者は 3.1.2 節, 特徴量の抽出方法は 3.2.2 節と同じである. 主な分類手法は 2.5 節で説明したナイーブベイズ, フィッシャーの線形判別法, そしてサポートベクターマシンを用いる. 尚, 分類精度が一番向上する時間帯を 特定する際, ウインドウのサイズを 3000 [ms] として, 500 [ms] ずつウインドウを スライドさせ, その都度特徴量を抽出し, 各被験者の分類器を作成し, 分類精度を 求めた.

5.1

結果

5.1.1 被験者依存画像セットと被験者非依存画像セットの比較  実験 1 では, 4.5 節で述べた画像セットの比較の結果を示す. この比較では画像 の枚数が多い 4 名の被験者の脳波データを用いて分類精度を比較した. 尚, 3.2.3 節の結果から 1500 [ms] から 4500 [ms] の脳波データの特徴量を用いた. この 4 名 の被験者の共有している同じ画像, つまり被験者非依存画像セットの枚数は High Arousal クラスが 16 枚, Low Arousal クラスが 8 枚, 合計 24 枚を使用した. 被験 者依存画像セットの枚数は非依存画像セットの枚数に合わせる必要があるため, 同様に High Arousal クラス 16 枚, Low Arousal クラス 8 枚を選出した. 尚, High Arousal クラスの中でも Arousal 値が大きい順に, Low Arousal クラスの中でも Arousal 値が小さい順に選出した. 尚, 分類精度のチャンスレートは 66.6 % であ る. そしてそのときの結果が図 16 である. 被験者依存画像セットのの分類精度が 高く, サポートベクターマシンに関しては統計的に有意差がある. 実験 2 では, 被験者依存画像セットと被験者非依存画像セットを用いて被験者 個人の感情分類器を作成し, 比較を行った. その結果は図 16 に示す. 尚, 個人の感 情分類器を評価する際用いるテストデータは, チャンスレートが 50 % になるよ うに構築した. 図 17 はフィッシャーの線形判別法, 図 18 はナイーブベイズ, 図 19 はサポートベクターマシンを用いた分類器の分類精度の比較である. 実験 1 と実験 2 で作成する分類器の型と, 訓練データとテストデータの振り分 け方をまとめた表を表 1 にまとめた. 分類器の被験者非依存は, 訓練データを被 験者間で共有し, 被験者共有の分類器を作成することである. 一方, 被験者依存の 分類器は 1 人の被験者専用の分類器を作成することであるため, 訓練データは被 験者個人のデータに依存する. 各実験における訓練データとテストデータは交差 検定を用いて評価する.

Table 1 実験別の分類器のタイプと訓練データ, テストデータの振り分け方 実験 1 実験 2 分類器 被験者非依存 被験者依存 訓練データ 3 人分 High Arousal 14 枚 Low Arousal 6 枚 テストデータ 1 人分 High Arousal 2 枚 Low Arousal 2 枚 Figure 16 被験者依存画像セット VS. 被験者非依存画像セット

Figure 17 FDA に被験者依存画像セットを学習させた感情分類器

Figure 19 SVM に被験者依存画像セットを学習させた感情分類器 5.1.2 被験者依存画像セットを用いた感情分類器   5.1.1 節の結果より, 被験者依存画像セットを用いた感情分類システムの方が被 験者非依存の感情分類システムよりも分類精度が高いことがわかった. よって, 被 験者依存画像セットを用いた個人の分類器を作成し, その結果を示す. 尚, ここで の分類器で用いる特徴量データは被験者依存画像セットから得られたデータであ るため, データ数に個人差がある. (画像の枚数に関しては 4.5.1 節を参照) Neutral クラスと Negative クラスの分類を行う. 2500 [ms] から 5500 [ms] ま での 3000 [ms] 間の脳波データで被験者依存画像セットで感情分類器を作成した. その分類器の分類精度を図 20 で示す. 提案手法の一つであるサポートベクターマ シンを用いた分類器の精度よりもフィッシャーの線形判別法の方が分類精度が高 かった.

次は Low Arousal クラスと High Arousal クラスの分類を行う. 1500 [ms] から 4500 [ms] までの 3000 [ms] 間の脳波データで被験者依存画像セットで感情分類 器を作成した. その分類器の分類精度を図 21 で示す. . 提案手法の一つであるサ ポートベクターマシンを用いた分類器の精度が他の分類器の精度よりも高かった.

S1 S2 S3 S4 S5 S6 S7 S8 S9 S10 S11 Mean FDA NB SVM Accurac y 0.3 0.4 0.5 0.6 0.7 0.8

Figure 20 Neutral VS. Negative 被験者依存の分類器の分類精度

S1 S2 S4 S5 S8 S9 S10 S11 Mean FDA NB SVM Accurac y 0.3 0.4 0.5 0.6 0.7 0.8

5.2

まとめ

 脳波データのパワースペクトルを特徴量とした訓練データをフィッシャーの線 形判別法, ナイーブベイズ, サポートベクターマシンに学習させ, 刺激提示から感 情の起伏が現れる時間の特定を 3.2.2 節の手法を用いて特定した, High Arousal ク ラスと Low Arousal クラスの分類は 1500 [ms] から 4500 [ms] で Negative クラス と Neutral クラスは 2500 [ms] から 5500 [ms] となった. この結果を用いて, 被験 者依存画像セットで作成される感情分類システムと被験者非依存画像セットで作 成される感情分類システムを作成し, 各システムの分類精度を評価した結果, 被 験者依存画像セットの感情分類システムの分類精度が高くなることがわかった. 尚, 被験者依存画像セットを用いた被験者個人の感情分類システムの精度も高く, Negative クラスと Neutral クラスの分類の場合はフィッシャーの線形判別法の分 類精度が高く, High Arousal クラスと Low Arousal クラスの分類はサポートベク ターマシンを用いた分類器の分類精度が高くなることがわかった.

5.3

考察

 主観評価実験で行った主観評価の結果を見る限り, 被験者によっては IAPS の 画像刺激では感情の起伏を図ることが困難であることがわかった. どの画像をみ ても Arousal に大きな変化はなく, Neutral, Impact クラスとして分けることも困 難であった. 感受性がとても過敏な被験者であるなら, 主観評価値に差が現れ, 脳 波にも特徴が出現する可能性があり, 画像に対する主観評価だけではなく, 被験者 個人の感性を信頼できる指標で定量化し, 基準を設ける必要があると考えられる. さらに IAPS のテクニカルレポート内での評価実験では Valence が高く, Arousal が高い画像に対して, 図 15 をみてわかる通り, 本研究における被験者は Valence を中性的に評価し, Arousal を低めに評価する傾向があった, つまり従来の研究で は Positive クラスに分類されていた画像のほとんどが Neutral クラスに振り分け ていることがわかった. 過去の IAPS の評価実験での被験者と本研究の被験者は 人種, 言語, 文化, 国などが異なっており, その違いによって感性評価に食い違い が生じ, 且つ, 刺激の内容が適合しなかったと考えられる. しかし一方, Valence が 低く, Arousal が高い Negative クラスの画像に関しては過去の主観評価実験の結 果と本研究の評価結果とほぼ同じクラスに分類された. これにより IAPS の刺激 画像では Negative な感性評価はとてもしやすいが, Positive な感性評価は困難で ある可能性がある.

画像刺激提示後 1500 [ms] から 4500 [ms] の脳波データには Low Arousal クラ スと High Arousal クラス, 2500 [ms] から 5500 [ms] の脳波データには Neutral ク ラスと Negative クラスを分類できる特徴があることがわかった. これら二つの分 類で時間的な差が現れた理由は, Negative といった感性を出力するために必要な 情報を集める時間を要すると考えた. 分類器の分類精度を見ると, サポートベク ターマシンによる Negative と Neutral の分類がナイーブベイズの分類精度に近い ことがわかった. しかし, Low Arousal と High Arousal のクラス分けの場合, サ ポートベクターマシンの分類精度が高いことがわかった. よって Arousal の分類 にサポートベクターマシンを用いるのは有効であると考えられる.

6.

まとめと今後の課題

6.1

まとめ

 本論文では, 被験者の感情の個人性が感情分類器の分類精度に影響を及ぼして いる可能性に着目し, 被験者依存の刺激セットの作成方法を提案した. 第 2 章では主観評価方法, 刺激コーパス, 分類器感情分類, 先行研究といった感 情分類に関する基本技術について説明を行った. 第 3 章では第 2 章で述べた従来研究にもとづいて予備実験を行い, 先行研究で 考察された問題点, つまり被験者の感情の個人性が無考慮な刺激セットが感情分 類器の精度低下の原因になっていることを示した. 第 4 章では提案法である被験者依存型刺激セットの作成方法について述べた. 選出された極端な感情値を示す刺激に対して被験者は SAM 評定を行い, 被験者 別に評価値を用いて. 被験者依存型刺激セットを作成する. 第 5 章では提案手法である被験者依存型刺激セットで作成した感情分類器と, 従来手法である被験者非依存型刺激セットで作成した感情分類器の精度の比較を 行った. その結果, 提案手法である被験者依存型刺激セットを用いた感情分類器 の方が分類精度は高く, 特にサポートベクターマシンを用いた分類器の精度は高 く, 統計的に有意である傾向がみられた. 被験者個人の感情分類器を被験者依存 型刺激セットを用いて作成した場合も, 分類精度は向上しており, 従来研究の分類 精度よりも高い結果となった. 個人の分類器を作成する際も, サポートベクター マシンの分類精度が高く, 被験者によってはチャンスレート 50 % に対して, 分類 精度が 70 % を超えている被験者もおり, 提案手法である被験者依存型刺激セッ トを用いることで分類精度が向上することを示した.

6.2

今後の課題

 本研究における被験者の分類精度に個人差があったが, 我々はそれを被験者の 感受性の違いによるものであると考えた. そこで今後の課題として, 人の感受性 と脳波の感情に関する特徴に相関があるかを検討すべきである. 感受性を定量化 する指標として Highly Sensitive Person (以下 HSP) と呼ばれる指標 [18] があり, このような人の感性を評価できる指標を用いることで被験者を感受性という指標 でクラス分けすることが可能であり, 分類器の訓練データとして用いることがで きるかどうかの調査に用いることができる可能性がある. HSP が人間の感情的な

脳活動, 生理学的な反応に対しても評価することが可能であれば, 被験者の厳選 も可能であり, よりよい分類率のシステムを構築することが可能であると考えら れる.

謝辞

 本学情報科学研究科の中村 哲教授には主指導教官として, 研究全般にわたって 大変貴重なご助言, ご教示を賜り, 本論文を執筆することができました. また，共 同研究等も工面していただき, 大変充実した二年間を送ることができました. 心 より感謝いたします. 本学情報科学研究科の池田和司教授には副指導教官として, 研究全般にわたっ て大変貴重なご助言を賜りました. 心より感謝いたします. 本学情報科学研究科の戸田 智基准教授には副指導教官として, 研究全般にわ たって大変貴重なご助言, ご教示を賜りました. また, 対外発表においても数々の 有益なご助言を頂きました. 心より感謝いたします. 本学情報科学研究科の Sakriani Sakti 助教には副指導教官として，研究全般に わたって大変貴重なご助言を賜り, ご教示を賜り, 本論文を執筆することができま した. また, 対外発表においても数々の有益なご助言を頂きました. 心より感謝い たします. 本学情報科学研究科の Graham Neubig 助教には副指導教官として, 研究全般 にわたって大変貴重なご助言, ご教示を賜りました. 本論文を執筆することがで きました. また. 対外発表においても数々の有益なご助言を頂きました. 心より 感謝いたします. 知能コミュニケーション研究室の諸氏には, 公私に渡り大変お世話になりまし た. 特に, 認知研究グループおよび対話研究グループの面々とは研究面において 議論や相談等にお付き合いいただき, 大変感謝しております.