感情減衰現象に着目した学習者の生体情報に基づく心的状態推定の試み

感情減衰現象に着目した学習者の生体情報に基づく

心的状態推定の試み

Estimation of Student’s Emotional States based on the Physiological

Data with Deep Learning Considering Emotional Decay

田和辻 可昌

1∗

_{宇野 達朗}

2

_{松居 辰則}

3

TAWATSUJI Yoshimasa

1

_{UNO Tatsuro}

2

_{MATSUI Tatsunori}

3

1

_{早稲田大学 大学院人間科学研究科}

1

_{Graduate School of Human Sciences, Waseda University}

2

_{早稲田大学 人間科学部}

2

_{School of Human Sciences, Waseda University}

3

_{早稲田大学 人間科学学術院}

3

_{Faculty of Human Sciences, Waseda University}

Abstract: It is an important issue to understand learners’ emotional states during the interaction between teacher and learners. In this study, we constructed the models to estimate learner’s emotional states with machine learning methods; 3-layer neural network (NN-model) and deep neural network (DNN-model). Especially, the emotional decay – the temporal attenuation of emotional intensity – are taken into consideration. The results indicated that DNN-model rather than NN-model should estimate the learner’s emotional intensity well, and PCA suggested that the constructed DNN-model should extract the features of positive emotional states.

1

はじめに

1.1

背景・目的

教授・学習過程において学習者の心的状態を把握する ことは，教育効果・学習効果の観点から極めて重要であ る．我々は，これまで教師と学習者のインタラクション において教師の発話と学習者の生理データ，および学習 者の心的状態との関係の形式化 [1]，機械学習アルゴリ ズムの学習支援への応用可能性を受けて，深層ニュー ラルネットワーク（Deep Neural Network：DNN）に よる学習者の心的状態の推定を試みている．一方で，こ れまで構築してきた機械学習では，推定される学習者 の心的状態は「9 つの感情のうち，いずれの感情状態 であるか」といったカテゴリに分類する課題を扱って いた．ところが，人間の感情強度は生起してから時間 とともに変化していくと考えられ，時間方向に関して 常に同じ強度で維持されているとは考えにくい．むし ろ，このような感情強度の変化は，生体情報の表出パ ターンに影響を与えていると考えられるため，生体情 ∗_{連絡先：早稲田大学 大学院人間科学研究科}       〒 359-1165 埼玉県所沢市堀之内 135-1 フロンティア リサーチセンター 213 実験室        E-mail: [email protected] 報から学習者の感情の強度を推定することが可能であ ると考えられる． 本研究では，人間の感情が時間とともに減衰すると 考え，学習中の学習者の生体情報および教師の教授行 動から，学習者の感情強度の推定を行う学習器の構築 を目的とする．

2

学習に関わる多面的情報の取得

学習に関わる多面的情報の取得を目的として，生体 計測機器を用いた計測を中心に実環境での実験を行っ た．被験者は個別指導塾に通う高校生 1 名と教師 1 名で あった．計測された生体情報は，生徒は NIRS（Near-Infrared Spectroscopy：近赤外線分光法）による脳血 流変化に伴う酸化・脱酸化ヘモグロビン変化量（日立 製 WOT-100）および，呼吸の強度・皮膚コンダクタ ンス，容積脈波（NeXus 10-MK），脳波（Muse Brain System）であった．また，教師は呼吸の強度・皮膚コ ンダクタンス・容積脈派（NeXus 10）が計測された． 被験者には上記の機材をそれぞれ装着してもらい，通 常通りの授業を受けてもらった． 人工知能学会研究会資料 SIG-ALST-B801-09 － 47 －

また，構築した学習器の妥当性を評価するために，評 価用データの取得実験を上記の実験とは別に行った．追 実験では，先行の実験同様，被験者は個別指導塾に通う 高校生 1 名と教師 1 名であった．生徒の脳血流変化に伴 う酸化・脱酸化ヘモグロビン変化量（日立製 WOT-100） および，呼吸の強度・皮膚コンダクタンス・容積脈波 （NeXus 10-MK）が計測された．被験者の生徒には上 記の機材を装着してもらい，通常通りの授業を受けて もらった． 各実験とも，各学習中の様子を録画した映像を被験者 にそれぞれ提示し，生徒にはそのときの自身の心的状態 の内省報告を，教師には生徒の心的状態の予測報告を専 用のアプリケーションを用いて行ってもらった．このア プリケーションは，動画再生中に該当する心的状態のカ テゴリを表すボタンを押すことによって，そのときの心 的状態を報告するものである．心的状態を表すカテゴリ は，Achievement Emotions Questionnaire（AEQ）[2] で使用されている 9 感情（Enjoy, Hope, Pride, Anger, Anxiety, Shame, Hopelessness, Boredom, Relief）を用 いた．

3

感情減衰を考慮した感情強度推定

本節では，人間の感情は時間とともにその強度が減 衰するという点に着目して，生体情報および教師の教 授行動から学習者の感情強度の推定を行う学習器の構 築とその推定精度について述べる．

3.1

心的状態の持続モデル（感情強度関数）

時間による感情の減衰については，これまで様々な 研究が行われてきているが，Steephen の研究から，感 情は時間とともに指数関数的に減少することが示唆さ れている [3]．そこで，実験における学習者の心的状態 は，下記の減衰関数に従うと考えた． f (t) = f (T0)× exp ( −t− T0 τ ) (T0≤ t ≤ T1) (1) ただし，T0, T1はそれぞれ学習者の心的状態の開始時 刻と終了時刻を表し，τ は感情強度が初期値 f (T0)の e−1倍になる時刻（時定数）である．なお，本研究に おいてはデータの性質上，f (T0) = 1としている．

3.2

データ構造とネットワーク構造

入力データは，全授業中の (1) 呼吸，(2) 皮膚コンダ クタンス，(3) 容積脈波，(4) 教師の発話の 4 次元データ であった．これらのデータのうち，(1),(2),(3) は各デー タにおける最大値を用いて正規化している．尚，実験 では NIRS による酸化・脱酸化ヘモグロビン変化量も 取得していたが，評価用データ取得の追実験時にデー タの欠損が見られたことから，今回の学習用データか らは除外した．教師の発話を表すカテゴリは，先行研 究で使用されていたカテゴリを一部修正した 9 種類の カテゴリ（1:説明，2:発問，3:指示確認，4:復唱，5:感 情受容，6:応答，7:注意，8:雑談，9:その他）を用いた． 教師の発話へのカテゴリ付与に関しては，分析者が授 業映像を見ながら分析者の視点で行った．出力データ は内省報告によって得られた学習者の心的状態に，前 節で述べた感情強度関数を適用した，9 つの各感情の 程度を表す感情ベクトルである．この感情ベクトルは， 各時刻 t において内省報告された感情の強度を [0, 1] 区 間の実数値，それ以外の感情の強度を 0 として表現さ れる． ネットワークの構造は，中間層のユニット数を変化 させた際の loss 値を比較し，探索的に決定した．この 結果，3 層 NN における中間層のユニット数は 3, DNN における中間層 1 のユニット数は 3, 中間層 2 のユニッ ト数は 4 となった．図 1 に中間層 2 のユニット数を変 化させた際の DNN の loss 値を示す． 図 1: DNN の中間層 2 におけるユニット数に対する loss値の変化（中間層 1 のユニット数は 3）

3.3

シミュレーション方法と結果

Python 3.5, Tensorflow(ver.1.0.1)1_{で実装した．3 層} NN，DNN ともに，それぞれの活性化関数には tanh 関 数を用いた．また，損失関数は平均最小二乗誤差関数， オプティマイザには Gradient Descent(最急降下法) を 用いた．学習率は探索的に決定し，0.05 とした． 対象となる学習用データをまず 6:4 で分割し，6 割 のデータを学習データ，4 割のデータを評価データとし て用いた．学習では，ミニバッチを設けず，epoch を 1_{https://www.tensorflow.org} － 48 －

100として繰り返し学習させた．さらに，追実験から 得られた評価用データを用いて，汎用性の検証を行っ た．評価用データはリアルタイム推定への応用面を考 慮し，各生体計測データは，学習データにおける最大 値を用いて擬似的に正規化を行った．それぞれ 10 回の 交差検定にかけた際の，epoch 数 100 における loss 値 の平均を図 2 に示す．この結果から，3 層 NN と比較 して DNN の方が loss 値が低くなっていることが分か る．また，3 層 NN と DNN のそれぞれの loss 値の推 移の例を図 3 に示す．それぞれ，比較的早い段階から loss値は減少していく様子が伺える． 図 2: 分割された評価データ，追実験で得られた評価 データにおける最終的な loss 値の平均 図 3: (上)3 層 NN，(下)DNN の loss 値の推移．

4

学習器解析

一般的に，深層学習器はその精度の向上が認められ たとしても，内部で何が学習されているかと言う点が 自明ではないという課題がある．本節では前節で構築 された 3 層ニューラルネットワーク NN と，深層ニュー ラルネットワーク DNN それぞれに関して，学習に使 用していないテストデータ（ref. 追実験で得られた評価 用データ）を与えた際に出力される感情強度予測ベク トル群 YN N, YDN Nそれぞれに対して主成分分析を行 うことで，各学習器が推定した感情強度に関するデー タがどのような構造を有しているかを明らかにする．

4.1

分析の手続き

NNでの手続きと DNN での手続きは同様であるた め，ここでは N N を例に挙げて説明する．今回構築し た NN は， y_{N N} = tanh (W2u + b2) (2) u = tanh (W1x + b1) (3) におけるパラメータ Wi, bi(i = 1, 2)を，学習データに よって最適化する．ただし，x は学習者の生体情報 (皮 膚コンダクタンス，容積脈波，呼吸強度) と教師の発話 のカテゴリを表現する 4 次元のベクトル，y は学習者 の感情状態の強度を表現する 9 次元のベクトルである． まず，学習済みの NN のパラメータ Wi, bi(i = 1, 2) を評価用データ群に適用して，感情強度予測ベクトル 群 YN N = ( y1_{N N}, y2_{N N},· · · , yn_{N N})を得る．ただし，n は評価用データ数を表す．次に，得られた YN N に対 して主成分分析を行うことで，これらのデータがどの ような主成分に圧縮されるかを見る．得られた主成分 ベクトルが張る空間に各主成分得点をマッピングする ことで，3 層 NN が推定した感情強度に関するデータが どのような構造を有しているかを考察する．尚，DNN の場合は中間層 2 層を通した際の出力の可視化である ことを意味する．

4.2

主成分分析の結果

図 4 に主成分分析を行った結果を示す．抽出した主 成分の固有値が高いものから 3 つを取り出し，それぞ れの主成分ベクトルを基底とする空間に各主成分得点 をマッピングした．各色は評価用データから予測され た感情強度が最も強いものが 9 つの感情のうちどの感 情であったかを示しており，暖色であればポジティブな 感情（Enjoy, Hope, Pride, Relief），寒色であればネガ ティブな感情（Anger, Anxiety, Shame, Hoplessness, Boredom）を表現している．

図 4: 構築された 3 層ニューラルネットワークで予測された心的状態ベクトル群に対する主成分分析（左図）と深 層ニューラルネットワークで予測された心的状態ベクトル群に対する主成分分析（右図）．図の暖色はポジティブ な感情状態，寒色はネガティブな感情状態であると予測されたデータであることを表す． 図 4 から分かるように，NN では主にネガティブな 感情の強度が強いように予測している学習器であるこ とが分かる．対して，DNN ではポジティブな感情の強 度が強いように予測している学習器であることが分か る．また，主成分得点の分布から，DNN では各主成分 が予測する感情強度が最も強いもの同士が近傍になる ように分布していることが分かる．このことから，ポ ジティブな感情の強度を強く評価する傾向がある一方 で，抽出された主成分によってポジティブな各感情を 特徴付けられていると考えられる．

5

まとめと今後の課題

本研究では，機械学習を用いて，学習中の学習者の 生体情報と教師の発話から学習者の心的状態である感 情の強度を推定することを試みた．この結果，3 層の ニューラルネットワークと深層ニューラルネットワー クにおいては，深層ニューラルネットワークのほうが より精度よく学習者の感情の強度に近い出力を行える 学習器となることが示唆された．また，評価用データ に対する学習器の予測ベクトルに対する主成分分析を 行うことで，学習器が推定した感情強度に関するデー タ構造の明確化を試みた．この結果，構築された学習 器のうち深層ニューラルネットワークでは，学習者の ポジティブな感情の強度を強く評価する傾向にあるも のの，ポジティブな感情に関する特徴づけが強く行わ れている可能性が主成分得点の分布から示唆された． 今後の課題として，今回は感情の減衰が全ての感情 において同じ時定数を持つという仮定をおいたが，実 際はポジティブな感情とネガティブな感情では時定数 が異なることが予想される．今後は，この時定数の違い が学習器の精度にどのような影響を与えるか調査する 必要がある．また，今回得られた 3 層ニューラルネット ワークのほうがネガティブな感情の強度を，深層ニュー ラルネットワークのほうがポジティブな感情の強度を 強く予測するという結果が得られたが，これらがどの ような要因（e.g. ネットワーク構造など）によるもの かを引き続き検討する必要がある．

参考文献

[1] Takehana, K. and Matsui, T.: Association Rules on Relationships between Learner’s Physiologi-cal Information and Mental States during Learn-ing Process, ProceedLearn-ings of the 18th Interna-tional Conference on Human-Agent Interaction (HCII2016), LNCS Vol. 9735, pp.209–219 (2016). [2] Pekrun, R., Goetz, T., Frenzel, A.C., Barchfeld, P. and Perry, R.P.: Measuring Emotions in Stu-dents’ Learning and Performance: The Achieve-ment Emotions Questionnaire (AEQ), Contem-porary Educational Psychology, Vol.36, No.1, pp.36-48 (2011)

[3] John E. Steephen: HED: A Computational Model of Affective Adaptation and Emotion Dy-namics, IEEE Transaction on Affective Comput-ing, Vol.4, No.2, pp.197–210 (2013).