第 4 章 作業成績推定手法の有効性検討実験
4.4 実験結果の考察
4.4.3 推定結果の検討
0.0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1.0
s1 s2 s3 s4 s5 s6 s7 s8 s9 s10 s11 s12 s13 s14 s15 s16 s18 s19 s20 s23 s25 s26 s27 s28 s29 s30 s31
R2
被験者(ID)
2指標 4指標
図 4.26: 2指標及び4指標を用いた場合での各被験者での決定係数R2
あった.パラメータの範囲及びパラメータ調整の幅が推定精度にもたらした影響につ いて検討するため,R2 <0.80と,特に決定係数の低かった被験者s9,s20,s28の3名 のデータについて,探索範囲を各パラメータで2倍に拡大し,パラメータ調整の幅を 1/2に細かくして最適なパラメータを探索し,推定精度を評価した.具体的にはlog2C を-8〜11,log2σを-11〜8,log2εを-20〜-1の範囲で,それぞれ0.5刻みの40段階で調
整し,計403 = 64000パターンで最適パラメータを探索した.その結果を表4.9に示す.
3名のうち,2名で推定精度の向上が確認されたが,平均でMSEは0.002ポイントの減 少,決定係数R2は0.008ポイントの上昇に留まっている.以上より,本実験で採用し たパラメータ探索の範囲に起因する推定精度の低下は軽微であったと推測される.
表 4.8: 推定に使用したSVRの各パラメータ 被験者ID log2σ log2C log2ε
s1 -3 3 -3
s2 1 4 -6
s3 0 4 -9
s4 -3 5 -3
s5 1 3 -7
s6 -2 6 -4
s7 -4 5 -5
s8 0 5 -10
s9 3 2 -10
s10 1 5 -5
s11 -2 5 -5
s12 -1 2 -7
s13 -1 4 -5
s14 1 1 -7
s15 2 4 -5
s16 0 4 -4
s18 -2 2 -5
s19 1 2 -5
s20 3 -1 -2
s23 0 4 -8
s25 -1 6 -3
s26 -1 0 -7
s27 -1 3 -6
s28 0 3 -10
s29 -3 5 -2
s30 -1 1 -5
s31 1 3 -10
表 4.9: パラメータ探索範囲を拡大した場合のMSE及びR2の比較 被験者ID MSE R
拡大後 拡大前 拡大後 拡大前
s9 0.158 0.161 0.692 0.683
s20 0.237 0.237 0.665 0.665
s28 0.164 0.167 0.622 0.608
最後に,回帰モデルの決定係数R2が最も高かった被験者と,平均程度の被験者,そ して最も低かった被験者の3名の推定結果について考察する.ここでは,まずSVRに よって算出された作業成績の推定値と,作業成績の計測値を比較する.ただし,各推 定値は交差検定の際にテストデータから得られた結果をまとめたものであり,必ずし も同一の回帰モデルにより推定されたものではない.なお,交差検定のテストデータ の選び方は,1〜26フレームのうち,13フレーム離れた2組のフレームデータをペー スアップ課題及びペースダウン課題から選び,残りを全て学習データとしている.ま た,ここで示す生理指標データ及び解答数は全て被験者毎に[-1, 1]で正規化している.
まず,決定係数がR2 = 0.979と最も高い被験者s13の推定結果について考察する.
ペースアップ課題及びペースダウン課題での作業成績の推定結果を図4.27及び図4.28 に,各生理指標の特徴量を図4.29及び図4.30にそれぞれ示す.なお被験者s13は,ペー スアップ課題,ペースダウン課題の順で課題を実施している.被験者s13の場合,作業 成績の高低に関わらず,比較的小さい誤差で推定できている.表4.7から,この推定結 果にはHF,及び瞳孔径による寄与が大きいことが分かる.生理指標の変化に注目する と,確かに作業成績の増加に対し,瞳孔径が増大,心拍変動成分が減少する様子が確 認でき,特にペースダウン課題における特徴量の変化ではその様子が顕著である.そ れに対して,ペースアップ課題では,8フレーム付近で心拍変動成分の減少が見られ,
推定結果においても8フレーム目で周辺フレームより大きな誤差が出ている.実験後 のインタビューでは,被験者s13はペースアップ課題の前半は試行錯誤していた反面,
ペースダウン課題は負担感なくできた,と答えている.よって,ペース調整による負 担感がストレスとなり,心拍変動成分を減少させたと解釈できる.つまり,ペース調 整の練習が十分でなかったために生じた計測ノイズが,推定結果に悪影響を与えた可 能性が考えられる.今後は,計測プロトコルを見直し,ペース調整に十分に慣れた状 態での計測データで検証する必要がある.
0 5 10 15 20 25 -1.5
-1 -0.5 0 0.5 1
経過時間[フレーム]
作業 成績
推定値計測値
図 4.27: 被験者s13のペースアップ課題における作業成績の推定値及び計測値
0 5 10 15 20 25
-1.5 -1 -0.5 0 0.5 1
経過時間[フレーム]
作業 成績
推定値計測値
図 4.28: 被験者s13のペースダウン課題における作業成績の推定値及び計測値
0 5 10 15 20 25 -1
-0.5 0 0.5 1
経過時間[フレーム]
HFLF LF/HF 瞳孔径解答数
図 4.29: 被験者s13のペースアップ課題における生理指標及び作業成績
0 5 10 15 20 25
-1 -0.5 0 0.5 1
経過時間[フレーム]
HFLF LF/HF 瞳孔径解答数
図 4.30: 被験者s13のペースダウン課題における生理指標及び作業成績
次に,決定係数R2 = 0.878と,平均値に近い被験者s4の,ペースアップ課題及び ペースダウン課題での作業成績推の定結果を図4.31及び図4.32に,各生理指標の特徴 量を図4.33及び図4.34にそれぞれ示す.なお,被験者s4はペースダウン課題,ペース アップ課題の順で課題を実施している.被験者s4は,上述の例である被験者s13と比 較すると推定精度はそれほど高くない.生理指標の係数を見ると,表4.7より,被験者 平均では最も大きい係数であった瞳孔径による寄与はほぼ無く,代わりに心拍変動成 分の寄与が大きいことが分かる.各課題での生理指標の特徴量の変化からもその様子 が伺え,瞳孔径は作業成績にほぼ関係なく推移している.それにもかかわらず,高い 精度での予測が可能であったのは,本推定手法が複数の生理指標データを用いて予測 しているためだと考えられる.同一の課題内容を課しても,個人の能力や課題への取 り組み,課題の印象などによって被験者が受ける影響は異なり,そのため生理反応に 差が生まれるが,そのような差異に対して,複数の生理指標を用いる本推定手法の有 効性が確認できた.
0 5 10 15 20 25 -1
-0.5 0 0.5 1 1.5
経過時間[フレーム]
作業 成績
推定値計測値
図 4.31: 被験者s4のペースアップ課題における作業成績の推定値及び計測値
0 5 10 15 20 25
-1 -0.5 0 0.5 1
経過時間[フレーム]
作業 成績
推定値計測値
図 4.32: 被験者s4のペースダウン課題における作業成績の推定値及び計測値
0 5 10 15 20 25 -1
-0.5 0 0.5 1
経過時間[フレーム]
HFLF LF/HF 瞳孔径解答数
図 4.33: 被験者s4のペースアップ課題における生理指標及び作業成績
0 5 10 15 20 25
-1 -0.5 0 0.5 1
経過時間[フレーム]
HFLF LF/HF 瞳孔径解答数
図 4.34: 被験者s4のペースダウン課題における生理指標及び作業成績
次に,決定係数が最も低いR2 = 0.608であった被験者s28について考察する.被験 者s28のペースアップ課題及びペースダウン課題での作業成績の推定結果を図4.35及 び図4.36に,各生理指標の特徴量を図4.37及び図4.38にそれぞれ示す.なお,この被 験者はペースダウン課題,ペースアップ課題の順で課題を実施している.推定結果を 見ると,ペースダウン課題での推定誤差は小さいが,ペースアップ課題での推定誤差 は高作業成績を示す17〜24フレームで大きくなっている.続いて生理指標を見ると,
ペースアップ課題では作業成績の増加に従い,瞳孔径が大きくなる様子が確認できる.
また,ペースダウン課題では作業成績の減少に従い,瞳孔径は小さくなる様子が確認 できる.このように,生理指標と作業成績の関係が比較的単純であるにもかかわらず,
推定精度が平均より低い結果となったのは,ペースアップ課題とペースダウン課題に おける条件の違いが原因だと考えられる.本研究での推定手法の検討では,ペースアッ プ課題及びペースダウン課題において,同一被験者であれば,同一の作業成績で類似 した生理反応が生じると仮定しており,回帰モデルの導出には,両方の課題で計測さ れたデータを合わせて正規化し,学習に利用している.そのため,例えば片方の課題 実行時のみ被験者の疲労が大きい場合,あるいは課題から受ける負荷が極端に異なっ ている場合,作業成績が同じでも異なる生理反応が生じ,推定誤差の原因となる.
そこで,推定精度を低下させるような生理反応の違いが課題間で生じていたか検討 するために,各生理指標データに,両課題のどちらの計測データかを表す属性データ を追加し,推定精度への影響を評価した.具体的には,ペースアップ課題の特徴デー タに-1,ペースダウン課題の特徴データに1を出力するダミー関数を付与し,SVRに よる推定精度をMSE及び決定係数により評価した.その結果,ダミー関数を付与した
場合,MSE=0.027,決定係数はR2 = 0.930となり,ダミー関数を付与する前と比べ,
MSEで0.140ポイントの減少,R2では0.322ポイントの上昇が見られた.学習に用い
る特徴量を増やしているため単純な比較はできないが,ダミー関数を用いてどちらの 課題で計測されたデータなのかを併せて学習させることで,大幅な精度向上が確認で きた.このことから,被験者s28の場合,課題間で異なる生理反応が生じており,その 違いが推定精度の低下を招いた原因の一つであったと推測される.
次に,両課題間で生じた生理反応の差について検討するために,この被験者の生理 指標データを,ペースアップ課題とペースダウン課題で別々に正規化し,交差検定法 でSVRによる推定精度を評価した.その結果を表4.10に示す.別々に正規化した場合,
MSE=0.053,決定係数はR2 = 0.917となり,合わせて正規化した場合と比較すると,
MSEでは0.114ポイントの減少,R2では0.309ポイントの上昇が見られた.このこと
表 4.10: 課題別に正規化した場合のMSE,R2,及び各係数 MSE R2
係数
HF LF LF/HF 瞳孔径
0.053 0.917 0.17 3.59 1.05 7.87
から,課題間で生理指標のベースとなる値に変化が起きたため,推定精度が大きく低 下したと推察される.特徴量データの各係数の変化に着目すると,各特徴量の寄与度 は瞳孔径が最も大きく,次いでLFパワーが大きく寄与している.つまり,課題別の正 規化によって推定精度が向上した原因は,瞳孔径のベースとなる値が課題毎に変化し ていたためだと推察される.瞳孔径は様々な要因で変化することが知られているが[19], 両課題間で十分に統制できていなかった可能性が考えられる要因として,課題から受 ける負荷の違いと,疲労の違いが挙げられる.
まず,負荷の違いによる影響の可能性について検討する.両課題間での負荷の違い が生じた理由として,まずペース調整の負担感の違いが考えられるが,計測終了後の 聞き取り調査では,ペースアップ課題の方がより負担に感じたと答えており,生理反 応の違いを説明することはできない.もう一つの理由として,課題への習熟度の違い が考えられる.この場合,被験者s28はタスクへの習熟が十分でなく,低成績時でも 課題による負荷が大きかったため瞳孔径は比較的大きな値で推移したが,その後の習 熟が進んだペースアップ課題では,1問当たりの負荷が低くなり,瞳孔径の縮小が生じ た,と解釈できる.しかし,両課題における低成績時での瞳孔径を比較すると,明ら かな差が認められる.仮に習熟度の違いが主な原因であれば,課題から受ける負荷が 小さい低成績時の瞳孔径に,これほどの差が生じるとは考えにくい.
次に,疲労の違いについて検討する.瞳孔径は疲労によって減少することが報告さ
れており[45, 46],その影響は持続的であることが示されている[46].よって,被験者s28
は実験環境や計測から生じる緊張感,あるいは課題へのモチベーション低下によって 精神的疲労が蓄積していったため,瞳孔径のベースとなる値が減少していったと考え ると,瞳孔径の変化を矛盾なく説明できる.本実験では,実験環境や課題に適応させ るために実験を2日に分けて行い,疲労の影響を軽減するためペースアップ課題とペー スダウン課題の間に10分の休憩を設定したが,被験者s28の場合は,それらの影響を 十分に打ち消すことができなかったと推測される.今後は,日程や練習時間を増やす ことで環境への適応などを徹底し,課題間に十分な休憩を挟むなどして疲労の影響を より軽減するなど,実験プロトコルを見直した上で更なる検討を重ねる必要がある.