第 2 章 コミュニケーションの進行と記録 5
2.6 思考状態推定に関する研究事例
2.6.2 生体情報解析を利用した研究事例
large screen (virtual office environment) user in the real world
users in the virtual environment
mosaic
large screen (virtual office environment) user in the real world
users in the virtual environment
mosaic
図 2.9: Valentine
うこの行為は現実世界を忠実に再現しており,他の参加者に自分が関心を持っている対象 を知らせるという意味合いも持つ.また,効果音は“オフィスを歩く足音”,“椅子を動か す音”,“ドアを開閉する音”,“雑音”が提供されており,実際にオフィスにいるような臨 場感や緊張感を高めている.
しかし,アウェアネスの過度な提供が効率的な個人作業の妨げになることから,各参加
者に“集中度”を定義し,集中度に応じたアウェアネスの提供を実現している.集中度は
キーボード・マウスの使用頻度,椅子を動かす頻度という2つの行動から自動検出され,
作業環境に反映される.
と,“ユーザを驚かすような出来事が起こった”とシステムが判断してデジタルビデオカ メラでその出来事を自動的に撮影して画像情報をWebサーバへ無線で送信する仕組みに なっている.
東京大学の廣瀬らも同様の研究を行っており,彼らは心拍を記録する手法を取っている [100].
皮膚の情報を利用した研究は他にも行われており,例えば,岡山県立大学の渡辺らの研 究が挙げられる[101].
彼らは,サーモグラフィを用いて顔面皮膚温や末梢皮膚温を計測し,そこから情動やス トレスを推定する手法を取っている.この研究では,被験者に恐怖ビデオを見せた時の鼻 部や指背面の温度変化や心拍を計測し,恐怖に対する情動変動時に皮膚温や心拍間隔が低 下すること,そして,呼吸数が多くなること等を確認している.
また,皮膚の情報だけでなく,様々な生体情報から総合的に感情を推定しようとする試 みがMITメディア研究所のPicardによって行われている[94].
彼女は,“皮膚伝導度反応”,“咀嚼筋の筋電位”,“血圧”,“呼吸”の4 つの生理指標と 感情との関連を調査している.さらに,これらの指標の平均や標準偏差等を利用して24 の特徴量を求め,その特徴量と感情との関連を調べている.
東北大学の渡辺らも,各種の生理指標をニューラルネットワークに入力してリアルタイ ムに心理状態を推定する研究を行っている[102].
この手法では,まず,次の生理指標の計測を行う.
a. 心拍数 b. 心拍数変化
c. 呼吸数 d. 呼吸数変化
e. 血圧変化
f. 皮膚電位反応 g. 瞬目数
h. 眼球の飛翔運動数
その後,次の状態の推定を行う.
I. 情報取り込み
II. 記憶関連 III. 思考 IV. 動作 V. 情動 VI. その他
ニューラルネットワークには,a–eを入力層,I–VIを出力層として,中間層を3–4個に 設定したものを用いている.事前に被験者による認知状態誘発実験を行い,得られた生理 指標のパターンと認知状態との関連を教師データとしてニューラルネットワークに学習さ せている.
上記に述べた指標も含め,京都大学の下田は各生理指標を表2.9ように解釈している.
表 2.9: 下田による生理指標の解釈 生理指標 解釈および評価方法
心電図 ・覚醒度低下に伴い,心拍数は低下し,作業パフォーマンスも 低下する.
・精神作業負荷の上昇に伴い,RR 間隔のばらつき,変動計数 等が低下する.
・RR 間隔時系列データの周波数解析では,安静時には1/f 分布 であるが,緊張あるいは作業負荷により 1/f2 に近づく.
血圧 ・肉体および精神作業負荷により,血圧値は短期的に上昇する.
・最高・最低血圧の概日リズムには 24±3 時間の周期が 観測される.
呼吸 ・肉体作業負荷により,酸素消費量が増加する.
・過度の緊張により呼吸数は減少する.
・肉体的・精神的負荷により呼吸数が増加する.
脳波 ・覚醒度が低下すると,低周波成分が増える.
・眼球運動等と組み合わせて睡眠段階の判定を行う.
事象関連電位 ・特定の刺激を与えた際に脳波上に現れる成分.
・刺激後の陰性波と陽性波の電位差が注意力の関数となる.
・刺激の 300ms後の波高が,精神作業負荷の増加により減少する
(P300).
体温 ・直腸温により快適あるいは局部温性,ヒートストレスの判定を行う ことができる.
・顔面の平均皮膚温は快適感覚醒度と関連性が深い.
まばたき ・覚醒度が低下するとまばたきの波形がゆっくりしたものになる.
・覚醒度が著しく低下する直前に群発性の瞬目が増える.
臨界フリッカ ・生体リズムに近い 24時間周期のカーブを描く.
周波数 ・精神・神経疲労時および覚醒度低下時に弁別周波数が低下する.
皮膚電気活動 ・覚醒度が低下すると皮膚電位(抵抗)水準が上昇する.
・作業の複雑さ,注意の集中,作業負荷により,皮膚電位(抵抗)
反射の発生頻度や振幅が変化する.