ウエアラブルNIRSを用いた自動・手動運転時のドライバの脳活動データベースの構築と評価 平成28年度（中間報告）タカタ財団助成研究論文 ISSN 2185

ウエアラブル NIRS を用いた自動・手動運転時の

ドライバの脳活動データベースの構築と評価

― 平成 28 年度（中間報告） タカタ財団助成研究論文 ―

ISSN 2185-8950

研究実施メンバー

研究代表者

日本大学

生産工学部 機械工学科

2/30

報告書概要

石川県珠洲市の公道において，OEG-１６（スぺクトラテック：前頭葉１６チャンネル計測 用）および PocketNIRS（ダイナセンス，前頭葉２チャンネル計測用）を装着したドライバの 運転中の脳機能を計測した．ここでは，自動運転，手動運転，自動・手動切り替え時の脳活 動に差異がみられるかどうかについて，自動運転車両の運転資格を有する２名（菅沼直樹， 米陀佳祐）について実験を実施した．また，比較実験として，助手席同乗者に対する計測を 行った．これらの実験の結果，以下の知見を得た．１）手動運転時，自動運転時の明確な差 異は見られない．これは，どちらのモードにおいても外部環境によって脳活動が大きく影響 を受けること，ドライバが本自動運転車両の開発者であり，自動運転車両が正常に動作して いるかに多くの注意を向けていることによるものと考えられる．２）ドライバが注意してい る場合や予想外の事象によってびっくりしたことによる脳活動が観察できることが明らかに なった．

目 次

ウエアラブル NIRS を用いた自動・手動運転時の ドライバの脳活動データベースの構築と評価 第 1 章 研究背景と目的 第 2 章 実車実験の実験方法 2.1 脳機能計測装置 2.2 走行コース 2.3 実験条件 第 3 章 実験結果 3.1 予備実験結果（平成 28 年 6 月 4 日実施） 3.2 本実験結果（平成 28 年 8 月 5 日実施） 3.3 本実験結果（平成 28 年 11 月 15 日） 3.4 本実験結果（平成 28 年 12 月 27 日） 第 4 章 ドライビングシミュレータ実験 4.1 目的 4.2 実験方法 4.3 評価方法 4.4 実験結果 参考文献

3/30

第 1 章

研究背景と目的

近年，ドライバの運転時の負担を軽減することで安 全を確保する様々な運転支援システムが開 発・導入され ている．例えば，前車と自車との車間距離を一定に保つ ACC（Adaptive Cruise Control）や，操舵支援によって車線を維持するレーンキープアシストなどが挙げられる．さらに， これらの技術の進歩に伴い，高齢者や体が不自由な方も含めたすべての人が自由に移動できる手 段として自動運転技術の実現が期待されている．しかし，運転支援システムによる負担の軽減に よってドライバの注意力が低下し，予期せぬ事故の原因になることが指摘されている．例えば， 運転支援システムの導入にともなうドライバのネガティブな行動変化がHj¨almdahl1)_， Hoedemaeker2) _{により報告されている．さらに，自動運転技術については，事故時の責任問題と} の関係から，居眠りなどにより事故を起こす危険性が高まったような状況などドライバが運転で きなくなった状況，つまりシステムに運転を任せた方が事故のリスクが低い状況下などで部分的 に実用化する必要がある．これらの理由から，現在ドライバの状態，特に運転に対する負担や注 意をモニタリングする技術が必要とされている．様々な生理指標からこれらの評価を行う試みが なされているが，運転中の認知・判断を行っている脳の活動からドライバの負担・注意を評価す る方法が期待されている．

脳活動を評価する非侵襲的計測法には，主に機能的磁気共鳴画像（fMRI: functional magnetic

resonanceimaging）や近赤外分光法（NIRS: Near-Infrared Spectroscopy）があげられる．fMRI

は，脳内の酸素化ヘモグロビン（oxy-Hb）が脱酸素化ヘモグロビン（deoxy-Hb）に変化するとき

の磁気共鳴信号の増加を利用して，間接的に脳活動を測定する方法である．fMRI を用いた先行

研究では，右折支援システムによるドライバの不安感軽減を脳活動から評価した研究がある3)_．

しかし，fMRI による計測では，計測中に実験参加者は体をほとんど動かすことができず，計測で

きる課題には制限がある．NIRS は近赤外光を用いて，oxy-Hb と deoxy-Hb の変化量を測定す

る装置であり，体動の制限が少なく，実験参加者に対して自然な状態で実験が行えるため，運転 時の脳機能の評価を行う上で有望な方法である．現在，NIRS 計測によるドライビングシミュレ ータ 4, 5)_{，実車運転時} 6) _{のドライバの脳活動が報告されており，脳活動からドライバの負担や注} 意を評価できる可能性を示している． 本研究では，自動運転車両を用いた実車実験を行い，ドライバの脳活動と運転環境に対す る注意の変化を評価可能であるか検証を行った

4/30

第 2 章

実車実験の実験方法

2.1 脳機能計測装置

運転中のドライバの前頭前野の脳機能情報を取得する NIRS 装置に SPECTRATEC 社製の OEG-16 及び DynaSense 社製の Pocket NIRS を用いた．用いた NIRS の装置と計測チャンネル を図 1 と図 2 に示す．

5/30

図 1 OEG-16(Spectratec 社製)の計測チャンネル配置

6/30 2.2 走行コース 実験を行った走行コースについて，6 月 4 日，8 月 5 日に行った実験コースは距離が短い市 街地のコースと 11 月 15 日，12 月 27 日に行った緩やかで距離が長いコースの 2 種類で実験 を行った．距離が短い市街地コースは珠洲市役所から珠洲総合病院までのルート(図 3 の青 線)を走行させた．緩やかで距離の長いコースは珠洲市役所から珠洲市と能登町の境界にある 休憩所（図 4 の「Goal」）までのルート（図 4 の青線）を走行させた．

7/30

図 3 市街地走行コース

図 4 緩やかな長距離コース

Start

8/30 2.3 実験条件 実験参加者について，インフォームドコンセントを取得した自動運転走行を許可されてい る 2 名を対象に実験を行った． 走行条件について，自動運転時と手動運転時，安静状態の脳機能計測状態を計測した．計 測した順番について，表 1 に 6 月 4 日，8 月 5 日，11 月 15 日，12 月 27 日それぞれの順番を 示す． 6 月 4 日，8 月 5 日はそれぞれ往路から復路まで自動運転または手動運転で往復走行し，終 わりしだい，片方の走行モードで走行した．11 月 15 日は手動運転で往路を走行してもらい， 復路は自動運転させた．このとき，実験参加者に呈示情報として看板や標識などを手動運転 時のみ注視するように伝えた．12 月 27 日は雨天のため，自動運転を中止し，代わりに助手 席のデータを計測した．順番は運転席で往路を走行，助手席で復路を走行した．各実験参加 者の最後の 1 試行は往路を走行中に助手席のデータを計測，復路走行中に運転席でデータを 計測した．さらにサブタスクとして先行車両を設け，車間距離を一定に保ちながら走行させ るように呈示した．

9/30

図 5 実験に用いた自動運転車両

10/30

図 7 自動運転時の実験の様子（自動運転）

11/30 表 1 実車走行実験の実験条件 日付 6 月 4 日 8 月 5 日 11 月 15 日 12 月 27 日 運転順番 ＜実験参加者 A＞ 自動運転 （往路） ↓ 自動運転 （復路） ↓ 手動運転 （往路） ↓ 手動運転 （復路） ＜実験参加者 B＞ ・ ・ ・ ＜実験参加者 A＞ 手動運転 （往路） ↓ 手動運転 （復路） ↓ 自動運転 （往路） ↓ 自動運転 （復路） ＜実験参加者 B＞ ・ ・ ・ ＜実験参加者 A＞ 手動運転 （往路） ↓ 自動運転 （復路） ＜実験参加者 B＞ ・ ・ ・ ＜実験参加者 A＞ 運転席 （往路） ↓ 助手席 （復路） ＜実験参加者 B＞ ・ ・ ・ （最後の 1 試行は 実験参加者それ ぞれ 助手席 （往路） ↓ 運転席 （復路） の順番で行った） 走行回数 （往路，復 路それぞ れ分けて 走行回数 を 1 と数え る） 6 回 実験参加者 A ×4 実験参加者 B ×2 10 回 実験参加者 A ×6 実験参加者 B ×4 12 回 実験参加者 A ×6 実験参加者 B ×6 12 回 実験参加者 A ×6 実験参加者 B ×6 使用した 脳機能計 測装置 OEG-16 Spectratec 社製 OEG-16 Spectratec 社製 Pocket NIRS DynaSence 社製 Pocket NIRS DynaSence 社製

12/30

第 3 章

実験結果

3.1 予備実験結果（平成 28 年 6 月 4 日実施） 6 月 4 日の実験結果の例を図９および図１０に示す．実験結果から，計測結果にはトレン ドやノイズが含まれており，信号処理を行わないと脳活動の識別が困難であることがわかる． これらの影響の除去には，離散ウェーブレット変換を用いた多重解像度解析7)_{を用いる方法} が提案されている．

13/30 図9 トレンド成分を含む NIRS 信号 図10 特定の周期成分を含む NIRS 信号 時間 _(秒) -0.4 -0.2 0 0.2 0.4 0.6 0.8 1 0 60 120 Oxy-Hb Deoxy-Hb 時間 (秒) Oxy-Hb Deoxy-Hb -0.4 -0.2 0 0.2 0.4 0.6 0.8 0 60 120 180 240

14/30 3.2 本実験結果（平成 28 年 8 月 5 日実施） 8 月 5 日の実験結果について，多重解像度解析7)_{を行い 0.1Hz 以上の周期成分を除去し，再} 構成した波形からデータを評価した結果，自動運転から手動運転に偶然切り替る場面におい て，自動運転から手動運転に変化する間に脳の血流が増加したことがわかった．これは，ド ライバの手動運転への対応や後続の車両，停止車両を追い越す際の前方車両の注意などが要 因として考えられる． 一方，手動運転と自動運転の間に，明確な違いと思われる波形や傾向は確認されなかった． この理由について，自動運転時，不具合や自動運転時中の事故を起こさないように注意した 結果，手動運転時と変わらない意識，注意レベルだったことが考えられる．また，運転コー スに慣れてしまったために，脳の血流反応が小さくなった可能性がある．

15/30

図11 自動運転から手動運転に切り替ったときの脳活動

図12 自動運転から手動運転に切り替る直前の様子（210 秒）

16/30

図13 市街地走行における自動運転時の脳活動情報(8/5)

17/30 3.3 本実験結果（平成 28 年 11 月 15 日） 11 月 15 日の実験結果について，多重解像度解析を行い 0.1Hz 以上の周期成分を除去し， 再構成した波形を図 15，16，17，18 に示す．図より，手動運転時は oxy-Hb が増加し，自動 運転時はほぼ変動が少ない NIRS 波形を得られた． 一方で，実験回数が増加するに従い，変 化が小さくなっていく傾向もみられた． これらの原因について，手動運転は自動運転より運転負荷が増加した結果，oxy-Hb が増加 したと考えられる．一方，回数が増えることによって慣れが発生し，脳活動が低下した可能 性もある．

18/30

図15 長距離走行時の脳機能計測(11 月，実験参加者 A，右前頭前野，1，2 回目)

19/30

図17 長距離走行時の脳機能計測(11 月，実験参加者 A，左前頭前野，1，2 回目)

20/30 3.4 本実験結果（平成 28 年 12 月 27 日） 12 月 27 日の実験結果について，多重解像度解析を行い 0.1Hz 以上の周期成分を除去し， 再構成した波形を図 19，20，21，22 に示す．図より，11 月 15 日同様，手動運転時は増加， 自動運転時はほぼ横ばいの波形を得られた． 一方，自動運転時の脳機能計測を行った後に手動運転を行うとほとんど変化が見られない 傾向があった．

21/30

図19 長距離走行時の脳機能計測(12 月，実験参加者 A，右前頭前野，1，2 回目)

22/30

図21 長距離走行時の脳機能計測(12 月，実験参加者 A，右前頭前野，1，2 回目)

23/30

第 4 章

ドライビングシミュレータ実験

4.1 目的 運転中のドライバの注意について，前頭前野の脳活動から評価の可能性を検討することを 目的にドライビングシミュレータで走行時の周囲に対する注意力の大小を，NIRS を用いて， 脳活動から検討した 4.2 実験方法 実験参加者はインフォームドコンセントを得た普通免許所持者４名を対象にドライビング シミュレータを用いて実験を行った．実験に使用した脳機能計測装置はSpectratec 社製， OEG-16 を用いた．用いたシミュレータ用ソフトウェアはフォーラムエイト社製 UC-win/Road 11 を用いた． 赤信号停止状態を安静状態とし60 秒，先行車を時速 60km で追従走行する約 60 秒のタス クを設け，これらの組み合わせを1 試行とし 3 試行およそ 420 秒～450 秒行った．実験条件 として，サブタスクあり，サブタスクなしの2 種類について実験を行った．サブタスクあり では，タスク60 秒の間に 5 つ看板が走行中に流れて表示され，その 5 つの看板を順番に覚え てもらい，タスク終了直後の安静時の時間に「何番目の看板はどのような看板だったか」を 問い，これに答えてもらう形式とした．サブタスクなしでは看板を表示せず，ただ走行する ものとした．

24/30

図23 ドライビングシミュレータ実験の実験条件

25/30 4.3 評価方法 得られた走行時の脳機能のデータについて，多重解像度解析を用いて42 秒から 335 秒の 周期成分でデータを再構成し，標準得点化を行った後に，3 試行の加算平均を行ってサブタ スクの有無による違いを評価した． また，走行終了後にNASA-TLX8)_{を用いて，実験参加者の主観評価を行った．得られたデ} ータに対しては，加算平均を行った． 図25 加算平均による波形の合成

26/30 4.4 実験結果 ドライビングシミュレータを用いてサブタスクあり，サブタスクなしの実験を行った結果， 主観評価ではサブタスクありの条件においてNASA-TLX の平均点が高かった．これはサブ タスクの看板を順番に暗記させる部分で負荷がかかったと思われる．また加算平均して得ら れた脳機能データについて，走行中は脳活動に変化はないもののサブタスクありでのみ回答 区間中に脳活動が前頭前野全体を賦活させていることから，回答する際に覚えた情報を思い 出し，答えることに注意したために脳活動が上昇したと考えられる． ドライビングシミュレータを用いて，注意の程度の違いが脳活動に反映されるか実験を行 った結果，運転中の脳血流による上昇のタイミングや上昇幅の違いが確認できたことから， 運転中の注意の有無や注意の強度を脳活動から計測できる可能性を示した．

27/30

図26 サブタスクの有無によるワークロードの違い

28/30

参考文献

1) Magnus Hj¨almdahl, Andras Varhelyi: Speed regulation by in-car active acclerator pedal Effects on driver behavior, Transportation Research Part F, Vol.7, No.2, pp.77-94 (2004).

2) Hoedemaeker, M., K.A. Brookhuis: Behavioural adaptation to driving with an adaptive cruise control(ACC). Transportation Research Part F, Vol.1, pp.95-106 (1998). 3) カラン明子，大須理恵子，山岸佑也，井ノ上直己：fMRI 実験による右折支援システムの 評価，電子情報通信学会技術研究報告，Vol.107, No.229, pp.125-130 (2007). 4) 広瀬悟，清水俊行，南部起可，柳沢一機，丸茂喜高，綱島 均，土師知己，泰羅雅登: 機 能的近赤外分光装置 (fNIRS) によるドライバーの脳活動計測，自動車技術会論文集， No.40-3，pp.681-686 (2009).

5) Shimizu, T., Hirose, S., Obara, H., Yanagisawa, K., Tsunashima, H., Marumo, Y., Haji, T., Taira, M.: Measurement of Frontal Cortex Brain Activity Attributable to the Driving Workload and Increased Attention, SAE International Journal of Passenger Cars - Mechanical Systems, Vol.2, No.1, pp.736-744 (2009).

6) 清水俊行，南部起可: 機能的近赤外分光法による実車運転時の脳活動の計測，自動車技術 会学術講演会前刷集，No.65-10，pp.19-24 (2010)． 7) 柳澤一機，綱島均，丸茂喜高，広瀬悟，清水俊行，泰羅雅登，土師知己，機能的近赤外分 光装置（fNIRS）を用いた高次脳機能計測とその評価，ヒューマンインターフェース学会 誌，Vol11，No.2（2009），pp.183-192 8) 芳加繁，メンタルワークロードの理論と測定，日本出版サービス，2001，p.77-95