深層学習を用いた車両の速度制御に関するドライバの認知特性の解析 *
尾杉 竜正）岡藤 勇希）和田 隆広
Analysis of Driver's Cognitive Characteristics for Speed Control Using Deep Learning
Ryusei Osugi Yuki Okafuji Takahiro Wada
It is important to elucidate what the drivers perceive to operate the vehicle in order to apply the driver characteristics to self-driving cars.
Therefore, we proposed the driver's cognitive-operation model using deep learning. Then, we used the proposed model to analyze the cognitive areas of drivers that influence the speed control of the vehicle. We verified whether the results obtained in our study are consistent with the driver behavior that is proven by the prior studies. As a result, we showed the reliability of the proposed driver's cognitive-operation model that can extract the driver behavior.
KEY WORDS: Human Engineering, driver behavior, recognition, speed control (C2)
．はじめに
近年，自動車の自動運転技術が次々と開発され，交通事故の 減少や交通弱者に交通手段を与える等，様々な利点をもたら すとされている．より効果的な運転支援の確立には，ドライバ の運転行動に対して深い理解が重要であり(1), (2)，様々な手法に よってドライバモデリングの研究が盛んに行われている(3)．ド ライバの運転行動は，視覚情報から車両操作（操舵制御と速度 制御）まで一連したもので，知覚・認知・判断・操作の4つの 特性に分けることができる．これら特性については，心理学実 験をもとに様々な解釈がされているが，プロセスの入り口で ある知覚・認知特性でさえ不明な点が多い．
一連の行動の中でも認知特性では，知覚情報をどのくらい 取捨選択しているかを解明することが重要である．操舵制御 においては，ドライバはカーブ内側の白線上の接点（TP:
Tangent Point，図1）等を注視しながら運転しており(4), (5), (6)， 注視点を中心とした情報を用いていることが知られている．
他方，速度制御では，注視点に関わらずカーブ出口周辺の情報 が重要だと報告されている(7), (8)．特にカーブ出口周辺の中でも TPの延長線上にあり，かつ外側の白線との交点（ETP: Extended
Tangent Point，図1）によって精度良くドライバの行動を再現
できることから(9)，ETP周辺の情報が特に重要であると解釈さ れる．他にも，知覚範囲内で注視点以外の視覚情報が車両操作 に関わっていることや(10)，また視線の分布を取り入れたドラ イバモデルを提案し(11)，認知特性の理解が促進されている．
これらの研究のほとんどは，心理学実験やドライバモデルを 用いた解析によって認知特性の解明を目指しているが，より 汎用的な理解のためには時間がかかる問題がある．
年月日受理．年月日 自動車技術会 秋季学術講演会において発表．
立命館大学滋賀県草津市野路東
Fig.1 Overview of Tangent Point and Extended Tangent Point
一方，近年では，機械学習を用いた自動運転技術の開発が盛 んに行われており，特に深層学習の研究では模倣学習や強化 学習が用いられている(12), (13), (14)．その中でも Convolutional Neural Network（CNN）をもとにしたモデル（GAN: Generative
Adversarial Network）では，生物の脳内神経活動との類似が指
摘されている(15)．同様にCNNをもとにしたモデル（PilotNet） では，人間の車両操作を学習することで，高い精度でドライバ の操舵制御を再現していると報告されている(16), (17)．しかしな がら，CNNは入力に対してどのような処理を施し，出力に至 るのか解釈することが難しい問題がある．そこでPilotNetの場 合，CNN の特徴量の可視化によって解釈する手法（VBP:
VisualBackProp）が提案されている(18)．これにより，入力画像 のどの画像領域が操舵出力値に影響を与えているか解釈でき，
CNNの内部構造を視覚的に確認できる手法である．そのため
PilotNetとVBPを組み合わせることで，自動操舵制御の判断
の可視化だけではなく，ドライバの認知特性理解にも応用で きると考えられる．そこで本研究グループでは上記を参考と して，ドライバの身体的特性を考慮したCNNモデルを提案し た(19)．それによりドライバの操舵制御に関する知覚操作特性 の理解について報告した．しかしながら，速度制御に関して調
研究論文 20214148
査されていないため，全ての車両操作に関する理解は行われ ていない．
そこで本研究では，ドライバの速度制御を対象とした認知 特性解析のために，ドライバの身体的特性を考慮した FB-
Delay PilotNet を提案し，知覚操作特性を再現する．そして
VBPによって速度制御に影響する領域を可視化することで，
ドライバの認知特性の理解を図ることを目的とする．また解 析して得られた特性と，従来研究から示されているドライバ の認知特性が一貫性を持つか検証することで，FB-Delay
PilotNetの信頼性があることを示す．これにより，従来からの
心理学実験による枠を超えた，ドライバの解析手法の確立を 目指す．
．CNNによる速度制御の解析モデル
FB-Delay PilotNetによる知覚操作モデル
PilotNetは本来，自動運転制御のために開発されたCNNモ
デルである．そのため，PilotNetには人間の身体的特性が考慮 されておらず，人間の特性解析に応用するためには次の2点 が問題となる．[1]:知覚情報を脳に伝達する遅れ（Processing Time Delay）と脳から神経筋に伝達する遅れ（Neuromuscular
Dynamics），といった身体的な遅れ系が考慮されていない．[2]:
ドライバは現在の車両状態に対して相対的な修正量を計算す るのに対し，PilotNetは与えられた入力画像に対して絶対的な 操作指令値を計算する．そこでPilotNetをドライバの解析に応 用するため，2種類の遅れ系（𝜏𝜏=0.04, 𝑇𝑇=0.1）とフィードバッ ク系を組み込んだドライバモデルのFB-Delay PilotNetを提案 した（図2上部）．フィードバック系の組み合わせにより，現 在の状態に１つ前の指令値を変化分として含めることで，変 化量として操作指令値を計算することができる(20)．
Fig.2 FB-Delay PilotNet architecture and the visualization
method
本研究では，PilotNetとFB-Delay PilotNetで学習を行い，比
較した．FB-Delay PilotNetの構造内の各層パラメータは表1，
2とした．表2のFC4では，フィードバック値として1つ前 の指令値を加えているため，FC3のOutput Sizeは50で，FC4 のInput Sizeは51となる．ただしPilotNetは，フィードバック 値として1つ前の指令値を組み合わせないため，表2のFC4 (Input Size, Output Size)のみFC4 (50, 1)となり，その他はFB-
Delay PilotNetと同様の各層パラメータで学習した．
VBPによる特徴量の可視化
VBPによる特徴量の可視化の処理手順を図2下部に示す．
はじめに各畳み込み層の特徴マップを平均化し，平均化特徴 マップを作る．そして現在の平均化特徴マップに畳み込み処 理の逆演算であるDeconvolutionを行い，現在の平均化特徴マ ップと１つ前の平均化特徴マップのアダマール積をとる．こ こまでの処理を入力画像と同じ画像サイズになるまで繰り返 し，最終的に出力される平均化特徴マップ（FVM: Final
Visualization Mask）は，各層で抽出した特徴量を組み合わせて
可視化したものとなる．そのためFVMには，車両操作に強く 影響した情報が描写されており，本研究ではドライバの認知 領域として解釈を行うものとする．
Table1 Connected layer parameters Convolution
Layer (Height,
Width) (Channel,
Kernel, Stride) Activation Function
Conv1 (146, 398) (24, 5, 2) ReLU
Conv2 (71, 197) (36, 5, 2) ReLU
Conv3 (34, 97) (48, 5, 2) ReLU
Conv4 (16, 48) (64, 5, 2) ReLU
Conv5 (7, 23) (64, 5, 2) ReLU
Table2 Fully connected layer parameters Fully Connected
Layer (Input Size, Output
Size) Activation
Function
FC1 (10304, 1000) ReLU
FC2 (1000, 250) ReLU
FC3 (250, 50) -
FC4 (51, 1) -
．実験 実験目的
PilotNetとFB-Delay PilotNetを学習させるために，シミュレ ータ実験を行なって必要なデータを取得する．
本実験は，立命館大学人を対象とする医学系研究倫理委員 会によって承認されている（承認番号：BKC人医2019021）．
またヘルシンキ宣言のガイドラインを順守して実施した．
研究対象者
実験には1名の研究対象者（24歳男性）が参加した．研究 対象者は通常の視力（両眼で0.7以上，かつ片眼でそれぞれ0.3 以上）を持ち，運転免許を取得してから5年以上経過してお り，運転頻度は週に1・2日程度であった．またインフォーム ドコンセントに署名して、取得した実験データを科学的な目
深層学習を用いた車両の速度制御に関するドライバの認知特性の解析
的において公開することを許可した．研究対象者に対して1時 間あたり950円の謝礼金が支払われた．
実験装置
図3に示すドライビングシミュレータで実験を行った．シ ミュレータ環境はVizard5.0（World Viz）のソフトウェアを用 いた．研究対象者の車両操作はLogitech G25 Racing Wheelに より行われ，操舵制御値及び速度制御値を計測した．また車両 運動の計算と描画は周波数40 [Hz]で行った．スクリーンサイ
ズは2.435×1.36 [m]で，スクリーンから研究対象者までの距離
は1.6 [m]だった．そのため，研究対象者の視野角は74.5×46.1
[deg]であった．本実験の車両は，座席位置に影響しない特性
解析を目的としたため，シミュレーション内での座席位置は 車両中心とした1人乗りの車両を想定した．またギアシフト シフトレバーとクラッチ操作が無い状態を想定しており，
操作対象はステアリング装置とアクセル・ブレーキペダル装 置に限定した．ステアリング装置のフォースフィードバック の設定は，Logitech G25 Racing Wheelのデフォルト値とした．
Fig.3 Driving Simulator
実験条件
実世界の走行車線には，本質的に様々な直線および曲線を 含んでいるため，ドライバの自然な運転行動を計測できると 考えられる．そこで本研究では，実際の地図から抽出した30 種類の道路を実験用のコースとして使用した．また左右のカ ーブ数のバランスを保つため，30種類のコースをスタート位 置から線対称となるように反転し，さらに30種類のコースを 追加した．そのため合わせて60種類のコースを生成した．そ して十分な学習データを確保するために，60コースのスター ト地点とゴール地点を入れ替えたコースを生成し，合計120コ ースで実験を行った．道路環境は，全て道路幅3 [m]の1車線 とし，走行に影響する障害物や他車等は存在しない状況を想 定した．全走行コースの平均曲率は8.572 × 10−3 [1/m]，また 緩やかなコースの最大曲率は3.099 × 10−3 [1/m]，急なコー スの最大曲率は5.423 × 10−1 [1/m]となった．また本シミュ レーションでは，車両ダイナミクスは考慮されておらず，車両 は質点モデルとして表現されるものとした．
実験手順
道路形状に沿った速度制御の特徴を理解するために，研究
対象者にはスタートからゴールまで車線逸脱することなく，
出来るだけ速い速度での走行を指示した．また車両速度の上
限は150 [km/h]で行い，それにより研究対象者の平均走行時間
は約7時間，また平均走行速度は約120 [km/h]となった．車両 速度上限（150 [km/h]）を通常よりも大きく設定することで，
車両のペダル操作結果が極端になるようにした．それにより，
速度制御の特徴量を解釈しやすいようにした．
またクリープ現象による車両移動を防ぐため，ブレーキペ ダルを踏んだ状態で実験をスタートした．研究対象者がシミ ュレータ環境に慣れるため，10分程度の練習を行った後に実 験を実施した．実験ではコース順序をランダム化した．本実験 は研究対象者の負担を軽減するために，2日間に分けて行われ た．
実験データの処理
学習のために本実験で取得した計測データとCNN の入力 画像に対して，周波数60 [Hz]になるようリサンプリング処理 を施した．またCNNの入力画像は，実験中に得られた800×600 ピクセルの画像から，空情報を除いた800×295とした（図4）．
Fig.4 Input image for training CNN models extracted from
original image
．知覚操作モデルの学習 学習の比較
PilotNetとFB-Delay PilotNetは，表3に示すハイパーパラメ ータを用いて学習した．また学習は，Trainingデータとして107 コース分，Validationデータとして12 コース分で行い，モデ ルの特性評価のためにTestデータとして1コース用意した．
実験により得られた観測値の範囲は[-100, 100]で，その内，0は ペダル操作を行なっておらず，[-100, 0)はブレーキペダルの操
作値，(0, 100]はアクセルペダルの操作値となる．また各ペダ
ルの操作値はペダルの角度に対して線形的に[-100, 100]の値 をとる．
Table3 Learning hyper parameters Hyper Parameter
Max Epoch 30
Bach Size 128
Loss Function Mean Square Error (MSE) Optimizer Adam (Learning Rate = 0.0001)
図5に，学習過程におけるPilotNetとFB-Delay PilotNetの 予測値と観測値の誤差（Loss）を示す．Loss を求めるにあた り，用いたデータはTrainingデータとValidationデータの2種
深層学習を用いた車両の速度制御に関するドライバの認知特性の解析
類である．またLoss は，式(1)の平均二乗誤差（MSE: Mean Square Error）より求めた．各変数は，𝑦𝑦̂𝑚𝑚: 速度制御の予測値，
𝑦𝑦𝑚𝑚: 速度制御の観測値，𝑀𝑀: Epoch 毎のデータ数，𝑚𝑚: 現在の データとなる．
𝐿𝐿𝐿𝐿𝐿𝐿𝐿𝐿 =𝑀𝑀1∑𝑀𝑀𝑚𝑚=1(𝑦𝑦̂𝑚𝑚− 𝑦𝑦𝑚𝑚)2 (1)
Fig.5 Learning Result of PilotNet and FB-Delay PilotNet
FB-Delay PilotNetは，TrainingデータとValidationデータと もに学習が進む度，誤差が減少し30 [Epoch]で0近傍に収束し ている．しかしながらPilotNetのTrainingデータは，減少して いるが学習速度が遅いことが確認できる．またValidationデー タは，学習途中からLossの減少が止まり，最後の方ではLoss の増加が見られる．これは過学習が原因と考えられ，対応とし
てDropout 関数を加えることで改善できることが確認されて
いるが，標準のPilotNet構造には含まれていないため，本研究
では組み合わせていない．
VBPによるFVMの可視化
Testデータにおける学習後のPilotNetとFB-Delay PilotNet のFVMの1例を示す（図6上部）．それにより，特徴量の重 み基準に差があることが見られた．そこでフレーム毎に重み 発生頻度分布で差があることを確認するため，1フレームで重 みの発生頻度を計測した（図7）．図7より，重みの発生頻度 が正規分布に類似した波形を示すことが確認できた．そのた めフレーム毎に平均と標準偏差から閾値処理を施すことで，
重みの基準を統一して，重みによる比較を可能にした．そして，
PilotNetとFB-Delay PilotNetのFVMに閾値処理（平均値+2×
標準偏差）を施した上位約2%のFVM（2%FVM）を図6下部 に示す．上位約 2%だけを抽出し比較することで，速度制御 に強く影響した領域だけを評価対象とした．
Fig.7 Weight occurrence frequency for one frame
Fig.6 FVM examples overlaid on the original image with transparency. The left and right show the results by PilotNet and FB-Delay PilotNet, respectively. The upper and bottom show the results of no-threshold and 2% threshold, respectively.
0.0 0.2 0.4 0.6 0.8 1.0
FB-Delay PilotNet PilotNet
No threshold No threshold
2% threshold 2% threshold
深層学習を用いた車両の速度制御に関するドライバの認知特性の解析
Fig.8 2% FVM results overlaid on the original image with transparency according to two situations. The yellow cross is TP and the red cross is ETP. The blue crosses are R-TP and R-ETP. The white dots are C1, C2 and C3. The details of these point are as show in Fig. 9.
図6下部に示す2%FVMの結果より，PilotNetとFB-Delay
PilotNetの共通点は，白線上に重みが集まっていることが確認
された．また車両位置と近い白線側に重みが発生する傾向も 示された．個々のドライバモデルの特徴として，FB-Delay
PilotNet は白線の内側と外側の両方にも重みが分散している
ことが確認された．
道路状況別の2%FVMの例を図8に示す．カーブ入口付近 の直線道路では，手前の白線上の重みが減少し白線の内側と 外側に分散した重みだけが見られた．またカーブ入口から出 口までの曲線道路区間において，白線上には強い重みが集中 していることが確認された．この傾向からカーブ時において，
モデルが速度制御を行う際は，将来の道路環境を予測情報と して利用していることが推測される．予測情報というのは，人 間のドライバがカーブ走行時に将来軌道を生成するために用 いている情報で，車両操作に影響すると報告されている(21)． 他にも曲線の道路区間では，Test データの中で最も強い重み が白線上に集まっていることが分かった．その中でも，特に ETP 周辺には強い重みが集まっていることを視覚的に確認で きた（図8）．この特徴はETP仮説と一致しており(9)，速度制
御によるFB-Delay PilotNetが実際のドライバの認知特性と近
いドライバモデルであることが推察される．PilotNetは車両位 置と近い白線周辺に重みが分散していることが見られた．ま
たFB-Delay PilotNetよりも弱い重みであるが，カーブ入り口
から出口までの白線に強い重みが見られた．
．速度制御の特性解析
前節では，PilotNetとFB-Delay PilotNetによる2%FVMか ら，それぞれの重みがどのような特性を示すかを確認した（図
8）．そこで本節は詳細な定量的解析により，FB-Delay PilotNet が抽出する特性と，従来研究で見られた結果に一貫性がある かを検証し，FB-Delay PilotNetの信頼性について議論する．
道路環境内の代表点
道路環境内の代表点として，TP・ETPと，TP・ETPの逆側 白線上の点R-TP・R-ETP，車両位置から距離20，40，60 [m]
の距離を持つ道路中心点C1，C2，C3を設定した（図9）．R-
TP・R-ETP の設定は直線道路を想定した場合，道路中心線を
対称にTP・ETPの逆側の白線上に位置する点とした．
Fig. 9 Measurement range of each representative point
2%FVMの重みが集中している代表点が，速度制御に重要な
代表点であると考えられる．そこで重みの密度平均により代 表点を比較する．密度平均の導出式(2)は， Testデータのフレ
FB-Delay PilotNet PilotNet
Right curve
Left curve
0.0 0.2 0.4 0.6 0.8 1.0
Curve entrance Straight
Zone
Curve entrance
Straight Zone
Curve entrance
Straight Zone Curve entrance
Straight Zone
深層学習を用いた車両の速度制御に関するドライバの認知特性の解析
ーム毎で計測範囲内に存在する密度を抽出し，抽出した密度 を各代表点の発生回数で割ることで求めた（図10, 11）．また 計測範囲は，計測する各代表点の周囲一辺1, 2, 3 [m]の正方形 内とした．計測範囲の座標系は，シミュレーション環境内の3 次元座標とした．
𝑀𝑀𝑀𝑀𝑀𝑀𝑀𝑀 𝐷𝐷𝑀𝑀𝑀𝑀𝐷𝐷𝐷𝐷𝐷𝐷𝐷𝐷 =1 𝑁𝑁 ∑
∑ ∑𝑦𝑦+12𝑟𝑟 𝑤𝑤𝑀𝑀𝐷𝐷𝑤𝑤ℎ𝐷𝐷𝑖𝑖,𝑗𝑗 𝑗𝑗=𝑦𝑦−12𝑟𝑟
𝑥𝑥+12𝑟𝑟 𝑖𝑖=𝑥𝑥−12𝑟𝑟
𝑟𝑟2
𝑁𝑁 𝑛𝑛=1
(2)
各変数は，𝑁𝑁:各代表点の発生回数， 𝑥𝑥:道路代表点の𝑥𝑥座標，
𝐷𝐷:道路代表点の𝐷𝐷座標，𝑤𝑤𝑀𝑀𝐷𝐷𝑤𝑤ℎ𝐷𝐷𝑥𝑥,𝑦𝑦: (𝑥𝑥, 𝐷𝐷)座標におけるFVMの 重み，𝑟𝑟:計測正方形の一辺の長さとする．
導かれた密度平均は，狭い計測範囲で高い値，かつ広い計測 範囲で低い値を示した場合，モデルの重みが道路代表点に集 中していることになる．逆に，狭い計測範囲で低い値，かつ広 い計測範囲で高い値を示した場合，代表点の近傍に重みが集 まっているのではなく，周辺に重みが散布している可能性が ある．特にC1・C2・C3の広い計測範囲で高い密度平均が計測 された場合は，白線上に発生している重みを含んでいる可能 性に注意が必要である．
各代表点における密度平均結果
図10，11を全体的に比較した時，TP・R-TP，C1・C2・C3 は低い値を示しているため，速度制御にはあまり影響しない 領域であったことが分かる．しかしながらFB-Delay PilotNetに おけるC2の2 [m]は，ETP, R-ETPを除いた各代表点の中でと りわけ大きな値を示した．これは4.2節の前方カーブ時に白線 上に強い重みが観測された傾向と似ており，FB-Delay PilotNet が予測情報を用いて，速度制御を行なっていることが解釈さ れる．そのためC2の高い値は，予測情報との関係性を示して いると考えられる．
一方，代表点の中でETPとR-ETPは，大きな値を持ってい るため，速度制御には重要領域であることが確認できた．この ことから速度制御において，カーブ出口周辺が重要であるこ とが分かる．その中でも特に，FB-Delay PilotNetはETPが一 番高い値を持っていたことから，本研究のFB-Delay PilotNetが 従来から示されているドライバの特性と同様であることを意 味している(9)．したがってドライバの認知特性解析において，
FB-Delay PilotNet から得られる結果はある程度の信頼性があ
ることを示唆される．またFB-Delay PilotNetのTP・R-TPは
PilotNetと比較して，計測範囲の昇順で漸次的に密度平均値が
減少しておらず，一様に近い値を示している．これは計測範囲 に限らず，等しく重みにばらつきがあるため，TP 自体に
2%FVM の重みが局部的に集まっていないことを意味してい
る．以上のことを踏まえ，FB-Delay PilotNetは速度制御の特徴 を強く持つことが推測される．
Fig. 10 Mean density of around each representative point in PilotNet. Error bar means the standard deviation.
Fig. 11 Mean density of around each representative point in FB-
Delay PilotNet. Error bar means the standard deviation.
道路曲率における特徴量分布
従来研究では，道路の曲率が小さいとき注視点のばらつき が狭く，曲率が大きいとき注視点のばらつきが広いと報告さ れている(22)．そこでPilotNetとFB-Delay PilotNetにより，Test データにおける道路曲率と特徴量の重みの関係を調査するこ とで，前節とは別の角度からモデルの信頼性を示す．2%FVM におけるフレーム毎の重みのばらつきを分散として求めるこ とで，ドライバの特性同様に，曲率と分散に単調増加の傾向が 見られるかを検証する．
本節における解析は，車両速度が最初に100 [km/h]に到達し
た地点(𝑥𝑥, 𝐷𝐷) = (41.254, 0.786) からゴール地点の間を評価対
象とした．これは本実験が車両速度0 [km/h]から始まることに より，スタート周辺において道路形状に依存しないデータが 含まれるための対応である．具体的には，図12上部の拡大図
（𝑥𝑥方向の区間[0, 50] [m]）のように，スタート地点から直線に 近い道路形状が続いているため，曲率とは無関係に低速走行 する区間である．
深層学習を用いた車両の速度制御に関するドライバの認知特性の解析
Fig.12 Running course of Test data
図13，14で，モデル別に曲率と2%FVMにおける分散の結 果を示す．曲率と分散の変数間の線形関係をピアソンの積立 相関係数より求めると，PilotNetは0.0446と正の相関が確認で き，FB-Delay PilotNetは0.0299と正の相関が見られた．その 際，p 値は PilotNet で2.9930 × 10−6，FB-Delay PilotNet で
1.7238 × 10−3となり，有意であることを確認した．
Fig.13 Variance for every curvature in PilotNet
Fig.14 Variance for every curvature in FB-Delay PilotNet
次にPilotNetとFB-Delay PilotNetの分散の分布形状につい て比較する．これは，1フレーム内に存在する重みの数に違い
があるため，絶対的な分散の大きさによる比較だと正確性に 欠けてしまうためである．このことを踏まえた上で，曲率区間 [0.01 0.03] [1/m]においてPilotNetの分散は，回帰直線付近に も確認でき，全体的に散らばりが小さいことがわかった．また 変動幅も約200となった（図13）．一方FB-Delay Pilot Netの
分散は，PilotNetに比べ大きな散らばりが確認された．変動幅
も約400で大きい値となり，分散に一貫性がないことが見ら れた（図14）．しかしながらFB-Delay PiloNetの場合，曲率が 大きい区間[0.04, 0.05] [1/m]では変動の幅が約100となり，
他の区間と比べて小さいことがわかった．これらより，FB- Delay PilotNetはPilotNetよりも，曲率が小さいとき分散が低 いフレームが多く存在し，曲率が大きくなると分散が高いフ レームが増加する傾向が示唆された．この傾向は，従来研究の 曲率が大きくなると注視点のばらつきが広くなる特徴と，類 似した傾向だと解釈される(22)．したがって，FB-Delay PilotNet は，前節の結果に重ねて同様の特性を持つことが確認された．
しかしながら，曲率区間[0.00, 0.04] [1/m]では大きなばらつ きも見られたので，ドライバの特性を明確に表現できていな いことに注意されたい．
．おわりに
本研究は，深層学習を用いたドライバの認知特性解析を目 的として，CNNによるドライバの速度制御モデルのFB-Delay
PilotNet を提案した．また，実験から得られたドライバの行動
をFB-Delay PilotNetに学習させ，特徴量解析を行なった結果
と従来研究で得られた知見を比較することで，FB-Delay PilotNetに信頼性があるか調査した．その結果，PilotNetとFB- Delay PilotNetに速度制御の特性が確認され，中でもFB-Delay
PilotNetに強い傾向が見られた．これにより，本研究で提案し
たFB-Delay PilotNetが，ドライバの認知特性を解析する手法
となりえることを示した．また，FB-Delay PilotNetが示した結 果より，ドライバは速度制御のためにETP付近の領域を使用 していることが推察される．
本研究では，5.2，5.3節で示したドライバの2つの特徴を参 考にして，提案したモデルの信頼性を示した．しかしながら，
本来のドライバの特性は更に多くの側面を持ち合わせており，
本研究の結果のみからでは，完全にモデル結果の信頼性を担 保することはできない．一方で，モデルの操作特性として重み による調査を行ったが，従来の人間のドライバ特性では見ら れない特徴が確認された．そのため今後の展望として，モデル の妥当性や一般化を行う必要がある．妥当性については，複数 の研究対象者で今回と同様のモデル化を研究対象者ごとで行 い，人間のドライバの身体的特徴を一貫して含んでいるかを 調査することで検証できる．また一般化については，より人間 の特性を考慮したモデルを構築し，妥当性を繰り返し検証す ることで確立できる．モデル構築の方法としては，ドライバの 身体的特徴をより反映させるために操舵制御の組み合わせや，
深層学習を用いた車両の速度制御に関するドライバの認知特性の解析
知覚入力としてオプティカルフローの導入などを検討してい る．またシミュレータ環境だけではなく，実環境のデータを解 析することや，その他のドライバ特性を用いて信頼性の検証 を行うことで，深層学習だけに見られた特徴が本論文に限定 してみられた特徴なのかを解明していく．その結果，深層学習 を用いたドライバの特性解析手法の確立を実現できると期待 する．
謝辞
本研究はJSPS科研費20K14996とスズキ財団の助成を受け
たものです．
参考文献
(1) Y. Okafuji, T.Fukao, et al: Optical flow-based control for automatic steering systems, IEEE/SICE International Symposium on System Integration, p.483-488 (2015)
(2) E. O. Bar, M. M. Trivedi: Looking at Humans in the Age of Self- Driving and Highly Automated Vehicles, IEEE Transactions on Intelligent Vehicles, vol.1, No.1, p.90-104 (2016)
(3) C. C. Macadam: Understanding and modeling the human driver, Vehicle System Dynamics, vol.40, No.1-3, p.101-134 (2003) (4) E. Lehtonen, O. Lappi, H. Summala: Anticipatory eye movements when approaching a curve on a rural road depend on working memory load, Transportation Research Part F: Traffic Psychology and Behaviour, vol.15, No.3, p.369-377 (2012)
(5) F. Mars, J. Navarro: Where We Look When We Drive with or without Active Steering Wheel Control, PLoS ONE 7(8): e43858 (2012)
(6) T. Itkonen, J. Pekkanen, O. Lappi: Driver Gaze Behavior Is Different in Normal Curve Driving and when Looking at the Tangent Point, PLoS ONE 10(8): e0135505 (2015),
DOI: 10.1371/journal.pone.0135505
(7) O. Lappi, E. Lehtonen: Eye-movements in real curve driving:
pursuit-like optokinesis in vehicle frame of reference, stability in an allocentric reference coordinate system, Journal of Eye Movement Research, vol.6, No.1 (2013)
(8) E. Lehtonen, O. Lappi, et al: Look-ahead fixations in curve driving, Journal of Ergonomics, vol.56, No.1, p.34-44 (2013),
DOI: 10.1080/00140139.2012.739205
(9) V. Gruppelaar, M. M. van Paassen, et al: A perceptually inspired Driver Model for Speed Control in curves, IEEE international Conference on Systems, Man, and Cybernetics, p.1253-1258 (2018) DOI: 10.1109/SMC.2018.00220
(10) S. Tuhkanen, J. Pekkanen, et al: Effects of an active visuomotor steering task on covert attention, Journal of Eye Movement Research, vol.12, No.3, p.1-19 (2019), DOI: 10.16910/Jemr.12.3.1
(11) D. D. Salvucci: Modeling Driver Behavior in a Cognitive
Architecture, Human Factors: The Iournal of the Human Factors and Ergonomics Society, Vol.48, No.2, p.362-380 (2006)
(12) B. Huval, T. Wang, et al: An Empirical Evaluation of Deep Learning on Highway Driving, Computer Vision and Pattern Recognition (2015), arXiv:1504.01716v3
(13) J. Kim, J. Canny: Interpretable Learning for Self-Driving Cars by Visualizing Causal Attention, Computer Vision and Pattern Recognition (2017), arXiv:1703.10631
(14) M. P. Ronecker, Y. Zhu: Deep Q-Network Based Decision Making for Autonomous Driving, International Conference on Robotics and Automation Sciences, p.154-160 (2019),
DOI: 10.1109/ICRAS.2019.8808950
(15) R. Hayashi, H. Kawata, Image reconstruction from neural activity recorded from monkey inferior temporal cortex using generative adversarial networks, IEEE International Conference on Systems, Man, and Cybernetics (SMC), p.105-109, 2018,
DOI: 10.1109/SMC.2018.00028
(16) M. Bojarski, P. Yeres, et al: Explaining How a Deep Neural Network Trained with End-to-End Learning Steers a Car, Computer Vision and Pattern Recognition (2017), arXiv:1704.07911
(17) M. Bojarski, D. D. Testa, et al: End to End Learning for Self- Driving Cars, Computer Vision and Pattern Recognition (2016), arXiv:1604.07316
(18) M. Bojarski, A. Choromanska, et al: VisualBackProp: efficient visualization of CNNs, Computer Vision and Pattern Recognition (2017), arXiv:1611.05418v3
(19) Y. Okafuji, T. Sugiura, T. Wada: Preliminary Investigation of Visual Information Influencing Driver’s Steering Control based on CNN, IEEE International Conference on Systems, Man, and Cybernetics (2020)
(20) K. Mori, H. Fukui, et al: Visual Explanation by Attention Branch Network for End-to-end Learning-based Self-driving, IEEE Intelligent Vehicles Symposium, p.1577-1582 (2019),
DOI: 10.1109/IVS.2019.8813900
(21) E. Lehtonen, O. Lappi, et al: Effect of driving experience on anticipatory look-ahead fixations in real curve driving, Accident Analysis & Prevention, vol. 70, p.195-208 (2014),
DOI: 10.1016/j.aap.2014.04.002
(22) M. F. Land, B. W. Tatler: Steering with the head: The visual strategy of a racing driver, Current Biology vol. 11, No. 15, p.1215- 1220 (2001)
深層学習を用いた車両の速度制御に関するドライバの認知特性の解析
![図 3 に示すドライビングシミュレータで実験を行った．シ ミュレータ環境は Vizard5.0 （ World Viz ）のソフトウェアを用 いた．研究対象者の車両操作は Logitech G25 Racing Wheel に より行われ，操舵制御値及び速度制御値を計測した．また車両 運動の計算と描画は周波数 40 [Hz] で行った．スクリーンサイ ズは 2.435×1.36 [m] で，スクリーンから研究対象者までの距離 は 1.6 [m] だった．そのため，研究対象者の視野角は 74.5×46.1](https://thumb-ap.123doks.com/thumbv2/123deta/7570049.2527212/3.892.75.431.485.682/ドライビングシミュレータミュレータソフトウェアスクリーンサイ.webp)
