Time-Delay CNN
を用いた自動車の運転行動学習Learning Driving Control using Time-Delay CNN
1W120540-1 本吉 俊之 指導教員 尾形 哲也 教授
MOTOYOSHI Toshiyuki Prof. OGATA Tetsuya
概要： 昨今活発に研究されている車の自動運転であるが，現在使用されている主な手法では，高価なセンサー を用いなければならない・モデルのデザインに手間がかかる，などの問題点がある．これらの問題点を解決する 方法として，カメラの画像から運転行動を直接出力するモデルが考えられる．また，Neural Networkを用いること で，求めるモデルを自己組織化できる．このような手法を用いた研究として，DAVE(DARPA Autonomous Vehicle) が挙げられる．しかし，DAVE には，ステアリングしか出力することができない・時系列情報を考慮していない といった問題点がある．本研究では，DAVEの問題点を解決できるアプローチを行った．具体的には，Neural Network を用いて人間の運転行動を学習することで，車載カメラの映像と，自身の速度・後続車との距離・ヨー角速度と いう３種類の運転情報から，次の時刻の運転行動(ステアリング・アクセル踏込量・ブレーキ踏込量)を生成するシ ステムを，自律的に獲得させるというものである．この際，入力データに一定の幅の時系列情報をもたせた．
キーワード：自動運転，ニューラルネットワーク，DAVE，時系列 Keywords: automatic driving, Neural Network, DAVE, time series
１．はじめに
昨今，自動運転の研究が盛んに行われている．
従来の自動運転技術では，多くのセンサーのデ ータとカメラの画像を，精緻な地図と照らし合わ せることで，自身の走行位置の把握および走行ル ートの決定を行っている．しかし，この手法には，
高価なセンサーを使用する必要がある・モデルの デザインに手間がかかるといった問題点がある．
これらの解決方法として，カメラの画像から運 転情報を直接出力するモデルが考えられる．また，
Neural Networkを用いることで，人手でモデル構 築をするのではなく，モデルを自己組織化する．
上 記 の ア プ ロ ー チ を 採 用 し た 研 究 に ， DAVE(DARPA Autonomous Vehicle)がある．この 研究では，Neural Networkによって，ラジコンカ ーの左右に付けられた２つのカメラ映像からス テアリングを出力するように設計されている．
しかし，DAVEはステアリングのみを出力する 研究である．また，実際の運転において不可欠と なる時系列情報を考慮していない．以上の問題点 から，DAVEのモデルでは，複雑な操作が求めら れる実際の自動車運転はできないと考えられる．
２．アプローチ
DAVEの問題点を解決するために，本研究では(1) ステアリングだけでなく，アクセル・ブレーキ踏
込量も出力する．(2)時系列情報を考慮する．と いう2つのアプローチを行った．(2)については，
Time-Delay Neural Network[1]の手法を用いた．
４．Time-Delay Neural Network
Time-Delay Neural Network(TDNN)は，入力デー タに時間方向の幅を持たせることで，時系列情報 を考慮する手法である．
具体的には，時間方向に一定の幅をもった窓を
入力の1step分とし，それを時間軸上で1フレー
ムずつシフトさせることで，1フレームの時間遅 れを持たせた，毎時刻分の入力を作成する，とい う方法である．
５．Time-Delay Convolutional Neural Networkモ デル
本研究では，画像認識分野において高い成果を 上げている，Convolutional Neural Network(CNN)[2]
を用いて，画像の入力からステアリング・アクセ ル・ブレーキの3つの運転行動を直接出力するモ デルを構築した．CNNの一種であるTDNNの手 法を使用することで，時系列情報を考慮する．
また本研究では，画像の他に 3 種類の運転情報 (速度・ヨー角速度・後続車との距離)を入力した．
本研究では，入力の窓の時系列幅を5とした．(入 力に5フレーム分の時間情報を含む)
2
図3 入力窓の時間幅による正解率の変化
６．Time-Delay CNNモデルを用いた学習実験 本研究では，人間生活工学研究センター(HQL) の運転行動データベースを用いている．このデー タベースから，6人の被験者が右左折のない直線 路の6区間を走行したデータを使用した．
本研究では，Time-Delay CNN(TDCNN)による 運転行動生成の性能確認のための実験(実験Ⅰ) と，入力に時系列を持たせることの有用性の確認 のための実験(実験Ⅱ)を行った．実験Ⅰの学習デ
ータは13739フレーム分，実験Ⅱの学習データは
512フレーム分である．
また，学習済みのネットワークを用いて，未学 習ルートおよび学習済ルートの運転行動の生成，
および生成値の評価も行った．評価方法としては，
アクセル・ブレーキとステアリングを平面上で 各々3領域に分割し，生成値と教師データが同じ 領域にある場合を正解とした正解率を算出した．
７．実験Ⅰの生成結果
未学習ルートを生成した結果，ステアリング，
アクセル，ブレーキの平均生成誤差は，それぞれ 7.96[deg]，6.15[mm]，7.13[mm]となった．学習し た ル ー ト の 生 成 で は ， 平 均 誤 差 が そ れ ぞ れ 7.35[deg]，1.35[mm]，1.65[mm]となった．
８．実験Ⅰの評価結果
正解率は図2のような結果となった．
左から，ステアリング，アクセル・ブレーキ，両 方の正解率となっている．
９．実験Ⅱの結果
入力窓の時間幅の変化による，両方の正解率の 変化は，図3のようになった．
１０．考察
未学習ルートのステアリングの生成誤差は，遊 び(左右共に 9.16[deg]ずつ)の範囲内であるとい える．一方，アクセル・ブレーキの誤差は，運転 に大きな影響を及ぼす誤差であると考えられる
(アクセル・ブレーキの遊びは 3.0[mm])．評価の
正解率も，概ね生成結果と整合しているといえる．
実験Ⅱの結果より，入力にある程度の時間幅を 持たせることは有用であるが，大きすぎると正解 率が下がってしまうと考えられる．
本研究は，カメラの映像と 3 種類の運転情報か ら，次の時刻の運転行動を直接出力するモデルを 用いている．本研究には，従来の研究と比べて，
低コストでの実現が可能で，人手によるモデル構 築の手間が必要ないといった優位性が見られる．
１１．今後の展望
今後は，シミュレーターを用いた実験を行って いく必要がある．現在の研究では，運転行動の出 力値に関わらず，同じ画像や運転情報が入力され てしまう．これは実際の運転状況とは程遠い．よ って，今後の実験の発展には，シミュレーターの ように，運転行動出力によって画像や運転情報が 変化する，適切な環境を用いることが必要である．
[1]K.J.LANG ,A.H.WAIBEL ,G.E.HINTON,ATIME-DELAY NEURAL NETWORK ARCHITECTURE FOR ISOLATED WORD RECOGNITION , NEURAL NETWORKS ,VOL.3,1990, PP.23-43
[2] A.KRIZHEVSKY , I.SUTSKEVER, G.E.HINTON, IMAGENET CLASSIFICATION WITH DEEP CONVOLUTIONAL NEURAL NETWORKS , ADVANCES IN NEURAL INFORMATION PROCESSING SYSTEMS ,2012
図2 評価の正解率 図1 Network構成
