1．は
じ め に
自動運転に対する取組みは 1970 年代頃にまで る． 当初は必ずしも必要な技術がそろっていたとは言いがた く，結果として否定的な見解も多く見られた．1990 年 代に入るとコンピュータや制御・通信技術の発達により， 再び自動運転に対する関心が高まった．例えば，カリフォ ルニア PATH プロジェクトでは，高速道路に磁気マーカ を埋め込み，横方向の制御に用いることで，車群の自動 走行（プラトゥーン走行）に関する大規模なデモ実験を 実施した．この成果が実用化されれば高速道路の容量増 大につながり，渋滞緩和策の切り札になるとして注目を 集めたが，当時のセンシング能力の弱さやフェールセー フに関する懸念から実用には至らなかった．その後，自 動運転に関する関心は少し弱まったが，2005 年に開催 された DARPA グランドチャレンジで優勝したチームが 5台の LiDAR（レーザスキャン型の距離計測器）を搭載 し，GPS と併用したことで話題となった．この年の上 位入賞チームのほとんどはヴェロダイン社製の LiDAR を採用していた．これがきっかけとなり，2009 年には Google社が公道での自動運転実証実験を開始し，大き な話題となった．最近では，LiDAR の活用に加え，機 械学習の進歩とデータ収集が比較的安価で大規模に行え るようなデバイス開発が進んだことから，自動運転の社 会実装を目指す流れは加速しつつあり，自動車メーカ各 社が将来の自動運転車両投入を競って予告するに至って いる． 自動運転においてカギとなるのは，言うまでもなく「運 転に必要な知能」の構築であるが，ここでは，時間的・ 空間的に変化する運転シーンにおいて，その変化より速 い速度で実現される認識・予測・判断・計画・制御の各 機能の集合体を「運転知能」と呼ぶことにする．自動運 転に必要な機能という意味では，「認識」はさらに，「自 己位置推定」と「周囲環境の認識・理解」とに分けられる． これらの各機能の実現難易度は，言うまでもなく自 動車が置かれる環境の複雑さおよびその変化の速さ（自 車の速度とも関連する）に依存する．それぞれの機能に おいてベースとなる技術体系はほぼ出そろった感がある が，実道路環境がもつ多様な不確実さに十分に早い処理 速度で対応するためには，まだまだ不十分な点も多い． 本稿では，特に著者らが取り組んでいる，頑健で信頼性 の高い自己位置推定，周囲環境の認識・理解（特に車載 カメラによる歩行者認識），タスク切替え時における判 断，ならびにモデル予測制御による計画と制御の同時実 行に関する研究例を紹介し，最後に今後求められるであ ろう周辺他者とのインタラクションを伴う運転知能の在 り方についても論じる．2．
自動運転を構成する機能群
目的地までのルートが与えられたという前提のもと， 運転知能に必要となる機能群は大まかに言って，以下の 諸機能に分類される．自動運転のための運転知能と今後の展開
Driving Intelligence for Automated Vehicles and Future Perspective
鈴木 達也
名古屋大学大学院工学研究科機械システム工学専攻Tatsuya Suzuki Department of Mechanical Systems Engineering, Graduate School of Engineering, Nagoya University. [email protected], http://www.suzlab.nuem.nagoya-u.ac.jp/~suzuki/
赤井 直紀
名古屋大学未来社会創造機構Naoki Akai Institute of Innovation for Future Society（MIRAI）, Nagoya University.
[email protected], https://sites.google.com/site/naokiakaigoo/
出口 大輔
名古屋大学情報連携統括本部情報戦略室Daisuke Deguchi Information Strategy Office, Information & Communications, Nagoya University. [email protected], http://www.murase.m.is.nagoya-u.ac.jp/~ddeguchi/
Keywords:
automated vehicles, driving intelligence, localization, environment recognition, decision making, model predictive control.（1）自己位置推定 GNSS（GPS）に頼ることなく，地図情報とセン サ情報から自車位置を推定する機能であり，信号処 理の分野における尤度計算やフィルタリング（状態 推定）がその理論的ベースを与える．LiDAR や高精 度地図の登場によりこの機能は飛躍的に進歩した． （2）周囲環境の認識・理解 環境や対象物の属性（特に歩行者の向きやスマホ 操作の有無など）まで含めた認識機能であり，画像 処理技術の進展や深層学習をはじめとする機械学習 の進歩が最も生かされている機能である． （3）予測 周辺の交通参加者（他車両，歩行者，自転車など）の 行動を予測する機能であり，行動モデルが技術的核と なる．属性認識との関連も深いが，特に歩行者や自転 車などの交通弱者の行動予測機能が今後重要になる． （4）判断 ここでいう「判断」は，ルート決定のような上位の 判断とは異なり，タスクをどう切り替えるかの実時 間での判断を指す．例えば前方車追従からレーンチェ ンジへの変更など，いわゆる運転のモード（サブタ スク）を適切な情報に基づいて適切に切り替えるため の機能であり，周辺他者（車以外の交通参加者も含め て）とのインタラクティブな判断が今後重要となる． （5）計画 一般に，「計画」は「経路計画」と「経路上での 速度パターンの計画」とに分けられる．これらは， サブタスクの切替え判断に基づいて具体的な走行経 路・速度の時系列を生成する機能であり，多くの場 合，ある種の制約条件付き最適化問題に帰着される． （6）制御 生成された経路や速度を実現する最も下位の機能 であるが，実時間での安全性の担保や走行性能を議 論するうえでは非常に重要な機能である．また，モ デル予測制御の登場により，今後は「経路・速度計画」 と「制御」との統合化が進むと予想される． これらのすべてを詳細に紹介することは紙面の都合上 不可能であるが，以下では，主だった機能の動向と著者 らのグループが取り組んでいるトピックスを紹介する．
3．
自 己 位 置 推 定
本章では，自己位置推定（以下，位置推定）問題の概略， および自動運転における位置推定の必要性を簡潔に述べ る．そして，位置推定の問題点や最新の研究動向，およ び著者らの取組みに関して簡潔にまとめる． 3･1 位置推定問題と自動運転におけるその重要性 § 1 位置推定問題 位置推定とは，地図上でセンサの相対位置を求める 問題であり，最適化もしくは確率ベースの解法が採用 されることが多い．代表例として，最適化ベースには Iterative Closest Point（ICP）Scan Matching（SM）， 確率ベースには Monte Carlo Localization（MCL）など の方法があげられ，これらはモデルベースの位置推定法 と区分される．なお，位置推定法の多くはモデルベース 法であるが，近年機械学習を適用する例が増えているた め，明示的に区分する． 位置推定は，次式により定式化が可能である． p （xt｜u1: t, z1 : t, m）＝η（zp t｜xt, m） p （x｜xt t－1, ut）p（xt－1｜u1:t－1, z1:t－1, m）dxt－1 × （1） これは，1：t の時系列の制御入力 u とセンサ観測 z お よび地図 m が与えられたもとで，時刻 t での位置 x の条 件付き（事後）確率が，再帰的に計算できることを意味 する（η は正規化のための係数である）．この式を構成 する p（zt｜xt, m）と p（xt｜xt−1, ut）はそれぞれ観測モデ ル，動作モデルと呼ばれる．おおざっぱではあるが，観 測モデルの確率を最大化する方法が最適化ベース，式（1） に示す確率分布を求める方法が確率ベースの位置推定と 区分できる． § 2 位置推定の重要性 自動運転を行う際には，よく High Definition（HD） 地図が用いられる．HD 地図は車線や信号などの位置情 報を保有しており，位置推定を正確に行うことでこれら の位置情報が活用できる．HD 地図が活用できれば，自 動運転に必要とされる技術課題の難易度が劇的に簡略化 される．例えば，場所情報を活用した経路計画や，信号 などの物標位置を予測した認識が可能となる．もちろん， 人間のような高度な認識・計画技術が利用できれば，こ れらの簡略化は不要であるが，現状そのような技術は実 現されていない．そのため，現状自動運転知能を実現す るにあたっては，位置推定は必要不可欠となっている． 3･2 位置推定の問題点 前節で述べたとおり，位置推定実行のためにはセンサ 計測値と地図の対応探索や，センサ計測の確率的モデル 化などが必要である．しかしこれらは，環境の変化を容 易に受け，想定した機能とならないことがある．位置推 定における最も根本的な問題は，1）環境変化に対する 頑健性を維持することである． 位置推定により求められる最適・最尤状態とは，「もっと もらしい状態」ということだけを意味する．すなわち，そ れが陽に正しい推定結果であることを保証できず，自動運 転車両が位置推定の失敗を検知することが困難であるこ とを意味している．位置推定の失敗は自動運転の失敗に 直結する可能性もあり，2）位置推定の結果に関する信頼 度をどのように定義するかは極めて重要な課題である．自動運転車両が走行する環境は広大であり，その空間 の効率的な地図化，および地図と環境の差異の更新方法， さらには使用するセンサの価格や地図のメモリコストな どは，運用を考えた場合に大きな問題となる．すなわち， 3）コストや効率性も位置推定の重要な課題である． 3･3 位置推定に関する研究動向 § 1 頑健性 点群地図と観測点群を位置合わせする ICP SM は，非 常に高精度な位置推定を可能とする．しかし，マルチレ イヤ LiDAR により大量の点群を取得した場合，計算時 間が問題となる．また ICP SM は，ノイズに対してぜ い弱である．これらの解決法として，点群を確率分布 により表現する方法，例えば正規分布を用いる Normal Distributions Transform（NDT）[Biber 03] が提案され ている．これらは，多少の環境変化に影響されない高速 な位置推定を行うことを可能とする．実際に我々も，NDT SMを利用して公道での自動運転を実現した [Akai 17]． しかしこれらは，明示的に環境変化に対応していない． 環境変化の最も大きな要因は，歩行者や自動車などの 動的障害物である．最も簡単な方法は，動的特性の高い 障害物を検知・無視することであるが，この方法ではラ ンドマークの移動・除去などの準動的変化に対応できな い．一方で，オンラインで逐次地図を更新しながら位置 推定を行う方法も提案されている [Tipaldi 13]．また， 異なる時間尺度，すなわちオン・オフライン，で作成さ れた地図の併用法も提案されている [Valencia 14]．しか しこれらは，オンラインの地図構築に失敗すると位置推 定にも失敗してしまう．著者らはシステム安全性の面か ら見て，オンラインでの地図構築を用いた位置推定法の 適用は容易でないと考えている． 著者らのグループでは，位置とセンサ計測値のクラス を同時推定する方法を提案している [Akai 18a]．図 1 に は，本手法を実環境で適用した例を示す．ここでのクラ スとは，地図に存在するか否かを意味する．図 1 右は占 有格子地図上での同時推定結果を表しており，スキャン とランドマークが一致していることが見て取れる．しか し歩行者などの未知障害物（地図に存在しない障害物） や計測・地図の誤差もあり，すべてのスキャンがランド マークと一致していない．提案法は，このようなマッチ しないスキャンを未知障害物として認識しながら位置推 定を行うことを可能とし，地図に存在する障害物から得 られている観測のみを活用して位置推定を実行する．自 動運転を行うにあたり，環境すべてが劇的に変化するこ とは考えにくい．そのような場合には，安全を考慮して 地図が更新されるべきである．このことから，頑健な位 置推定実現のためには，センサ計測値の効果的取捨選択 が重要になると著者らは考えている． § 2 信頼性 位置推定には，GNSS やカメラ，LiDAR などのセン サが使用される．それぞれのセンサには得手不得手があ り，複数の情報を融合して位置推定の頑健性を向上させ る試みは多い．一方で，異なる情報を用いた冗長的な位 置推定システムを利用し，位置推定の失敗を検知する方 法が提案されている [Sundvall 06]．しかしこの方法は， 多数決的に位置推定の正誤を決めようとするものであ り，各位置推定結果に対する正誤（信頼度）を推定して いない．これに対して近年では，機械学習を用いて位置 推定の失敗を検知する方法が提案されている [Almqvist 18]．また興味深い例として，End-to-End 学習により位 置推定を行う方法も提案されている [Kendall 15]．3･2 節で述べたように，位置推定プロセスにより求められる 推定結果は，その正誤を保証する術をもたない．そのた め著者らも，機械学習のようなモデルベース法と異なる アプローチにより，推定結果の信頼度を推定する試みは 効果的であると考えている． しかし当然ながら，機械学習による識別が完全にな るとは言いがたい．著者らは，機械学習による正誤判断 の結果を新たな可観測変数として利用できると仮定し， 位置推定結果の信頼度を推定する方法を提案している [Akai 18b]．図 2 は，その概略とグラフィカルモデルを 示している．位置推定失敗時には，センサ計測値と地図 の間にミスマッチが発生する．本手法では，それらのデー タを Convolutional Neural Network（CNN）を用いて 学習し，位置推定の正誤判断を行う．しかしこの CNN の出力 d は，直接正誤判断を行うために使用されず，そ の背後にある位置推定正誤状態 s を推定するために使用 される．これにより，CNN による予測がノイズを含む 場合にも，位置推定の正誤を説明する信頼度を正確に推 !"#$%&
定できる．この方法は，モデルベース法と機械学習を効 果的に統合した一例とも解釈できる．モデルベース法の 欠点を補うために，機械学習を適用することは効果的で あると考えられるが，単に機械学習を適用するだけでな く，その不確かさを考慮し活用する方法の開発が今後必 須になると著者らは考えている． § 3 効率性 位置推定のために三次元点群地図の利用が一般的と なっているが，3D LiDAR は高価なセンサである．こ れに対して，2D LiDAR の観測を蓄積，または単眼カメ ラから復元した三次元点群と地図を照合する方法が提案 されている（例えば [Caselitz 16]）．しかしながら，三 次元点群地図の使用自体が大きなメモリコストを要求す る．そのため，三次元点群から位置推定に必要な特徴の みを取り出して位置推定を行う例もある [Javanmardi 17]．また画像圧縮などの方法を用いて，点群の容量を 圧縮する試みもある [Tu 16]．現状のところ，位置推定 に対する精度目標に対して，どの情報を用いればよいか は明らかではない．どのような情報の利用が効果的か， またどこまで地図容量を削減できるかは，これからも検 討される必要がある． 最後に地図の更新に関してであるが，車両が走行時に取 得した情報をもとに，地図を自動更新する方法は最も効率 的といえる [Pomerleau 14]．このような地図更新は，単に Simultaneous Localization and Mapping（SLAM）を適 用して達成できるとは言いがたい．これまで SLAM に関 する研究は多く報告されているが，今後は地図の変化検 知や自動更新，および更新した地図の妥当性を保証する方法 などに関する研究が行われるべきと著者らは考えている．
4．
周囲環境の認識・理解
本章では，自動車の車載センサとして注目を集めてい る車載カメラに焦点を当て，車載カメラを用いた周囲環 境認識技術について述べる．特に，車載カメラを用いた 歩行者検出技術の変遷を概観するとともに，ここ数年注 目を集めているセマンティックセグメンテーションの動 向を整理する． 4･1 歩 行 者 検 出 画像からの物体検出の実用化に大きく貢献した技術と して，2001 年に発表された Viola らによる Haar-like 特 徴量とカスケード型 AdaBoost 識別器を組み合わせた顔 検出技術 [Viola 01] がある．顔向きの違いなどによる多 少の見えの変化はあるものの，顔全体として見た場合の 変形量は比較的小さく，軽量で低レベルな画像特徴量を 用いても精度良く検出することが可能であった．しか しながら，歩行者のように人の体全体を検出対象とし た場合，関節などによる姿勢変形の自由度は非常に高 い．そのため，2000 年台前半は検出の難しい対象と考 えられていた．この流れを変えた技術として，2005 年 に N. Dalal らが発表した HOG 特徴量と SVM 識別器 を組み合わせた歩行者検出手法 [Dalal 05] がある．こ の手法は，画像から抽出した輝度勾配のヒストグラム を特徴量とすることにより，多少の変形に対しても頑 健な特徴量を算出可能としている．HOG 特徴量の問題 点の一つである大きな姿勢変化への対応として，P. F. Felzenszwalbらは歩行者の頭や手といった部位を潜在 変数として扱い，それらを HOG 特徴量の組合せとして 求める Deformable Part Model（DPM）[Felzenszwalb10]を提案している．また P. Dollár らは，Viola らに
よるカスケード型 AdaBoost 識別器と N. Dalal らによ る HOG 特徴量の良いところを組み合わせた Integral Channel Features（ICF）を提案しており，特徴量ピラ ミッドの高速計算に基づく密なスケール探索を実現する Aggregate Channel Features（ACF）[Dollár 14] へと 発展させている．図 3 は ACF における特徴量ピラミッ ドの構築と Boosting Trees を用いた歩行者検出の流れを
示している．図に示すように，ACF では特徴量計算を
1/2ごとのスケールでのみ計算し，それ以外の中間スケー
ルは補間によって求めることで計算コストの高い特徴量 計算の回数を削減し，結果として大幅な計算速度の改善 を果たしている．
一方，2012 年の ILSVRC（IMAGENET Large Scale Visual Recognition Challenge）で AlexNet [Krizhevsky
14]が圧倒的な性能差で優勝して以降，深層学習を利用 した歩行者検出の試みもなされるようになった．深層学 習の計算コストが高いことから，当時は ACF のような 密なスケール探索に基づく歩行者検出は難しく，従来 の歩行者検出手法（HOG＋SVM や ACF など）の結果 を入力として深層学習で絞り込むというアプローチが 広く用いられていた．この候補抽出に Selective Search [Uijlings 13]を利用することにより，R. Girshick らが提 案する RCNN [Girshick 14] では検出処理全体の高速化 を実現している．Selective Search を候補提案ネットワー ク（Region Proposal Network）に置き換えることにより， 候補抽出から識別までを一連のネットワークとして実現 する Faster R-CNN [Ren 17] が 2015 年に S. Ren らに よって提案された．リアルタイム動作は難しいものの，
Faster R-CNNの精度は現在も高いレベルにあることが
ベンチマーク結果により示されている．
Faster R-CNNのさらなる高速化を実現する手法と
して注目を集めた技術として，2016 年に J. Redmon らによって提案された You Only Look Once（YOLO）
[Redmon 16]がある．YOLO では CNN による画像全 体の畳込みから得られる特徴から検出対象がどこに存在 するかを直接回帰する仕組みを採用している．これによ り，Faster R-CNN のような明示的な候補検出は不要と なり，結果としてリアルタイムでの物体検出を可能とし ている．また，YOLO が苦手とする小さな物体の検出へ の対処として，畳込み層のサイズを少しずつ小さくしな がら特徴抽出を行うことで異なるスケールの特徴を捉え る Single Shot Detector（SSD）[Liu 16] が W. Liu らに より提案されている．このアイディアは YOLO にも取 り込まれており，YOLOv3 [Redmon 18] では最先端の 物体検出技術である RetinaNet [Lin 18] に匹敵する性能 を保ったままリアルタイム処理を可能としている．これ らの手法をリアルタイム動作させるためには，GPU の ような特別な演算装置が必要となる．しかしながら，車 載版 GPU の開発も進められていることから，近い将来， 自動運転車両への搭載も可能であると考えられる． 4･2 セマンティックセグメンテーション 画像中のシーンを詳細に理解するための手掛かりとし て，画像中の道路，歩道，歩行者，車両などを画素レベ ルで識別するセマンティックセグメンテーション技術が 近年注目を集めている．古くは，Watershed 法や Mean shift法などを用いて類似する特徴をもつ領域を統合・ 分割する画像セグメンテーション技術が広く研究されて きた．しかしながら，画像全体にわたる物体の位置関係 といった高次のコンテキスト情報を利用したセグメン テーションは難しい課題であった． 一方，深層学習のフレームワークでセマンティック セグメンテーションを捉えると，入力が画像で出力がセ グメンテーション結果となるネットワークの学習という シンプルな問題として定式化することができる．このよ うな背景から，2015 年以降にさまざまな手法が提案さ れるようになっている．代表的な手法として，全結合層 を含まない全層畳込みニューラルネットワーク（Fully Convolutional Networks：FCN）[Long 15] や，エンコー ドとデコードという 2 種類のネットワークを組み合わせ た SegNet [Badrinarayanan 17] などが多数提案されて いる． 最近では，物体認識で非常に高い性能をもつこと で知られる ResNet [He 16] を特徴抽出に利用し，複 数スケールでそれぞれ畳込みを行う Pyramid Pooling Moduleによりスケールの異なるコンテキスト情報を
捉 え る Pyramid Scene Parsing Network（PSPNet）
[Zhao 17]も提案されている．PSPNet は，ImageNet
Scene Parsing Challenge 2016で 1 位の性能を達成し ている．計算コストと精度の観点から画像からの特徴抽 出に Xception [Chollet 17] を利用し，複数スケールで の特徴抽出に Atrous Separable Convolution を用いる DeepLabv3＋ [Chen 18] が提案されており，Cityscapes データセットのベンチマークで上位の成績を収めてい る．図 4 に Cityscapes データセットの画像に対して DeepLabv3＋を適用した結果例を示す． 上述のセマンティックセグメンテーションは，歩行者 や車といったクラス単位で識別する技術であった．現在 は，画像中の個々の歩行者や車を別々の ID で認識する Instance-Level Semantic Labeling Taskの研究開発も 進められており，K. He らが 2017 年に提案した Mask RCNN [He 17]のように検出とセグメンテーションを同 時に解く手法も開発されつつある．今後，属性や対象 の関係性といったより高次の意味情報を捉えるセマン ティックセグメンテーションへの発展に期待したい． 図 4 Cityscapes データセットに DeepLabV3＋を適用したセマン ティックセグメンテーション結果の一例
5．タスク
切替判断
運転行動において，適切な実時間での判断機能をもつ かどうかは，安全性はもとより周辺他者との協調など， 運転の質を決める重要な要因の一つとなる [Brannstrom 13, Hillenbrand 06, Liu 07]．例えば交差点右折時にお ける「行く」か「行かない」か，レーンチェンジを「す る」か「しない」か，合流を「する」か「しない」か， の判断など，判断機能の応用例は多岐にわたり，自動運 転車を設計する際の重要なポイントになることは間違い ない．判断機能は基本的には論理変数であり，ルール形 式で書かれて実装されることが多い．最近では，データ を活用して判断機能をモデル化しようとする試みも多く 見られ，以下ではそういった取組みを紹介する． 5･1 確率的曖昧さをもつ判断モデル 著者らは判断が離散的かつ確率的曖昧さをもった事象 駆動的な側面をもつことに着目し，ロジスティック回帰 モデルを用いた判断機能のモデル化手法を提案している [Okuda 16, Taguchi 07]．ロジスティック関数を判断モ デルに用いるメリットは，確率的曖昧さをもった二値的 な現象を定量的に説明できることであるが，加えて，得 られたパラメータの値を見ることで，判断に重要な因子 を特定することもできる．さらには，得られる確率分 布にエントロピー関数を定めることで，「判断エントロ ピー」を定義することができ，判断の曖昧さを定量化す ることができる [Okuda 17, Okuda 13]．このような判 断エントロピーの応用範囲は広いと思われる．特に自動 運転車両が周辺他者（人間により運転される車両，歩行 者，自転車など）との間で何らかの合意形成が必要な局 面では，交通参加者の判断エントロピーを十分に小さく するよう振る舞うことが望ましい [Okuda 17]．このこ とは，自動運転車両が周辺他者の判断モデルを有し，そ れに基づいて行動を決めることにほかならず，近未来の 自動運転車両と人間との間の合意形成を図るうえでの一 つの指針となるであろう． 5･2 離散・連続ハイブリッド動的システムモデル 判断と動作を共通の行動データから統一的にモデル 化しようとする試みが文献 [Akita 08, Sekizawa 07] で 見られる．ここでの基本的考え方は，運転行動を離散・ 連続ハイブリッド動的システム（Hybrid Dynamical System：HDS）として捉え，HDS に対するシステム同 定手法を適用することで，判断と動作の同時モデル化を 実現するというものである．図 5 に離散的な状態（モー ド）遷移と各離散状態での動作モデルを統一的に表現し たハイブリッドオートマトンモデルを示す．運転行動と 照らし合わせたとき，各離散状態はある種の運転モード を表し，矢印で表される離散状態遷移がモードを切り替 える判断を表すとみなせる．例えば離散状態Ⅰから離散 状態Ⅲへの遷移は追従モードからレーンチェンジモード への切替え（判断）を表す．HDS に対するシステム同 定手法における代表例として，局所ダイナミクスを特徴 量としたクラスタリングに基づく手法 [Ferrari-Trecate 03]があげられるが，この手法を適用することで，各離 散状態の連続ダイナミクス（動作）とその切替条件（判 断）の両者が同定可能となる．このように共通のデータ から矛盾なく判断と動作をモデル化できるという意味に おいてこのアプローチは興味深い．ただし，このモデル を適用する場合，離散状態の数を何らかの指標に基づて 決めることになるが，その数によって行動表現の粒度が 変わることになる．また，[Okuda 13] では，離散的モー ド遷移（判断）に前節で述べたロジスティック関数を組 み込んだ HDS モデルが提案されており，いくつかの運 転シーンにおいてその有用性が示されている．6．
計 画 と 制 御
経路計画は，安全性などの制約条件を満たしつつ，あ る種の評価関数を最小化する経路を求める問題である． 制約条件は必ず満たさなければならない制約を規定する のに対し，評価関数は満たすほうが望ましい制約を規定 するという解釈もでき，ソフト制約と呼ばれることもあ る．通常の経路計画においては，車両の動特性そのものは あまり考慮されず，運動学的な性質のみに着目して，ク ロソイド曲線などをベースとしてそのパラメータを決め る問題に帰着されることが多い．一方，制御は経路計画 と速度計画で得られた軌跡をできるだけ正確に実現する よう操作量（ステア角度や車の加減速度）を決める問題 である．制御においては，センサからのフィードバック 情報をもとに適切な操作量を計算するが，その際に車両 のもつ動特性や操作量の制限値を考慮する必要がある． 6･1 モデル予測制御による計画と制御の統合 近年になって，計画と制御をモデル予測制御（Model Predictive Control：MPC）という枠組みの中で統合 する研究が多く見られるようになってきた [Cesari 17, 図 5 ハイブリッドオートマトンの例（離散状態数が 6 の場合）Koga 16, Nilsson 16]．MPC は別名 Receding Horizon Controlとも呼ばれるが，制御アクションを実行する各 離散時刻において，センサ情報とモデルを用いて計算さ れた予測情報に基づいて実時間での制約付き最適化問題 を解き，当該離散時刻における最適制御入力を求め，実 行する．このように，MPC は，フィードバック制御と しての性質と最適制御の両者を融合した制御手法とみな すことができる．観測，予測と最適化を繰り返しながら 制御を進めていく点が人間の行動知能と類似しており， ある種の工学的な知能のベースを与えるとも考えられ ることから，制御工学者以外からも注目を集めている． MPCの枠組みを使えば，もはや経路計画と制御の問題 を分離する必要はなく，一つのパッケージとして実装で きる．図 6 に MPC の時間領域での動作概要を示す． 図 6 において，u は最適化する操作入力，x は状態変 数を表す．＊（k｜ti）という表記は，離散時刻 tiにおける kステップ先の予測値を示し，N は予測ステップ数を示 す．図 6 の例では現在の離散時刻 t1において，状態 x（t1） を観測し，予測区間 0…N に対して，モデルと評価関数 と制約条件に基づいて，入力系列 u（k｜t1）を最適化する． 最適化計算の定式化については次節で述べる．現在の離 散時刻 t1おける操作入力は u（t1）＝u（0｜t1）で定められ， 実行される．ここで，u（1｜t1）… u（N｜t1）は制御には使 わない点に注意されたい．離散時刻 t2になれば，再度状 態 x（t2）を観測し，同じことを繰り返す． 6･2 モデル予測制御の定式化とアルゴリズム MPCにおける最適化計算は一般的に図 7 に示す形式 で定式化される．この定式化では，N ステップ先までの 評価区間に対して設定された評価関数 J を与えられた制 約条件を満たす範囲内で最小化する形で最適入力を求め ている．ここで，u（k｜t）と x（k｜t）は車両の状態方程 式に従う因果的な関係性を満たす必要があるため，両者 は同時に最適化されることになる．このように，評価関 数と（予測モデルを含めた）制約条件さえ適切に与える ことができれば，制御工学に関する専門的知識を有しな い技術者でも MPC を実装することはできる． MPCを実装するうえでの最大のポイントは上記の最 適化計算であり，特に機械系への応用の場合，制御周期 が 0.1 秒以下となることがほとんどであるため，それ以 下の計算時間で最適化問題を解かなければならない．こ の点は特に，非線形の制約や評価関数が与えられたとき には大きな問題となる．この点を克服する手法として， 制御周期が短いことを逆に利点と捉え，離散時刻 t での 最適解は離散時刻 t−1 での最適解と大きな相違はない はず，との着想に立ち，毎回，最適計算を行う代わり に連続変形法と呼ばれる最適解の変化分のみを求める手 法が提案されている [Ohtsuka 04]．解の連続性がある 程度保証されるような応用では，この手法は極めて有効 である．また，厳密に最適解を解くことをあきらめ，解 候補のサンプルを多数発生させ，それぞれのサンプルの 評価値を計算し，最も良いものを採用する Randamized Model Predictive Control（RMPC）が提案され，自動 車分野への応用も見られる [Moser 15]．RMPC の場合， 解探索に用いるサンプル数がその性能を左右する重要な パラメータとなる． 自動車への MPC の応用を考えた場合，自車位置や， 周辺者の予測行動が確率的な曖昧さを含むことは十分に あり得る．この場合，制約条件や評価関数にどのように 確率的要素を組み込むかが課題となるが，その手法とし て，機会制約（chance constraint）という制約の定式化 が知られている [Ono 10]．これは，ある制約条件が満た される確率をある定められた値以上にする，という制約 の考え方であり，この機会制約は等価な確定的制約に変 換できることも知られている． 最後に，自動運転で今後重要となる自車両と他者との インタラクションを考慮した MPC への拡張について簡 単に触れておこう．一般に周辺他者（他車両や歩行者な ど）の挙動は自車両の挙動の影響を受ける．したがって 周辺他者の行動予測と自車両の挙動の最適化を切り離し て考えることは不自然である．実際，人間は日常的にこ のようなインタラクションに対処し，周辺他者との間で 適切な合意形成を実現している．MPC の枠組みでは， 周辺他者の行動と自車両の挙動との間にある種の因果関 図 6 モデル予測制御の時間領域での動作概要 図 7 モデル予測制御における最適化計算
係を規定し，それを制約条件の中に記述することで，自 然な形でインタラクションを考慮した最適化が実現でき る．文献 [Okuda 17] では，高速道路での合流シーンに おいて，5･1 節で述べた判断エントロピーを MPC に組 み込むことで，そういった合意形成を実現する制御手法 が提案されている． 計算量の低減など，MPC における解決すべき課題は 少なくないが，基本的には制約条件と評価関数をうまく 規定するだけで実時間性の強い知能が実現できる．また， 行動モデルに関する研究成果をそのまま取り込むことが でき，他者とのインタラクションも自然な形で考慮でき る．これらを考え合わせると，MPC は今後の自動運転 車両のキーテクノロジーの一つになると思われる．
7．まとめと
今後の課題
本稿では，自動運転に必要な機能群を紹介し，それら のいくつかについて最新のトピックスを紹介した．一方 で，自動運転に必要な知能を機能分解することなく，す べて深層学習で運転データから実現しようとの試みも見 られる．しかしながらこの場合，運転という限定したド メインでさえも膨大な学習データが必要となることが予 想され，現実的とはいえない．特に他者との間でインタラ クティブな行動が発生する状況では，この問題はより顕 在化する．さらには極めて高い安全性が求められる自動 車運転では，搭載される知能に高い説明可能性が求めら れる．この点がブラックボックス的なニューラルネット ワークの適用に慎重にならざるを得ない理由でもある． 近未来の自動運転は，本稿で紹介したように運転知能 をいくつかの機能に分解し，機能ごとに適切なモデルを構 築しつつ，モデルを改善することで知能のレベルを上げ ていくと予想される．モデルをつくる段階では機械学習 的なアプローチが有効であり，一部はニューラルネット ワークのようなモデルが使われることになるであろう． 今後は機械学習に基づくモデル構築とモデルに基づく最 適化の融合が運転知能構築の となるように思われる．◇ 参 考 文 献 ◇
[Akai 17] Akai, N., Morales, L. Y., Yamaguchi, T., Takeuchi, E., Yoshihara, Y., Okuda, H., Suzuki, T. and Ninomiya, Y.: Autonomous driving based on accurate localization using multilayer LiDAR and dead reckoning, Proc. IEEE Int. Conf.
on Intelligent Transportation Systems, pp. 1147-1152（2017） [Akai 18a] Akai, N., Morales, L. Y. and Murase, H.: Mobile robot
localization considering class of sensor observations, Proc.
IEEE/RSJ Int. Conf. on Intelligent Robots and Systems, pp.
3159-3166（2018）
[Akai 18b] Akai, N., Morales, L. Y. and Murase, H.: Simultaneous pose and reliability estimation using convolutional neural network and rao-blackwellized particle filter, Advanced
Robotics, Vol. 32, No. 17, pp. 930-944（2018）
[Akita 08] Akita, T., Suzuki, T., Hayakawa, S. and Inagaki, S.: Analysis and synthesis of driving behavior based on mode
segmentation, Proc. Int. Conf. on Control, Automation and
Systems, pp. 2884-2889（2008）
[Almqvist 18] Almqvist, H., Magnusson, M., Kucner, T. and Lilienthal, A. J.: Learning to detect misaligned point clouds, J.
Field Robotics, Vol. 35, No. 5, pp. 662-677（2018）
[Badrinarayanan 17] Badrinarayanan, V., Kendall, A. and Cipolla, R.: SegNet: A deep convolutional encoder-decoder architecture for image segmentation, IEEE Trans. on Pattern
Recognition and Machine Intelligence, Vol. 39, No. 12, pp.
2481-2495（2017）
[Biber 03] Biber, P. and Straßer, W.: The normal distributions transform: A new approach to laser scan matching, Proc.
IEEE/RSJ Int. Conf. on Intelligent Robots and Systems, pp.
2743-2748（2003）
[Brannstrom 13] Brannstrom, M., Sandblom, F. and Hammarstrand, L.: A probabilistic framework for decision-making in collision avoidance systems, IEEE Trans. on
Intelligent Transportation Systems, Vol. 14, No. 2, pp. 637-648
（2013）
[Caselitz 16] Caselitz, T., Steder, B., Ruhnke, M. and Burgard, W.: Monocular camera localization in 3D LiDAR maps, Proc.
IEEE/RSJ Int. Conf. on Intelligent Robots and Systems, pp.
1926-1931（2016）
[Cesari 17] Cesari, G., Schildbach, G., Carvalho, A. and Borrelli, F.: Scenario model predictive control for lane change assistance and autonomous driving on highways, IEEE
Intelligent Transportation Systems Magazine, Vol. 9, No. 3, pp.
23-35（2017）
[Chen 18] Chen, L.-C., Zhu, Y., Papandreou, G., Schroff, F. and Adam, H.: Encoder-decoder with atrous separable convolution for semantic image segmentation, Proc. European Conf. on
Computer Vision, pp. 833-851（2018）
[Chollet 17] Chollet, F.: Xception: Deep learning with depthwise separable convolutions, Proc. IEEE Conf. on Computer Vision
and Pattern Recognition, pp. 1251-1258（2017）
[Dalal 05] Dalal, N. and Triggs, B.: Histograms of oriented gradients for human detection, Proc. IEEE Conf. on Computer
Vision and Pattern Recognition, pp. 886-893（2005）
[Dollár 14] Dollár, P., Appel, R., Belongie, S. and Perona, P.: Fast feature pyramids for object detection, IEEE Trans. on Pattern
Analysis and Machine Intelligence, Vol. 36, No. 8, pp.
1532-1545（2014）
[Felzenszwalb 10] Felzenszwalb, P., Girshick, R., McAllester, D. and Ramanan, D.: Object detection with discriminatively trained part-based models, IEEE Trans. on Pattern Analysis
and Machine Intelligence, Vol. 32, No. 9, pp. 1627-1645（2010） [Ferrari-Trecate 03] Ferrari-Trecate, G., Muselli, M., Liberati, D. and Moran, M.: A clustering technique for the identification of piecewise affine and hybrid systems, Automatica, Vol. 39, No. 2, pp. 205-217（2003）
[Girshick 14] Girshick, R., Donahue, J., Darrell, T. and Malik, J.: Rich feature hierarchies for accurate object detection and semantic segmentation, Proc. IEEE Conf. on Computer Vision
and Pattern Recognition, pp. 580-587（2014）
[He 16] He, K., Zhang, X., Ren, S. and Sun, J.: Deep Residual learning for image recognition, Proc. IEEE Conf. on Computer
Vision and Pattern Recognition, pp. 770-778（2016）
[He 17] He, K., Gkioxari, G., Dollár, P. and Girshick, R.: Mask RCNN, Proc. IEEE Int. Conf. on Computer Vision, pp. 2961-2969（2017）
[Hillenbrand 06] Hillenbrand, J., Spieker, A. M. and Kroschel, K.: A multilevel collision mitigation approach & mdash; Its situation assessment, decision making, and performance tradeoffs, IEEE Trans. on Intelligent Transportation Systems, Vol. 7, No. 4, pp. 528-540（2006）
[Javanmardi 17] Javanmardi, E., Javanmardi, M., Gu, Y. and Mahdimijo, S.: Autonomous vehicle self-localization based on multilayer 2D vector map and multi-channel LiDAR, Proc.
IEEE Intelligent Vehicles Symposium, pp. 437-442（2017） [Kendall 15] Kendall, A., Grimes, M. and Cipolla, R.: PoseNet:
relocalization, Proc. IEEE Int. Conf. on Computer Vision, pp. 2938-2946（2015）
[Koga 16] Koga, A., Okuda, H., Tazaki, Y., Suzuki, T., Haraguchi, K. and Kang, Z.: Realization of different driving characteristics for autonomous vehicle by using model predictive control,
Proc. IEEE Intelligent Vehicles Symposium, pp. 722-728（2016） [Krizhevsky 14] Krizhevsky, A., Sutskever, I. and Hinton, G.: ImageNet classification with deep convolutional neural networks, in Advances in Neural Information Processing
Systems, pp. 1097-1105（2014）
[Lin 18] Lin, T.-Y., Goyal, P., Girshick, R., He, K. and Dollár, P.: Focal loss for dense object detection, arXiv preprint
arXiv:1708.02002v2（2018）
[Liu 07] Liu, Y. and Ozguner, U.: Human driver model and driver decision making for intersection driving, Proc. 2007 IEEE
Intelligent Vehicles Symposium, pp. 642-647（2007）
[Liu 16] Liu, W., Anguelov, D., Erhan, D., Szegedy, C., Reed, S., Fu, C.-Y. and Berg, A.: SSD: Single shot multibox detector,
Proc. European Conf. on Computer Vision, pp. 21-37（2016） [Long 15] Long, J., Shelhamer, E. and Darrell, T.: Fully
convolutional networks for semantic segmentation, Proc. IEEE
Conf. on Computer Vision and Pattern Recognition, pp.
3431-3440（2015）
[Moser 15] Moser, D.,Waschl, H., Kirchsteiger, H., Schmied, R. and Re, del L.: Cooperative adaptive cruise control applying stochastic linear model predictive control strategies, Proc.
European Control Conference, pp. 3383-3388（2015）
[Nilsson 16] Nilsson, J., Brannstrom, M., Fredriksson, J. and Coelingh, E.: Longitudinal and lateral control for automated yielding maneuvers, IEEE Trans. on Intelligent Transportation
Systems,Vol. 17, No. 5, pp. 1404-1414（2016）
[Ohtsuka 04] Ohtsuka, T.: A continuation/GMRES method for fast computation of nonlinear receding horizon control,
Automatica, Vol. 40, No. 4, pp. 563-573（2004）
[Okuda 13] Okuda, H., Ikami, N., Suzuki, T., Tazaki, Y. and Takeda, K.: Modeling and analysis of driving behavior based on a probability-weighted ARX model, IEEE Trans. on
Intelligent Transportation Systems, Vol. 14, No. 1, pp. 98-112
（2013）
[Okuda 16] Okuda, H., Harada, K., Suzuki, T., Saigo, S. and Inoue, S.: Modeling and analysis of acceptability for merging vehicle at highway junction, Proc. IEEE Int. Conf. on
Intelligent Transportation Systems, pp. 1004-1009（2016） [Okuda 17] Okuda, H., Harada, K., Suzuki, T., Saigo, S. and
Inoue, S.: Design of automated merging control by minimizing decision entropy of drivers on main lane, Proc. IEEE
Intelligent Vehicles Symposium, pp. 640-646（2017）
[Ono 10] Ono, M., Blackmore, L. and Williams, B. C.: Chance constrained finite horizon optimal control with nonconvex constraints, Proc. American Control Conference, pp. 1145-1152 （2010）
[Pomerleau 14] Pomerleau, F., Krüsi, P., Colas, F., Furgale, P. T. and Siegwart, R.: Long-term 3D map maintenance in dynamic environments, Proc. IEEE Int. Conf. on Robotics and
Automation, pp. 3712-3719（2014）
[Redmon 16] Redmon, J., Divvala, S., Girshick, R. and Farhadi, A.: You only look once: Unified, real-time object detection, Proc.
IEEE Conf. on Computer Vision and Pattern Recognition, pp.
779-788（2016）
[Redmon 18] Redmon, J. and Farhadi, A.: YOLOv3: An Incremental Improvement, arXiv preprint arXiv:1804.02767 （2018）
[Ren 17] Ren, S., He, K. and Girshick, R.: Faster R-CNN: Towards real-time object detection with region proposal networks,
IEEE Trans. on Pattern Analysis and Machine Intelligence,
Vol. 39, No. 6, pp. 1137-1149（2017）
[Sekizawa 07] Sekizawa, S., Inagaki, S., Suzuki, T., Hayakawa, S., Tsuchida, N., Tsuda, T. and Fujinami, H.: Modeling and recognition of driving behavior based on stochastic switched ARX Model, IEEE Trans. on Intelligent Transportation
Systems, Vol. 8, No. 4, pp. 593-606（2007）
[Sundvall 06] Sundvall, P. and Jensfelt, P.: Fault detection for mobile robots using redundant positioning systems, Proc.
IEEE Int. Conf. on Robotics and Automation, pp. 3781-3786
（2006）
[Taguchi 07] Taguchi, S., Inagaki, S., Suzuki, T., Hayakawa, S. and Tsuchida, N.: Modeling and analysis of driver’s decision making based on logistic regression model, Proc. SICE Annual
Conference, pp. 2390-2395（2007）
[Tipaldi 13] Tipaldi, G. D., Meyer-Delius, D. and Burgard, W.: Lifelong localization in changing environments, Int. J.
Robotics Research, Vol. 32, No. 14, pp. 1662-1678（2013） [Tu 16] Tu, C., Takeuchi, E., Miyajima, C. and Takeda, K.:
Compressing continuous point cloud data using image compression methods, Proc. IEEE Int. Conf. on Intelligent
Transportation Systems, pp. 1712-1719（2016）
[Uijlings 13] Uijlings, J., Sande, van de K., Gevers, T. and Smeulders, A.: Selective search for object recognition, Int. J.
Computer Vision, Vol. 104, No. 2, pp. 154-171（2013）
[Valencia 14] Valencia, R., Saarinen, J., Andreasson, H., Vallvé, J., Andrade-Cetto, J. and Lilienthal, A. J.: Localization in highly dynamic environments using dual-timescale NDT-MCL, Proc.
IEEE Int. Conf. on Robotics and Automation, pp. 3956-3962
（2014）
[Viola 01] Viola, P. and Jones, M.: Rapid object detection using a boosted cascade of simple features, Proc. IEEE Conf. on
Computer Vision and Pattern Recognition（2001）
[Zhao 17] Zhao, H., Shi, J., Qi, X., Wang, X. and Jia, J.: Pyramid scene parsing network, Proc. IEEE Conf. on Computer Vision
and Pattern Recognition, pp. 2881-2890（2017） 2019年 1 月 15 日 受理
