低解像度LIDARを用いたスキャンライン数の変化にロバストな物体分類手法に関する研究

1

博士論文

低解像度 LIDAR を用いたスキャンライン数の変化に

ロバストな物体分類手法に関する研究

公立はこだて未来大学大学院 システム情報科学研究科

システム情報科学専攻

永島 徹

2019 年 8 月

Doctoral Thesis

Research on Robust Object Classification Method to

Variation of the Number of Scan Lines Using Low-resolution

LIDAR

by

Toru Nagashima

Graduate School of Systems Information Science

Future University - Hakodate

2 概要 本論文では，量産車へ向けた安価な周辺監視システムを提供することを目的として， 低解像度 LIDAR を用いたスキャンライン数の変化に対してロバストな物体分類手法に 関する研究について述べる．具体的にスキャンライン数が変化する状況として，スキャ ンラインが欠損する場合と LIDAR の設置高さを変化させた場合についてロバスト性を 検証した． 交通事故死者数や交通事故の削減を目的とし，自動車メーカ各社は先進運転支援シス テム（ADAS; Advanced Driving Assistant System）あるいは自動運転車の開発に取り組ん でいる．ADAS や自動運転車向けのセンサには主にカメラ，ミリ波レーダ，LIDAR が ある．LIDAR は，赤外線レーザを照射して反射光から物体までの位置を測定するセン サである．赤外光を自身から照射することから，夜間でのセンシング，トンネルなどの 明暗の切り替わりが激しい場所，雨天時など周囲の環境に左右されずに安定したセンシ ングできる．また，距離分解能が高く物体の外形をとらえることができる．カメラ，ミ リ波の弱点を補完する ADAS/自動運転車には必須のセンサとされている． LIDAR から得られる点群データを用いた物体認識に関する研究は古くから行われて きた．手法に注目すると，特徴量を SVM などの分類器で識別する従来の機械学習に基 づく手法と近年急速に発展した深層学習を応用した手法に大別される．LIDAR のスペ ックに注目すると，高解像度 LIDAR と低解像度 LIDAR を用いた研究に分けられる． ADAS/自動運転車の周辺監視システムのためには，交通環境に登場する様々な物体をと らえる必要があり，多クラス分類ができる深層学習が向いている．量産車向けを対象に していることを考慮すると比較的安価な低解像度 LIDAR を用いることが望まれる． 本研究では，スキャンラインの本数が 10 本前後と比較的垂直分解能が低い低解像度 LIDAR を用いて，スキャンラインごとに独立した認識をする前段と，前段の結果を統 合して最終的な結果を得る後段からなる深層学習に基づく二段構成認識手法を提案し た．性能を評価するために，歩行者，自転車，自動二輪，車両，その他の物体を実機 LIDAR にて計測し，高い正解率で分類した．さらに，このようにスキャンラインごと に独立した構造をとることで，提案手法はスキャンラインの欠損に対するロバスト性が 向上する．これを検証するために，スキャンラインが欠損した歩行者データに対して， LIDAR データを深度画像に変換して畳み込みニューラルネットワーク（CNN）により 分類する手法と比較をし，提案手法が優位であることを示した． 次に，提案手法が LIDAR の設置高さに依存した学習をすることに対し，これを抑制 する改良を加えた． 量産車では車種ごとに車高が異なるため，LIDAR の設置高さに

3 依存した学習をすると，車種ごとに再学習の必要性が生ずる．LIDAR の設置高さに依 存した学習を抑制することを目的として，提案手法の前段と後段の間にプーリング層を 追加した．ドライビングシミュレータソフトにて設置高さの異なる LIDAR データを生 成し，改良の効果を検証した． Abstract

In this paper, we describe the research on object recognition method using low resolution LIDAR for the purpose of providing an inexpensive peripheral surveillance system for popular cars.

In order to reduce the number of traffic fatalities and traffic accidents, automakers are working on the development of Advanced Driving Assistant System (ADAS) and autonomous vehicles. Sensors for ADAS and autonomous vehicles are mainly cameras, millimeter-wave radars and LIDAR. LIDAR is a sensor that irradiates an infrared laser to measure the position from reflected light to an object. Since infrared light is emitted from itself, stable sensing can be performed without being influenced by the surrounding environment such as sensing at night, a place where switching of light and dark such as tunnel is intense, and rainy weather. Besides, LIDAR has high distance resolution and can capture outlines of objects. LIDAR is considered as an essential sensor for ADAS / autonomous vehicles that compensate for camera and millimeter wave weaknesses.

Research on object recognition using point cloud data obtained from LIDAR has been conducted for a long time. Focusing on the method, it is roughly divided into conventional machine learning based methods of identifying feature quantities with a classifier such as SVM and methods applying deep learning that has rapidly developed in recent years. Focusing on LIDAR specifications can be divided into research using high-resolution LIDAR and low-resolution LIDAR. It is necessary to capture various objects appearing in the traffic environment, and deep learning method that can be classified into multiple classes is

appropriate for the peripheral monitoring system of the ADAS / automated car. It is desirable to use a relatively inexpensive low resolution LIDAR, considering that it is installed at a popular car.

In this study, we used a low resolution IDAR with relatively low vertical resolution, around 10 scan lines. We have proposed a two-stage recognition method based on deep learning, consisting of the former stage of independent recognition for each scan line and the latter stage of

4

performance of proposed method, pedestrians, bicycles, motorcycles, vehicles, and other objects were measured with a real machine LIDAR and classified with high accuracy rate. Furthermore, by adopting an independent structure for each scan line in this manner, the proposed method is more robust to scan line defects. In order to verify this robustness, we compared the proposed method with the method that convert LIDAR data into depth image and classify it by

convolutional neural network (CNN).

Next, we added an improvement that prevents the proposed method from learning depending on the LIDAR installation height. Popular cars vary in height depending on the model. For this reason, if it depends on the installation height of LIDAR, relearning is necessary for each vehicle type. We have added a pooling layer between the former stage and the latter stage of the proposed method in order to suppress learning dependent on LIDAR installation height. The LIDAR data with different installation heights were generated with the driving simulator software, and the effects of the improvement were verified.

5 第 1 章 序章 ... 10 1.1 自動運転車の開発背景と市場動向 ... 10 1.2 SAE による自動運転車の定義 ... 12 1.3 自動運転車の歴史 ... 14 1.4 自動運転車に必要な機能・センサ，およびLIDAR の重要性 ... 15 第 2 章 関連研究 ... 19 2.1 点群データの一般的な事前処理 ... 19 2.2 高解像度LIDAR を用いた物体認識 ... 21 2.3 低解像度LIDAR を用いた物体認識 ... 22 2.4 先行研究の課題と問題提起 ... 23 第 3 章 スキャンラインごとに独立した結果を統合する物体分類 ... 26 3.1 深層学習に基づく2 段構成型分類器 ... 26 3.2 提案手法における事前処理 ... 27 3.3 提案手法の訓練手順と分類における運用方法 ... 28 3.4 本研究の目的 ... 31 第 4 章 スキャンラインの欠損に対するロバスト性 ... 34 4.1 2 段構成型物体分類手法の基礎検討 ... 34 4.1.1 DNN を適用した構成 ... 34 4.1.2 DNN または CNN を適用した構成の比較 ... 44 4.1.3 基礎検討のまとめ ... 46 4.2 ライン欠損に対するロバスト性の検証 ... 47 4.2.1 実験条件 ... 47 4.2.2 結果と考察... 50 4.2.3 実証実験のまとめ ... 54 第 5 章 LIDAR 設置高さに対するロバスト性 ... 56 5.1 LIDAR の設置高さに対するロバスト性の検証... 56 5.1.1 LIDAR の設置高さに依存した学習 ... 56

6 5.1.2 LIDAR の設置高さに依存した学習の抑制 ... 56 5.1.3 実験条件 ... 58 5.1.4 結果と考察... 62 5.2 改良後提案手法の応用例 ... 64 5.2.1 広範囲なLIDAR の設置高さにおいて正解率を向上 ... 64 5.2.2 テストデータにおけるLIDAR の低解像化 ... 65 5.2.3 まとめ ... 66 第 6 章 結論 ... 67 謝辞 ... 69 参考文献 ... 70 図 1.1：1960 年から 2018 年までの交通事故死者数の推移（日本国内） ... 10 図 1.2：自動運転システムの世界市場規模予測 ... 11 図 1.3：SAE による 6 段階自動運転レベルの定義 ... 13 図 2.1：一般的な点群データの処理フロー ... 20 図 2.2：ライン数別に分類器を学習させる方法の概念図 ... 23 図 2.3：想定される物体に照射されるライン数が変化する状況 ... 24 図 3.1：ディープラーニングに基づく 2 段構成型分類器の提案 ... 27 図 3.2：提案手法の訓練手順 ... 30 図 3.3：本論文における検知と分類の定義 ... 31 図 3.4：本研究における第 4，5 章の位置づけ ... 33 図 4.1：ディープニューラルネットワークを適用した提案手法 ... 35 図 4.2：LIDAR による物体の計測実験の概略図 ... 36 図 4.3：物体の写真とその点群データ ... 38 図 4.4：DNN1と DNN2の層構造 ... 39 図 4.5：歩行者の 3 番目スキャンラインを入力したときの他のカテゴリの出力 ... 42 図 4.6：歩行者の 7 番目スキャンラインを入力したときの他のカテゴリの出力 ... 43 図 4.7：DNN を基にした層構造 ... 44 図 4.8：1DCNN を基にした層構造 ... 45 図 4.9：LIDAR による物体の計測実験の概略図 ... 48 図 4.10：DNN1の正解率 ... 51

7 図 4.11：DNN2の正解率 ... 51 図 4.12：スキャンラインを欠損させた歩行者データに対する正解率 ... 52 図 4.13：荷物を持った歩行者データに対する正解率 ... 53 図 4.14：荷物を持った歩行者データに対する DNN1 における正解率 ... 54 図 4.15：データの中心の説明図 ... 54 図 5.1：改良後の提案手法 ... 57 図 5.2：ドライビングシミュレータソフトで生成した LIDAR データ ... 59 図 5.3：提案手法の層構造の詳細 ... 60 図 5.4：LIDAR の取り付け位置 ... 61 図 5.5：LIDAR の設置高さを変化させたときの改良前後の提案手法の正解率 ... 63 図 5.6：訓練データが基準位置のみの場合と±30 cm のデータを含めた場合の正解率 65 図 5.7：スキャンラインの本数を間引いた LIDAR データに対する正解率 ... 66 表 1-1：レベル 4 以上の自動運転に必要な認識・識別機能とセンサベンチマーク .... 16 表 1-2：LIDAR の分類 ... 18 表 4-1：DNN1の正解率 ... 40 表 4-2：DNN2の正解率 ... 44 表 4-3：DNN と CNN に基づく構造の比較 ... 46 表 4-4：測定した物体のサイズ ... 47 表 5-1：訓練・検証・テストデータの枚数と改良前後における提案手法の正解率 .... 62

8 各章の概要 第 1 章 序章 近年，カーメーカ各社および政府は ADAS/自動運転車の研究開発を推進している．そ の研究開発の背景を，人口の高齢化や交通死亡事故，MaaS の観点から説明する．次に， ADAS/自動運転車の機能を実現するためのセンサを列挙する．それらと比較して LIDAR が有する利点や役割について述べ，LIDAR を用いた物体認識の重要について解 説する．LIDAR は発展途上の技術であり，スキャン方式には様々な種類がある．スキ ャン方式による違いを述べたうえで，本研究では現状最も安定した動作をする装置回転 式 LIDAR を使用することを述べる． 第 2 章 関連研究 関連研究を高解像度 LIDAR と低解像度 LIDAR を用いた研究に大別し，本研究との位置 づけを示す．高解像度 LIDAR を用いた研究はさらに，特徴量を記述しそれに基づいて 分類する従来の機械学習手法と深層学習を応用した分類手法に大別した．高解像度 LIDAR は LIDAR 自体のコストの面やデータ量の多さの面から大衆車向けでないことを 述べる．低解像度 LIDAR を用いた研究は，室内ロボット用の歩行者検知など車両用途 以外の手法と車両用途の研究に大別した．車両用途に関する研究では，パーティクルフ ィルタなどを用いて移動体追跡をする研究について述べる．そして，これらの研究は， ADAS/自動運転車が求める静止物体を含めた多クラス物体の検知には向かないことを 指摘する．他には，3 次元畳み込みニューラルネットワークにより歩行者の特徴量を抽 出する手法を紹介する．そして，物体に照射されるスキャンラインの本数ごとに別々の 分類器を用意していることが，ラインの変化に対するロバスト性を低下させる要因にな ることを問題提起する． 第 3 章 スキャンラインごとに独立した結果を統合する物体分類 関連研究で指摘した問題提起に対し，スキャンラインごとに独立した分類を統合する物 体認識手法を提案し，ひとつのネットワーク構造で異なるスキャンラインの本数の入力 に対応していることを述べる．提案手法は 2 段構成であるが，データを学習させる手順 や分類時における利用方法について解説する．さらに提案手法にはスキャンラインの欠 損に対するロバスト性と LIDAR の設置高さの変化に対するロバスト性あることを述べ， 次章以降でこれらを検証する． 第 4 章 スキャンラインの欠損に対するロバスト性 まず基本的な性能評価をするため，5 種類の物体（歩行者/自転車/自動二輪車/車両/その 他）を実機 LIDAR を用いて測定し分類を試みた．次に，提案手法を 2 段構成にしたこ とでスキャンラインの欠損に対してロバスト性が向上したことを，LIDAR データを深

9 度画像に変換して畳み込みニューラルネットワークにより分類する手法と比較して，示 す． 第 5 章 LIDAR の設置高さの変化に対するロバスト性 第 4 章で提案した手法は LIDAR の設置高さに依存した学習がされていることを指摘す る．車種ごとによって車高は異なるため，量産車へ応用する際に問題になることを提起 する．提案手法の前段と後段の間にプーリング層を追加することで LIDAR の設置高さ に依存した学習を抑制するという仮説を立て，これを検証する．LIDAR の設置高さを 変化させたデータを用意するのにドライビングシミュレータソフトを用いた．さらに， 後段に入力するデータ長が LIDAR のスキャンラインの本数により固定されていたこと が，プーリング層を追加したことで LIDAR のスキャンラインの本数に依らなくなった． このことが，訓練時と分類時で異なる垂直方向分解の LIDAR を用いることができるこ とにつながることを示す． 第 6 章 結論 提案手法に基づくモデルがラインの変化に対するロバスト性が持つことを結論付ける． 本研究における実験条件を再考し，限界点を述べる．そして，未検証事項などを取り上 げて今後の展望を述べる．

10

第1章 序章

1.1 自動運転車の開発背景と市場動向

近年，ACC（Adaptive Cruise Control，車間距離制御装置）や AEB（Autonomous Emergency Braking，衝突被害軽減ブレーキ），LKA（Lane Keeping Assist 車線維持支援）など走行 の安全性や快適性を向上させる ADAS（Advanced Driver Assistance Systems，先進運転支 援システム）の普及が広まり，大衆車にまで標準搭載されはじめている．さらに，人工 知能技術やセンシング技術の発展と共に，運転手を介さないで走行できる完全自動運転 車の実現性が増し，世界中で活発に議論がなされている． 自動運転車を開発する大目的のひとつは，交通事故を減少させることである．事実， 自動運転開発を推進する多くの企業が，交通事故あるいは交通事故死者数の削減を目標 に掲げている．警視庁の交通統計によると，日本国内における 2017 年の交通事故死亡 者数は 3,694 人であった [1]．世界保健機関（WHO）は，2016 年における世界の年間交 通事故者数は約 135 万人と報告している [2]．車両の安全機能向上などを背景に，1993 年以降の交通事故死者数は年々減少傾向にあり，国内における最多交通事故死者数であ る 16,765 人（1970 年）と比較すると大幅に減少している（図 1.1）．しかしながら，2009 年以降の交通事故者数の減少は鈍化傾向にあり，毎年 3,500 人以上の人命が失われてお り，依然として大きな社会的課題であることに変わりはない． 図 1.1：1960 年から 2018 年までの交通事故死者数の推移（日本国内） 0 2,000 4,000 6,000 8,000 10,000 12,000 14,000 16,000 18,000 1960 1970 1980 1990 2000 2010 2020 死者数 （人） 西暦

11 企業が自動運転開発を推進する目的は，社会的課題の解決だけではなく，新たな収益 構造の創出という商業的側面もある．自動運転技術によって，クルマの機能性と付加価 値が高まると同時に，新たな用途やサービスが創出されようとしている．クルマの付加 価値を向上させる代表例では，“快適な個室空間”をクルマの新たな価値として売り出 そうという動きがある．欧州の自動車メーカの中には，自動運転モード時ではハンドル， アクセルペダル，ブレーキペダルを車体に収納し，車内にリビング空間を演出するコン セプトが発表されている [3]．新たな用途の創出の例では，カーシェアリングなど人や 物の移動をサービス化する MaaS（Mobilty as a Servis）が注目を集めている．また，既 存の交通手段を活用する MaaS に対して，（株）未来シェアは“未来型 AI 公共交通サー ビス SAVS（Smart Access Vehicle Service）”を提唱している [4]．

以上のように自動運転車の開発目的は一つではない．同様に，利用者側の要求や期待 も様々である．ドライバーの高齢化やドライバー不足，移動弱者の増加，都市人口密集 による渋滞の発生，駐車場の増加など，交通インフラ上には多くの社会課題が存在する． 自動運転車に関心が集まる理由は，これらの交通上の社会課題に直接的あるいは間接的 に解決策を与える可能性を秘めていることにある．図 1.2 に示すように，自動運転レベ ル 1～5 を搭載した自動車の生産台数の合計は，2030 年には 2018 年の市場規模の 3.5 倍 以上に拡大する見通しがある [5]．自動運転の開発は一時の流行にとどまることなく， 今後も加速されることが予想される．なお，自動運転レベルについては次節 1.2 で解説 する． 図 1.2：自動運転システムの世界市場規模予測 0 10,000,000 20,000,000 30,000,000 40,000,000 50,000,000 60,000,000 70,000,000 80,000,000 90,000,000 2018年 （実績） 2020年 （予測） 2023年 （予測） 2025年 （予測） 2030年 （予測） 生 産 台 数 （台） レベル4/5 高度自動運転/ 完全自動運転 レベル3 条件付自動化 レベル2 部分的自動化 レベル1 運転支援機能

12

1.2 SAE による自動運転車の定義

自動運転車と一口に言っても，搭載されている機能や想定される使用環境は様々であ る．自動運転の分類として，自動化レベルによるものが有名である．自動化レベルとは， 運転操作，環境や車両の監視について，人と機械のどちらが行うかに基づいて分類した ものである．日本ではアメリカの SAE（Society of Automotive Engineers）が定義する 6 段階のレベルが使われている（図 1.3） [6]．この分類は，自動化レベルがあがると機 械の知能レベルは必ずしもあがるわけではなく，運転操作・環境や車両の監視・自動運 転中断時の運転操作の観点から，人と機械の運転に関する役割分担を整理したものであ る． レベル 0：手動運転．自動運転機能を持たないクルマである．ドライバーがハンドル， アクセル，ブレーキを操作して，操舵・加速・制御を実行する．カーナビによる渋滞発 生通知やアラーム音による障害物接近警告など，ドライバーに注意喚起する機能を持つ クルマが該当する． レベル 1：運転支援．運転環境を監視・分析して，操舵・加速・制御のどれかを実行 できる機能を持つクルマである．例えば，センサやカメラでクルマの周辺状況を監視し， 接触などの危険性を判断する．そして，操舵・加速・制御のどれか一つをクルマが自動 実行して危険を回避する．このような自動運転機能を備えるクルマである．クルマが実 行しない操舵・加速・制御はドライバーがハンドル，アクセル，ブレーキを用いて実行 する．また，クルマが自動実行している状態であっても，その制御が適切かどうかはド ライバーが絶えず監視する義務がある． レベル 2：部分的な自動運転．運転環境を監視・分析して，操舵・加速・制御の複数 を実行する機能を持ったクルマである．クルマが実行しない操舵・加速・制御はドライ バーがハンドル，アクセル，ブレーキを用いて実行する．また，クルマが制御している 状態であっても，その制御が適切かどうかはドライバーが絶えず監視する義務がある． レベル 3：条件付き自動運転．特定の環境下において，操舵・加速・制御のすべてを 自動実行する機能を備えるクルマである．ただし，システムが運転操作をドライバーに 要請したときは，ドライバーが運転を実行しなければならない．つまり，レベル 3 自動 運転車は無人車として利用することはできない．特定の環境下とは，走行地域，道路環 境，交通状況，走行速度，時間帯，交通規則などの制限を意味する．レベル 3 の自動運 転車は自律走行できるかどうかを判断する機能を持っている．自律走行可能と判断した 環境下ではそのことをドライバーへ伝達し，ドライバーが自律走行の許可を下す．レベ

13 ル 2 との違いは運転操作の判断をクルマが自律的に実行することであり，レベル 2 より 複雑で高度な運転操作をするとは限らない．自律走行において，ドライバーが関与しな くても安全に走行するように作られている．ただし，日本をはじめとするほとんどの国 における現行の法規制は「公道を走行するクルマの運転責任はドライバーにある」こと が前提とされている．よって，仮にレベル 3 以上の自律的な走行したとしても，運転責 任はドライバーにある． レベル 4：高度な自動運転．レベル 3 同様に特定の環境下において，すべての運転操 作を実行する自律走行機能を備えるクルマである．そして，レベル 3 とは異なり，シス テムが運転操作をドライバーに要請したときにドライバーが適切に対応しない場合で も，クルマが運転操作を継続する．このため，特定の環境下であれば事実上の完全自動 運転として利用することができる． レベル 5：完全な自動運転．人間のドライバーなら適切に運転操作できることが想定 されるすべての環境下において，すべての運転操作を自動実行する機能を備えるクルマ である． 自動運転は，運転操作はすべて機械が行うが，人が監視して何かあったら人が運転し なればならないレベル 2 が始まりといわれる．レベル 3 では，機械が運転操作も監視も 行い，人はセカンドタスクが可能になり，ここから本格な自動運転になる．すべての運 転操作を機械が担当するのはレベル 4 からで，レベル 4 と 5 は運行設計領域（環境制約） の有無の違いがあり，制約のないレベル 5 は完全なる自動運転を意味する． 図 1.3：SAE による 6 段階自動運転レベルの定義 完全自動 運転 レベル5 • システムがすべての運転タスクを実施． • 作動継続が困難な場合，運転者が応答することは期待されない． 高度自動 運転 レベル4 • 限定領域内においてシステムがすべての運転タスクを実施． • 作動継続が困難な場合，運転者が応答することは期待されない． 条件付き自 動運転 レベル3 • 限定領域内においてシステムがすべての運転タスクを実施． • 作動継続が困難な場合，運転者はシステムの介入要求等に対して適切に応答すること が期待される． 部分自動 運転 レベル2 • システムが前後・左右の両方の車両制御に関わる運転タスクのサブタスクを実施． 運転支援 レベル1 • システムが前後・左右のいずれかの車両制御に関わる運転タスクのサブタスクを実施． 手動 レベル0 • 運転者がすべての運転タスクを実施．

14 自動運転が普及していくシナリオは自家用車から発展するパターンとモビリティサ ービスから発展するパターンのふたつが存在する．自家用車から発展するパターンは自 家用車の自動運転機能を徐々に拡張していくものである．現在，製品化されている高速 道路での部分的自動運転から完全自動運転に向けて機能拡張すると同時に，利用可能な 環境を高速道路から一般道へ拡大していく．モビリティサービスから発展するパターン は，レベル 4 以上の高度・完全自動運転のモビリティサービスを最初から実現しようと するものである．走行エリア・ルートの限定や走行速度を低速に限定したものからサー ビスを開始し，段階的にエリアや素行機能の拡大を行っていく．レベル 3 ではすべての 運転操作をシステムが行うにも関わらず，運転手はシステムの監視義務から解放されて いない．このことからレベル 3 よりもむしろレベル 4 が先に発展するという見方もされ ている．

1.3 自動運転車の歴史

自動運転の歴史は古く，概念自体は 1939 年に開催されたニューヨークの世界博覧会 でのジオラマ展示が最初といわれている．1950 年代には磁気テープ上を走行する物理 インフラ型の自動運転が実証されている．1990 年代には物理インフラ型は自動化ハイ ウェイシステムと呼ばれ，米国のみならず日本でも実証が行われた．しかし，この世界 的な実証デモが終わると物理インフラ型は下火となった． 一方，物理的な敷設を必要とせずにカメラなどの車載センサの信号から道路や障害物 の認識を行い，運転を実現する自立型アプローチも古くから研究が進められていた． 1970 年代には日本の機械技術研究所でステレオカメラによって障害物を検出する知能 的な自動車が作られている．1980 年代にはドイツのミュンヘン国防大で VaMoRs と呼 ばれる単眼カメラの自動運転車が作られ，高速道の 100km/h の自動運転を成功させた． 米国カーネギーメロン大学では，NavLab と呼ばれる LIDAR を用いて未舗装道路を走行 する自動運転車が作られ，その後大きく発展する活動となった．この自立型アプローチ で作られた技術は 1990 年代には，運転支援という形での実用化につながった．この自 立型の運転支援の現在の姿が高速道路で実用化されている自動運転レベル 2 である．こ れらは原理的には 1980 年代の高速道路での実証技術の延長線にあるものである．しか し，この自立型のアプローチだけでは一般道のレベル 4 以上の早期実現は困難であった． 一般道のレベル 4 以上の実現には，道路構造や交通参加者の多様性への対応と，レベ ル 4 という人の支援を受けない高信頼性の実現という大きな壁が存在する．この壁に挑 戦し，技術的可能性を示したのは DARPA（国防高等研究計画局）の Grand Challenge の 中で行われた 2007 年の DARP Urban Challenge である．ここには全米のロボティクス分

15 野の最高峰の大学が集まり，無人で市街路を走行するレースが行われた．この技術者ら が Google に集結し，Google での自動運転の活動が開始され，サンフランシスコの実際 の公道での自動運転デモが達成された． それ以前のシステムとの比較で考えると達成の技術ポイントは，LIDAR の利用，2. デジタル地図の導入（高精度地図）の 2 点と考えらえる．すなわち，入力情報の信頼度 と精度を LIDAR で向上させるとともに，敷設が大変な物理インフラの代わりに静的な 走行環境情報を予めデジタル地図として構築して与えた点である．LIDAR はデジタル イ地図を活用するための自己位置推定の手段としても大きな役割を担った．

1.4 自動運転車に必要な機能・センサ，および LIDAR の重要性

表 1-1 に一般道・レベル 4 以上の自動運転での費用機能と代表的なセンサである単眼 カメラ，ステレオカメラ，LIDAR，ミリ波レーダの比較を示す．レベル 2 では主要な検 出対象である車両認識以外の落下物や工作物などの一般障害物はドライバーが対応す ることができたが，レベル 4 以上ではこのような一般障害物や走行可能領域の検出が基 本機能として加わる．一般道では高速道路に比べてデジタルインフラを前提としても， 多くの移動物と信号・灯火などの交通情報の取得も必要となる．さらにレベル 4 以上で は，照明や天候条件に対するロバスト性などのセンサに必要とされる特性への要求が厳 しくなる． 走行環境の認識・識別対象機能の中でも，特に物体認識機能は重要である．衝突回避 のためには障害物が走行線上にあるか否かを判定すれば良いのに対して，物体認識機能 はどこになにの物体があるのか詳細な情報を提供する．現在，自動運転車の開発は発展 途上であり，最終的にどのような機能が要求されるか不確定である．しかしながら，広 義に捉えれば物体認識機能は他の機能を豊富するものであり応用の幅が広い． 基本検出機能を満たすのは，ステレオカメラと LIDAR の 2 つとなる．単眼カメラは近 年ディープラーニングの進展で，性能向上が目覚ましいが，任意形状の障害物の検出や 走行可能領域の推定ができるとまでは言い難い．また，ミリ波レーダも空間分解能が低 いことや，電波反射率が低い障害物の検出ができるとは言えない．このためには，高空 間分解能で立体の存在を原理的に検出できるステレオカメラか LIDAR が必要になる． 両者の本質的な違いは，ステレオカメラはパッシブで，LIDAR はアクティブ，すなわ ち，自ら計測用のレーザを投光点である．そのため，パッシブなステレオカメラは外乱 光などの影響を受けやすく，夜間や逆行などの課題となる状況がある．これが照明や天

16 候ロバストでの差として表現されている．また，距離制度はステレオカメラの画像解像 度に応じた視差に反比例した距離値が得られ，LIDAR は ToF 原理により計測範囲内で は遠方でも cm オーダーで得られる．ステレオカメラの距離値は複数画像間での対応関 係という解釈の結果であり，画像上に例えば壁や路面などのようにパターンが存在しな い部分では距離値が得られづらいという課題がある．さらに視差を確保するために二つ のカメラをある程度距離を置いて配置する必要があり，小型化には限界がある．ステレ オカメラの利点は空間分解能が高く，低コストで実現できる点である． 以上の点から，レベル 4 以上の自動運転を視野に入れると，LIDAR を利用した物体認 識機能の実現が重要である．ただし，表 1-1 [7]からわかるように LIDAR は万能なセン サというわけではない．LIDAR を中心としてカメラや RADAR とセンサフュージョン することも重要である．しかし，複数のセンサ情報を同時に活用することで，あるセン サの寄与具体が不透明になったり，システムとしての故障率が高まったりする恐れがあ る．不必要なセンサフュージョンはシステムを無意味に複雑にする．したがって，LIDAR 単体にて物体認識機能を実現することは重要な課題といえる． 表 1-1：レベル 4 以上の自動運転に必要な認識・識別機能とセンサベンチマーク センサ 基本検出対象 走行環境の認識・識別対象 センサの特性・性能 障害物 走行可 能領域 区画線 等 信号 灯火 物体 認識 接近物 検知 照明 ﾛﾊﾞｽﾄ 天候 ﾛﾊﾞｽﾄ 距離 精度 単眼 カメラ △ △ 〇 〇 〇 △ △ △ △ ステレオ カメラ 〇 〇 〇 〇 〇 △ △ △ △ LIDAR 〇 〇 △ × △ △ 〇 △ 〇 ミリ波 レーダ △ × × × × 〇 〇 〇 〇

1.5 LIDAR の分類

前述のとおり LIDAR は自動運転において重要な役割を担うことが期待されている． ただし，現状は車載用途としては小型化，安定性，耐久性などの点で課題が多い．LIDAR は研究開発段階にあるため，さまざまな走査方式，受発光方式がある．ここでは，レー ザの投受光による走査法の違いに従って LIDAR を分類する．

17 走査法は投光のビームの数と形状（ペンシルビーム，スリットビーム，マルチビーム， フラッシュ），受光素子の数，形状（ライン，アレイ），走査のためのデバイスとその次 元（装置，ミラー，MEMS ミラー，電子スキャン，フェイズドアレー，アレー）など の多様な組み合わせで実現される．ペンシルビームを 2 次元スキャンし，単一受光素子 で受けるものからフラッシュ光を 2 次元素子アレーで受光するフラッシュ LIDAR まで 多様な方式が用いられている．表 1-2 [8]にレーザ投受光の走査方式による LIDAR 分類 を示す． ① 装置回転型 縦方向はマルチビーム，マルチ受光部で構成し，それを 360 度回転させることによっ て水平方向のスキャンを行う LIDAR である．水平方向にスキャンされた点群データの 軌跡は線を描くことから，走査光はスキャンラインあるいはラインと呼ばれる．また， 複数の走査光が層状になることから，レイヤーと呼ばれることもある．本論文では，ニ ューラルネットワークにおけるレイヤーとの用語上の混同を避けるため，走査光をスキ ャンラインまたはラインと表現する． ② ミラー走査型 ポリゴンミラーを回転させることで赤外レーザ光を走査するタイプの LIDAR である． 2000 年代から ACC（車間距離制御装置，Adaptive Cruise Control）などの運転支援用に 採用されていた．4 ラインや 8 ラインの低解像度 LIDAR が古くから自動車用として用 いられている．SPAD（Single Photon Avalanche Diode）素子によってライン受光素子を 構築し，ポリゴンミラーと組み合わせることで 96 ラインまで拡大した高解像度なども ある． ③ MEMS ミラー型 ミラーを機械的に動作させ走査するタイプの LIDAR である．半導体プロセスで作ら れるマイクロミラーを用いることで一つの固定部品となるため，ソリッドステート型の 一つと分類されることがある．MEMS では大きな視野角を実現するのが簡単でないた め，視野を複数に分割して，全体として幅広い視野角を実現しているものが多い． ④ フラッシュ LIDAR 受光素子をアレー状にして空間解像度を得るタイプの LIDAR である．フラッシュ LIDAR はビームスキャンを行わないことから，スキャン機構が不要で小型化でき，注 目を集めている．受光素子には Si や InGaAs が用いられている．900 nm 帯の赤外光に 対する受光素子には Si が用いられている．900 nm 帯の赤外光は，光強度を強めると愛

18 セーフ上の問題が生ずる．そこで，より波長の長い 1,500 nm 帯の赤外光を利用するこ とが考えられている．しかし，Si は 1500nm 帯のレーザには感度を持たないため，InGaAs を用いたフォトダイオードが必要となる．InGaSa は Si の 2 倍程度の価格であり，低コ ストにすることが実用化における大きな課題となっている． ⑤ 電子スキャン型 電子スキャン型には光の位相を制御する光フェイズドアレー型が知られる．フラッシ ュ LIDAR と同様にビームスキャンを行わないことから，小型化が期待されている．米 国ベンチャー企業で試作品が開発されているが，まだ実用化には至っていない． 本研究では，現状最も安定動作し，比較的入手が容易な装置回転型 LIDAR を用いる． 装置回転型 LIDAR は，LIDAR の研究開発初期から製品化された種類であり，精度や信 頼性が比較的高い．米国ベンチャー企業から 64 ラインの高解像度 LIDAR や 16 ライン， 8 ラインの低解像度 LIDAR が発売されている． 表 1-2：LIDAR の分類 ① ② ③ ④ ⑤ 可動部の有無

ビームの走査方式 MEMSミラーによるスキャ_ン Flash LiDAR方式（スキャン_{自体がなし）} 光フェーズドアレーによる_{ビームフォーミング}

水平方向の走査 垂直方向の走査 複数素子による多層化 水平回転ポリゴンミラーの 各面でピッチ角を変更、 複数受光素子 概念図 MEMSミラー メカニカルLIDAR (機構可動部あり) メカレスLIDAR (機構可動部なし) モータ駆動ミラーによるスキャン モータによる回転 距離画像センサのような 拡散したToF光を照射し、 受光素子側をアレー化 ビームフォーミング 受光素子アレー ポリゴンミラー 複 数 素 子

19

第2章 関連研究

2.1 点群データの一般的な事前処理

自動運転において LIDAR を利用する目的，道路環境や建物などの不動物体の計測に より自己位置を高精度に計測する用途と，障害物や接近物などの移動物体を検出する用 途の二種類に大別できる．前者は事前に保有しているデジタル地図との照合処理を必要 とする．後者は地図にない物体を抽出し，それらの属性と運動を推定する処理を必要と する． デジタル地図の形式は様々なものが存在するが，幾何学的なパラメータもしくは点群 で表現される地図であれば，計測との照合には ICP（iteractive closest point）アルゴリズ ム [9]や NDT（normal distribution transform）アルゴリズム [10] [11]が利用される．これ らのアルゴリズムでは，複数フレームの計測データの重なりを準最適化する照合によっ て，それらの平行移動量と姿勢角変化量から成る同時変換行列を推定する．ICP は点群 の位置合わせに広く用いられ，対応点探索と剛体座標変換行列探索の繰り返しによって 照合問題を解く．ICP の短所として，計算コストが高いことや，探索の初期値が不明で ある場合に局所解に陥りやすいことが挙げられる．NDT は，三次元計測データの局所 特徴を確立分布により効率よく表現するため計算が高速である． 計算された三次元点群から種々の特徴を抽出することで，自動運転車の周辺環境に関 する知識を得ることができる．例えば，走行可能部分の路面状況，対向車，歩行者など を検出することができる．さらに，それらの計測結果を時系列方向に継続して観測する ことで，それらとの相対速度，衝突の危険性，衝突までの時間を知ることも可能になる． 環境から物体を抽出し，バウンディングボックスを作成までの一般的な処理の流れを図 2.1 に示す．

20 図 2.1：一般的な点群データの処理フロー 地面点群の除去では，種々の物体認識処理を施す前に地面領域の検出と分離を実行す る．地面領域の検出では走行可能領域の判定や，進行方向の縁石の認識，障害物の存在 の判定が特に重要である．これらに失敗すると交通事故に直結する可能性がある．また， 続くクラスタリング処理を行うために，地面領域をほかの点群と分離する処理を行う必 要がある．一般的には，ランダムに選択された近接の三点の点の組で張られる平面の法 線ベクトルを算出し，その類似性に基づいて平面を検出するアルゴリズムが用いられる． 車両に搭載する LIDAR は，地面からの高さや姿勢が既知であるため，それらの値を利 用した地面領域の推定や処理の高速化手法もある．ただし，走行中に変化する LIDAR の姿勢や，道路面の凹凸などを考慮する必要がある．

クラスタリングのアルゴリズムとしては，Euclidean Clustering Extraction 法が用いられ ることが多い．これらの実装では，Kd-tree 法を利用して計算の高速化の工夫がなされ ている．しかし，三次元点の数に対して計算量が急速に増加するため，一般に，領域を 分割してクラスタリング処理を施す．クラスタリングが終了すると，クラスタに含まれ る三次元点の各要素の最大および最小値の探索によって，各クラスタを包含するバウン ディングボックスが定まる． 一般的な自動運転ではバウンディングボックスの大きさ（ボックスの高さ h，幅 w， 奥行き l の値）に基づいて対象物の識別を行う．例えば文献 [12] [13]では，0.8 m ≦ h ≦ 2.0 m かつ w ≦ 1.2 m かつ l ≦ 1.2 m の場合に歩行者であると判定する．他にも，車両 や建造物など，このような条件で識別することができる． 1. 地面の点群の除去 2. 外れ値の除去 3. クラスタリング 4. バウンディングボックスの作成  ランダム・近隣選択した三点以上の点の方向を分別

 RANSAC（RANdom SAmple Consensus）

 Kd-treeで空間中の近い点を収集

 クラスタリングされた点群ごとの処理  x, y, z軸方向の最大・最小値できりだす

21 歩行者と看板など，同様の大きさのものが路上にある場合，もしくはオクルージョン により完全に対象物の計測ができず，車の一部に対して歩行者と同様の大きさのバウン ディングボックスが生成されるような場合は，高い頻度で発生する．これらのような場 合には，上述の手法では対象物の正しい識別ができない．そこで，ポイントクラウドの 詳細を解析する必要が生ずる．また，計算量と識別精度の両立のための工夫が必要とな る．以下では，これまでに提案されている手法を紹介する．

2.2 高解像度 LIDAR を用いた物体認識

文献 [12] [13]では，バウンディングボックスに含まれる点群の特徴量を多く用いる手 法が提案されている．特徴量として，クラスタに含まれる点数（次元数：1）やクラス タに含まれる点までの原点からの最小距離（次元数：1）などをはじめとする 9 つがあ る．9 つの特徴量の次元数を合計すると 213 次元となる．これらの特徴に基づいて歩行 者を識別するために，SVM（Support Vector Machine）が用いられる．数千から一万前後 の訓練データを用意して，事前に SVM を訓練する必要がある．特徴量の次元数が非常 に高次であるため，これらを算出するための計算量は多い． 計算速度に重点を置いた手法としては文献 [14]がある．バウンディングボックス内 の点群から行列を構成し，それを特異値分解することによって固有値を求める．その固 有値を用いて 6 種類の特徴量（次元数：6）を記述し，対象を識別する．前述の手法と 同様，この手法でも事前に多数の訓練データを利用して SVM を訓練する必要がある． 特異値分解は高速に実行可能であり，特徴量の次元数は 6 であるため，識別を高速に行 うことができる． さらに，文献 [12] [13] [14]の手法を統合し，歩行者認識に重要な特徴量の選定を検証 した研究 [15]では，選択された 89 次元の特徴量によって高精度な識別が達成可能であ ることが示されている．その他の特徴量として，点群データを 2 次元占有グリッドマッ プへ投影しハッシュテーブルを作成する手法 [16]，3 次元のスライドウィンドウ検出器 により候補領域を抽出する手法 [17]，歩行者やポール形状物体の特徴を主成分分析に より抽出する手法 [18] [19]が報告されている．これらの研究においても，SVM を用い て分類をしている． 一方，2012 年の大規模画像認識コンテスト（ILSVRC）にて 2 位とスコア 10%以上の 差をつけて優勝したのをきっかけとして，ディープラーニングはカメラ画像を用いた物 体認識の研究分野のみならず，自然言語処理など他の様々な分野においても注目の技術 となった．ディープラーニング技術の一種である畳み込みニューラルネットワーク

22

（CNN；Convolutional Neural Network）に関する研究は盛んにおこなわれ，カメラ画像 に対する物体の分類 [20]，検出 [21]，セマンティックセグメンテーション [22]といっ た問題に対しても大きな成功を収めた．そして，CNN は点群データを用いた物体認識 にも応用されるようになった．例えば，VoxNet [23]は，ボクセル内の点群分布を 3 次元 CNN によって処理をしている．また，最近の研究では，物体認識と位置検出を同時に 行う全畳み込みネットワーク FCN [24]や，検出スコアを予測するための投票重みとして 作用するスパース 3D 畳み込みを利用している [25] [26]． しかしながら，これらの研究は，多くのスキャンライン数を持つ LIDAR（例：Velodyne HDL-64）あるいは CAD データから得られた高解像度な点群データを用いている．スキ ャンライン数が多いほど垂直方向分解能が上がる反面，LIDAR は高価かつ大型になる 傾向がある．量産車へ LIDAR を搭載する場合，低コストかつ小型であることが要求さ れる．したがって，低解像度 LIDAR つまり，少ないスキャンライン数の LIDAR を利用 して物体認識をすることが望ましい．

2.3

低解像度 LIDAR を用いた物体認識

スキャンラインが 1 本または数本の LIDAR を用いた物体検知に関する研究は 2000 年代から報告されている [27] [28] [29]．この時代では LIDAR は Laser scanner や Laser range scanner と呼ばれていた．Laser scanner や Laser range scanner は，検知および移動体 追跡（DATMO；Detection And Tracking of Moving Objects）に利用されてきた [30] [31] [32]． これらの研究は，室内歩行者検知や港内障害物検知など比較的単純な状況下を対象とし ている． ADAS あるいは高レベルの自動運転を対象として，建部らは 6 本スキャンラインの LIDAR を用いた歩行者検知手法を報告している [33]．この研究では，スライス特徴量 や反射強度分布をはじめとする 8 個の特徴量を記述して，SVM によって分類をしてい る．また，時系列情報を考慮することで点群の密度を高める特徴抽出手法や点群の時間 変化を捉える手法を提案している．これらを組み合わせることで，遠方で比較的低密度 な点群として観測された歩行者の検出精度の向上に成功している．さらに，建部らはボ クセル表現を入力とした 3DCNN に基づいた歩行者手法を報告している [34]．この両手 法の共通点として，物体に照射されているスキャンライン数に対応して分類器を訓練し ていることが挙げられる．具体的に，物体に照射されているスキャンライン数が 3 本， 4 本，5 本，6 本の場合に分けて分類器を用意している．

23

2.4

先行研究の課題と問題提起

先行研究のように分類器に入力するスキャンラインの本数を予め規定すると，スキャ ンラインの本数の変化に対してロバスト性が低下すると考えられる．図 2.2 にライン数 別に分類器を学習させる方法の概念図を示す．例えば，図 2.2 のライン 3 本に関するデ ータを学習した分類器L=3は，LIDAR と物体との距離が r3付近の情報を学習している． ここで，距離 r5において，何らかの要因でラインの本数が 2 本減少した場合，分類器 L=5の代わりに分類器L=3が動作することになる．しかしながら，分類器L=3は距離 r3付 近のデータを学習しており，距離 r5付近のデータから単純にライン 2 本減少したデータ とは，水平方向に関する情報が異なるので，分類性能は低下することが考えられる． 図 2.2：ライン数別に分類器を学習させる方法の概念図 実際の走行や運用を考えると，物体に照射されるスキャンラインの本数が変化する場 合は次の 4 つが考えられる（図 2.3）．ただし，物体と LIDAR の距離が縮まるまたは拡 がることによるライン数の増減は除外する． 分類器_L=6 LIDAR 分類器_L=4 分類器_L=5 分類器_L=3 r r3 r4 r5 r6

24 図 2.3：想定される物体に照射されるライン数が変化する状況 オクルージョン等でスキャンラインの一部が欠損する場合．物体にスキャンラインが 到達する前に，障害物によってさえぎられる場合である．例えば，センサ前の汚れやガ ードレール，荷物などによる遮りが挙げられる．原因は異なるが，一部のセンサが故障 してスキャンラインの投受光ができなくなる場合も，スキャンラインが欠損したデータ と捉えることができる． LIDAR の設置高さが変化（上下）することで物体に照射されるスキャンラインの位 置が変化する場合．LIDAR の取り付け位置を変更すると，物体の上部または下部にス キャンラインが照射される．異なる車種へ LIDAR を取り付ける位置場合が該当する．

鉛直方向分解能や鉛直方向視野（FOV：Field Of View）が異なる仕様の LIDAR を利 用する場合．垂直方向 FOV が同一で，鉛直方向分解能が向上または低下すると，物体 に照射されるライン本数も増加または減少する．鉛直方向分解能が同一（ライン数が同 じ）で，垂直方向 FOV が異なると物体に照射されるライン数も変化する．以上は，鉛 直方向すなわちライン数の変化に関する説明であるが，LIDAR の仕様が異なると水平 方向分解能も変わることも想定される． LIDAR の仰角または俯角が変化することで物体に照射されるスキャンラインの位置 が変化する場合．頭上を z 軸，車両の前進方向を y 軸，y 軸から水平に 90 度回転した 方向を x 軸と定義すると，x 軸周りに回転した場合である．具体的な例では，縁石など に乗り上げるなどして車体が振動する場合が考えられる． ④LIDARの仰角／俯角が変化する場合 ①オクルージョン等でライン欠損する場合 ③異なるスペックのLIDARを利用する場合 ②LIDARの設置高さが変化する場合

25 これらのライン数の変化に対する対策として，様々な状況のデータを網羅的に収集し 学習させる方法が考えられる．しかしながら，データ収集やアノテーションの時間的コ ストが増大する．また，図 2.3 の状況①，④のように一時的な状態ではなく，状況②， ③のような場合では，再度分類器を訓練する必要が生ずる． 以上の理由から，ライン数の変化に対してロバストな分類方法が必要とされる．次章 では，物体に照射されているスキャンラインの本数が異なっていても一つの学習済みモ デルで物体認識できる手法を提案する．

26

第3章

スキャンラインごとに独立した結果を統合する物体分類

3.1 深層学習に基づく 2 段構成型分類器

本研究で対象とする装置回転型 LIDAR は，スキャンラインの本数がレーザ受発光素 子の個数によって決定されており，スキャンラインの仰角あるいは俯角は固定されてい る．1 本から 10 本前後程度のスキャンラインしか持たない低解像度 LIDAR では，特に 水平方向より鉛直方向の解像度が低い．LIDAR と物体間の距離が拡がるにつれて，物 体に照射されるスキャンラインの本数は減少し，遠方では 1 本しか照射されない．以上 のように，LIDAR データはスキャンラインがひとまとまりの情報となる． この LIDAR データの特性を考慮して，本論文ではスキャンラインごとに独立して処 理をする前段と，それらの処理結果を統合する後段から構成される 2 段構成型認識手法 を提案する．認識に使用する LIDAR のスキャンラインの本数を N 本とすると，提案手 法では，物体に 1 本から N 本のうち任意の本数のスキャンラインが照射され，LIDAR データが取得されていることを前提とする． 最低一本のスキャンラインを用いて物体を認識するには，認識すべき対象の形状パタ ーンが増加する．例えば，歩行者といっても顔や胴体，脚部ではその形状が異なる．水 平方向に狭域に物体の部位をスキャンすると，一本のスキャンラインからみれば形状パ ターンは様々であり，特徴量が一概に記述できない．さらに，自動運転へ応用すること を考えると，認識すべき対象が歩行者や車両，自動二輪であるなど多クラスの分類が求 められる．このように認識すべきパターンが豊富であり，多クラス分類をするには，特 徴量を記述し SVM などに基づいて分類する手法は適さない．そこで，本論文では深層 学習に基づく分類手法を提案する． 図 3.1 に提案手法の構成の概略を示す．提案手法は，スキャンラインごとに独立して 処理をする前段と，それらの処理結果を統合する後段の 2 段階から構成される．前段に ついて，1 番目から N 番目のスキャンラインごとに独立したディープラーニング DL1 へ入力される．後段への入力は，DL11から DL1Nの出力を統合したデータである．後段 の出力は最終的な認識結果である．DL11から DL1Nは入力されるスキャンラインが異な るだけで，内部パラメータは全く同じである． ディープラーニングはニューラルネットワークやボルツマンマシンなどのモデルを 多層にした抽象的な概念である．具体的に，ディープラーニングとして，ディープニュ ーラルネットワークや畳み込みニューラルネットワークを適用した場合を第 4，5 章で

27 述べる．以下では，第 4，5 章に共通した内容について述べる． 図 3.1：ディープラーニングに基づく 2 段構成型分類器の提案

3.2 提案手法における事前処理

第 2 章 2.1 節に前述したように，本研究においても地面点群を除去し物体を切り分け るクラスタリングする事前処理を施す．本研究ではさらに 3.1 節で示した提案手法へ点 群データを入力する前に，点群データの数値を 1 前後の値に変換する（１）正規化，お よびデータ列の中央に物体のデータが表れるよう移動する（２）シフトの事前処理を施 す．これらの事前処理をした後に 1 ラインごとに分け，提案手法へ入力する． （１）正規化 点群データから地面点群を処理し，クラスタリングにより物体を切り出したことを考 える．正規化処理とは，切り出された各物体の点群データ（LIDAR と物体まで距離デ ータ）に対して，それらの中央値で除算し，数値を 1 前後の値に変換する処理である． 例えば，LIDAR から 5 メートル離れた位置にいる歩行者がいる状況を考える．この歩 行者の点群データは数値が 5 前後の集まりである．中央値が 5 ならば，これらの点群の 数値を 5 で除算し，1 前後の値に変換する．

DL

₁₁

Latter

Stage

Input

1

st

_line

Input

2

nd

_line

Input

N

th

_line

DL

₁₂

DL

_1N

Category (a)

Category (b)

Category (x)

Former Stage

28 切り出された物体ごとに正規化処理を行う理由は，カメラ画像と異なり LIDAR デー タの場合，距離の上限値が定まっていないからである．実際には赤外線の受光素子によ って検知可能な距離の限界は存在するが，理想的には LIDAR と物体までの距離に最大 値はない．また，平均値ではなく中央値を利用する理由は，外れ値による影響を抑える ためである． （２）シフト シフト処理とは，データ列の中央に，物体の点群データの中央が存在するようにデー タ上で移動する処理である．例えば，L ラインを持つ LIDAR により，ある物体を測定 したとき，左端のデータ番号が L 行 N 列，右端のデータ番号が L 行 M 列とする．そし て，入力する一ラインのデータ長を X とすると，データ列上にて(N+M)/2 と X/2 の位置 が一致するように移動する処理を施す．この処理により物体が異なったり，回転したり しても，データ列において物体が中央に存在するようになる． 3.3 節以降では，地面点群を除去し物体を切り出した後，これらの事前処理を施した ことを前提とする．

3.3 提案手法の訓練手順と分類における運用方法

図 3.2 に提案手法における訓練手順を示す． 第一に，N 本のスキャンラインを持つ LIDAR を用いて物体を計測し，N 個のデータ を得る．地面や空中など物体に照射されなかったスキャンラインはゼロベクトルとする． 本研究では LIDAR データのうち，距離データのみを利用し反射強度データは利用しな い．言い換えると，物体の形状のみに注目し，反射特性は考慮しない．データ枚数の総 数を K 個とすると，それぞれのデータに N 本のスキャンラインがあるから，DL2に対 しては K 個のデータ枚数，DL1に対しては K×N 個のデータ枚数が用意される． ここで，DL1に関する正解データについて，同物体であってもスキャンラインごとに 別々の正解データを用意する場合と，1 から N 番目のスキャンラインに対して共通の正 解データを用意する場合の二通りが考えられる．前者の場合では，物体の部位ごとにど のように認識の違いが表れるか詳細に調べられる利点がある反面，正解データを用意す る労力がかかる欠点がある．第 4 章では前者に従って正解データを用意する．後者の場 合は第 5 章にて後述する．また，N 本のスキャンラインのうち物体に照射されなかった スキャンラインを含めてすべてを利用する場合と，物体に照射されたスキャンラインの みを利用する場合のふたとおりがある．前者の場合を第 4 章，後者の場合を 5 章にて論

29 ずる． 第二に，1 本のスキャンラインをひとつのデータとして扱い，DL1を訓練する．デー タの偏りを防ぐためシャッフルして入力するが，スキャンラインごとに独立したデータ として扱うため，ある物体に関する N 本のスキャンラインデータが順番通りに入力さ れるとは限らない． 三番目に，DL1を DL11から DL1Nまで複製して，1 から N 番目のスキャンラインをそ れぞれ読み込む．DL11から DL1Nは，入力するデータが異なるだけであり，同一のパラ メータを持つ．DL1nは，n 番目のスキャンラインのみを学習した DL1ではないというこ とに注意されたい． 最後に，DL11から DL1Nの出力を 1 次元のベクトルとして結合する．そして，これら のデータを用いて後段の訓練をする．後段の出力は最終的な認識結果である．本論文で は後段についても前段と同様にディープラーニング手法に基づく分類手法を適用する． ただし，後段にプーリング層があるかないかによって入力できるスキャンラインの本数 などに違いが出る．プーリング層がない場合を第 4 章で，プーリング層がある場合を第 5 章で論ずる．

30 図 3.2：提案手法におけるモデルの訓練手順

Step 1

Step 2

Step 3

Step 4

LIDAR r [m] Object 1 Nth_Line 3rd _Line 2nd_Line N Lines Latter Stage D(o) 1 D(o) 2 D(o) k Category 1 Category 2

Category X

1st_Line 2nd_Line Nth_Line D₁: Data about object 1 1st_Line DL₁ 2nd_Line Nth_Line Category 1 Category 2

Category x

1

st

_Line

DL₁₁ Category 1 Category 2

Category x

DL₁₂ Category 1 Category 2

Category x

DL_1N Category 1 Category 2 Category x

31

3.4 本研究の目的

第 2 章 2.1 節に前述したとおり，物体をバウンディングボックスで囲むまでに，地面 点群の除去やクラスタリング処理をする．本研究ではクラスタリング処理により物体が 検知されたことを前提として点群データを分類する．本研究における検知と分類の定義 を示す．実際の走行環境では，認識すべき対象は複数存在する．LIDAR により車両の 周辺環境をセンシングし，複数の物体を含んだ点群データが取得される．点群データに クラスタリング処理を施すことで物体をひとつひとつに切り分けて，次にどのカテゴリ に属するか分類する．本研究では，センシングをして一物体を切り出すまでを検知，物 体を種類別にカテゴリ分けすることを分類と定義する．検知後の物体がどのカテゴリに 属するのか分類する手法を本論文の主題とする． 図 3.3：本論文における検知と分類の定義 2.4 節では先行研究の課題点を指摘しライン数の変化に対してロバスト性を向上させ る必要性を提起した．そして，スキャンラインの本数が変化する状況として，4 つの場 合を考えた．本研究では，このうちスキャンラインの欠損およびLIDAR の設置高さに 起因するライン数の変化に対して，提案手法がロバストであることを検証することを目 的とする（図2.4①と②の場合）．ただし，スペックの異なる LIDAR を使用する場合（図 2.4③の場合）の一部として，水平方向分解能および仰角／俯角の照射角度を固定し， 垂直方向分解能を変化させた場合を示す．つまり，水平方向における照射点数は変えず に，ライン数を単に間引いた場合について考える．LIDAR が回転することにより物体 に照射されるライン数が変わる場合については対象外とする． 図3.4 に第 4，5 章と構成を示す．第 4 章では，提案手法がスキャンラインの欠損に 検知 分類器 歩行者 車両 その他 分類 （本研究のテーマ）

32 対してロバストであることを検証する．ラインの欠損がないデータを訓練データ，ライ ンが欠損したデータをテストデータとして用い，ロバスト性を検証する．まず，8 本ラ インの低解像度 LIDAR を用いて，歩行者，自転車，自動二輪，車両，その他の物体（5 クラス）を計測した．この点群データはラインが欠損したものは含まれず，訓練データ として用いた． 4.1 節ではディープニューラルネットワークに基づいた具体的な層構造を示す．そし て，基礎検討として 1 ラインでの正解率やライン欠損の無いデータに対する正解率など 基本的な性能を評価した．4.2 節では，上部のラインから一本ずつ消去した歩行者の点 群データに対して正解率を評価した．比較手法として，ラインごとに独立させずに一度 にすべてのラインをディープニューラルネットワークへ入力する手法と文献 [35]の手 法を用意した．文献 [35]では，点群データを深度マップに変換し二次元 CNN（2D-CNN） により車両を検出する手法を報告している． 第 5 章では，第 4 章における提案手法に関して問題点と対策を述べる．そして，提案 手法に改良を加えたうえで LIDAR の設置高さに対してロバストであることを検証する． 問題点や改良点について第 5 章で詳述する． 5.1 節ではロバスト性を検証するため，ドライビングシミュレータ（Prescan® v8.5.0， Siemens，Germany）を用いて 16 本のスキャンラインを持つ低解像度 LIDAR を再現し て，地面から 132 cm の高さを基準として歩行者，二輪，車両，その他の物体（4 クラ ス）の LIDAR データを生成した．これらを訓練データとして用いた．そして，LIDAR の設置高さを 82 cm から 182 cm まで 5 cm 刻みで移動させたデータをテストデータとし て用い，正解率を評価した．5.2 節では，提案手法の応用例を示す．

33 図 3.4：本研究における第 4，5 章の位置づけ ライン本数変化の要因 4.1節 基礎検討 4.2節 ライン欠損に対す るロバスト性検証 第4章 5.1節 LIDARの設置高さ に対するロバスト性検証 5.2節 提案手法の応用 例考察 第5章 ④LIDARの仰角／俯角が変化する場合 ①オクルージョン等でライン欠損する場合 ③異なるスペックのLIDARを利用する場合 ②LIDARの設置高さが変化する場合

34

第4章 スキャンラインの欠損に対するロバスト性

第 2 章では先行研究では物体に照射されているスキャンラインの本数に場合分けして 分類器を学習させており，スキャンラインの変化にロバスト性が低い問題を提起した． そして，第 3 章ではスキャンラインごとに独立した処理を統合する 2 段構成型分類器を 提案した．4.1 節では提案手法の基礎検討として層構造の検討やライン欠損のないデー タに対する分類性能を調べる．4.2 節では先行研究と比較することでライン欠損に対す るロバスト性を検証する．

4.1 2 段構成型物体分類手法の基礎検討

4.1.1 DNN を適用した構成 4.1.1 項では，第 3 章で提案した深層学習に基づく 2 段構成型分類手法において，デ ィープニューラルネットワーク（DNN）を適用した分類器について考える．ここでい う DNN とは，複数の中間層を持ち，ある層のノードが前層のノードが順方向に全結合 をしているニューラルネットワークのことを指す．階層型ニューラルネットワーク，多 層ニューラルネットワーク，多層パーセプトロン，とも呼ばれる． 図 4.1 に，DNN を適用した提案手法の構造を示す．図 3.1 における前段である DL1 が DNN1に，後段が DNN2に該当する．1 番目から N 番目のスキャンラインは，それぞ れ独立に DNN11から DNN1Nへ入力される．DNN1は 1 本のスキャンラインのみを基に 分類する．DNN2の入力は DNN11から DNN1Nの出力を 1 次元のベクトルとして統合し たデータである．DNN2に入力されるデータ長は LIDAR が有するスキャンラインの本数 によって決定される．例えば，LIDAR のスキャンライン本数を N 本，1 スキャンライン当 たりのDNN1の出力のデータ長をL とすると，後段に入力するデータD(i)は， _{··· (4.1)} となる．ただし， は L 次元の横ベクトルで， ··· (4.2) である（ここで， ）．つまり， _{は を結合した 1 行 N×L} 列の行列または単に N×L 次元の横ベクトルである．物体に照射されなかったスキャン ラインについてはゼロベクトルとして扱われる．DNN11から DNN1Nは入力するデータ