車載センサデータの特徴を利用した同期手法に関す る研究
著者 石渡 要介
発行年 2020‑06
出版者 静岡大学
URL http://doi.org/10.14945/00027787
（課程博士・様式７）(Doctoral qualification by coursework,Form 7)
学 位 論 文 要 旨
Abstract of Doctoral Thesis
専 攻： 情報科学 氏 名： 石渡 要介 Course： Name：
論文題目： 車載センサデータの特徴を利用した同期手法に関する研究 Title of Thesis：
論文要旨：
Abstract：
近年，ADAS（先進運転支援システム）搭載車両が普及しており，また自動運転システム の研究開発が活発化している，ADAS や自動運転では，自車周辺の情報収集のためのセン サが必要となり，LiDARやミリ波レーダ，カメラやソナーセンサといったセンサを搭載す るようになっている．また，ここ数年，センサ価格は下落傾向・センサ販売数は増加傾向 となっており，センサの普及が進んでいる状況にある．一般ユーザによるセンサ入手が容 易になっており，特にドライブレコーダの普及が進んでいる．
複数のセンサデータを組み合わせて利用するには，利用する複数のセンサデータの対応 関係が分かる必要がある．つまりある時刻で各センサがそれぞれどのようなデータを出力 したか（各センサデータが時刻同期されているか）が分かる必要がある．ユーザが車両に 取り付けたセンサ類（例えば，ドライブレコーダ）と，車内のセンサ類が独立に動作して いる環境では，両者の間で何らかの同期手段が必要になる．
そこで本論文では，ユーザが車両に取り付けたセンサ類と，車内のセンサ類から得られ たデータを組み合わせて用いるための，データ同期手法について提案した．車載センサか ら得られるデータ，特に車載センサによって得られる自車周囲のデータは自車の動きに依 存したものとなるが，車両は動きを急に変えることができず，動きの変化も連続的となる 特徴があることから，この車両の連続的な動きを用いた同期手法を検討した．
車両にドライブレコーダ等のカメラが，車載センサが接続しているシステムとは別のシ ステムとして搭載されることが一般的に行われている現状から，動画データと車載センサ の同期を行う必要性が高いと考え，車載センサとして搭載され得る加速度センサと，動画 データとの間での同期手法について検討を行い，その後，提案手法の他のセンサへの適用 可能性について併せて考察した．
本手法では，画像特徴量を利用したオプティカルフローの方向を利用することで車両の
右左折動作を抽出し，その変化点（右左折先頭フレーム及び最終フレーム）を同期点とし て，同期点に対応する加速度センサデータの時刻を算出し，同期することを可能とした．
カメラと加速度センサを持つスマートフォンを使用して取得したデータをもとに評価を行 い，40ms以内に収まる同期が行えたことを確認した．また，オプティカルフローを算出す る際のフレーム間隔と右左折検知精度・同期精度について比較評価を行い，本手法を適用 する際に適切なフレーム間隔について考察した．他のセンサ，例えばミリ波センサによる 自車周囲の物体検知結果やLiDARによる点群データを利用した物体検知結果を用いて右左 折検知をすることができれば，同様にカメラ画像・加速度センサと同期可能であると考え られる．
加えて，本手法の制約条件を緩和し，より適用範囲を広げるための検討を実施した．ひ とつは，本手法の制約条件の一つであった，「動画データと加速度センサのずれが数秒程度 である」ことに対し，事前処理として「自車の停止状態から走行状態に変動するフレーム と加速度値を検知して合わせる」ことにより，動画データと加速度データが同一の走行開 始タイミングを最初に記録していれば，条件を満たせることを確認した．動画データのオ プティカルフローの長さの分布が静止時と走行開始時で傾向が異なることを利用し，動画 側での走行状態になるフレームを検知するとともに，進行方向加速度から速度が一定以上 に変動する点と合わせることにより，実験データにおいて34フレーム（1.13秒）のずれで 合わせられることを確認した．
提案手法のもうひとつの制約条件は，右左折時にオプティカルフローが左右方向に偏る 制約であり，このためカメラが車両正面を向いているものとしていることである．この制 約条件に対し，各オプティカルフローの特徴点の三次元座標を算出し，三次元座標から正 面方向のカメラでのオプティカルフローを再計算する手法を適用することにより，同様の 傾向が見られることを確認した．ただし，本手法では自車の移動量が必要となるが，車両 速度は急に変動しづらいこと，前記事前処理により短い時間でのずれ量まで補正できるこ とから，適用は可能と考える．
以上により，異なるシステム上に搭載された動画データと加速度データの同期を，各デ ータのみを用いることのみによって 1 フレーム程度の誤差で合わせることが可能であるこ とが分かった．これにより，異なるシステムに接続されたセンサ間での同期が可能になり，
データ分析がより有効・有用なものとなることを示した．
