重み評価

図3.11 パーティクルフィルタ(重み評価)の概念図

重みの計算を行った後に，重みの評価を行う．尤度の低いパーティクルは，状態推定に移る前に 消滅させる．ここでいう消滅とは，閾値以下の尤度を0 にすることで，高い尤度の方向にパーテ ィクルを移動させることを示す．

3.3.6.1 パーティクルの正規化

パーティクルを尤度により正規化する．そのパーティクルの尤度の全体に占める割合を百分率 で表す．以下の式に従って正規化を行う．

3.3.6.2 重心の算出

追跡して軌跡を取得するためには，物体の重心を求める必要がある．代表点や矩形の中心を重 心として扱うことも多いが，ここでは重み付き平均により重心を算出する．正規化した重みと，

パーティクルの位置情報を使う．これにより，すべてのパーティクルの情報を考慮することがで きるので，安定して重心を得ることができる．

式3.5 重心の計算式

重心は，式3.5 の左式で計算する．すべての重み，そして位置を足し合わせることで重み付き 平均を求めることができる．重みは，パーティクルの正規化により累積が1 になる．次に重み付 き平均により手の重心を取得した様子を図3.12 に示す．

図3.12 手領域の重心取得

3.4．手領域の軌跡取得

手領域の軌跡を取得することは，運転手がどのように動いたかを表わす情報である．ここでは，

重心の座標を1枚の画像に重ね合わせることにより軌跡を取得する．

図3.13 手領域の軌跡取得例

3.5．複数物体の追跡

パーティクルフィルタは重心を同時に複数取得することができない．そこで，対象物体ごとに フィルタを用意することで同時に複数の物体，今回では両手の同時追跡を可能にした．

図3.14 複数物体追跡

3.6．追跡領域限定

パーティクルフィルタによる追跡処理に可動域推定で得られた運転手可動域の情報を組み込 むことで，可動域外にパーティクルが移動してしまうことを防ぎ，精度を向上した．可動域推定 によって得られた可動域の座標から，可動域外でのパーティクルの尤度を0にすることで追跡す る重心が可動域から出てしまうのを防いだ．

図3.15 可動域組み込み

以上， 入力動画像から止まれ標識の検出までの流れを示した. 次の章では， 本手法の手領域 軌跡取得を評価するために行った実験を説明する.

４．実 験

前述の手法の有効性を示すために， 実際にトラックに取り付けたドライブレコーダから得ら れた動画像を用いて，運転手の手領域追跡の精度を検証する．

4.1．実験方法

前述の手法の有効性を示すために， 取得動画像から運転手の手領域を追跡する実験を行った. 最初に入力動画像について説明する. 取得された動画像は1本平均30秒のavi形式で， 画像は 非圧縮に変換してあるものを用いた. また， 撮影したカメラはCCDカメラで，入力画像のサイ ズは320×240pixel×4画面のうち1画面のみを用いた．

上記の動画像で，異なる運転手の動画像を5本用意した．また，5本の動画像はそれぞれ通常 運転・右左折時・片手運転・くわえタバコの時のものを選びそれぞれについて精度を検証した．

また，撮影環境は昼間のもののみ用いた．

本実験を用いた環境は以下のようになっている. しかしこの処理はオフライン処理のため，処 理時間は莫大な値にならなければさほど問題はない．

○Windows XP

○クアッドコア：2.83GHz

○メモリ：3.00GB 4.2．実験結果

前節で述べた実験の結果は、以下の表4.1のようになった。全体としては左手追跡精度が90.5%、 右手追跡精度が88.3%となった。また、運転シーン別の追跡精度を比較した結果は以下のグラフ

4.1である．

表4.1 評価実験結果

総フレーム数 左手成功フレーム 右手成功フレーム 合計

通常運転時 300 296(98.7%) 298(99.3%) 99.0%

右折時 300 251(83.7%) 265(88.3%) 86.0%

左折時 300 294(98%) 214(71.3%) 84.7%

片手運転(右手) 300 250(83.3%) 285(95%) 89.2%

くわえタバコ 300 266(88.7%) 263(87.7%) 88.2%

総合 1500 1357(90.5%) 1325(88.3%) 89.4%

グラフ4.1 追跡精度比較

次の章で， 結果内容に関して詳しく見る．また，手領域の軌跡を以下に示す．ただし，赤い点 で描かれているのが左手軌跡，青い点が右手軌跡，水色の矩形がギア領域，緑色の円形がハンド ル領域である．

100 2030 4050 6070 8090 100

通常運転

右折時

左折時 片手運転

くわえタバコ

５．検討・考察

本研究で行った実験から得られた未検出・過検出などの結果を基に， 本手法の問題点・発展 に注目していく．

5.1．検出精度

今回5本の動画を精度検証のため用いた．まずその動画について説明したいと思う．5本の動 画はそれぞれ異なる運転手の昼間運転中の動画であり，フレームレート10fps，30秒300フレー ムであった．また，5本の動画像はそれぞれ通常運転・右左折時・片手運転・くわえタバコの時 のものを選び精度を検証した．以下に実験で用いた動画像の一部を示す．

図5.1 検証動画

検出精度であるが， 検証動画全体で89.4%という結果であった．これは安全運転支援にフィ ードバックすることを考えると決して良い結果とは言えない．どのようなフレームにおいて検出 が失敗していたのかについてみていきたいと思う．

(a) 追跡失敗例

(b) 追跡失敗例

図5.2 追跡に失敗したフレーム

図5.2(a)をみると，手の速い動きに対して画像がかすれてしまっていることがわかる．これは

解像度の低さとフレームレートの粗さが問題であり，このようなフレームにおいてパーティクル が追跡しきれず置いていかれるということがあった．また，図5.2(a)のように運転手の手がカメ ラに近づいた場合，速い動きに対する粗さだけでなく，対象物体の大きさ・照明変動が大きくな るため追跡しきれていないことが分かった．今回通常運転時において追跡精度99.0％という高い 結果が得られたのは，こうした手の素早い動きや照明変動がほとんどなかったからであると考え

図5.3 追跡成功フレームの問題点

次にパーティクルフィルタの問題点について考える．パーティクルフィルタの問題点として，

図5.4のように追跡対象から離れてしまったときに自力で復帰することが難しいということが挙 げられる．これは追跡精度向上のためにパーティクルを100×100pixelの限定窓内のみに配置し ているため，一度追跡物体から完全に離れてしまうと追跡物体上にパーティクルを配置すること ができないためである．この問題を解決する方法として，パーティクル全体の尤度が一定以下に 下がった場合探索窓を画像全体に広げるか，あるいはHSV変換などを用いて重心を手領域に再 配置することなどが考えられる．

次に軌跡画像について考察する．

(a) (b)

(a)は右折時の運転手の両手軌跡，(b)は左折時の運転手の両手軌跡である．この画像から，右 左折時に左手はギアやハンドルに置かれていることが多く，右手は曲がるのに必要なだけのハン ドル操作を行っていることが多いといえる．逆に，この運転手の場合右左折時にこのような軌跡 になっていなければ，危険な運転をしているといえるとも考えられる．次に片手運転をしていた 場合の軌跡を以下の図4.2に示す．

図4.2 手領域軌跡(片手運転)