第 4 章 事例に基づく画像補完を用いた背景差分法 45
4.6 実験結果
4.6.2 画像復元手法の違いによる前景検出性能への影響
図4.11によると，ICNET-EDとAE-EDが同じ前景検出閾値に基づいて前景検出を行っ たとき，ICNET-EDの各RecallはAE-EDのRecallよりも概ね高い値を示した．このこ とは，ICNETはAEよりも前景領域の復元誤差が大きく，前景の検出漏れが少ないこと
表 4.4: Precision (P)，Recall (R)，F-measure (F)に関する前景検出精度．各シーンで最 大の評価値を赤字，次点の評価値を青字で示す．また，Meanはシーンの前景検出精度を 平均したものである．
Method
Continuous pan Translation Scene change
P R F P R F P R F
ICNET-CDNET 0.672 0.682 0.677 0.441 0.579 0.501 0.470 0.691 0.560 ICNET-ED 0.246 0.278 0.261 0.269 0.472 0.342 0.408 0.498 0.449 DATABASE 0.302 0.362 0.329 0.223 0.282 0.249 0.156 0.651 0.252 OCSVM 0.004 0.067 0.008 0.145 0.351 0.205 0.213 0.540 0.305 AE-CDNET 0.698 0.301 0.421 0.661 0.169 0.269 0.559 0.748 0.640 AE-ED 0.043 0.256 0.073 0.231 0.280 0.253 0.292 0.648 0.403
Method Moved object Illumination change Mean
P R F P R F P R F
ICNET-CDNET 0.808 0.633 0.710 0.557 0.636 0.594 0.590 0.644 0.608 ICNET-ED 0.591 0.721 0.649 0.580 0.736 0.649 0.419 0.541 0.470 DATABASE 0.518 0.772 0.620 0.600 0.609 0.605 0.360 0.535 0.411 OCSVM 0.343 0.229 0.275 0.483 0.630 0.547 0.237 0.363 0.268 AE-CDNET 0.541 0.096 0.163 0.575 0.251 0.350 0.607 0.313 0.369 AE-ED 0.661 0.419 0.513 0.638 0.751 0.690 0.373 0.471 0.386
4.6 実験結果 を意味する．図4.9，4.10，4.12に示すICNETとAEによる復元画像からも，ICNETは AEに比べ，前景領域の復元誤差が大きいことが確認できる．図4.12において，ICNET とAEの復元誤差の大小に違いを確認でき，ICNETの復元誤差は前景領域で顕著に観察 できる．したがって，ICNETは前景領域での復元誤差を大きくすることでRecallを向上 させることに貢献したことがわかる．
CDNETの有効性を確認することに加え，ICNETによる復元画像がEDよりも高度な
変化検出手法でも有効であることを確認するために，ICNETとAEについてCDNETと の組み合わせを評価している．ICNET-CDNETとICNET-ED
を比較すると，ICNET-CDNETの方が前景検出精度の平均値におけるPrecision，Recallで共に高い値を示した．
また，AE-CDNETとAE-EDを比較すると，AE-CDNETの方が前景検出精度の平均値
におけるPrecisionで高い値を示した．これらの傾向から，ICNETの前景領域の復元誤差
を大きくする作用がCDNETにおけるRecallの性能向上にも貢献したことがわかり，い ずれの場合でもPrecisionが向上していることから，CDNETは背景領域の復元によって 生じる違いを前景として誤検出しない作用を持つことが確認できる．
一方，AE-CDNETではRecallが低下したことから，CDNETが常に前景検出性能の向 上に貢献しないことが確認された．シーンContinuous panでは，AE-CDNETはAE-ED に比べ，前景検出性能を向上し，シーンMoved objectではAE-CDNETの前景検出性能が AE-EDより低下した．4.5.1節で述べたように，シーンMoved objectでは，同じ植木が前 景と背景の両方の役割で現れ，学習データと評価データは植木の位置や向きの違いによる テクスチャや見えの違いを含む．AEは学習データと評価データの植木をほぼ同程度の復 元誤差で復元したために，CDNETでは前景としての植木によって生じる違いを検出でき なかったものと考えられる．一方，ICNETはシーンMoved objectでもRecallの向上に貢 献しており，CDNETによって0.1ポイントほどRecallが低下したものの，0.2ポイントほ
どのPrecisionの増加により全体的な前景検出性能の向上を確認した．AEまたはEDを用
が前景検出において最も前景検出性能を向上できる組み合わせであるといえる．
しかし，ICNETは，観測パッチ画像の中央部分のテクスチャがそのパッチ画像の周辺 部分から一意に対応付けられない場合に，適切に復元できない問題があることが確認さ れた．例えば，図4.9(b)において，ICNETは白い壁にある赤色の矩形領域を復元できな かった．これは，パッチ画像の中央部分にある赤色の矩形領域がマスクされたとき，マス クされなかった白い壁の情報だけでは，マスク領域が赤色の矩形領域なのか，白い壁なの かを判断できないことに起因する．この問題によって生じる復元誤差はCDNETを利用 しても対処できなかった．このようなマスク領域が不定になる場合を減らすために，画像 全体の情報を利用することが今後の課題としてあげられる．
これまでの議論により，提案手法はICNETによるRecallの向上に加え，CDNETによ
るPrecisionの向上により，本実験で用いた比較手法よりも高い前景検出精度を示すこと
ができた．また，DATABASEのように背景画像を検索する手法よりも照明変動等による 過去と現在の観測領域の違いに対して頑健な画像復元が可能であることを確認し，高い汎 か性能を持つことも示すことができた．本実験で用いたデータセットは回転や直進，手ぶ れなど様々なカメラの動きを含んでおり，それらのシーンで前景検出が可能であることか ら，提案手法はカメラの動きに対して頑健でもある．したがって，提案手法は，十分に移 動カメラによる映像に適用できる手法である．
4.6 実験結果
ICNET-CDNET ICNET-ED DATABASE OCSVM AE-CDNET AE-ED
(a)前景検出：Continuous pan
ICNET-CDNET ICNET-ED DATABASE OCSVM AE-CDNET AE-ED
(b)前景検出：Translation
ICNET-CDNET ICNET-ED DATABASE OCSVM AE-CDNET AE-ED
(c)前景検出：Scene change
図 4.7: 前景検出結果の比較1．赤色を前景画素，青色を背景画素とし，入力画像に前景 検出結果画像を重畳表示した．
ICNET-CDNET ICNET-ED DATABASE OCSVM AE-CDNET AE-ED (a)前景検出：Moved object
ICNET-CDNET ICNET-ED DATABASE OCSVM AE-CDNET AE-ED
(b)前景検出：Illumination change
図 4.8: 前景検出結果の比較2．赤色を前景画素，青色を背景画素とし，入力画像に前景 検出結果画像を重畳表示した．
4.6 実験結果
ICNET
Input AE DATABASE
(a)復元画像：Continuous pan
ICNET
Input AE DATABASE
(b)復元画像：Translation
ICNET
Input AE DATABASE
(c)復元画像：Scene change
図 4.9: 復元画像の比較1．DATABASEにおける復元画像では背景パッチ画像データベー スから検索された背景パッチ画像を表示している．
ICNET
Input AE DATABASE
(a)復元画像：Moved object
ICNET
Input AE DATABASE
(b)復元画像：Illumination change
図4.10: 復元画像の比較2．DATABASEにおける復元画像では背景パッチ画像データベー
スから検索された背景パッチ画像を表示している．
4.6 実験結果
0.0 0.2 0.4 0.6 0.8 1.0
Precision 0.0
0.2 0.4 0.6 0.8 1.0
Recall
Continuous pan
ICNET-CDNET ICNET-ED
DATABASE OCSVM
AE-CDNET AE-ED
(a) Continuous pan
0.0 0.2 0.4 0.6 0.8 1.0
Precision 0.0
0.2 0.4 0.6 0.8 1.0
Recall
Translation
ICNET-CDNET ICNET-ED
DATABASE OCSVM
AE-CDNET AE-ED
(b) Translation
0.0 0.2 0.4 0.6 0.8 1.0
Precision 0.0
0.2 0.4 0.6 0.8 1.0
Recall
Scene change
ICNET-CDNET ICNET-ED
DATABASE OCSVM
AE-CDNET AE-ED
(c) Scene change
0.0 0.2 0.4 0.6 0.8 1.0
Precision 0.0
0.2 0.4 0.6 0.8 1.0
Recall
Moved object
ICNET-CDNET ICNET-ED
DATABASE OCSVM
AE-CDNET AE-ED
(d) Moved object
0.0 0.2 0.4 0.6 0.8 1.0
Precision 0.0
0.2 0.4 0.6 0.8 1.0
Recall
Illumination change
ICNET-CDNET ICNET-ED
DATABASE OCSVM
AE-CDNET AE-ED
(e) Illumination change
CP T SC MO IC Mean
0.0 0.2 0.4 0.6 0.8 1.0
F-measure
Best F-measure
ICNET-CDNET ICNET-ED
DATABASE OCSVM
AE-CDNET AE-ED
(f) Best F-measure
図 4.11: Precision-Recall曲線とBest F-measure．Precision-Recall曲線は前景検出閾値を 変えたときのPrecisionとRecallの値を示している．Best F-measureでは，各手法が示し
たF-measureの最大値を表示している．シーン名として以下の略称を用いる：continuous
pan (CP)，translation (T)，scene change (SC)，moved object (MO)，illumination change
(a) 入力画像 (b)復元画像: AE (c) 復元誤差: AE
(d) 復元画像: ICNET (e)復元誤差: ICNET
図 4.12: ICNETとAEの復元画像の比較．ICNETによる復元画像(d)はAEによる復元 画像(b)よりも大きな復元誤差を主に前景領域で持つ．この比較的に大きな復元誤差が図 4.11におけるICNET-EDのAE-EDよりも高いRecallにつながると推定される．
