背景変動環境における事例ベース背景モデルの設計法

全文

(1)Vol.2012-CVIM-182 No.9 2012/5/23. 情報処理学会研究報告 IPSJ SIG Technical Report. 背景変動環境における事例ベース背景モデルの設計法野中陽介1,a). 島田敬士1. 長原一1. 谷口倫一郎1. 概要：物体検出の基盤技術として利用される背景モデルとして，高性能化あるいは低コスト化を目的とした構築法が数多く提案されてきた．一般に，高性能化と低コスト化はトレードオフの関係にあるためその両立は困難である．この問題に対するブレークスルーとして，事例ベース背景モデルが提案されている．混合ガウス分布などを利用した従来の統計的背景モデルに事例化の枠組みを導入することで，低コスト化及び高性能化を同時に実現する．本稿では，様々な環境変動が起こるシーンを利用して事例ベース背景モデルの性能を緻密に評価した結果を報告する．具体的には，事例化の際の特徴選択法，背景差分性能，メモリコスト，計算コストの関係を分析することで，事例ベース背景モデルのユースケースを考察する．キーワード：背景モデル，事例ベース，物体検出，性能評価. Background Model Evaluation under diverse design Nonaka Yosuke1,a). Shimada Atsushi1. Nagahara Hajime1. Taniguchi Rin’ichiro1. Abstract: Background subtraction is one of the important techniques for object detection. In general, there is a trade-off problem between accuracy and a computational cost. A new framework called “Case-Based Background Modeling” has been proposed to tackle this issue. This method keeps practical models only to reduce a memory usage and a computational cost. Meanwhile, it selects effective image features to enhance accuracy. According to preliminary research, it is known that the performance of the framework is affected by the design of image features. In this paper, we examine a performance in detail with many kinds of datasets including various background changes. Our experimental results support to find out the most effective usage of Case-Based Background Model. Keywords: Background Model，Case-Based Method，Object detection，Evaluation. 1. はじめに. 低下は避けられない．このように，高性能化と低コスト化はトレードオフの関係にあるためその両立は困難である．. 背景モデルを用いた背景差分法は，事前に用意した背景. このトレードオフ問題を打破する手法として，事例ベース. 画像と観測画像の差分を計算することにより，移動物体領. 背景モデルが提案されている．この手法は従来の統計的背. 域を抽出する手法である．この手法は，動体検出や物体追. 景モデルに事例化の枠組みを導入することで，低コスト化. 跡といった画像処理技術の基盤技術として用いられてお. 及び高性能化を同時に実現する．事例ベース背景モデルは. り，従来，性能の向上及び低コスト化の研究が進められて. 従来手法では対処できなかった問題を解消する有効な手. いる．背景モデルの高性能化は背景モデルの表現能力を向. 法であるが，事例化による性能向上の詳しい検証はまだ行. 上させることで実現されるが，それに伴い実装メモリや計. われていない．そこで本稿では，様々な環境変動が起こる. 算コストが増加してしまう問題がある．一方，低コスト化. シーンを利用して事例ベース背景モデルの性能を緻密に評. を目指す場合はモデルの簡略化が図られるが，当然性能の. 価した結果を報告する．具体的には，事例化の際の特徴選択法，背景差分性能，計算コスト，メモリコストの関係を. 1 a). 九州大学 [email protected]. c 2012 Information Processing Society of Japan . 分析することで，事例ベース背景モデルのユースケースを. 1.

(2) Vol.2012-CVIM-182 No.9 2012/5/23. 情報処理学会研究報告 IPSJ SIG Technical Report. 考察する．. 2. 関連研究 2.1 背景モデルの高性能化. う．そのような場合は画素を再クラスタリングすることで対応できるが，頻繁に再クラスタリングが必要となるようなシーンでは，計算コストが大幅に増加し，実時間での動作は難しい．. 背景をモデル化する代表的な手法として，画素値の出現. 計算コストを抑えることを目的とした背景モデルとし. 頻度を混合ガウス分布を用いて近似する統計的背景モデ. ては，4 分木を利用して階層的に背景モデルを構築する手. ル [1] がある．この手法の高性能化を図る場合，過去に起. 法 [8] が提案されている．画像を荒い粒度の矩形で区切り，. こった様々な背景変動に対応するために各画素が持つ混合. 各領域内でランダムに選択された画素で背景モデルを構築. ガウス分布の分布数を増やすという措置がとられるが，そ. する．画素が前景と判断された場合は，対称の領域を更に. の分実装メモリやモデルの更新にかかる計算コストが増加. 細かく分割して（4 分木の深度を上げて）背景モデルを構. してしまう．また，背景の変化が頻繁に起こる画素のモデ. 築する．この方法により画素毎に背景モデルを構築する必. ルには多くの分布を割り当て，逆に変化があまり見られな. 要がなくなり，画像全体で保持するモデル数を削減するこ. い画素のモデルには少ない分布で対応することが望ましい. とが可能になるが，領域をどの程度細かく分割するかは事. が，各混合ガウス分布が持つ分布数はあらかじめ決めてお. 前に設定しておく必要があり，モデルの性能に大きく影響. く必要があるため，分布の不足や，無駄な分布が存在する. を及ぼす．. という問題が起こってしまう．画素の背景変動に応じて混合ガウス分布の分布数を増減させる手法 [2] も提案されているが，複雑な背景変動に対応するためには，やはり混合分布の分布数を増やす他なく，実装メモリが増大する問題は避けられない．. 3. 事例ベース背景モデル 3.1 概要事例ベース背景モデルは，従来の背景モデルに事例化の枠組みを適用することで実現される．本節ではこの事例化. 画素値の統計情報のみを用いた背景モデルでは，天候の. の枠組みの概要について詳しく紹介する．事例ベース背景. 変化により画素値が緩やかに変化する場合や，屋内照明の. モデルでは，各画素で背景モデルを保持する代わりに，画. 変化により画素値が急激に変化する場合へ対応することが. 素値もモデル化した背景モデルに画素から得られる特徴. 難しいため，画素値に加えて周辺画素の特徴を含んだ局所. 量（代表特徴）を紐付けしたものを 1 つの事例として保持. 特徴をモデル化する手法 [3] や，画素値の時間変化をモデ. する．この特徴量については，4.2 節で詳しく述べる．各. ル化する手法 [4] が考案されている．いずれの手法も画素. 画素は，現在のフレーム時刻までに作成された事例集合の. 値の統計情報のみを用いたモデルより高い検出性能を示す. 中から，自身の特徴量と類似した代表特徴を持つ事例を探. が，時空間特徴を保持するモデルを別途用意する必要があ. 索する．類似した代表特徴が発見された場合，その代表特. るため，多くの実装メモリが要求される．. 徴に紐付けされているモデルを利用して背景差分を行う．. 複数のモデルを利用する手法としては，画素毎に統計的. これにより，類似した特徴量を持つ画素同士は同じモデル. 背景モデル，局所性を考慮した背景モデル，画素値の時間変. を共有することになり，各画素独立にモデルを構築してい. 化を考慮した背景モデルを組み合わせて用いる手法 [5],[6]. た従来手法よりも実装コストを抑えることができる．図 1. も提案されている．各手法の利点を活かしてモデルを統合. は，特徴量が類似した画素同士で過去に登録された事例を. することで検出精度の向上が望めるが，その分メモリ消費. 共有している様子を表している．また，各画素について，. 量や計算コストは増大するため，実装できる環境が限定的. 自身の特徴量と類似した代表特徴を毎フレーム探索するこ. になってしまう．. とで，2.2 節で紹介したような，クラスタ内では同一の背景変動が起こると仮定していた従来研究の問題に対応して. 2.2 背景モデルの低コスト化実装メモリを抑えることを目的とした背景モデルとして，. いる．ここで，モデルの再選択処理により計算コストが増加するという問題が生じるが，本手法ではハッシュに基づ. 類似した画素値が観測される画素をクラスタリングし，各. く近似最近傍探索手法 [10] である LSH（Locality-Sensitive. クラスタ内の画素で共通のモデルを利用する手法 [7] が提. Hashing）を用いることで高速な探索を実現している．ま. 案されている．複数の画素でモデルを共有するため，各画. た，事例集合を探索する際に類似した代表特徴が発見され. 素についてモデルを保持する場合と比較してモデル構築に. なかった場合は，その特徴量を代表特徴とした背景モデル. 必要なメモリを節約することができる．また，モデル数が. を新たな事例として追加する．このように，観測される背. 減少するため，モデルの更新にかかる時間も削減できると. 景変動に応じて事例を逐次的に追加登録することで，新た. いう利点もある．しかし，クラスタ内での背景変動は同一. な特徴量が得られた場合に対応する．一方で，不要になっ. であると仮定しているため，クラスタ内の一部の画素のみ. た事例を削除する仕組みも提供される．この削除方法につ. に背景変動が起こるような場合は検出精度が低下してしま. いては，3.3 節で述べる．また，前述のように各画素が利用. c 2012 Information Processing Society of Japan . 2.

(3) Vol.2012-CVIM-182 No.9 2012/5/23. 情報処理学会研究報告 IPSJ SIG Technical Report. ஦౛㞟ྜ. Share. 㛤ጞ. ௦⾲≉ᚩ. ஦౛1. ஦౛䛾᥈⣴ ≉ᚩ㔞䛜㢮ఝ䛧䛯⏬⣲. ᮍฎ⌮䛾 ⏬⣲䛜Ꮡᅾ. ஦౛2. ஦౛3 …⏬⣲≉ᚩ. 図 1. 䠪䡋. ஦౛Ⓨぢ. 䞉䞉䞉. 䠪䡋. ⫼ᬒ䝰䝕䝹᭦᪂. Yes. ⫼ᬒᕪศ. 事例共有の概念図. する背景モデルは自身の特徴量に応じて選択されるため，. ஦౛䛾᪂つ㏣ຍ 図 2. す．この詳細については 4.2 節で改めて述べる．. 画素から参照され，差分処理に利用された背景モデルはフレーム毎に更新処理を行う．背景モデルは複数の画素か. ḟ䛾䝣䝺䞊䝮 ⏬ീ䛜Ꮡᅾ. Yes. 䠪䡋. ⤊஢. 特徴量の選択手法はモデル全体の性能に大きな影響を及ぼ. 3.2 背景モデルの更新. Yes. 事例ベース背景モデルの処理手順. 表特徴を持つ事例を，LSH を用いて探索する．. Step.2 事例の利用または追加 Step.2-1 背景差分 . ら参照されることがあるが，その場合のモデルの更新は事. 事例が発見された場合は，その事例に割り当てられて. 例を参照した画素の中からランダムに選択した一つの画素. いる背景モデルを利用して背景差分を実行する．こ. の画素値を用いて行う．同一事例を参照した画素の平均を利用する方法なども考えられるが，平均の計算などにかか. の結果，画素には前景か背景のラベルが付与される．. Step.2-2 事例の新規登録 . るコストを削減するために，ランダムに選択する手法を採. 事例が発見されなかった場合は，画素 i の特徴量 qi. 用している．一方で，どの画素からも参照されなかった事. を新たな代表特徴とし，現フレームの画素 i の画素値. 例については，背景モデルの更新を行わない．. を用いて構築した背景モデルを対応させて新規事例として登録する．. 3.3 背景モデルの削除. Step.3 背景モデルの更新 . 本手法では新しい背景変動が観測された際にその特徴に. 全ての画素について Step.1∼Step.2 の処理を終えた. 対応した事例を登録するため，一度しか観測されない背景. 後，背景モデルの更新を行う．Step.2 において 1 度で. 変動に対応するモデルも存在する．このようなモデルを永. も参照された事例は背景モデルの更新を行う．一方，. 続的に保持しておくことは，実装コストの面で好ましくな. 1 度も参照されることのなかった背景モデルについて. い．そこで，事例を適宜削除する仕組みが導入されている．. は更新処理を行わない．. 具体的には，各事例に生存時間を保持させ，最後に事例が参照されたフレーム時刻から生存時間後までに一度も参照されない場合は，該当するモデルを削除する．. 4.2 事例ベース背景モデルの特徴量事例ベース背景モデルの性能を決定づける上で特に重要な要因は，特徴量の選択手法にある．画素値のみを特徴量. 4. 統計的背景モデルへの事例化の枠組みの適用. として用いていた従来手法に対し，事例ベース背景モデル. 本節では，3 章で紹介した事例化の枠組みを，混合ガウ. として用いる．文献 [9] では，特徴ベクトル q として現在. ス分布を用いた統計的背景モデルへ適用する方法について. のフレームの画素値 Xt ，前フレームの画素値 Xt−1 ，注目. 述べる．. 画素の画素座標 (u, v) を用いている (式 (1))．この特徴ベ. では画素値とそれ以外の情報を含む特徴ベクトルを特徴量. クトルを用いることで，画素値の時間変化や局所性特徴と. 4.1 処理手順図 2 に処理手順のフローチャートを示す．以降では，フレーム時刻 t における入力画像の注目画素 i についての処. いった時空間特徴を導入している．. q = (Xt , Xt−1 , u, v)T. (1). 理に注目して説明する．また，画素 i から得られる特徴量. つまり，Xt−1 を用いることで画素値の時間変化を，(u, v). を qi とする．. を用いることで空間情報を考慮したモデル選択が可能とな. Step.1 事例の探索 . り，背景変動に対してより頑健なモデルを構築することが. 過去に登録された事例集合の中から，qi と類似した代 c 2012 Information Processing Society of Japan . できる．. 3.

(4) Vol.2012-CVIM-182 No.9 2012/5/23. 情報処理学会研究報告 IPSJ SIG Technical Report. 5. 評価実験の設定本節では，背景モデルの評価に利用したデータセットとその評価方法を紹介する． (a) Basic. (b) Camouflage (c). NoCamou-. flage. 5.1 データセット 5.1.1 シミュレーションデータセット今回の実験では，まず 1 種類の背景変動が単独で含まれるようなシミュレーションデータセットを用いて評価実験を行い，個々の背景変動に対するモデルの性能評価を行った．背景変動別に性能とコストの関係を分析することで，変動に応じた適切な背景モデルを選択することが可能にな. (d) Darkening 図 3. (e) LightSwitch. (f) NoisyNight. シミュレーションデータ-SABS. る．本研究では，文献 [11] で利用されている CG で作ったシミュレーションデータセット（SABS:Stuttgart Artificial. Background Subtraction）を用いて実験を行った（画像サイズ：800×600）．背景差分の性能評価用のデータセットで，各シーンは背景変動を単独で含んでいる．データセットの詳細を以下に示す．. (1) Basic 基本となるシーン．街中の道路を想定し，街. 図 4. PETS. 図 5 LightSwitch. 路樹の揺らぎ，車の往来が頻繁に観測される．以降で紹介するシーンはこの Basic をベースに，それぞれ特定の変. ものを用いる．木の揺らぎが観測される領域のみを用いて. 動や撮影環境の変化を想定して作成されたものである (図. 評価を行うことで，背景のテクスチャ変動に対する検出性. 3-(a))．. 能を評価する．. (2) Camouflage Basic で起こる背景変動に加え，人の. 5.1.2 実世界を撮影したデータセット. 行き来が観測される．また，車や人の服の色が暗く，画素. 物体検出などの利用目的で実際に背景差分を用いる場合，. 値レベルでの背景と前景の区別が難しいシーンである (図. 様々な背景変動が同時に観測される環境下での利用が想定. 3-(b))．. される．そのため，単独の背景変動に対する性能評価のみ. (3) NoCamouflage 前述の Camouflage と対になるシー. ではなく，様々な変動が複合的に観測されるシーンに対す. ン．Camouflage とは逆に車や人の服の色が明るく，前景. る性能評価が必要である．そこで今回は，2 種類の実シーン. と背景の画素値が明確に異なる (図 3-(c))．. ．これを用いて性能評価を行った（画像サイズ：320×240）. (4) Darkening ゆるやかな照明変動を想定したシーン．. らのシーンには，5.1.1 項で紹介したシミュレーションデー. 画面全体が次第に暗くなっていく (図 3-(d))．. タでは個別に扱われていた背景変動が同時に含まれている．. (5) LightSwitch 夜の屋外が想定され，ショーウィンド. 1 つ目の屋外を撮影したデータセット (PETS:Performance. ウの電灯がオン/オフを繰り返し，急激な照明変動が観測. Evaluation of Tracking and Surveillance) では，天候の変化. されるシーン (図 3-(e))．. や木々の揺らぎなどによる背景変動が頻繁に観測される (図. (6) NoisyNight LightSwitch 同様，夜間の街中を撮影し. 4)．2 つ目の屋内を撮影したデータセット (LightSwitch). たシーンで，画面全体にノイズが付加されている．これは. では，電灯のオン/オフによる急激な照明変動が起こる室. 夜間撮影を行う際に生じるカメラのセンサノイズを想定し. ．内において人の往来が観測される（図 5）. ている (図 3-(f))．. (7) MPEG4-40kbps∼640kbps 圧縮処理により品質が低下した動画データを用いて検出を行う場合を想定したシーン．5 段階のビットレート (40kbps，80kbps，160kbps，. 5.2 評価方法本研究では，事例選択に用いる特徴選択法，背景差分性. 320kbps，640kbps) のデータが用意されている．. 能，メモリコスト，計算コストの関係を詳しく分析するた. (8) Bootstrap シーンは前述の Camouflage と同じもの. め，各々を構成要素とする評価曲線を作成した．特徴量の. を用いるが，Bootstrap ではトレーニングデータを用いた. 異なる複数の特徴ベクトルを用いてそれぞれの曲線を描. 学習を行わない．すなわち，前景を含んだシーンを用いて. 画し，特徴量の選択法によるモデルの性能への影響を検証. 構築されたモデルを利用して検出を行う．. した．具体的には，モデルの定義や利用に関する内部パラ. (9) DynamicBacground シーンは前述の Basic と同じ. メータを変動させる実験を行い，図 6 に示すような 3 種. c 2012 Information Processing Society of Japan . 4.

(5) Vol.2012-CVIM-182 No.9 2012/5/23. 情報処理学会研究報告 IPSJ SIG Technical Report. F-measure. fps. Recall. 以下の考察では特徴ベクトルとして時間情報のみを用いた空間情報の両方を用いた手法を Cst と表すこととする．. # of Dist. Precision. (a). 手法を Ct ，空間情報のみを用いた手法を Cs ，時間情報と. Precision-. (b) 分布数-fps. Memory. (c) 消費メモリ-F 値. Recall 図 6. 6.1 シミュレーションデータに対する実験結果本節では，実験結果をシーン別に考察する．まず初めに，. 描画した評価曲線. シミュレーションデータのうち，典型的な結果が得られた. 類の曲線を描画した．ここで，Precision-Recall(図 6-(a)). シーンについて検証する．. は適合率と再現率を軸にとった曲線であり，分布数-fps(図. Basic（図 9）: 背景変動として木の揺らぎのみが観測され. 6-(b)) は分布数による fps の変化を表す曲線，消費メモリ-F. る基本シーンである．Precision-Recall 曲線を見ると，従来. 値 (図 6-(c)) は消費メモリとモデルの性能を表す F 値の関. 手法と Cst が高い性能を示している．両者とも同等の性能. 係を表す曲線である．モデルの性能を示す各評価基準は，. を示しているが，必要な実装メモリは Cst の方が低いこと. 以下の数式で表される．. が消費メモリ-F 値曲線から確認できる．また，分布数-fps. Precision =. TP TP + FP. TP Recall = TP + FN F − measure = 2/. (2) (3). 1 1 + Precision Recall. 曲線から，処理速度の面でも Cst の方がより低い計算コストで処理を行っていることが分かる．これは，たとえ画像全体で保持しているモデル数が少なかったとしても，時間情報，空間情報を含む特徴ベクトルを利用してモデル選択. (4). を行うことで，観測された変動に適切なモデルを選択できるからである．Ct ，Cs は，前述の 2 手法に比べると性能. ここで，TP（True-Positive）は正しく前景として検出され. は劣っているものの，より高速かつ省メモリでの処理を実. た画素数，FP（False-Positive）は誤って前景として検出さ. 現している．特に Ct はある程度の F 値を維持しつつ，他. れた画素数，FN（False-Negative）は誤って背景と判定さ. の手法より大幅に少ないメモリでの動作が可能である．以. れた画素数である．. 上から，一般的なシーンにおいて事例ベース背景モデルは，低コストで従来手法と同等の性能を実現することができ，事例化のフレームワークが有効に働いているといえる．. 5.3 事例化に用いる特徴ベクトル事例ベース背景モデルの特徴量は，以下に示す 3 種類の. Darkening（図 10）: 緩やかに映像全体が暗くなるシーン. 特徴ベクトルを採用し，それぞれの結果を比較することで. である．Precision-Recall 曲線を見ると，Cst が他の手法よ. 各要素がモデルの性能・コストに及ぼす影響を検証した．. りも高い性能を示している．また，Ct も従来手法と同等の. (a) 時間情報 Xt−1 のみ. 性能を示していることが確認できる．これより，事例化手. qt = (Xt , Xt−1 )T. (5). (b) 空間情報 u, v のみ qs = (Xt , u, v)T. がその性能向上に大きく寄与していることが分かる．消費メモリ-F 値の曲線を見ると，従来手法よりも Cst ，Ct の. (6). (c) 時間情報 Xt−1 +空間情報 u, v qst = (Xt , Xt−1 , u, v)T. 法がこのシーンに対して有効であり，特に時間特徴 Xt−1. 方が少ないメモリで高い性能を実現できていることが分かる．また，分布数-fps 曲線から計算コストの面でも，事例ベース背景モデルの各手法の方が，従来手法よりも優れて. (7). いることが確認できる．以上から，緩やかな照明変動が観測されるシーンでは，性能・コスト両面において，事例化の. また比較手法として，背景変動に応じて適応的に分布数を. 枠組みが非常に効果的に働くことがわかる．特に省メモリ. 増減させる混合ガウス分布を用いた動的背景モデル構築手. 化を重視する場合は，Ct を用いることで従来手法の 15%. 法 [2]（以下，AdaptiveGMM と呼ぶ）を用いて同様の実験. 程度のメモリ量で同等の性能を出すことが可能である．. を行った．. Bootstrap（図 11）: Bootstrap では，学習フェーズを設. 6. 実験結果. けないため，前景を含んだシーンを用いて構築されたモデルを利用して背景差分を行うことになる．このような制約. 図 9∼14 に典型的なシーンの実験結果を示す．各図のグ. 条件を加えた場合，Precision-Recall 曲線を見ると，事例. ラフは左から Precision-Recall 曲線，分布数-fps 曲線，消. ベース背景モデルの各手法が性能面で従来手法に劣る結果. 費メモリ-F 値曲線を表している．スケールの関係上，曲線. となっていることが分かる．これは前景の情報が埋め込ま. が潰れて評価できない箇所が存在したため，中間線を用い. れた背景モデルが作成されてしまうからである．前景を含. て適宜調整を行っている．また，説明を簡易化するため，. む画像から背景モデルを構築することで，前景の移動によ. c 2012 Information Processing Society of Japan . 5.

(6) Vol.2012-CVIM-182 No.9 2012/5/23. 情報処理学会研究報告 IPSJ SIG Technical Report. Source. Ground Truth. ᫬㛫᝟ሗ䛾䜏. ᚑ᮶ᡭἲ. 䞉䞉䞉. ஦౛䝧䞊䝇䠄᫬㛫䠇✵㛫䠅. 䞉䞉䞉. ᫬㛫䠇✵㛫. 図 7 特徴ベクトル別の検出結果の比較. ↷᫂OFF→ON. る画素値の変動を特徴とした事例が作成されてしまう．このとき，検出過程において前景が観測されるとそのモデル. 図 8. ᫬㛫䡐. 急激な照明変動直後の検出結果の比較. を参照してしまうために，前景が背景と誤認識されたと考えられる．消費メモリ-F 値曲線において，事例ベースの手. えられる．このことは，6.1 節-Darkening の評価結果から. 法が，より低い実装メモリで動作しているが，性能の値が. も確認できる．また，Cst と Ct を比較すると，Ct の方が. 振動しているため，安定した検出が求められる場面での利. 圧倒的に少ない分布数で同等の性能を示している．図 7 に. 用は難しい．よって事例ベース背景モデルは，Bootstrap. 示す検出結果の画像を比較してみても，Cst と Ct の間にほ. の条件下では用いない方が好ましいといえる．. とんど差は見られない．以上より，複数の背景変動（木々. DynamicBackground（図 12）: 木々の揺らぎにより背. の揺らぎなどのテクスチャ変動，天候の変化による緩やか. 景が動的に変動するこのシーンでは，Cst がメモリコスト. な照明変動）が観測される場合でも，事例化の枠組みは有. を抑えつつ，最も良い性能を示している．従来手法は Cst. 効に働くことが確認できる．性能を優先する場合は Cst を. に次ぐ性能を示しているが，多くの実装メモリと計算コス. 用い，コスト削減を優先する場合は Ct を用いることで，. トが必要であることが確認できる．このような結果となっ. それぞれの用途に合った検出結果を従来手法より高速かつ. た要因は，Cst が時間特徴と空間特徴を考慮したモデル選. 省メモリで実現できる．. 択を行っているためである．各画素で 1 つの背景モデルを. LightSwitch（図 14）: このシーンでは急激な照明変動が. 用いる従来手法は，木の揺らぎによる急激な画素値の変化. 何度も観測される．また，照明変動が起こった直後に，しぼ. に対応することができず，誤検出を起こしてしまう．一方. りやホワイトバランス等のカメラパラメータの自動調整に. Cst の場合，時間特徴や空間特徴を考慮してモデルを適宜. より映像全体の明るさが変動する（シミュレーションデータ. 選択することができる．このため，例え背景の動的変動に. の LightSwitch，Darkening に対応）．Precision-Recall 曲. より画素値が急激に変化したとしても，過去や周辺画素に. 線，消費メモリ-F 値曲線を見ると，Cst 及び Ct が，従来. おいて同様の変化が観測されていた場合その事例を参照す. 手法より高い性能を示している．これは事例ベースの手法. る事で誤検出を防ぐことができる．このような動的背景変. が，急激な照明変動の直後に起こる緩やかな明るさ変動. 動は，画像座標が近い画素同士において類似した変化繰り. に，適切に対応できるからである．図 8 に照明変化（ライ. 返し観測されるため，特に空間特徴が有効的に働いている. ト ON → OFF）が起こった直後の検出結果を示す．図 8. と考えられる．Cst から空間特徴を除去した Ct の手法で. から，事例ベース背景モデルの方が変動に対する誤検出が. は，性能が大幅に低下していることからも，動的背景変動. 少ないことが分かる．また，誤検出した画素においても，. に対する空間特徴の有効性がうかがえる．. より少ないフレームで対応できていることが確認できる．これは，過去に同様の変動が観測された際に登録した事例. 6.2 実世界を撮影したデータに対する実験結果本節では，実世界を撮影したデータセットを用いて評価実験を行った結果を考察する．前節のシミュレーション. を，適切に参照することができるためである．以上より，実シーンにおける急激な背景変動に対しても，事例化のフレームワークは有効に働いていることが分かる．. データに含まれている背景変動及び環境条件が複数同時に起こる実シーンを用いることで，背景モデルとしての総合的な性能を評価する．. 6.3 考察表 1 に各手法の検出精度とコストをシーン別に一覧にし. PETS（図 13）: このシーンでは，背景変動として木々の. たものを示す．各セルの内容は (検出精度)/(メモリ・計算. 揺らぎ，天候の変化による照明変動が起こり，前景として. コスト) を表し，記号は結果の良し悪しを表している（例：. 人の往来が数多く観測される（シミュレーションデータの. AdaptiveGMM-Basic の欄は○/×となっている．これは. Basic，Darkening，Camouflage，NoCamouflage に対応）．. 性能は保証されるが，多くのコストが要求されることを表. Precision-Recall 曲線，消費メモリ-F 値曲線を見ると，Cst. している）．これらの記号は，5.1 節から 5.3 節までの評価. が最も高い性能を示していることが分かる．これは，従来. 結果を踏まえて総合的な判断を著者らによって与えた．表. 手法に比べて事例ベース背景モデルの方が，天候の変化に. 1 より，Cst を用いた場合，ほぼすべてのシーンに対して，. よる緩やかな背景変動に頑健に対応できるからであると考. 従来手法の性能を維持または向上させた上でコストを削. c 2012 Information Processing Society of Japan . 6.

(7) Vol.2012-CVIM-182 No.9 2012/5/23. 情報処理学会研究報告 IPSJ SIG Technical Report 表 1 物体検出精度とコストの比較（性能/コスト）. Adaptive. 事例ベース. 事例ベース. 事例ベース. GMM. Ct (時間). Cs (空間). Cst (時+空). Basic. ○/ ×. △/ ○. ×/ △. ○/ △. Camouflage. ○/ ×. △/ ○. ×/ △. ○/ △. NoCamouflage. ○/ ×. △/ ○. ×/ △. ○/ △. Darkening. △/ ×. ○/ ○. ×/ △. ○/ △. LightSwitch. ○/ ×. ×/ ○. ×/ △. △/ △. NoisyNight. ○/ ×. ×/ ○. ×/ △. △/ △. シミュレーションデータ. MPEG4-40kbps. ○/ ×. △/ ○. ×/ △. ○/ △. SABS. MPEG4-80kbps. ○/ ×. △/ ○. ×/ △. ○/ △. MPEG4-160kbps. ○/ ×. △/ ○. ×/ △. ○/ △. MPEG4-320kbps. ○/ ×. △/ ○. ×/ △. ○/ △. MPEG4-640kbps. ○/ ×. △/ ○. ×/ △. ○/ △. Bootstrap. ○/ ×. △/ ○. ×/ △. △/ △. DynamicBackground. ○/ ×. △/ ○. ×/ △. ○/ △. PETS. △/ △. ○/ ○. ×/ △. ○/ △. LightSwitch. ○/ ×. ○/ ○. ×/ △. ○/ △. 実シーン. ※表中の記号は，○，△，×の三段階で結果の良し悪しを表現している．. 減できていることが分かる．従来手法では対応できなかった Darkening に対して，コストを抑えつつ性能を向上させることができていることから，事例化のフレームワークは. [3]. 緩やかな照明変動に対して非常に有効であるといえる．また，Ct を用いた場合は，従来手法と比べると若干性能が低. [4]. 下してしまうが，全シーンに対して大幅な低コスト化が実現可能である．シーンによっては低コスト化と同時に性能の向上も見られ，特に実シーンへの評価において，Ct が. Cst と同等の性能をより低コストで実現している点は評価. [5]. できる．. 7. おわりに. [6]. 今回の研究では，評価曲線を描画することにより事例ベース背景モデルの総合評価を行った．結果として，事例化の枠組みにより，様々な変動に対して性能を維持しつつコストを削減できることが確認された．特に照明の変化に. [7]. よる背景変動に対しては，低コスト化に加えて性能の向上も望むことが可能である．また，特徴ベクトルとして時間情報のみを用いると，若干の性能低下が認められるものの，. [8]. 大幅な低コスト化・高速化を図ることもできる．今後の課題としては，現状の事例化手法では対処できない Bootstrap. [9]. やノイズが含まれる条件下において，適切な検出を行うことができる事例化手法を考案することが挙げられる．. [10]. 参考文献 [1]. [2]. Chris Stauffer and W.E.L Grimson. ”Adaptive background mixture models for real-time tracking.” IEEE International Conference on Computer Vision and Pattern Recognition (CVPR) Vol. 2, pp. 246-252, 1999. Atsushi Shimada, Daisaku Arita and Rin’ichiro Taniguchi. ”Dynamic control of adaptive mixture-ofgaussians background model.” In: CD-ROM Proc. of. c 2012 Information Processing Society of Japan . [11]. IEEE Int. Conf. on Advanced Video and Signal Based Surveillance 2006. Yutaka Satoh, Shun’ichi Kaneko, Yoshinori Niwa and Kazuhiko Yamamoto. ”Robust object detection using a radial reach filter (RRF).” Systems and Computers in Japan Vol. 35, pp. 63-73, 2004. Tatsuya Tanaka, Satoshi Yoshinaga, Atsushi Shimada, Rin’ichiro Taniguchi, Takayoshi Yamashita, and Daisaku Arita. ”Object detection based on combining multiple background modelings.” IPSJ Transactions on Computer Vision and Applications 2010. Kentaro Toyama, John Krumm, Barry Brumitt, and Brain Meyers. ”Wallflower: Principle and practice of background maintenance.” International Conference on Computer Vision pp. 255-261, 1999. Tatsuya Tanaka, Atsushi Shimada, Rin ichiro Taniguchi, Takayoshi Yamashita, and Daisaku Arita. ”Towards robust object detection: integrated background modeling based on spatio-temporal features.” In Asian Conference on Computer Vision 2009. Atsushi Shimada, Tatsuya Tanaka, Daisaku Arita, and Rin’ichiro Taniguchi. ”Spatial-temporal integration of adaptive gaussian mixture background models.” CDROM Proc. of the 14th Korea-Japan Joint Workshop on Frontiers of Computer Vision 2008. Johnny Park, Amy Tabb, and Avinash C. Kak. ”Hierarchical data structure for real-time background subtraction.” In ICIP pp. 1849-1852, 2006. 島田敬士, 長原一, 谷口倫一郎. ”事例ベース背景モデリング.” 画像の認識・理解シンポジウム MIRU pp. 868-873, 2011. Mayur Datar, Nicole Immorlica, Piotr Indyk, and Vahab S. Mirrokni. ”Locality-sensitive hashing scheme based on p-stable distributions.” In SCG ’04:Proceedings of the twentieth annual symposium on Computational geometry pp. 253-262, 2004. Sebastian Brutzer, Benjiamin Hoferlin, and Gunther Heidemann. ”Evaluation of background subtraction techniques for video surveillance.” Computer Vision and Pattern Recognition (CVPR), IEEE Conference 2011.. 7.

(8) Vol.2012-CVIM-182 No.9 2012/5/23. 情報処理学会研究報告 IPSJ SIG Technical Report. Ct. 0 0. 0.2. 0.4 0.6 Precision. 0.8. 1. Cs Cst. 500000 # of Dist. 図 9. 1. Cst. 0.6. fps. Recall. 0.8 0.4 0.2. Cs. 0 0. Adaptive GMM. Ct 0.2. 0.4 0.6 Precision. 0.8. 1. 6 5 4 3 2 1 0. 0.6. fps. Recall. Adaptive GMM. Cs. 0.4 0.2 0. 0.2. 0.8. Adaptive GMM. 500000 1000000 # of Dist. 8 6. 4. 4. 0.2. 0.2. Ct. Adaptive GMM. Cs. Cst 64000 114000 Memory(KB). 0.8. 0.8. 0.6. 0.6. 0.4. 0.4. 0.2. 0.2. Ct. 164000. 214000. Cst Adaptive GMM. Cs. 0 0 8600 0 Memory. 2000000. Adaptive GMM. Cst. 0 0 1000 # of Dist. 1. 1500000. Cs. 2. 0. 0.4 0.6 Precision. Cst. 6. Ct. 0.4. 0 0 8600 14000 ㍈䝷䝧䝹. 1500000. Cs. 8. 2. Ct. Cst. 0. 0.6. 0.4. 100000 200000 Memory(KB). 300000. 400000. シミュレーション-Darkening. fps. 1 0.8. 1000000. 0.8. 0.6. シミュレーション-Basic. 6 5 4 Ct 3 2 1 0 200 500 0 # of Dist. 図 10. Adaptive GMM. 0.8. 0. 0.8. 0.8. 0.6. 0.6. 0.4 0.2. F-measure. 0.2. 6 5 Ct 4 3 2 1 0 300 600 0 # of Dist. F-measure. 0.4. Adaptive GMM. 6 5 4 3 2 1 0. F-measure. 0.6. fps. Recall. Cst. Cs. F-measure. 1 0.8. Ct. Cst. 0.4 0.2. 500000 1000000 1500000 2000000 # of Dist. Adaptive GMM. Cs. 0 0 8600 0 Memory. 50000 100000 150000 200000 250000 Memory(KB). 図 11 シミュレーション-Bootstrap. Cs. 0.2. Cst. 0 0. 0.2. 0.4 0.6 Precision. 0.8. 1. 図 12. 1. Adaptive GMM. Cst. 0.6. fps. Recall. 0.8 0.4 0.2. Ct. Cs. 0 0. 0.2. 0.4 0.6 Precision. 0.8. 6 5 4 3 Ct 2 1 0 0 10000 # of Dist. 1. Cs Adaptive GMM. Cst 500000 1000000 # of Dist. 1. Adaptive GMM. fps. Recall. 0.6. Cst. 0.4 0.2. Ct. Cs. 0 0. 0.2. 0.4 0.6 Precision. 0.8. 1. 35 30 25 20 15 10 5 0. 35 30 25 C 20t 15 10 Cs 5 0 400 550 0 # of Dist. 50. 50. 40. 40. 30. c 2012 Information Processing Society of Japan . 0.8. 0.6. 0.6. 0.4. 0.4. 0.2. 0.2. Ct Cst Cs. 0 0 8600 0 Memory. 2000000. Cst Adaptive GMM. 100000 # of Dist. Adaptive GMM. 100000 Memory(KB). 200000. 300000. 20. 20. 10. 10. 0. 0 0 500 0 # of Dist. 200000. 0.8. 0.8. 0.6. 0.6. 0.4. 0.4. 0.2. 0.2. Ct. Adaptive GMM. Cs. 0 0 8700 0 Memory. 300000. Cst. 10000 20000 Memory(KB). 30000. 40000. 実シーン-PETS. Ct Cst. 30. 図 14. Cst( 時 + 空 ). 1500000. 0.8. シミュレーション-DynamicBackground. 図 13. 0.8. F-measure. 0.4. Ct. 6 5 4 3 2 1 0. F-measure. Recall. 0.6. fps. Adaptive GMM. Cs Adaptive GMM. 50000 100000 150000 200000 250000 # of Dist. F-measure. 1 0.8. 0.8. 0.8. 0.6. 0.6. 0.4. 0.4. 0.2. 0.2. 0 0 8600 0 Memory. Ct. Cst Cs 10000 20000 30000 Memory(KB). Adaptive GMM. 40000. 50000. 実シーン-LightSwitch. Ct( 時間 ). Cs( 空間 ). AdaptiveGMM. 8.

(9)