監視映像シーケンスの非定常度推定
数藤
恭子
†大澤
達哉
†ウ
小軍
†若林
佳織
†安野
貴之
††
NTT サイバースペース研究所
横須賀市光の丘 1-1
†
NTT サイバーコミュニケーション総合研究所
E-mail:
†{sudo.kyoko,osawa.tatsuya,wu.xiaojun,wakabayashi.kaoru,yasuno.takayuki}@lab.ntt.co.jp
あらまし 監視業務の効率化を目的として，映像中に含まれる人物の動きに基いて非定常なシーケンスを
識別し，非定常性の定量的な指標を抽出する手法を提案する．多数のカメラから構成される監視システム
に適用するためには，特徴量には環境依存の知識を用いないことや，識別のための学習において教師デー
タを必要としないことが望ましい．本研究では，環境依存の知識を用いない特徴量として，映像時空間内
での変化領域を抽出して二値で表現し，主成分分析で次元圧縮したものを用いる．また，識別に１クラス
SVM による教師なし学習を適用し，非定常性を算出する．これらの結果を用いて映像を非定常性の度合い
の高い順に並べて提示することで，監視映像のスクリーニングの効果が期待できることを実環境を模した
監視映像による実験で示した．
キーワード 監視映像, 非定常検出, 1 クラス SVM
Detecting the Degree of Anomaly in Security Video Sequences
Kyoko SUDO
†, Tatsuya OSAWA
†, Wu XIAOJUN
†, Kaoru WAKABAYASHI
†, and
Takayuki YASUNO
††
NTT Cyber Space Laboratories
1-1 Hikarinooka, Yokosuka, JAPAN
†
NTT Cyber Communications Laboratory Group
E-mail:
†{sudo.kyoko,osawa.tatsuya,wu.xiaojun,wakabayashi.kaoru,yasuno.takayuki}@lab.ntt.co.jp
Abstract The method to discriminate anomalous image sequences for efficiently watching monitoring
videos is proposed. Considering of applying systems composed of many monitoring cameras, the method
is required which is independent of the camera setting environment and the contents of the videos. We
propose a method that can discriminate anomalous image sequences for more efficiently utilizing security
videos. Considering the wide popularity of security cameras, the method is independent of the camera
setting environment and the contents of the videos. We use the spatio-temporal feature obtained by
extracting the areas of change from the video. To create the input for the discrimination process, we
reduce the dimensionality of the data by PCA. Discrimination is based on a 1-class SVM, which is a
non-supervised learning method, and its output is the degree of anomaly of the sequence. The method
is applied to videos that simulate real environments and the results show the feasibility of determining
anomalous sequences from security videos.
1.
は じ め に
近年，社会的不安の増加のためビデオカメラを用いた 自動監視システムの開発が盛んに行われている．カメラ の低価格化，ネットワークやデータ蓄積技術の発達によ り，多数の監視カメラ設置が可能になり，大量の映像デー タがセンターに送られ蓄積されている．そうした映像を 人手で確認するには時間と労力を要するため，監視業務 の効率化のための画像処理技術が求められている．映像 確認作業における一つの重要な指標は，映像中の人物の 有無とその行動である．近年では監視映像を対象とした 顔検出や動領域抽出，人物追跡技術に力が注がれ，精度 のよい人物検出や追跡のための有効なアルゴリズムも提 案されている．これらの検出や追跡の技術を有効利用し て行動パターンを解析し，非定常なシーケンスを検出で きれば長時間の監視映像のスクリーニングに有効である． 最終的な判断は人間の目視によって行われるようにする のが現実的な方策であるため，判断する人間の手間が省 けるように非定常の度合いの高い順にシーケンスを並べ 変えて提示する方法を提案する．本研究は，そのために非 定常の度合の指標を定量的に抽出することを目的とする． 多数のカメラから構成される監視システムにおいて， 人手による確認作業を効率化するためには，カメラごと の設定が不要であること，識別結果が定量化されている ことなどが求められる．そこで教師つきデータを必要と せず，非定常の度合い示す指標が得られるような識別手 法が適していると考えられる．教師なし学習による非定 常検出に関する従来研究は大きく分けて2つのアプロー チがある．一つは，定常的な行動パターンをクラスタリ ングし，新たな入力シーケンスをクラスタリングされた パターンと照合し，クラスタリングの結果いずれのクラ スにも属さないものを非定常とする方法[1] [2]で，この 場合の出力は定常または非定常の2クラスである．もう 一つは，サンプルの分布が疎なものを非定常とする考え 方で[3]．サンプルの特徴空間での分布を学習し，分布か らのはずれ具合によって非定常性を判定する方法である． 分布からのはずれ点を検出するには，事後確率推定に基 づく方法[4]，部分空間法を用いる方法[5]などがある．い ずれの場合も非定常の度合いを学習サンプルの分布との 距離などで定義することにより，定量的に表現すること ができる．本研究では，1-class SVMを用いてはずれ点 となるサンプルの検出とそのはずれ具合の尺度の抽出を 行う． 以下本稿では，第2章において，識別特徴量の抽出方 法，および1クラスSVMを用いた非定常性の指標の抽 出方法を説明する．第3章では，銀行のATMにおける 監視を想定した映像を用いた評価実験について述べる．2.
映像からの特徴量の抽出
2. 1 背景モデルの推定を用いた変化領域の抽出 映像監視技術では，一般的に画像の変化領域に基く特 徴量が用いられる[6]．特に非定常状態を検出するには人 物や物体の有無などが重要な情報となるため，変化領域 に基づく特徴量が有効であると考えられる．変化領域を 得る代表的な方法は背景差分である．そのほかフレーム 間差分，オプティカルフローなどを用いた抽出方法が用 いられるが，「うろうろする」「様子を伺う」など映像監視 で注目すべき不審な動きの中でも位置移動が少ない動き を検出するのは困難であると考えられる．そこで本研究 では背景差分を用いることにする． 安定して人物を検出するためには，環境の変化に追随 して背景を更新する必要がある．これには，背景を画素 ごとにモデル化し，画素の時系列データからモデルの推 定を行う方法が有効である．その一つのアルゴリズムと して，本研究ではStaufferらの方法[7]を採用する．背 景を混合分布モデルとして近似し推定することで定常的 な変化を吸収する．これに属するか否かにより新たな入 力画素が背景であるか前景であるかを区別して，背景と 前景の二値画像を出力する． 入力映像の時刻tにおける画素(x, y)の値をXt = I(x, y, t)とする．時刻tにおける背景をk個の正規混 合分布で近似し，これを構成する分布をνk,t とする． I(x, y, t)のνk,t−1へのあてはまりの良さを求め，分布に 属する場合にはMk,t= 1，属さない場合にはMk,t= 0 となる値Mk,tを定める．あてはまりのよい分布ほど重み が高くなるように式(1)によって分布の重みを決定する． あるkについてMk,t= 1となるとき，Xtは背景である と判定され，このとき出力画素値をI0(x, y, t) = 0 とす る．また，式(2)(3)に従って分布νk,t−1のパラメータに Xtの値を加えた更新を行い，νk,tのパラメータµt, σtを 求める．更新の速さはαの値によって調整される． wk,t= (1 − α)wk,t−1+ α(Mk,t) (1) µt= (1 − ρ)µt−1+ ρXt (2) σt2= (1 − ρ)σt−12+ ρ(Xt− µt)T(Xt− µt) (3) ρ = αη(Xt|µk, σk) (ηはガウス密度関数) Mk,t= 0の場合にはI0(x, y, t) = 1とする．以上の過程 において二値画像列I0(x, y, t) (t = 1, 2, · · · , T ) を得る． 2. 2 時空間情報をもつ特徴量の生成 次に，変化領域の二値画像を時間方向に並べた時空間 的な形状の特徴を特徴量として抽出する．時空間的な特徴を扱う場合，次元数が膨大となるため，次元数を削減 したうえで効率的な識別処理を行なうことが望ましい． 従来研究では，時空間特徴による異常検出において固有 空間におけるマッチングを行うことで効率化を図ってい る例がある[8]．また，映像の類似シーン検索を行なう研 究[9]において，主成分分析を用いて長時間映像を段階的 に次元圧縮する方法が示されている．本研究では，対象 とする映像から変化領域の二値画像を抽出した後，主成 分分析によって次元数の削減を行う．処理対象とするす べてのフレームについて一定の寄与率以上の主成分によ る低次元のベクトルを抽出する． 変化領域画像の主成分の時系列を時間的に区切って識 別のための特徴量とする．区切り方は，連続して変化が みられるフレームをひと区切りとして抽出するか，固定 のフレーム数に区切ることが考えられる．前者の場合， シーケンスごとにフレーム数は異なるため，特徴量の次 元数が一定しない．そこで，後者の方法を用いることに する． 以上の流れを図1を用いて説明する．図1(a)において， 入力映像をサイズx × yの画像の時系列I(x, y, t)とする． Nフレーム分の時系列I(x, y, t) · · · I(x, y, t + N )から識 別のための特徴量を生成する．始めに変化領域を前景とす る二値画像I0(x, y, t) · · · I0(x, y, t + N ) を得る．図1(b) において，I0(x, y, t) をx × y次の一列のベクトルとして， 全フレームから得られたベクトルを用いて主成分分析を 行う．p個の主成分を用いて，各フレームの情報をp次に 圧縮したベクトルの列F (t) · · · F (t + N )を得る．これを 一列に並べたベクトルを時刻tにおける特徴量f (t)とす る．以上の手順で元の画像のI(x, y, t) · · · I(x, y, t + N ) に対応して特徴量f (t)を得る．次の特徴量は最初のフ レームをs(< N )フレームずらし，元の画像の時系列 I(x, y, t + s) · · · I(x, y, t + s + N )に対応してf (t + s)を 生成する．このように，時間方向にNフレーム分の情報 をもった特徴量を開始位置をsフレームずつずらしなが ら生成する．
3.
非定常性の指標の抽出
本研究では，特徴空間におけるはずれ点を非定常とみ なし，多くのサンプルを含む領域からはずれている度合 いが大きいほど非定常性が高いとする．多くのサンプル を含む領域を求めるために，1クラスSVMを用いる．1 クラスSVMは，ガウシアンカーネルを用いて特徴量を 写像した高次元特徴空間において，はずれ値が原点付近 に寄る性質を利用した1クラスの識別器である．主に 外れ点検出に利用される手法だが，集合からのはずれ具 合が数値として求まるため，これを非定常の度合の指標 I(x, y, t) · · · I(x, y, t + N ) 変化領域抽出-I0(x, y, t) · · · I0(x, y, t + N ) (a) I0(x, y, t) · · · · · · I0(x, y, t + N ) x × y
?
6
主成分分析-F (t) · · ·
A
F (t + N )A
· · · p?
6
-F (t)©
·· · F (t + N )©
p × N?
6
f (t) (b) 図 1 時空間情報をもつ特徴量の抽出方法．(a) 入力映像をサ イズ x × y の画像の時系列 I(x, y, t) とする．N フレー ム分の時系列 I(x, y, t) · · · I(x, y, t + N ) から識別のため の特徴量を生成する．始めに動領域を前景とする二値画 像 I0(x, y, t) · · · I0(x, y, t + N ) を得る．(b)I0(x, y, t) を x × y 次の一列のベクトルとして，全フレームから得られ たベクトルを用いて主成分分析を行う．p 個の主成分を用 いて，各フレームの情報を p 次に圧縮したベクトルの列 F (t) · · · F (t + N ) を得る．これを一列に並べたベクトル を時刻 t における特徴量 f (t) とする． として利用することにする．ドキュメントの分類への適 用，[10]，発電所のセンサ出力監視への適用[11]などの従 来研究があるが，監視映像からの非定常検出への1クラ スSVM適用については，特徴量やパラメータをどのよ うに用いると効果的であるか知られていないため，今後 検討の必要がある． 3. 1 1クラスSVM 1 ク ラ ス SVM [12] [13] は ，ガ ウ シ ア ン カ ー ネ ル K(xi, x) = exp(−||xi−x|| 2 σ2 ) を用いて特徴空間への写 像を行うと，入力空間で他から孤立しているはずれ点は 高次元特徴空間の原点近くに写像されるという性質を利 用している．式(2)を識別関数とすると，式(3)を解く ことにより，あらかじめ決められた割合νのサンプル群 が原点側に残るように原点とサンプル群を分けるような 超平面が求められる．識別関数 f (x) = sign(ωΦ(x) − ρ) (4) minw∈F,ξ∈Rn,ρ∈R1 2||ω|| 2 + 1 νnΣiξi− ρ (5) 制約条件 ωΦ(xi) <= ρ − ξi, ξi<= 0 式(2)と式(3)のカーネルトリックによる非線形への拡 張はそれぞれ式(6)，式(7)となる． 識別関数 f (x) = sign(ΣiαiK(xi, x) − ρ) (6) 最適化する関数 minα1 2Σi,jαiαjK(xi, xj) (7) 制約条件0 <= αi<= 1 νn, i = 1, · · · , n Σni=1αi= 1 1クラスSVMは，式(7)を最適化することにより，原点 とすべてのサンプルが最も離れるような識別軸を決定す る．このとき，あらかじめ設定したパラメータνによっ て決まる割合のサンプルがはずれ点となる． 3. 2 非定常性の定量化 特徴空間において，あるサンプルxとx以外のすべて の点の距離が離れているとき，式(6)の識別関数f (x)中 のΣiαiK(xi, x)−ρの値は小さくなる．ΣiαiK(xi, x)−ρ が負の時，そのサンプルxは非定常となる．そこで，非 定常と識別されたサンプルについて，|ΣiαiK(xi, x) − ρ| （以下= |g(x)|）の値を非定常性の指標として用いること にする．|g(x)|が大きいほど非定常性が高いことになる． 非線形変換のため，g(x)の大小と元の特徴空間でのサ ンプル同士の距離の関係は不明であるが，Scholkopfは 実験によって，νの値を変化させたとき，識別境界が分 布のまとまりの中心から等高線状に変化する様子を2次 元特徴量のデータを用いて示している[12]．本研究にお いては，2次元データを用いた予備実験を行い，νの値の 大きさと分布の中心からの外れ具合について順序性がみ られることを確認した．また，σの値は今回は固定値と し，予備実験の際に適切な値を設定した．式(5)におけ るνの値は，はずれ点の割合を示すため，全データの何 %を非定常とするかをユーザが設定することができる．
4.
実
験
4. 1 入力データ 提案手法の有効性を確認するため，実験用の監視映像 を用いた評価実験を行った．実験用の監視映像とは，テ レビドラマなどで用いられている，普通の銀行のATM と同様のスタジオセットにて撮影したものである．カメ ラは，通常多くの実際の銀行ATMにおけるカメラの設 置環境と同じく地面から約2mの高さに設置されており， ATMの利用者が頭上斜め上から撮影される．以上のよ うに，撮影環境（撮影場所とカメラの設置条件）は実際 のものと同じである． 次に，カットの撮影方法を説明する．提案手法の評価 に用いるため，長時間映像のすべての時刻に定常または 非定常の正解ラベルがつくように製作した．定常のカッ トと，非定常として想定されるカットをあらかじめシナ リオ生成し，区別して撮影した．登場人物はすべて肖像 権を確保した役者であり，シナリオに基づいて行動する． 人がキャッシュディスペンサーに近寄り，引き出しや入金 などの操作を行い立ち去る一連の動作を定常なカットと し，携帯電話による暗証番号盗撮や，ゴミ箱からの明細 持ち去りなどを非定常のカットとした． 次に，こうして撮影された複数のカットを編集した． 40個の定常カットに10個の非定常カットを挿入して編 集し，全30分の映像とした．映像は毎秒30フレームで デジタルビデオテープに記録し編集を行った後，処理を 行った． 4. 2 実 験 条 件 処理対象としたオリジナルの映像は640 × 480画素，毎 秒30フレームの映像で，これを160 × 120画素に縮小し て処理を行った．30分間の映像54000フレームについて， 15フレームおきに時空間特徴を求め，3600サンプルの入 力特徴ベクトルを生成した．二値画像列の生成方法にお いて，各画素の背景モデルの混合分布の分布の数Kを5， 式(1)のαを0.01とした．識別特徴量生成の方法にお いて，処理する各フレームのサイズはx = 160, y = 120， 1つのサンプルを生成するために用いるフレーム数は N = 500，サンプルを生成する時間間隔はs = 15とした． 1-class SVMによる処理においては，ガウシアンカーネ ルのσの値を0.01，非定常として検出するサンプルの全 サンプルに対する割合νの値を0.05とした． 4. 3 結 果 まず特徴抽出においては，カメラ視野に人の出入りが 途切れない場合や，人の動きが画面内で一時的に停止し た場合のどちらに対しても安定して変化領域を抽出する ことができた．処理対象とした入力映像と，対応する変 化領域抽出結果の一例をそれぞれ図2，図3に示す．次 に，30分間の映像(30フレーム/秒，全54000フレーム) からの非定常度の推定結果を図4に示す．横軸は時刻(フ レーム)で，縦軸は各時刻における特徴量を識別器に入力 した結果の数値を示す．g(x) < 0となる時刻のサンプル が非定常サンプルとして検出された．元の映像には無人図 2 処理対象とした映像の 1 フレーム． 図 3 背景モデル推定により，図 2 の元画像から抽出した変化 領域の二値画像． -0.1 -0.05 0 0.05 0.1 0.15 0.2 0.25 0.3 0 10000 20000 30000 40000 50000 60000 g(x) frame anomal sample 図 4 30 分間の映像 (30 フレーム/秒，全 54000 フレーム) か らの非定常度の推定結果． 横軸は時刻 (フレーム)．縦軸は各時刻における特徴量を 識別器に入力した結果の数値を示し，g(x) < 0 となる時 刻のサンプルが非定常サンプルとして検出される．映像 に変化領域がない領域から生成されたサンプルは識別器 への入力を行わないため，g(x) の値は出力されない (横 軸が 11000∼13000 の領域，32000∼39000 の領域)． のシーンも含まれており，今回は識別特徴量生成の際の 入力映像フレームがすべて無人の領域から生成されたサ ンプルは識別器への入力対象外とした．実際に識別器に 入力されたサンプル数は2333サンプルであった．識別実 験の結果は，124サンプルがg(x) < 0となった．その中 に，非定常ラベルがついた150サンプルのうちの98サ ンプルが含まれた．非定常として検出されたサンプルの うち，時間的に連続しているものは一つのカットとする と10個のカットが検出され，このうち8個は非定常とし て正解付けされたものであった． 図5に実験の結果得られた非定常なカット3種類の例 と，定常なカットの一例を非定常度の度合いとともに示 す．以上の結果では，非定常として想定したカットを提 案手法によって良好に抽出することができた． 今回非定常シーケンスについて得られた非定常性の数 値については，現段階では定量的な評価は行っていない が，おおむね直感と近い結果が得られた．本提案手法に より識別される非定常シーケンスが実際に人の主観と近 いものであるかどうか，評価の手法も含めて今後の検討 が必要である． 検出される非定常シーケンスの全シーケンスに対する 割合は，1クラスSVMのパラメータνの値によってあ らかじめ設定する必要がある．本研究では，人が最終的 に見てチェックする監視映像のスクリーニングとして，注 目すべきシーケンスから順番に並べ替えて提示するよう なアプリケーションを想定しいるため，ある一定の時間 区間およびその中から優先的に閲覧したいデータ数の割 合を(νによって)ユーザが指定するという使い方は妥当 である．
5.
お わ り に
映像監視への適用を目指した非定常度推定手法を提案 した．多数のカメラから構成される監視システムに用い るため，特徴抽出において，カメラの設置場所に依存し た知識を用いずに元の映像そのものの情報に近い時空間 特徴量を用いることと，非定常度の推定において，あら かじめ定常と非定常の教師データを必要としない1-class SVMを用いた教師なし学習を行なうことを特徴とする． あらかじめ定常と非定常のラベルづけを行い編集した 監視シミュレーション映像に対し，上記の手法を適用す る実験を行い，映像シーケンスの非定常度を推定した． その結果，非定常とラベルづけされた10種類のカットの うち8種類のカットは非定常度の高いシーケンスとして 検出された．おおむね直感に近い結果が得られているこ とから，監視映像のスクリーニングとして利用できる可 能性が示唆された．今回用いた正解データは定常・非定 常の区別のみであるが，今後非定常の順序についての評 価が必要である．また，逐次学習のアルゴリズムを導入 することによって，オンライン的な使い方に拡張してい くことが今後の課題である． 文 献[1] G. L. Foresti:“A Real-Time System for Video Surveil-lance of Unattended Outdoor Environments”, IEEE
(a) (b) (c) (d) 図 5 非定常として検出されたシーケンスの代表フレームと，定 常の 1 シーケンスの代表フレームの例. (a)∼(c) は非定常として検出されたカットの 1 フレー ム. 非 定 常 性 の 数 値 は そ れ ぞ れ (a) |g(x)| = 0.03, (b) |g(x)| = 0.02, (c) |g(x)| = 0.001．内容は (a) は ゴミ箱から明細を取る不審者．(b) はカードを取り忘れて 振り向く女性．(c) は端末利用者が横に置いた財布を取る 不審者．(d) は g(x) > 0 となる定常なカットの一例の 1 フレーム (g(x) = 0.11)．
Trans. on Circuits and Systems for Video Technology, Vol. 8, No. 6, pp.697–704, 1998.
[2] Z. Fu, W. Hu and T. Tan: “Similarity Based Vehi-cle Trajectory Clustering and Anomaly Detection”, Proc. IEEE International Conference on Image Pro-cessing, ICIP2005.
[3] I. Steinwart, D. Hush and C. Scovel, : “A Classifica-tion Framework for Anomaly DetecClassifica-tion”, Journal of Machine Learning Research 6, PP. 211–232, 2005. [4] 横井：“画像に基づく監視ロボットのための異常検出手
法”, 信学技報 PRMU2004-144, pp. 61–66, 2004. [5] T. Nanri and N. Otsu: “Unsupervised Abnormality
Detection in Video Surveillance”, Proc. IAPR Con-ference on Machine Vision Application, pp. 574–577, 2005.
[6] W. Hu, T. Tan, L. Wang: “A Survey on Visual Surveillance of Object Motion and Behaviors”, Proc. IEEE Trans. on Systems, Man, and Cybernetics Part C, Vol. 34, No. 3, pp.334–352, 2004.
[7] Stauffer, Grimson ：“Adaptive background mixture models for real-time tracking”, IEEE Computer So-ciety Conference on Computer Vision and Pattern Recognition, Vol.2, pp.246–252,1999. [8] 室谷，大矢，油谷，：“固有空間法を用いた警備ロボット のための異常検出”, 日本機会学会講演会論文集，No. 1P1-68-098，2000. [9] 野田，目加田，井手，村瀬：“特徴次元圧縮による長時間 映像中における同一区間映像の高速検出法”, FIT2004， No. I-039, 2004.
[10] L.M.Manevitz and M.Yousef: “One-Class SVMs for Document Classification”, Journal of Machine Learn-ing Research 2, pp.139–154, 2001.
[11] 小野田, 村田, 山名, 清水, 野邊, 村川：“One Class SVM に基づく水力発電所軸受異常振動の予兆発見 (1)”, 第 18 回人工知能学会全国大会，2F2-01, 2004. [12] B. Scholkopf, J. C. Platt, J. Shawe-Taylor, A. J.
Smola and R. C. Williamson: “Estimating the sup-port of a high-dimensional distribution”, Neural Computation 13, pp.1443–1471, 2001.
[13] 麻生, 津田, 村田：“パターン認識と学習の統計学”, 岩波 書店, 2003.
