平成 26 年度 博士前期課程学位論文
対象の動き を考慮 し た混合ガウス背景モ デルに 基づ く 前景分離
首都大学東京 システ ムデザイ ン研究科
情報通信 システ ム学域
13890506
王 文娟
目次
目次
第 1 章 序論 1.1 研究背景 1.2 従来法と 問題点 1.3 本研究の位置付け
1.4 論文構成
第 2 章 時空間混合 ガ ウ ス 分布 モ デル
2.1 多重解像度 GMM 前景分離の概要
2.2 WALsH 変換 に よ る特徴量の生成
2.3 背景前景特徴量の定義及び GMM の作成 2.4 多重解像度方式
2.5 従来法の間題点お よ び原因 2.6 終わ り に
第 3 章 提案 法 3.1 は じ めに
3.2 カ ラ ー空間に よ る特徴量の生成 3.3 カ ラ ー空間の決定
3.4 残像問題
3.6 動き検出 3.7 DS の紹介
第 4 章 実験結果 お よ び評価
4.1 残像間題におい て実験結果 4. 1. 1 SDSP の実験結果及 び評価 4. 1.2 LDSP の実験結果及 び評価 4. 1.3 拡大実験
4.2 前景の背景化間題及び評価 4.2. 1 SDSP の実験結果及び評価 4.2.2 LDSP の実験結果及 び評価 4.2.3 考察
2 3 4 4 5 6
9 9
20 20 20 21
7 o8 00 2 2 2 1 1 1 1 1 1 2 4 6 6 7 8 1 1 1 1 1 1 1 l 1
8
3.5 前景の背景化問題
22
28
目次
:11一
第 5 章 本研究の成呆 と 今後の課題 5. l 本研究の成果
5.2 今後の課題 謝辞
参考文献
29
29
29
31
32
図表目次 m 一
図表目次
図 1 Walsh 変換によ る GMM 前景分離フ ローチ ャ ー ト
図 2 Walsh 変化によ る特徴量の生成
図 8 色空間に よ る前景分離の処理結果 (a): 処理用元画像 (b):RGB 空間 に よ る前景分離結果 (c):CM Y 空間によ る前景分離結果 (d) : CM YK 空間に よ る前景分離結果
図 4 色空間によ る影除去の処理結果 (a): 処理用原画像 (b): RGB 空 間で前景分離及び影除去結果 (c) : CM Y 空間で前景分離及び影除去結
果 (d):CM YK 空間で前景分離及び影除去結果
図 5 残像問題が生 じ る動画 ら く 時間 を経 っ た フ レーム
図 6 残像問題が生 じ る動画の前景分離処理結果 (a): 図 11(a) に対応す る 前景分離処理結果 (b) : 図 11(b) に対応する前景分離処理結果 _ _ .. 15 図 7 画像全体の忘却係数 を大き く し た処理結果 (a): 図 11(a) に対応す る前
景分離処理の結果 (b):図 11 (b)に対応す る前景分離処理の結果 _ .. 15 図 8 背景化問題 が生 じ る動画 (a): 対象は移動中の フ レー ム (b): 対象
は し ば ら く 止 ま っ た フ レ ー ム
図 9 図 14 の処理結果 (a):移動中の対象の前景分離の処理結果 (b) し ば ら く 止 ま っ た対象の前景分離の処理結果
図 10 残 像 問 題 が生 じ る 動 画 の (b): 対象が途中ま で移動 し た フ レー
図 11 図 10 の前景分離の前景分離処理の結果 (a): 対象が動き 始め た フ レー ムの前景分離処理の結果 (b): 対象が途中 ま で 移動 し た フ
レー ムの前景分離処理の結果
図 12 ダイ ヤモ ン ドサーチ(DS)の LDSP (左) と SDSP (右) _ _ _ _ _ 19
図 13 SDSP に よ る前景分離処理の結果 (a): 移動量が 0 で ある部分 を残
像 と す る 前景分離処理の結果 (b):移動量が 1 以内 で あ る部分 を残 像 と す る前景分離処理の結果
図 14 SDSP によ る前景分離の処理結果 (a): 移動量が 0 で あ る部分 を残
像 と す る前景分離処理の結果 (b):移動量が 2 以内で あ る部分 を残像 と す る前景分離処理の結果
(a): 対 象 が動 き 始 め た フ レ ー
ム
4 6
(a) : 原動画のある時刻のフ レーム (b) : しば 12
13
15
16
1 6 ム
18
18
20
21
図 15 LDSP に よ る前景分離処理の結果 移動量が 4 以内で ある部分 を残
図表目次
IV 一
来法に 離結果
図 18 実験対象 を速 く 移動 し た前景分離処理の結果 (a): 実験用原画像
(b): 従来法に よ る前景分離結果 (c):LDSP によ る残像判定 を行っ た
前景分離結果
図 19 柄の付いてい る実験対象によ る実験結果 (a):実験用原画像 (b):
(a) を用い る前景分離結果 (c): LDSP によ る残像判定を行っ た前景分 離結果
像 と す る前景分離処理の結果
図 16 LDSP に よ る前景分離処理の結果 6 枚 スキ ッ プ し て移動量 4 以内 で あ る部分 を残像 と す る前景分離処理の結果
図 17 実験対象 を遅 く 移動 さ せた実験結果 (a): 実験用原画像 (b): 従 よ る前景分離結果 (c) :LDSP に よ る残像判定 を行 っ た前景分
図 20 SDSP によ る前景の背景化処理の抑圧結果 (a)移動量が 0 で ある部
分 を止 ま っ た と す る処理結果 (b)移動量が 1 以内 で あ る部分 を止ま っ た と す る処理結果
図 21 LDSP に よ る前景の背景化処理の抑圧結果 (a)移動量が 0 で あ る部
分 を止ま っ た と す る処理結果 (b)移動量が 2 以内の部分が停止 し てい る と す る処理結果
23
23
24
25
26
27
27
あ ら ま し
V 一
あらま し
正規混合分布モ デル を用い た ビデオ映像から の前景分離手法では、 切 り 出す対 象がフ レーム内で動 く こ と を前提と し てい る。 そのため、 対象が静止 し た場合 にそれ を背景 と し て学習 し て し まい、 再度動き 出 し た と き に、 静止時の領域が 学習 さ れた背景モ デルから外れ、 前景と 判断 さ れて し ま う。 一方移動 し ていた 対象が停止す る場合、 時間が経過する と 、 背景と 判断 さ れ、 検出で き な く な る。
そ こ で本研究では、 前景 と し て切 り 出 さ れた領域の フ レーム間での動き 量 を調 べ、 こ れ ら の問題 を解決す る方法を提案 し、 実画像実験 を通 し て その有効性 を
確認する。
,Summary
V ISummary
In the foreground segmentat ion method based on the Gaussian m ixture model, i t is assumed that the tar get required to be detected m oves in a im age sequence. Hence, when the tar get stands still, it is lear ned as a back ground.
A f ter that, when the tar gets begins to move again, the im age region at wh ich
the tar get stood before is apt to be determ ined as a foreground by
m istake.0 n the other hand, if the object has been moved to stop, sets a time,
i t is determ ined that the back ground and can not be detected .In the
proposed method, we exam ine the movement of the regions detected as a
foreground between successive frames, and remove the regions judged to
solve these problems. I ts effectiveness is confirmed through exper iments
using real im age sequences.
第 1 章 序論 1 一
第 1 章 序論 1.1 研究背景
監視 カ メ ラ や ビデ オ処理に よ る移動物体の検出技術は動作認識や 歩行者認識 な どのア プ リ ケー シ ョ ンにおけ る基本的 な技術で あ る。
現在固定カ メ ラ を対象 と し た前景分離手法と し て、 混合 ガ ウス分布 モデル(Gaussian M ixture Model:GMM) を利用 した手法[1] [2] が提 案 さ れてい る。 文献 [1] [2] の手法は ピク セル単位で独立に前景分離 を 行 う た め、 不安定 さ と 計算量に問題点 と し て指摘 さ れて い る。 ゆえ
に、 Walsh 変換係数 を特徴量と し た GM M 前景分離手法が提案 さ れ
てい る [3] 。 こ の手法は輝度値に対 して Walsh 変換 を行い、 直流成分 と 交流成分 を それぞれ独立 し た特徴量と し て利用す る。 さ ら に こ の 手法は多重解像度方式 を採用 し てい る。 小 さ い ブ ロ ッ ク サイ ズは解 像度が高い がノ イ ズが生 じやすい。 大き い ブ ロ ッ ク サイ ズは解像度 が低い がノ イ ズの影響 を受け に く い。 こ の手法は異な る ブ ロ ッ ク サ イ ズで得 ら れた前景分離の結果 を統合 し、 解像度が高 く ノ イ ズの影 響 を受けに く い結果 を得 られ る。
文献[3] では光の変動や雪のよ う な悪天候に も安定 し た前景分離 を 実現 し てい る。 こ の方法では、 風に よ る木々の揺れや光源の ち ら つ き 等に よ る背景の変化 を確率的にモ デル化す る こ と で、 単純な背景 差分法の性能向上が達成 さ れてい る。 こ の手法に対 し て さ ら に計算 量 を削減す る方法が提案 さ れた[4]。 一方で、 監視 シ ステ ムや画像検 索 シ ステ ムに よ る対象物の検出精度の更な る向上が強 く 求め ら れて お り 、 前景分離技術の高性能化が期待 さ れてい る。
1.2 従来法と 問題点
本研究は文献 [3] [4] の手法に注目 し てい る。 こ れら の方法ではでは、
画素 あ るいは小 ブ ロ ッ ク 毎に、 輝度特徴に対 し て背景、 前景それぞ
れ を表現す る ガ ウス分布 を構築 し 、 入力信号が ど ち ら の分布 に属す
るか を判断 し て 前景分離 を行 う。 ま た、 その結果 を用い て ガ ウ ス分
第 1 章 序論 2 一
布 を更新す る。 更新の速 さ は、 忘却係数で制御す る。 こ の手法で は 前景対象 が常に移動 し て い る こ と を前提 と し て 処理 を行 う 。そ のた め対象の動 き の変化に帰因 し て、前景分離性能が低下す る二つの問 題 が生 じ る。
第一 に、 映像の途中か ら対象が動き出すよ う な動画像 を処理す る 場合に起こ る問題で ある。 動き出 し た対象が前景と し て正 し く 検出 さ れ る。 一方で 、 対象が最初に存在 し ていた領域が、 間違 っ て 前景 と し て検出 さ れて し ま う。 こ の前景は対象が動かずに残 っ て し ま う 偽の前景で あ る。 本研究ではこ の偽の前景のこ と を残像 と 呼ぶ こ と に す る。
第二に、 前景 と 判定 さ れてい た対象が映像の途中で止ま っ て し ま う 場合に起こ る問題 で あ る。 こ のケースでは前景対象が背景 と し て 学習 さ れて し ま う。 本研究ではこ れ を前景の背景化問題 と 呼ぶ こ と にす る。
1.3 本研究の位置付け
本論文ではこ の二つの問題 を解決す るために、 動き検出 を処理過 程に加 え る工夫 を提案 し てい る。
残像は対象物体の動 き に追従せず、 元の位置に残 っ て い る と い う 特 徴があ る。 ゆえに、 こ の特徴 を利用 し 、 検出 さ れた前景部分に対 し て動き 検出 を行 う。 動き がない前景部分が残像領域 と 判断 さ れ、 こ の領域の学習 を コ ン ト ロ ールす る忘却係数 を大き く す る こ と で学習
を速め、 速やかに背景モ デルに移行 させ る。 こ のこ と で短時間で残 像 を消去す る こ と がで き る。 こ の方法では、 動き 検出 を行 う 領域は 全画面で な く 、前景 と 判断 さ れた部分だけに限定す る。 し たがっ て、
大幅な計算負荷の増大 を軽減さ け るこ と ができ る。
前景の背景化問題に対 し ては、 同様に前景と 判定 さ れた領域で動 き を評価 す る。 前 フ レ ー ムで 動 き があ り 、 現 フ レ ー ムで 動 き が検出 さ れな く な っ た領域は前景対象が途中で止ま っ た領域 と 判断す る。
その時点で その領域の GM M の更新お よ び前景分離処理 を停止す
る。 こ れに よ り 、 そ の領域が背景に切 り 替わっ て し ま う の を避 け る
第 1 章 序論 3 一
こ と がで き る。 ま た、 その領域で動き が検出 さ れた時点で 前景対象 の動き が再開 し た と 判断 GM M の更新 と 前景分離処理 を同時に再 開 す る そ の領域 が以 前学習 さ れて い た背景モ デル を そ の ま ま利 用 で き るので 、 改 めて 学習 す る必要がない。 し た が っ て 、 そ の領域 を 素早 く 背景 と 判断 す る こ と が可能で あ り 、 計算量 も 削減で き る。
1.4 論文構成
本論文は全 5 章で構成 さ れ る。 本章では、 本研 究の背景、 位置
付け を示 し た。 第 2 章では提案法の基礎 と な る多重解像度 GM M
前景分離につい て述べ、 その問題点 を説明す る。 第 3 章では動 き
検出 を処理過程に加 え る提案法について述べ る。 第 4 章では実験
結果 を通 し て 、 提案法の有効性 を評価す る。 第 5 章では本研究の
成果 と 今後の研究課題 につい て述べ る。
第 2 章 時空間混合 ガウ ス分布モ デル 4
第 2 章 時空間混合ガウス分布モデル 2.1 多重解像度 GMM 前景分離の概要
本章では本研究に用い る文献 [3] [4] の前景分離処理について概説 を 行 う。 こ の手法は Walsh 変換に基づ く GM M 前景分離処理 と 多重解 像度処理 を組み合わせた も ので ある。
こ の手法の処理の流れ を図 1 に示す。は じめに入力画像は RGB か ら Ycbcr に変換 さ れ、Y 成分(輝度値 : L um inance) を処理に用い る。
こ の輝度値に Walsh 変換 を施 く 、 直流成分と 交流成分 をそれぞれ独 立な特徴 を と 考え、 Walsh 係数 を特徴量と す る。 その特徴量 を背景 モ デル と 比較 し、 前景/背景の判定を行 う。 判定の結果に従い背景モ デルの更新 を行 う。 最後に多重解像度方式で処理 さ れた異な るサイ ズの前景分離の結果 を統合 し 、 最終的に解像度が高 く ノ イ ズの影響 を受けに く い処理結果 を得 られる。 以下、 Walsh 変換によ る特徴量 の生成、 混合 ガウス分布モ デルによ る前景/背景の判定お よ び更新、
そ し て多重解像度方式処理について述べる。
ラ 、 :;l51
↓
度 直 (Lum inance)
↓
↓
前景背景 理 ↓ →
↓
ガ ウスモ デル を
図 1 Walsh 変換 に よ る GMM 前景分離 フ ロ ー チ ャ ー ト
第 2 章 時空間混合 ガウ ス分布モ デル 5 一
2.2 Walsh 変換によ る特徴量の生成
本節では文献[4] の前景分離に用い る特徴量の定義 と 特性について 述べ る。 は じ めに、 入力 さ れた画像 を RGB か ら Ycbcr に変換 し、 輝 度値 をのみ を抽出す る。 n X n サイ ズの領域 を一つのブ ロ ッ ク と し て、
直交変換で ある Walsh 変換 を施す。 Walsh 変換係数 を用いて 3 つの 特徴量 を次のよ う に定義す る。
f0 = Wn(0,0)
3
fv = i2xlwn(1, 0)l
i=0
fh =
=0 J2 XIWn(0,J)l
) ) ) 1 2 3 ( ( (
wn(i,j) は n X n サイ ズのブ ロ ッ ク内に座標 (i,j) におけ る Walsh 変換 係数のこ と で ある。 f o は直流成分(DC) で あ り 、 f vは垂直方向の交 流成分で あ り 、 f hは水平方向の交流成分(AC) で あ る。 交流成分(AC) は減衰が速い ため、 各方向に対 し て Walsh 変換係数の重みづけ を加 算 し、 AC スペ ク ト ルの減衰 を抑え る。 AC 成分のスペ ク ト ルパラ メ ー タ を与え る係数の座標は 3 ま で と 設定 し てい る。 直流成分( f o) は そのブ ロ ッ ク 全体の平均の明 る さ を、 交流成分( f vと f h) はそれぞ れ対応す る方向のテ ク スチ ヤを表 し てお り 、 こ れ ら の特徴量は異な る特性 を示 し て い る。 特徴量の取 り 出す係数の位置関係 を図 2 のよ う に示す。 図 2 では、 (0,0) は直流成分 (DC) から生成す る特徴量 fo を 表す。 (1,0) 、 (2,0) 、 (3,0) は交流成分 (AC) の垂直成分を表 し、 こ の三 点の重み を加算 し た も のは特徴量 fv を表 し てい る。同様に、点(0,1)、
(0,2) 、 (0,3)は交流成分(AC) の水平成分を表 し、 こ の三点の重みを加 算 し た も のは特徴量 fh を表 し てい る。
従来法は直流成分 と 交流成分 を特徴量 と し て利用 し てい る。 そ し
て、 直流成分 と 各交流成分はお互い独立 し てい る た め、 それぞれ独
立に GM M を構築す る。 ゆえに、 時刻 t において直流成分 と 交流成
第 2 章 時空間混合 ガウ ス分布モ デル 6 一
0
0 1 2
t赤い部分(0,0):直流成分
青い部分 (1,0)(2,0)(8,0) :垂直方向の交流成分 緑の部分 (0,1)(0,2)(0,3) :横方向の交流成分
図 2 W al sh 変化に よ る 特徴量の生成
分か ら 構築 さ れた特徴量は以下のよ う に定義 さ れ る。
XDc,t = f0
XAc,t = [fv, fhl T
(4) (5) 文献[3] は斜め方向の交流成分 も利用す るが、 こ こ で計算量 を削減 す る た めに、 文献 [4] の提案法 を利用 し、 斜めの方向の交流成分 を省 略す る。
2.3 背景前景特徴量の定義及び GMM の作成
本節は文献 [3] にお い て提案 さ れて い る前景/背景の判 定法につい て述べ る。 前述のよ う に GM M は背景の変化の確率 をモ デル化す る 方法で あ る。 つ ま り 、 時刻 t におけ る特徴量 X, が観測 さ れ る確率 を P(X,) と 仮定す る。
p(Xt) = Σi
二= 1 ω i,t X N ( ｵ I t, Σ j t) (6)
K は各計算 ブ ロ ッ ク に対 し て構築で き る最大の分布の数、 ωl,, は i
番目の分布 の重み、 N(ｵ ,,, Σ ,,) は i 番目の分布の平均値 ｵ l,,、 分散行列
第 2 章 時空間混合 ガ ウ ス分布モ デル 7 一
∑i,, を持つ ガウス確率密度関数で ある。
時刻 t+ 1 に新 し い特徴量 X,+, が得 ら れる と 、 現在存在 し てい る各 ガウス分布に一致す るか ど う かを判定す る。 次の式に満 たす場合に その分布に一致す る も のと 判定さ れる。
X t十 1 - ｵ j,t I く T (7)
T は一致す るか ど う か を判定す る閾値で あ る。 T の定義は以下のよ う
で あ る。
Tx = δ x X ｵx,i,t 十 2・ 5 XOx,t (8)
x は直流成分 と 交流成分 を表 し てい る。 δxは閾値 を調整す る ため のパラ メ ー タ で ある。 時刻 t+ 1 に得 られる特徴量 X,+1 は現在すでに 存在 し てい る分布がない場合、 つま り 、 式(7) を満たす分布が存在 し ない場合、 前景 と し て判定 さ れる。 ま た、 背景モ デルに一致 し ない 場合 も 、 前景 と し て判定 さ れ る。
特徴量 X,+, と 一致す る分布が存在 し ない場合、 新 し い分布 を構築
す る。 現在存在 し て い る全ての分布の中で、 最 も小 さ い重み を持つ 分布の平均値 X
' + ' 、高い値の分散δnewと 低い値の重み を ωnewで置き 換 え る。
ま た一致す る分布が存在す る場合は、 その平均 と 分散 を更新す る。
ｵ t 十 1 = (1 - a ) ｵ t 十αX t十 1
σ t 1 = ( 1 - α)σt 1 十α(X t 十 1 - ｵ t 十 1) 2 (9)
αは忘却係数で あ り 、 閾値は[0,1] で ある。 重みの更新は以下のよ う に行 われ る。
ω1,t十 1 = ( 1 - α ) Wi,t 十 α M i,t (10)
M i,, の値は現時点での観測が一 致す る分布では M i,, は 1 、一 致 し ない
第 2 章 時空間混合 ガ ウス分布モ デル 8 一
場合 0 と 与え られてい る。
更新 さ れた分布は、 重み と 分散の比( ω l,,/σ l,,) が大き い順に並べ ら れ る。 つ ま り 、 重みが大き く 、 分散が小 さ い値 を持 っ て い る分布か ら順に並べ ら れる。 こ の整列に基づき 、 新 し い背景モ デルは以下の 式のよ う に判定 さ れ る。
B = a 「 gm inb( Σ j=1 ω j,t > Tb) (11) B は新 し く 判定 さ れた背景モ デルの数、 Tbは背景モ デル と し て判定
さ れる分布の数 を制御す る閾値で あり 、 定義域は[0,1] で ある。
2.4 多重解像度方式
本節では、 文献[3]で提案 さ れてい る多重解像度方式の前景分離手 法につい て説明す る。 前述のよ う に、 小 さ い ブ ロ ッ ク サイ ズの処理 結果は解像度が高い も のの、 ノ イ ズの影響 を受けや す く 不安定で あ る。 大 き い ブ ロ ッ ク サイ ズの処理結果は解像度 が低い も のの、 ノ イ ズの影響に強 く 安定な結果が得 ら れる。 多重解像度方式では、 前景 分離 を行 う 単位 と な る ブ ロ ッ ク サイ ズは一つ ではな く 、 複数のサイ ズ を用い る方式で あ る。 小 さ い ブ ロ ッ ク サイ ズの結果 と 大き い ブ ロ ッ ク サイ ズの処理結果 を統合 し 、 解像度が高 く ノ イ ズに強 く 安定 し た前景分離 を行 う。 こ の手法は、 前景分離の精度 を向上 さ せ る手法 で あ る。
異な る特徴量 と 異な る ブ ロ ッ ク サイ ズを用い る それぞれ前景分離 結果は 2 値画像で あ る。 前景は 1 、 背景は 0 と す る。 従来法では同
- ブ ロ ッ ク サイ ズにおい て、 特徴量各成分の判定結果 を論理和(OR) で 結合 す る。 さ ら に異 な る ブ ロ ッ ク サイ ズ間 の処理結果 を論理積 (A ND) に よ っ て統合す る。 こ れによ っ て得 ら れ る前景分離結果 を最 終結果 と し て 出力す る。 本研究で使用 さ れて い る処理 ブ ロ ッ ク サイ
ズは 2 x 2 から 64 x 64 までで ある。従来法は直流成分 (AC) と 交流成
分(DC) で処理 を行 っ てい るが、 前景分離の結果に対 し て ブ ロ ッ ク サ
イ ズによ っ て OR/AND 処理で結果 を統合す る。
第 2 章 時空間 混合 ガウス分布モ デル 9 一
よ り 良質 な前景分離の結果 を得 る た めに、 各 ブ ロ ッ ク サイ ズの結 果に対 し て、 モル フ ォ ロ ジー処理[5] を行 う。 小 さ い ブ ロ ッ ク サイ ズ の処理におい て、 ノ イ ズに反応 しやすい。 こ れ を防 ぐ た めに、 各 ブ ロ ッ ク サイ ズに拡大/縮小によ る Closing 処理及び縮小/拡大によ る
Opening 処理 を行い、 よ り 精度の高い前景分離結果 を得 る こ と がで
き る。
2.5 従来法の問題点および原因
従来法に よ り 解像度が高 く ノ イ ズに強 く 、 安定す る前景分離の 結果 を得 る こ と がで き る。 し か し、 こ の手法は前景対象の動 き に基 づ い て い る た め、 前景分離性能 を低下 さ せ る二つ の問題 が生 じ る。
第一 に、 映像の途中か ら 対象が動き 出す よ う な動画像 を処理す る 場合に起こ る残像問題 で あ る。 前景分離の処理 し た結果におい て、
対象の動き を追従す る も ので正 し い前景と 対象が最初に存在 し てい た領域に現れ る残像 と 二つの前景が検出 さ れた。 対象が止 ま っ て い る間に、 その画像上の領域が既に背景と し て学習 さ れ、 ガ ウ スモ デ ル を構築 さ れて し ま う こ と が原因で あ る。 対象が動 き 出す と 、 止ま っ てい た位置に新 たに見え始める。 新 し い背景は学習 さ れた背景モ デル と は異な っ て い る ために、 前景と 判断 さ れて し ま う。 ゆえに、
二つの前景が検出 さ れた。
第二に、 前景 と 判 定 さ れていた対象が映像の途中で止 ま っ て し ま っ た場合に起こ る前景の背景化問題で ある。 前述のよ う に前景分離 を正 し く 検出す るために、 GM M は常に更新 さ れて い る。 それに従 い、 静止 し た対象に対 し て 、 十分に学習 を行 う 。 そ の特徴で止 ま っ て い る 前景は前景 と し て検出 さ れ るはず で あ る 、 し か し 、 GM M の 更新に従 っ て 、背景モ デルに変化 し て し ま う。 それ以降は対象の静 止 し た領域 を背景 と 判断 さ れて し ま い、 検出 さ れ な く な る。
2.6 終わ り に
本章は文献 [3] [4] で提案 さ れた多重解像度方式 GM M 前景分離手
第 2 章 時空間混合 ガウ ス分布モ デル 10
法につい て説明 し た。 多重解像度方式は前景分離の精度 を向上 さ せ、
良質 な 結果 を得 る こ と がで き る。 最後に、 従来法の問題点お よ び そ
の原因 を説明 し た。
第 3 章 提案法 l l
第 3 章 提案法
3.1 は じ めに
本章では、 本研究におけ る提案方式について述べ る。 提案法は文 献 [3] [4] で提案 さ れた GMM 多重解像度前景分離方式 を基盤 と して、
それよ り 良質 な結果 を実現す る シ ステ ムで あ る。 こ こ で は、 カ ラ ー 特徴量 を用い る GM M を利用 し、 忘却係数 を制御す る こ と で、 従来 法の問題点 を解決す る。
3.2 カ ラ ー空間によ る特徴量の生成
従来法は輝度値 を用いて特徴量を生成す るため、 相対的に明 るい 室外に撮影 し た動画に適用 さ れてい る。 本研究は室内撮影 さ れた動 画 を処理対象 と し てい る。 室内は室外ほ ど明 る く で な く 、 その上、
照明の状況、 鏡 な どの鏡面反射ま た影 な どの影響 を受けやすい複雑 な環境で ある。 正確な処理結果 を得 るこ と を目的 と し て Walsh 変換 を用いずに、 画像のカ ラ ー空間の成分 を特徴量 と す る こ と に し た。
fx は n* n サイ ズの ピク セル ブ ロ ッ ク の各色成分の平均値 で あ る。
次のよ う に計算す る。
f (Rc8) = Σ f=, Σ f =, χ (i, J) (12)
x(i,j) はブ ロ ッ ク サイ ズ n* n 内の座標 (i,j) におけ る各成分の数値で あ る。 カ ラ ー成分はお互いに相関がないた め、 それぞれ独立に ガ ウ ス分布モ デル を構築す るこ と ができ る。 従っ て、 時刻 t において色 成分か ら構成 さ れた特徴量は次のよ う に定義 さ れ る。
X(x,,) = fx (13)
x は色成分 を表す。 提案法のフ ロ ーチ ャ ー ト は図 3 のよ う で あ る。
第 3 章 提案法 1 2 一
従来法の式 [7]- [11] を利用 し、 前景 ・ 背景ガ ウスの判定と ガ ウス分 布の更新 を行 う。
3.3 カ ラ ー空間の決定
し か し 、 カ ラ ー空間には様々な種類がある。 本研究では一般に よ く 使われてい る RGB 空間、 CM Y 空間、 CM YK 空間 を評価 し、 結果 を比較 し て使用す る色空間 を決定する。 RGB と CM Y は三色系に属 し てお り 、 R( 赤 ) 、 G( 緑 ) 、 B( 青 ) を加法混合、 また C( シア ン ) 、 M ( マ ゼ ン タ) 、 Y(イ エ ロ ー) を減法混合によ り 色 を表現方式で あ る。 CM YK 空間は CM Y か ら 派生 し、 キー ・ プ レー ト (key plate)成分 を加 えた減 法混合によ る色の表現方式である。 CM YK 空間では一般に K が黒の こ と を指 し てい る。
まず、 室内で撮 っ た動画 を こ の三つの空間によ る特徴量 を生成 し 前景分離 を処理す る。 結果は以下のよ う で ある(図 3)。
(a) (b)
(c) (d)
図 3 色空間 に よ る前景分離 の処理結果 (a) : 処理用元画像 (b) :R GB 空間 に
よ る前景分離結果 (c) :CM Y 空間に よ る前景分離結果 (d) : CM Y K 空間に よ る
前景分離結果
第 3 章 提案法 13
実験結果 よ り 、 RGB 空間 と CM Y 空間はほぼ同 じ で ある。 指 と 影部 分が検出 さ れて い る。 CM YK 空間は指の部分が検出 さ れたけれ ど、
影の部分がほ と ん ど検出 さ れなかっ た。 CM YK 空間では黒い画像 を 正 し く 検出で き ない恐れがある。
室内は複雑で あ り 、 ノ イ ズの影響 を受けや すい環境で あ る。 その た め、 前景分離だけ で な く 、 ノ イ ズに対す る強 さ も確認す る必要が あ る。 ゆえに影除去 を行い、 二つの実験結果 を総合 し、 最終的に決 定す る。 図 3(a) に対 し て影除去を行っ た結果 を図 4(a)、 (b)、 (c) に示 す。
こ れ ら よ り 、 RGB 空間は影の部分が除去 さ れてお り 、 指 と 影が区 別 さ れてい る こ と がわかる。 CM Y 空間では影の部分がほぼ除去 さ れ ていない。 CM YK 空間は最初か ら影の部分が正 し く 検出 さ れてい な いため、 評価で き ない。 RGB 空間の処理結果は他の空間よ り す ぐれ てい る こ と がわか っ た。 前景分離 と 影除去の結果 を統合 し 、 我々は RGB 空間 を用いてベ ー ス と し て実験す る。
(a) (b)
(c) (d)
図 4 色空間に よ る影除去の処理結果 (a) : 処理用原画像 (b) : R GB 空間で 前
景分離及 び影 除去結呆 (c) : CM Y 空間で前景分離及 び影 除去結果 ( d) : CM Y K 空
間 で 前景分離及 び影 除去結果
第 3 章 提案法 14
3.4 残像問題
図 5 に示すよ う に、 すでに背景と して学習 さ れた対象が動き 出 す と 、 止 ま っ て い た と こ ろ に新たな背景が見え始め る。 こ の背景は 既に その領域に学習 さ れた背景モ デル実際は前景対象 と 異な っ て い る た め、前景 と 判断 さ れて し ま う。こ う し て残像問題 が起き る(図 6)。
図 6 か ら、残像の部分が対象の元の位置に現れて い る こ と がわかる。
前述のよ う に、 ガ ウス分布の更新すなわち学習の速度は忘却係数 に よ っ て制御 さ れ る。 忘却係数 を大き く すれば、 ガ ウ ス分布 の更新 が速 く 行 われ、 小 さ く すれば更新が遅 く な る。 そ こ で 、 残像の部分 の忘却係数 を大き く す る こ と によ り 、 学習が速 く な り 、 背景モ デル に変化す る時間 を縮める。 残像領域の映像 を止ま っ て い る も のと 認 識 さ せ る こ と で、 速 く 背景に切 り 替え る こ と がで き る。 こ れに よ り 残像問題が解決で き る と 考え られる。
し か し 、 画像全体で忘却係数 を大き く す る と 、 至 る と こ ろ で常に
モ デルが更新 さ れて し まい、前景分離が不安定に な る(図 7)。図よ り 、
残像の部分が確実に消 さ れてい る こ と がわかっ た。 し か し、 検出す
べき 前景が部分的に欠けてい る。 こ の実験か ら忘却係数 を大き く す
る こ と で 、 残像の部分 を消すこ と がで き る と 証明 し た。 し か し、 正
し い前景の形 を保 ち なが ら残像部分 を消すために、 正 し い前景 と 残
像の領域 を区別す るのは必要で あ る。
;
「i : i 章 提 l l
_1
(a) (b)
15
図 5 残 像間 題 が生 じ る 動 画 ( a) : 原 動 画 の あ る 時刻 の フ レ ー ム (b) : し ば ら く 時間 を 経 っ た フ レ ー ム
(a) (b)
図 6 残 像 問題 が生 じ る 動画 の 前景分離 処理 結果 ( a) : 図 1 1 ( a) に 対 応 す る 前 景 分離 処理 結果 (b ) : 図 1 1(b) に 対応 す る 前 景分離 処理 結果
(a) (b)
図 7 画 像 全 体 の 忘 却 係 数 を 大 き く し た 処理 結果 (a):図 l l (a) に 対 応 す る 前 景 分
離 処理 の 結果 (b):図 l l (b)に 対応 す る 前 景分 離 処理 の 結果
第 3 章 提案法 l 6 一
(a) (b)
図 8 背 景化 問題 が生 じ る 動画 ( a) :対象は移動中 の フ レ ー ム (b ) :対 象 は し ば ら く 止 ま っ た フ レ ー ム
(a)
図 9 図 14 の処理 結果 (a) : 移動中 の対象 の前景分離 の処理結果 (b) : し ば ら く 止 ま っ た対 象 の 前 景分離 の処理結果
3.5 前景の背景化問題
移動 し て い る対象 が し ば ら く 止ま っ た場合(図 8)、 前述のよ う に GM M は常に更新 さ れてお り 、静止 し た対象に対 し て十分に学習 が 行われ、 そ れに従い 、 止ま っ てい る対象は背景 と 認識 さ れて し ま う
(図 9)。 図 9 よ り 、 前景 と し て検出 さ れるべき 領域が部分的に欠け
て い る こ と がわか る。
前景が背景に切 り 替わ る ケー スに関 し て 、二つ の状況が考え ら れ
る。 一つは背景に な っ て も かま わない ケー ス(例 えば駐車 し て い る
車) で あ り 、 も う 一つは背景に な っ た ら困 る ケー ス (一時停車 し て い
第 3 章 提案法 17
る車)。 今回は二つ目のケ ー ス を想定 し て い る。
忘却係数 を小 さ く す る こ と によ り 、 小 さ く すれば更新が遅 く な る。
前景の背景化に対 し ては、 前景と 判定 さ れた領域で動き を評価 し て、
前 フ レー ムで動 き があ り 、 現フ レームで動 き が検出 さ れな く な っ た 領域ではその時点で GM M の更新お よ び前景分離処理 を停止す る。
こ れに よ り 、 その領域が GM M の更新に よ り 背景に切 り 替わっ て し ま う の を避 け る こ と がで き る。その後 で動 き が検出 さ れた時点で GM M の更新 と 前景分離処理 を再開す る こ と で 、以 前学習 さ れて い た背景モ デル を そ のま ま利用 で き 、その領域 を素早 く 背景 と 判断す る こ と が可能 で あ る。
3.6 動き検出
残像問題 を解決す る には、残像の領域 と 正 し い 前景の領域 を区別 し 、忘却係数 を異 な る数値に設定す る必要があ る。 実験結果 か ら を 確認 で き た。 残像が対象の動き に追従せずに、 元の位置に残 る と い
う 特徴があ る こ と がわか っ た (図 10、 11)。 ゆえ に、 正 し い
前景 と 残像 を区別す る には、対象の動 き を評価す る必要 が あ る。 前 景の背 景化問題 で は、 対象 の止 ま る瞬間 を検知 す る 必要 が あ る。 つ ま り 、 残像問題 に し て も 、 前景の背景化問題 に し て も 、 そ れ ら を解 決す る に は対象 の動 き を検出す る必要が あ る。
そ こ で 、 前景分離過程に動 き 検出 を加 え る こ と に し た。 現在、 さ
ま ざま な動き 検出方法が提案 さ れてい る。 H 261 、H 263、M p EG-1 、
MPEG-2 と MPEG-4 の処理における BMME 法 (block -matching
motion estimation)[6] 、 LOGS(2-D logarithmic search)[7] 、
TSS(three-step search)[8] 、 CDS(conjugate direct ion search) [g] 、
CS(cross search) [10] 、 NTSS(new three-step search) [11] 、
4SS(4-step search) [12] 、 BBGDS(block -based gr adient descent
search) [13] 、 DS(di amond search)[14] な どがあ る。 計算量の観点
か ら 、 本研 究で は ダイ ア モ ン ドサーチ
・ ll 1 ',, ill 'l
l tI S
(a) (b)
図 10 残 像 問 題 が 生 じ る 動 画 の ( a) : 対 象 が 動 き 始 め た フ レ ー ム (b)
対 象 が 途 中 ま で 移 動 し た フ レ ー ム
(a) (b )
図 11 図 10 の 前 景 分 離 の 前 景 分 離 処 理 の 結果 ( a) :対 象 が 動 き 始 め た フ レ ー ム の 前 景 分 離 処 理 の 結 果 (b ) : 対 象 が 途 中 ま で 移 動 し た フ レ ー ム の 前 景 分 離 処 理 の 結 果
(DS:di am on d sear ch) を利用す る こ と に し た。
3.7 DS の紹介
DS は BM ME(block-matching motion estimation)[6] /J 、ら 派生 し た動 き 検出 方式 で あ る。 DS は LDSP (Large Diamond Search Pattern) と SDSP (Small Diamond Search Pattern) の二つ の検索パ タ ー ン に 分け ら れてい る(図 12)。
L DSP は、検索点 を中心 と す る J m 8 点のサーチ ホイ ン ト か ら 構成
第 3 章 提案法 19
さ れ る検索 ブ ロ ッ ク で ある。 SDSP はサーチ ポイ ン ト を中心 と す る周 り の 4 点のサーチ ポイ ン ト から な る検索 ブ ロ ッ ク で あ る。 こ の手法 で 同 じ 位 置 の画 素 の輝 度 値 の差 の絶対 値 の合 計 (SAD: sum of absolute dif ference) が評価値と し て を用い られる。 SAD の値が小 さ いほ ど、 類似位置と な る。 本研究では、 類似度の一番高い点は適合 点と 定義す る。
本研究に用い ら れ る DS のアル ゴリ ズムは以下のよ う にな る :
step1) 検索点 を中心点と す る。 中心点及び周 り の検索点において
SAD を計算す る。 中心点の SAD の値が最 も小 さ い場合、
適合点は中心点 と な り 、計算 を終了す る。 そ う で なければ、
次のステ ッ プ に進む。
step2) step1 に計算 さ れた SAD 最小点 を中心に、 新た な計算 ブ ロ ッ ク を形成 し、 SAD 最小点が中心点 と な る な ら、 計算 を終 了す る。 そ う で なければ、 こ のステ ッ プ を繰 り 返す。
step3) 適合点と 検索点の距離 を計算する。
本研究において、 計算 さ れた適合点 と 検索点 と の距離は移動量と 定義す る。 移動量が 0 で ある場合は適合点と 検索点の位置が一致す る と 、 移動量が 1 で あ る場合は適合点 と 検索点の位置は ピク セルー 個分 を離れてい る と 考え る。
■
l
'
l
l ■
l Ir ● '
● 'll Ir1 1.
l■
''・
. .
l
'
図 12 ダイ ヤモ ン ド サーチ (DS)の LDsP (左 ) と sDs p (右)
第 4 章 実験結果及び評価 2 0 一
第 4 章 実験結果およ び評価
4. l 残像問題において実験結果
本節は実映像 を用い た実験を通 し て、 提案法の有効性 を評価す る。
こ こ で、 本実験では一番適切なパタ ー ン を探 し出す為に、 Ds の二つ のパ タ ー ン を別々に用い て実験す る。 ま た、 動いて い ない前景 と 判 断 さ れた領域の処理 と し て、 その前景の領域の部分のみ忘却係数 を 大き く し 、 動き 検出の有効性 を確認す るこ と にす る。 今回の実験に おい て 、 シ ン プル な実験環境 をつ く るため、 忘却係数 を最 も 大き な 数値 1 に設定す る こ と に し た。
4.1.1 SDSP の実験結果及び評価
図 5(a) に対 し、 SDSP パ タ ー ンで処理 し た結果は図 13(a)(b) と な る。
図 13(a)は移動量が 0 で ある部分 を残像と する処理の結果で あ り 、 図
13(b)は移動量が 1 ま での部分 を残像と す る処理結果で ある。 処理結
果 よ り 、 図 13(a) では残像はほぼ消 さ れていないのに対 し て、 図 13(b) では、 残像だけで な く 、 正 しい前景も消 さ れてい る。 SDSP 処理で得
ら れた移動量は小 さ いから で ある。
(a) (b)
図 13 SDSP に よ る 前景分離処理の結果 (a): 移動量が 0 で あ る 部分 を残像 と
す る 前景分離処理 の結果 (b):移動量が 1 以内 で あ る 部 分 を残 像 と す る 前景分
離処理の結果
第 4 章 実験結果及び評価 2 1 一
(a) (b)
図 14 SDSP に よ る 前景分離の処理結果 (a): 移動量が 0 で あ る部分 を残像 と
す る 前景分離処理 の結果 (b):移動量が 2 以内 で あ る部分 を残像 と す る 前景分離 処理の結果
4.1.2 LDSP の実験結果及び評価
LDSP の実験では、 SDSP 実験と 同様に、 図 5(a)の映像に対す る実 験結果 を図 14(a)(b)に示す。 図 14(a)は移動量が 0 で ある部分 を残像 と す る前景分離処理の結果で あ り 、 図 14(b)は移動量が 2 以内の部分 を残像 と す る前景分離処理の結果で ある。 図 14(a)は残像がほぼ消 さ れてお ら ず、 図 14(b)は残像が少 し消 さ れてい る こ と が分か る。 アル ゴリ ズムの原理に よ り 、 LDSP の移動量は 0 ま たは 2 以上で あ る。 実 験結果よ り 、 LDSP は SDSP よ り 本実験において理想に近い結果が得
ら れる と 考え てい る。
図 13(a) と 図 14(a)は移動量が 0 で ある部分 を残像 と 判断す る実験
結果 で あ る。 理論上では、 残像の部分が元の位置か ら 離れずにい る
た め、 移動量が 0 で あ る が、 実際には、 移動量が 0 で あ る部分が消
さ れて い ない。 こ れは、 屋内の照明が安定 し て い ないので 、 輝度値
が常に変わっ て い る こ と が原因 と 考え ら れ る。 ま た カ メ ラ の微小振
動 と 対象の移動の速度 な どの影響 を受け て い る た め、 理論上移動量
が 0 に な るはずの検索点が元の位置か ら少 し移動 し た こ と を原因 と
考え ら れ る。 照明に よ る輝度値の変化や カ メ ラ の振動か ら の影響 を
削減す る た め、 あ る程度の移動量 を許す必要が あ る。
第 4 章 実験結果及び評価 2 2 一
4.1 .3 拡大実験
輝度値の変化や カ メ ラ の振動によ る影響 を削減す るために、 拡大 実験 を行 う こ と に し た。 ある範囲内の移動量 を許す と 、 残像は多 く 消え る と 予測 さ れ る。 従っ て、 検索点の移動量が 4 以内で あれば、
残像と 設定 し て、 実験を行っ た ( 図 15) 。
実験結果 と 以前の結果(図 l4(a)) を比べる と。 予想通 り 残像の部分 がほぼ消え る結果が得 ら れた。 し か し、正 しい前景 も 消 さ れてい る。
今 までの実験では隣接二枚のフ レームの間に DS を行 っ てお り 、残像 だけ で な く 、 正 し い前景の部分に も移動量が小 さ い と こ ろ があ る。
移動量の小 さ い前景部分が残像と 判断 さ れ、 検出で き な く な り 、 消 さ れて い る。 従っ て、 正 し い前景の移動量 を大き く すれば、 こ の問 題 を防 ぐ こ と がで き る と 考え ら れる。 そこ で、 何枚かのフ レー ムを ス キ ッ プ し て、 DS を行 う 実験 を行っ た と こ ろ、 結果は さ ら に よ く な っ た(図 16)。
以上の二つの実験か ら、 正 しい前景 を保 ちながら残像 を消す処理 の動作には、 対象の移動量が大き く 関わっ てい る こ と がわかっ た。
こ れ を検証す るために実験対象のス ピー ド を変え る実験 を行 っ た。
第 4 章 実験結果及び評価 28 一
図 15 LDsP に よ る 前景分離処理の結果 移動量が 4 以内 で あ る部分 を残像 と
す る 前景分離処理の結果
図 16 LDSP に よ る 前景分離処理の結果 6 枚 ス キ ッ プ し て 移動量 4 以 内 で あ る
部分 を残像 と す る前景分離処理の結果
第 4 章 実験結果及び評価 2 4 一
(a)
(c)
(b)
図 17 実 験対 象 を遅 く 移動 さ せ た実験結果 ( a) : 実験用原画像 (b) : 従来法 に よ る 前景分離結果 (c) : L D SP に よ る残像判定 を行 っ た 前景分離結果
図 17 、 18 は同 じ く 隣接二枚のフ レームの間で移動量が 10 以内の部分 を残像と す る条件で実験 を行っ た前景分離処理の結果である。 図 17 は実験対象が遅 く 移 動 し てい る動画の処理結果で あ り 、図 18 は速 く 移動 し てい る動画の処理結果で あ る。
図 17(c) におい て、残像が消えてい る と と もに、正 しい前景 も かな り 消えてい る。
図 18(c) において、 残像と 正 しい前景の両方が消えてい る ものの、 図 17(c) よ り
正 しい前景の消え る部分がかな り 減少 し てい る。
実験結果か ら対象の移動速度が実験結果に影響 を与 えてい る こ と が確認で き
る。 よ り よい結果 を得 るためには、 対象の速度は重要で あ る こ と がわかっ た。
第 4 章 実験結果及び評価 2 5 一
(a)
(c)
(b)
図 18 実験対象 を速 く 移動 し た前景分離処理の結果 ( a) : 実験用原画像 (b) : 従来法に よ る 前景分離結果 (c) :L DSP に よ る残像判定 を行 っ た 前景分離結果
ま た、 今ま で の実験対象の模様は シ ン プルで あ る。 動き 検出 を用い て も 、 う ま く 適合点 を検出で き ない可能性がある。 従い、 柄の付い てい る物 を対象 と し た実験 を行い、 実験結果 と 模様の依存性 を検証す る( 図 19)。
本実験は 6 枚 を スキ ッ プ し、 移動量が 4 以内で ある部分が残像と す る前提で
行っ た。 図 19(a) はゆっ く り と 移動 し た実験対象の原画像で あ り 、 (c) は残像判定
を行 っ た実験結果 で あ る。 図 よ り 、 正 しい前景 も少 し消 さ れてい る こ と がわか
っ た。 しか し、 図 16 と 比べ、 消 さ れた正 しい前景の部分がは るかに減少 されて
い る。 ゆえに、 実験結果は実験対象のテ ク スチ ヤーに大き く 依存 し てい る こ と
が言 え る。
第 4 章 実験結果及び 評 価 26
l
