可動 カ メ ラ に対応 した 前 景分 離 手 法 の 高 速 化
FasterapproachofForegroundSegmentationfora Pan‑tiltCamera
首都 大学東 京
シス テ ム デ ザイ ン研 究 科 情 報 通信 シス テ ム 工 学学 域
09890528菱 沼祐 樹 指 導教 員 西谷 隆夫 教 授
目 次
1
目 次
1は じめ に 6
2提 案 法 に 用 い ら れ る 基 礎 技 術 2,1概 要...
2.2位 相 限 定 相 関 法:POC...
2.3Walsh変 換 係 数 に よ る 特 徴 量 の 生 成...
2.4混 合 ガ ウ ス 分 布 に よ る 前 景 分 離...
2.5WT関 数 に よ る 可 変 ブ ロ ッ ク サ イ ズ 方 式.
0/0/0ノー﹂∩∠︽ゾ¶置凸﹂■﹂一ーユ
3可 動 カ メ ラ 映 像 に 対 す る 前 景 分 離 3.1・ ま え が き...
3.2可 動 カ メ ラ に 対 応 し た 前 景 分 離...
3.2.1文 献[5]に お け る シ フ ト 量 推 定....
3.2.2不 要 領 域 の 削 除 と 、 新 規 領 域 へ の 対 応....
3.2.3新 規 領 域 の 前 景 分 離...
3.3複 数 の 小 型 ブ ロ ッ ク に よ る 位 相 限 定 相 関 法.
3.3.1 3.3.2 3.3.3 3.3.4 3.3.5
概 要...
POC特 徴 量...
POCブ ロ ッ ク 作 成.
効 率 的 領 域 選 定..
動 き 修 正...
16 16 16 17 18 19 21 .21
22 22 22 .27
4提 案 方 式 の 評 価
4.1は じ め に...
4.2前 景 分 離 性 能 の 評 価...
4.3シ フ ト 量 推 定 性 能 の 評 価...
4.4シ フ ト 量 推 定 に お け る 演 算 量 の 評 価
8 0 0 0 6 0 5
∩∠(∠ハ∠︽﹂︽﹂5本 研究 の成果 と今後の研究課題 37
目 次
2
5.1ま と め...37
5.2今 後 の 課 題...37
,
6謝 辞
、
38
1
1
.,
∂
θ
,
●
あ らま し
3
あ ら ま し
本研 究で は 、可 動カ メラ に対応 した 前景 分離 にお ける 、移 動 量推 定 に 関す る 演 算 量 と精 度 の 課題 を解 決 し 、よ り高 速 化 す る 手 法 を提 案 す る 。提 案 法 で は前 景分 離 手法 と して 、Walsh変 換係 数 を特徴 量 とした GMMを 可 動カ メ ラ に対応 させ た 手法 を 用 いる 。こ の 手法 で は 、カメ ラ の 移 動 量 推 定 に 、演 算 範 囲を 入 力 画 像 の 中 心部 分 と し た位 相 限 定 相 関法 を 用 い て い た 。 こ の推 定方 法 に は入 力 画 像 全 体 を 演 算 範 囲 と す る よ り は 、演 算 量 が 抑 え られ て い る が 、ま だ 十分 に削減 さ れ た わ けで はな い 事 と、演 算範 囲 が 固定され て いる た め 、前 景オ ブ ジェク ト の密集 し てし まっ た 場合 に著 しく精 度 が 落 ち る と い う 問題 が あっ た。
それ らの 問題 の解 決 のた め 、複 数 の小 型 ブ ロック を 演算 範 囲と した 位 相 限定相 関法 を 用 いる。 演算 範 囲 とな る 小型 ブ ロッ ク の作 成 には 、 前 景 分 離 にも 用 い ら れ て いるWalsh変 換係 数 を 流 用 す る こ とで 、余 分 な 演算 を 極 力避 ける。Wialsh変 換 係 数 か ら 、演 算 範 囲 生成 の た めの
特徴 量 を 生 成 し 、 隣接 す る ブ ロッ ク の 特徴 量 を組 み 合 わせ 、POCブ ロッ ク を 生成 す る 。 生成 し たPOCブ ロッ ク の 値 と 前 フ レ ー ムで の 前 景分 離 結 果 を 用 い て 、 以 下 のよ う に演 算 領 域 を選 定 す る 。 ま ず 、前 景オ ブ ジ ェク ト が演 算 範 囲 内 に入 っ て く る こ と を避 ける た め に 、前 フ レ ーム で の 前景 領 域 を 除去 す る。 次 に 、 ノイ ズ の 多 い 領 域 を 避 け る た め に 、POCブ ロッ ク の値 が大 き い領 域 を 除去 す る。 さ ら に 、演 算 範 囲 内 が 一様 になる のを 避 け るた め に 、低 周 波 成 分 の 多 い 領 域 を 避 ける 必 要 が あ る。 こ の手 法 には 、 降順 に選 択 す る 方 法 と 、ラ ン ダ ム に選 択 し た 上 で 、そ の値 をPOCブ ロ ック の 値 の平 均値 と 比較 し大 き け れ ば採 用 する 手法 があ る 。 後者 は 降順 化 が 必 要 な い た め 、前 者 に比 べ て若 干 の 高 速化 が 見込 める 。 実 験 結 果 によ り、 提 案 法 はシ フ
あ らま し
4
ト量 推 定 にお ける 演算 量を 従 来法 の約10%に 削減 し 、多 く の 前 景 が 密 集 す る 状 況 でも 安 定 した 精 度 を発 揮 す る こ と を示 す。
5
Summary
In this paper, we propose a faster approach of foreground segmentation technique from dynamic backgrounds for a Pan-tilt camera. The conven- tional approach is based on Gaussian Mixture Model(GMM) over Walsh spectrums feature parameter on blocked images, and adapted to Pan- tilt camera with the Phase only correlation(POC) on center 0.6height x 0.6width area. But POC operation for high resolution images needs huge amount of computation. To make that simply, proposal approach uses POC on small blocks.
Walsh spectrums feature parameter used for GMM is also used for building blocks B. The feature parameter of neighboring blocks are com- bined to make blocks B. To select suitable blocks, areas including fore- ground objects, extremely large high frequency component, low frequency component are removed by referring to a segmentation result and blocks B parameters of a previous frame.
Experimental results show proposal approach make processing speed
10 times faster, and can maintain high accuracy even in adverse condi-
tions such as high density ratio of foreground objects.
1.は じ め に
6
1は じめ に
動物 体 を検 出す る技 術 は車 載カメ ラ、監 視カ メ ラ な ど に用 い られ て き た が 、近 年 、ス マ ー トフォ ンな ど のカメ ラ を搭 載 した 高性 能 な モバ イ ル端 末 の普 及 によ り 、よ り幅 広 い用 途 に用い られ る よ う にな った 。
固定カメ ラ を対象 と した手 法として 、混合 ガ ウス 分布(GaussianMix‑
toreModel:GMM)文 献[1]を 用 いた手 法が 多く提 案さ れて いる。GMM と は複 数 のガ ウス 分 布 を 重 み付 け加 算 す る こ と によ り、 時 間 的 に変 化 す る 背 景 モ デ ル を 生成 す る 手 法 で あ り 、特 徴 量 と して 主 に ピ ク セ ル 成分 が用 い られ てき た 。し か し、ピク セ ル 単位 の演 算 は 、木 々の揺 れ 、光 の 変 化 とい っ た ダイ ナ ミ ック バ ッ ク グ ラ ウ ン ド(動 的背 景)に 弱 く、ま た 高解 像 度 画像 に対 して 演 算 量 が膨 大 化 し て し ま う と い う 問題 が あ っ た。
それ らの 問題 に対応 す るた め、Walsh変 換係 数 を用 いた 手 法 文献[2]
が提 案 さ れ た。 こ れ は入 力 の輝 度成 分 をWialsh変 換 し 、DC,AC成 分 そ れ ぞ れ に重 み を加 え たも の を特 徴 量 と して 用 い る。 ま たWalsh特 徴 量 は周 囲の ブ ロッ ク と組 み 合 わせ るこ と で 、容 易 に 拡 大 で き る と いう特 性 が ある 。こ のた め 、動 的 背景 の影 響 を受 け難 い 大き なブ ロッ ク サ イ ズ を べ 一ス と した 前 景 分 離 結果 と 、 ノイ ズ の影 響 を 受 け や す い が 、高 精 度 な 結 果 を得 る こ と が でき る 小 さ な ブ ロ ッ ク サイ ズ の 前 景 分 離 結 果 を 、容 易 に組 み合 わ せ るこ と が で き る。 そ の 結 果 、 悪 天 候 、光 の変 化 な ど の動 的背 景 にお い ても 高精 度 か つ 安 定 し た 結 果 を 得 られ る よ う になっ た 。
可動 カメ ラ に対応 した 手法 で はGMMが 多く 用い られ て いる 。さ ら にカメ ラ の シ フ ト に対 応 す る た め に、複 数 の画 像 を 繋 げ 一 枚 の 画 像
1.は じ め に
7
にす る モ ザ イ キ ン グ 技 術 を 用 い て 背景 モ デル を 作 成 し 、画像 内 の特 徴 点 を 大 量 に求 め背 景モ デ ル と比 べる こ と で シ フ ト 量 の 推 定 を 行 う 手 法 文献[3]な ど が 取 られ てい る。しか し 、こ れ には演 算 量 が膨 大 に な っ て し ま う こ とや 、画 面外 で の背 景 モ デ ル の 変 化 へ の 対 応 が 難iし い とい う 問題 が あ っ た 。
そ こ で 、 比較 的 、演 算 量 の少 な い位 相 限 定相 関法(PhaseOnlyCor‑
relation:POC)文 献[4]を 用 い てカメ ラ のシ フ ト量 を求 め、そ の結果 か ら わか る 、新 規領 域 に対 して 特別 な 処理 を行 な っ て い く こ とで 可動 カ メ ラ に対応 しつ つ 、高速 化 を測っ た 手法 文献[5]が 提 案 さ れた 。し か し 、 高解 像 度 画 像 全 体 を演 算 範 囲と した を位 相 限定 相 関法 は 演 算 量 が ま だ 大 き く 、ま た 画 像 の 中心 部分 を 抜 き 出 して 演 算 範 囲 と し た 場 合 、前 景オ ブ ジ ェ ク ト が集 中し た と き に、著 しく 精 度 が落 ち る と
い う 問題 があ る 。
そ こ で本 論 文 で は 、Wialsh特 徴 量 を用 いた 混合 ガ ウス 分布 によ る 前 景分 離 に複 数 の 小 型 ブ ロ ック を演 算範 囲 と した 位 相 限 定相 関 法 を搭 載 す る こ とで 、安 定 か つ 高速 化 した 可動 カ メ ラ に対応 した 前 景 分 離
手 法 を提 案 す る 。
位 相 限定 相 関法 の演 算範 囲 となる 小型 ブ ロック の作成 に は、前 景 分 離 にも 用 い るWalsh特 徴 量 を 流 用 する こ とで 、余 分 な 演 算 量 をか け な い。 ま た 小型 ブ ロ ッ ク のた め 、前 景オ ブ ジェ ク ト や ノ イ ズ の 多 い 高周 波成 分 の 多 いエ リア、 ブ ロッ ク 内が 一様 にな り が ち な 低 周 波 成 分 の 多い エ リ ア を 避 けて 演算 す る こ とが で き る。
本 論 文 は5章 か ら構 成 され 、第 一 章で は研 究 のテ ー マ 、先 行研 究 の 概 要 、提 案 法 の 目的を 示 し た。 第 二章 で は 上記 にで たWalsh特 徴 量 を 用 い た 前 景 分 理 手 法 と位 相 限定 相 関 法 につ いて 述 べ る。 第 三 章 で
1。 は じ め に
8
は小 型 ブ ロッ ク を 演 算 範 囲 と した 位 相 限 定相 関 法や 、 可動 カ メ ラ に 対 応 さ せ る た め の 手法 と 処理 の流 れ を 示す 。 第 四章 で は実 験 結果 の 考 察 か ら提 案 法 の性 能 を示 す。 第 五 章 で は研 究 成 果 と今 後 の課 題 を 示 す。
2.提 案 法 に用 い られる 基礎 技術
9
2提 案 法 に 用 い ら れ る 基 礎 技 術 2.1概 要
本 章 で は 、提 案 法 の 基 とな って い るWalsh変 換(WT)関 数 を 用 い た 混 合 ガ ウス 分 布 モ デル 文献[2]と 位 相 限 定相 関法 文 献[4]に っ い て 述 べ る 。 ま ず 、位 相 限 定 相 関 法 につ い て 、次 にWalsh関 数 によ る 特 徴 量 生 成 につ い て 、最 後 に混 合ガ ウス 分 布 によ る 前 景 分 離 つ い て 説 明 す る 。
2.2位 相 限 定 相 関 法:POC
本 節 で はPOCに つ い て 説 明 す る 。POCと は2つ の 画 像 を フ ー リ エ 変 換 、 位 相 情 報 の 合 成 、 逆 フ ー リ エ 変 換 す る こ と に よ り 、 画 像 の シ フ ト 量 を 求 め る ア ル ゴ リ ズ ム で あ る 。 シ フ ト 量 の 測 定 以 外 に も 画 像 マ ッ チ ン グ 等 に も 利 用 さ れ る 。
サ イ ズS1×S2の2つ の 画 像 をf(η1,n2),g(ni,n2)と す る 。f(nl,n2),g(nl,n2) の2次 元 離 散 フ ー リ エ 変i換(DiscreteFourierTransfbm1:DFT)をF(kl,k2)、
G(ki,k2)、G(ki,k2)をG(kl,k2)の 複 素 共 役 と し た と き 、 位 相 限 定 相 関 Rを 次 式 と す る 。
F(kl,k2)G(kl,k2)(1)R(k l,k2)̲I
F(ki,ki)GCki,k2)1
そ し て 、 位 相 限 定 相 関 関 数(POC関 数)rはRの 逆 離 散 フ ー リ エ 変i換 (lnverseDiscreteFourierTransform:IDFT)で あ る 。
r(nl,n2)=IDFT(R(kl,k2))
(2)こ う し て 求 め たrの ピ ー ク の 値 は2つ の 画 像 の 類 似 性 を 、座 標 は 二 っ
2.提 案 法 に用 い られ る基礎 技術
10
の 画 像 の ズ レ を 表 し て い る 。 こ の こ と か ら 、 ピ ー ク 座 標 か ら シ フ ト 量 を 求 め ら れ る 。ま た 、 ピ ー ク の 値 が 高 い ほ ど 、画 像 ろgは 類 似 し て い る こ と を 示 す た め 、 複 数 の ピ ー ク が 立 っ た り 、 ピ ー ク の 値 が 小 さ い 時 、 画 像 の 類 似 性 が 低 く 、 シ フ ト 量 の 推 定 結 果 の 信 頼 性 も 低 く な る 。 ま た 測 定 可 能 な シ フ ト 量 は 演 算 範 囲 の ±1/2と な る 。
踏,勘
図1:POC関i数rの グ ラ フ
2.提 案 法 に用 い られ る 基礎 技術
11
2.3Walsh変 換 係 数 に よ る特 徴 量 の 生 成
本 節 で はWalsh変 換 係 数(WT係 数)に よ る 特 徴 量 生 成 の 方 法 と 特 徴 量 の 特 性 に つ い て 説 明 す る 。 特 徴 量 の 生 成 に は 入 力 フ レ ー ム の 輝 度 値 の み を 用 い る 。 そ の と きN×Nピ ク セ ル を1ブ ロ ッ ク と し て 、WT を 行 う 。WTス ペ ク トル は 垂 直 、 水 平 、斜 め 方 向 の 成 分 が 高 い 相 関 を 持 つ と い う 考 え に 基 づ い て 、 以 下 の よ う に 特 徴 ベ ク ト ル のDCパ ラ メ ー タfDC,垂 直 、 水 平 、 斜 めパ ラ メ ー タ .fv,乃,,fdを求 め る 。
f1)cニWAL(0,0)
ヨ
fv=Σ ∫2x剛L(ゴ,0)1
1=Q 3
fh一 Σ ノ2xl刑 五(o,ノ)1 ノ;0
4‑i
乃 一 Σ Σ(12+ノ2)x曜L(ち ノ)1
1=1ノ=1
(3) (4)
(5)
(6)
㎜L{lj}
■ ノゐぐ
五ρゐ
■■
■ ∠1
図2:Walsh変 換 係数
WAL(i,ノ)は1>×1Vピ ク セ ル ブ ロ ッ ク 内 の 座 標(ij)に お け るWT係
2.提 案 法 に用 い られ る基礎 技 術
12
数 を表 す。 特 徴 ベ ク トル か ら 以下 のよ う に特 徴 量 を 求 め る 。
X1)c=プbc
XAC=[ん 姦,翔7
(7) (g)
DC特 徴 量xDCは ブ ロ ック 内の 明る さ の変 化 を 、AC特 徴 量XACは オ ブ ジェ ク ト の輪 郭 を表 す。ゐ嘉,ル を 求 め る 際 、 高周 波 数 成 分 は入 力 の 変化 か ら の影 響 を 受 け過 ぎ 、前 景 分離 結 果 に 悪影 響 を 与 える た め 取 り 除 いて いる 。
2.4混 合 ガ ウス 分 布 に よ る前 景 分離
本 節 で は文 献[2]に よ る 、混 合ガ ウス 分 布 によ る 前景 分 離 につ い て 説 明す る。 時刻tに お ける 特徴 量xtが 持 つ確 率 を 次式 と す る。
P(xt)=Σ ωち∫× 即 ゆ Σち∫)(9)
1=1
Kは 分 布 数 、Wi,tはi番 目の 分 布 が 持 つ 重 み 、N(μ μ,Σち∂はi番 目の 平 均 値 μち,と共 分 散 行 列 Σμを 持 つ 分 布 の 確 率 密 度 関数 で あ る 。 分 布 数 Kの う ち 、B個 は 背 景 モ デ ル と 定 義 さ れ る 。
式(8)で 定 義 し た 特 徴 量XACをXtと し て 与 え る と き 、fv,.fh,ル が 独 立 で あ り 、 異 な る 分 散 を 持 つも の と し 、XACに 対 し て
00
Σオc=0(】 莞0(10) oo弓
の 共分 散 行 列 を 与 える 。 新 し い特 徴 量Xt+1が 得 られ た 時 、そ の 時保
2.提 案 法 に用 い られ る基 礎 技術
13
持 し て い る 各 分 布 と 一 致 して い る か ど うか 判 定 を行 う。 下 記 の式 を 満 た す と き 一 致 し て い る とす る。
IXt+1一 μち∫1<T(11)
し き い 値Tは 濁)c、XACに 対 し て 、そ れ ぞ れ 以 下 の よ う に 定 義 さ れ る 。
Tvc=SDC× μ1)c+2・5× σDC
TAc=SAC×IuAC+2.5×[σv,σ ・乃,σ・ガ]T
(12) (13)
変ADCお よ びSACを 用 い て 、しき い値 の調 整 を行 うこ と が でき 、入 力動 画像 の 環 境 に応 じ て 設 定 する こ と で 、 前景 分離 結 果 を 向上 さ せ るこ と が で き る。 特徴 量Xt+1に 対 し て 式(11)を 満 た す 分 布 が背 景 モ デル の場 合 、そ の ブ ロ ック の判 定結 果 は背 景 と な る 。 式(11)を 満 た す 分布 が 背 景 モ デ ル で な い 、また は存 在 し な か っ た場 合 は 前 景 と 判 定 され る。
式(11)を 満 た す 分布 が 存在 しな か った 場 合 、分 布 の 追加 、あ る い は 置換 を行 う。 分 布 数 がK個 未 満 の とき は分 布 を 追加 し 、分 布 数 が K個 の とき は分 布 を 置換 す る。置 換 され る分布 は 、平 均値Xt+1、 高 い 分 散 、低 い 重 み を持 っ。
式(11)を 満 た す分 布 の 平均値 、分 散 、重 み の更新 を行 う。更新 は次 式 に よ る。
μ ∫+1=(1一 α)μ,+aXt+1
σ 鉢1=(1一 α)(Jt+α(濁+1一 μ ∫+1)2
ω 剃=(1一 α)Wi ,t+α ル転1
(14) (15) (16)
2.提 案 法 に用 い られる 基礎 技術
14
αは 忘 却 係 数 で あ り 、0<α<1と な る 。Mi ,tは一 致 し た 分 布 に は1 を 、 一 致 し て い な い 分 布 に は0を 与 え る 。
更 新 さ れ た パ ラ メ ー タ を 用 い て 、 ω扉 σμの 値 が 大 き い1頂にK個 の ガ ウ ス 分 布 を 並 べ 替 え る 。 こ れ に よ っ て 、 重 み が 大 き く 、 分 散 が 小 さ い 順 番 に 分 布 が 並 べ ら れ る 。 そ し て 、 次 式 を 満 た すB個 の 分 布 を 新 し い 背 景 モ デ ル と す る 。
b
B=α7gmin(Lvi ,t>Tb)(17)
i=1
Tbは0<Tb<1の 値 を 持 ち 、背 景 モ デル に選 ばれ る 分 布 数 を 制 御 す る しき い 値 で あ る 。
ま た 、前 景分 離結 果 に従って次式 のよ う に 、忘却係 数 αを 更新す る。
一儲 ̲)1羅 ㈹
ainit、a'min,Amax,はそ れ ぞ れ 、 αの 初 期 値 、αの 範 囲 の 最 小 値 、 最 大 値 と し て 設 定 し て お く 。 こ れ によ り 、前 景 と 判 定 さ れ た ブ ロ ッ ク は 更 新 速 度 を 遅 く 、背 景 と 判 定 さ れ た も の は 初 期 値 の ま ま にす る 。ま た 、前 景 と 判 定 さ れ た ブ ロ ッ ク の8近 傍 連 結 成 分 の 全 て が 前 景 と 判 定 さ れ た 場 合 は 高 速 処 理 に 移 行 す る 。nは 高 速 処 理 に 移 行 し て か ら の フ レ ー ム 数 で あ る 。
2.提 案法 に用 い られる 基礎 技術
15
2.5WT関 数 に よ る可 変 ブ ロ ックサ イ ズ方 式
本節 で は 、可 変ブ ロックサ イズ 方 式 につい て 述 べる 。可変 ブ ロッ ク サイ ズ 方 式 と は 、複 数 の ブ ロ ック サ イズ で 前景 分 離 を行 い 、そ の判 定 結 果 を 組 み 合 わ せ る こ とで 、 高い 精 度 の 前 景 分離 を 実現 す る 手 法 で ある 。Walsh変 換 のN/2×1>/2の ブ ロック にお ける 変i換ス ペ ク ト.ル か ら 、拡 大 し たN×Nブ ロ ック の 変換 ス ペ ク トル を 生成 でき る と い う 性 質 か ら 、複 数 ブ ロッ ク サイ ズ の特 徴 量 を 求 め る演 算 量 を抑 え ら れ る 。
大き い ブ ロッ クサイ ズ の前 景分離 は木 々の揺 れ 、光 の変化 といっ た 動 的背 景 に 強 く、 小 さ な ブ ロ ック サイ ズ の前 景 分離 は詳 細 な 分 離 結 果 を 得 られ る と い う特 徴 があ る 。 そ のた め 、複 数 の ブ ロ ッ ク サイ ズ の 前景 分離 結 果 をAND判 定 による 統合 を行 う こ と で 、、動 的 背景 に強 く 、細 か な 前 景 分 離 結 果 を得 る こ と がで き る。
3.可 動 カメ ラ 映像 に対す る前 景分離
16
3可 動 カ メ ラ 映 像 に 対 す る前 景 分 離'
3.1ま えが き
本 章 で は 、ま ず 可 変ブ ロックサイ ズ 方式 の前 景分 離 手 法 を 可動カ メ ラ に対 応 させ た 文 献[5]に つい て説 明す る 。そ し て 、そ の 問題 点 であ る 移 動 量推 定 方 法 を 改 善 す る 、複数 の 小 型 ブ ロ ッ ク によ る 位 相 限 定 相 関 法 に つい て説 明す る。
3.2可 動 カ メ ラ に 対 応 した 前 景 分 離
ま ず 、 手 法 文 献[5]の 処 理 手 順 を 述 べ る 。 以 下 の よ う に 行 わ れ る 。 1.POCを 用 い て フ レ ー ム 間 の 背 景 シ フ ト 量 を 求 め る 。
2.背 景 シ フ ト に よ っ て 生 じ た 新 規 領 域 を 除 い て 、 フ レ ー ム を 大 き さN×Nの ブ ロ ッ ク で 分 割 し 、WT係 数 に よ っ て 前 章 で 述 べ た 特 徴 ベ ク ト ル プbc、.fv、あ 、ル を 生 成 し 、 特 徴 量 濁)c、xACを 作 成 す る 。
3.得 ら れ た 特 徴 量 か ら 混 合 ガ ウ ス 分 布 背 景 モ デ ル を 生 成 す る 。 4.不 要 領 域 を 削 除
5.新 規 領 域 が 幅Nピ ク セ ル を 超 え た と き 、 新 規 領 域 の 特 徴 量 を 作 成 す る 。 ま た 平 均 に ブ ロ ッ ク が 持 つ 特 徴 量 と 、 低 い 分 散 、 重 み を 持 つ 背 景 モ デ ル を 与 え る 。
6.文 献[2]を 用 い た 前 景 分 離 処 理 を 行 う 。 7.状 況 に 応 じ て 特 別 処 理 を 行 う
8.分 布 の 更 新 を 行 う
3.可 動 カメ ラ 映像 に対す る 前景分 離
17
3.2.1文 献151に お け る シ フ ト量 推 定
可動 カメ ラ で 撮影 され た動画 の連続 す るフ レ ー ムを 比 較す る と てカ メ ラ の移 動 によ っ て 生 じた 新 規 領域 、フ レ ー ム 間で 共通 の領 域 、カ メ ラ の移 動 によ っ て 消 失 した領 域 が 存在 す る 。 前 フ レ ー ム の入 力 に よ っ て 生成 さ れ た 背 景 モ デル を 利 用 する に は 、入 力 の 不 要な 領 域 を 削 除し 特 徴 量 を 生成 す る必 要 があ る。そ の不 要 領 域 の選 定 のた め に、
カ メ ラ の シ フ ト 量 を推 定 が 必要 となる 。
時 刻t‑1フ レ ー ム
響1難 灘
齢
華鴛 睾
臼 で
翼
時 刻tフ レー ム
,曝
口 新規領域 國 シフトによって消える領域
図3:カ メ ラ の シ フ ト に よ る フ レ ー ム の 変 化
可動 カメ ラ に対 応 す るた め にモ ザイ キ ン グ 画 像 を 用 い る 技 術 が 多 く提 案 さ れ て き た 。モ ザ イ キ ン グ と は複 数 の 画 像 を1枚 の 画 像 とし て 繋 げる 技 術 で あ る。 こ れ によっ て 、 予 め 背 景 を 撮 影 し 、動 画 像 か ら 可 動 範 囲の 背 景 モ デ ル を 作成 す る こ と が で き る 。 こ れ はカメ ラ の 可 動範 囲が 一 定 の場 合 に は有 効だ が 、可 動 の範 囲が 一 定 で な い 場 合 や 、カ メ ラ の 画 面外 で の背 景 の変 化 に対応 で き な い 。 ま た 、入 力 が モ ザ イ キ ン グ 画像 のな か の どの位 置か ど うか を 判 定 す る必 要 が あ り、
こ の演 算 は複 雑 で あ る。
こ れ らの 問題 に対 応 す るた め に 、文 献[5]で は 比較 的演算 量 の少 な
3.可 動カメ ラ 映像 に対す る 前景分 離
18
いPOCに よ る シ フ ト 量推 定を 用 いて いる 。し か し 、POCは 離 散フ ー リ エ 変 換 を用 いる た めHDTVの よ う な 高解 像 度 画 像 に対 し て 演算 量 が大 き くな っ て しま う。 そこ で 文献[5]で はサ イズS1×s2の 入 力 画 像 に対 して 、演 算 範 囲を 中心部 分0.6s1×0.6S2と す る こ とで 演算 量 を 削減 し て い る。
しか し 、こ の 手法 は演算 量 の削減 が 充分 でな い こ と と 、演 算 範 囲内 に前 景 オ ブ ジ ェ ク トが 集 ま っ た 際 にシ フ ト 量 推 定 の 精 度 が落 ちる と い う 問題 が あ る。
3.2.2不 要領 域 の 削除 と、新規 領域へ の対 応
まず 、可動カ メ ラ に対応 する た め に、推 定し た シ フ ト量 結果 を 用 い て 入 力 の不 要 領 域 を 削 除 する 。 削 除す る 状 況 は 、新 規 領 域 がWTの ブ ロッ ク サイ ズ を 超 え な いパ タ ーン と超 える パ タ ー ン が存 在 す る 。
新 規領 域 がWTの ブ ロック サイズ を超 え ない 場 合 、新規 領 域 はWT で き な いた め 不 要領 域 と して 削除 さ れ る。 ま た 、カ メ ラ の シ フ ト に よ って ブ ロッ ク の 一部 が欠 けて し まっ た ブ ロッ ク も ま た 不 要領 域 と し て 削 除さ れ る 。
新 規領 域 がWTの ブ ロックサイ ズ を超 えた 場 合 、超 え られ な かった 時 と 同様 にカ メ ラ の シ フ ト に よっ て ブ ロ ッ ク の0部 が欠 け て し ま っ た ブ ロ ッ ク は 不 要領 域 と さ れる 。 ま た 、新 規領 域 内の 外 側 のWTブ ロ ッ クサ イ ズ か ら余 る 範 囲も 不 要領 域 とし て 削 除 さ れ る 。
次 に新規領 域 に対 する 背 景モデル の生成 につ いて 説 明す る 。不 要領 域 と され なか った 、WTブ ロックサ イズ の 新規 領 域 に対 して 背 景 モ デ ル の 生成 が行 わ れ る。前景 分離 に用 いる ブ ロック サイ ズ をNmaxと し 、 新 規領 域 がNmaxを 超 えな い場 合 は背景 モ デル の 生成 を行 わ な い。 そ
3.可 動 カメ ラ 映 像 に対 する 前景 分離
19
の た め 、前 景分 離 は前 フ レーム との共 通部 分 の み に対 し て 行 わ れる 。 新 規 領 域 がNmaxを 超 え た場 合 、背 景モ デル を 生成 す る 。DC成 分 、 AC成 分 の 両 方 の背 景 モデル に対 して行 わ れる 。背 景 モ デル はひ と つ の 分布 か ら成 り、 与 え ら れ る 分布 はブ ロ ック のWialsh特 徴 量 を 平均 の値 と し て 持 ち 、分 散 と重 み に は低 い 値 を持 つ。 新 規 領 域 に与 え ら れ た背 景モ デル は 、入 力 を そ のま ま背 景 と す る 形 にな る。
3.2.3新 規 領 域 の 前 景 分 離
新 規 領 域 で は 、入 力 を 背景 モデル とし 、GMMに よる 更 新 の な いま ま 前 景 分 離 が行 わ れ る。 そ の た め 、最 初 の 前 景 分 離 結 果 は必 ず 背 景 と 判 定 され る 。前 景 が 含 まれ てい る場 合 は誤 判 定 と なっ て し まう が 、 フ レ ー ム の端 で あ り重 要 性 は低 い と考 え られ る た め 、 対 策 は講 じ ら れ て い な い 。
背 景 モ デ ル が 生成 さ れ た 次 のフ レー ム で の前 景 分 離 で は 、背 景 モ デ ル は更 新 され る こ とな く 用 い られ る 。 ブ ロ ッ ク 内 に前 景 存 在 し な い 場 合 、新 し い 入 力 は前 フ レ ーム のも の と ほぼ 同じ にな る 。 そ のた め 、 前 景 分 離 結 果 も 同 じく 背 景 と なる 。 ブ ロ ッ ク 内 に前 景 が 存 在 す る 場 合 、 前 景 の 移 動 によ る 特徴 量 の変 化 と 、背 景 モ デル の 分 散 が 低 い こ と か ら前 景 と して 判 定 さ れ る。 こ の よ う に、 多 く の 場 合 は 生成 さ れ た 次 のフ レ ーム に おい て 正し い結 果 を 得 ら れ る。
しか し 、誤 判 定が 発 生す る状 況 が存 在す る 。それ は、前 景オ ブ ジェ ク ト が移 動 し 、隠れ て いた背 景 が 出現 する 場合 で あ る。こ の場 合 、前 フ レ ー ム で 生 成 さ れ た 背 景 モ デル は前 景オ ブ ジ ェ ク ト を含 め て 背 景 と し て い る た め 、前 景 オ ブ ジェ ク トが移 動 し て本 当の背 景 が 現 れ る こ と によ る 特 徴 量 の 変化 によ り、前 景 と 誤 判 定 さ れ て しま う。 こ れ
3.可 動 カメ ラ 映像 に対す る前 景分離
20
は背 景 モ デル の 更 新 によ り修 正 され る が 、そ れ に は十 フ レ ー ム 前 後 を 要 す る。
こ の修 正 を 早 め るた め に,予 測 によ る修 正 処理 、背 景モ デル の更 新 の 高 速化 を行 な っ て い る。
予測 によ る修 正 は 、背 景 は水 平 方 向 に連 続 し て い る と い う 仮 定 か ら 、 同じ 行 の 中央 の ブ ロ ック の背 景 モ デル と 一 致 判 定 を 行 うこ とで 修 正 を行 う。 こ のと きAC特 徴 量 は使 わず 、DC特 徴 量 と の み 一致 判 定 を行 う。 こ れ は輝 度値 の みを使 っ た 比較 を 行 うた め であ る 。ま た 、 中央 ブ ロ ッ ク を 用 い る の は 、背 景 モ デ ル の 生 成 か ら 時 間 が 立っ て い て 、背 景 モ デル が 安 定 し て いる と考 え られ る た めで あ る 。 背 景 モ デ ル の 中で 最も 大 き な 重 み を 持 つ 分布 の 平均 、分 散 を使 っ て 入 力 と再 び 前 景 判 定 を行 う。
1&θw一 μPア81<δDC× μ、pre+2・5×pre
(19)
Xnewは 新 規領 域 の特 徴 量 、Iupr,、Apr.は最も 大き な 重 み を持 っ分布 の 平 均 と分 散 であ る。前景 と判 定 され てい て 、式(19)を 満 たす 場 合 、前 景 と誤 判 定 と され て いた と判 断 、背 景 に修 正 す る。
上 記 の 予 測 に よる 修 正 は 、背 景 が水 平方 向 に類 似 して い る こ と が 条 件 とな る た め 、修 正 で き な い 場 合も あ る。 そ の た め 、 背 景 モ デル の 更新 の 高速 化 処 理 を用 い る 。 こ れ は新 規 領 域 に生 成 さ れ た 背 景 モ デル の 更新 速 度 を早 く設 定す る こ と で 、誤 判 定 の修 正 を 早 め る 手 法 で ある 。更 新 速度 の高 速化 は、忘 却係 数 αの初 期 値a'initを2倍 にす る こ と で 実 現 し て い る 。 こ れ によ り、 予測 処 理 で 修 正 さ れ な か っ た 誤 判 定 を 、短 時 間で 修 正 でき る 。
3.可 動 カメ ラ 映像 に対す る前 景分 離
21
3.3複 数 の 小 型 ブ ロ ッ ク に よ る 位 相 限 定 相 関 法 3.3.1概 要
従 来 、画 像 全 体 、あ る い は 文 献[5]の よ う に大 部 分 を 演 算 範 囲 と し 、DFT、 合 成 、DFTす るこ と でPOCは 演 算 さ れ てき た 。 し か し 、 HDTVの よ うな 高 解 像度 の動 画像 に対 す る 、DFT、DFTの 演算 量 は 膨 大 となっ て しま い 、POCの 処理 時間が 長 くな る原 因と なっ てい る 。 また 文 献[5]の よ う に、演 算 範 囲を 限定 し 、か つ 固定す る と 、演 算 範 囲 内 に前 景オ ブ ジ ェ ク ト の集 中し た 際 な ど に精 度 が落 ち る とい う 問 題 が あ る 。 そ こ で 、複 数 の 小型 ブ ロッ ク を 作成 し 、適 当な ブ ロ ック を 選 択 、ブ ロ ック 内 のみ を演 算 範 囲 とす るPOCを 用 い るこ とで 、上 記 の 問題 を解 決 す る 。
大 き な 画 像 か ら小 さ な演 算 範 囲を 選 択 す る 際 の 問題 とし て 、範 囲 内が前 景オ ブ ジェ ク ト に覆 わ れて しまった り、範 囲内 が一様 になって し ま い 背 景 の シ フ ト量 が 求 め られな い 場 合 、エ ッ ジ部 分 な ど ノイ ズ の 多 い 部 分 を 含 ん で し ま い シ フ ト 量推 定 の 精 度 が 下 がっ て しま う 場 合 な ど が 挙 げ られ る 。 前 景オ ブジ ェ ク ト につい て は 、前 フ レ ーム の 前 景 分 離 結 果 を 用 い る こ と で 対応 す る 。 画 面 内が 一様 にな っ て し ま う こ と と 、エ ッ ジ な ど ノイ ズ の多 い 部 分 を含 ん で しま うこ と を避 け る た め に 、高 周 波成 分 、 低周 波 成 分 の 多 い領 域 を さ ける こ と で解 決 す る。 以 下 に複 数 の 小 型 ブ ロ ック によるPOCの 詳 細 を述 べ る 。
3.可 動 カメ ラ 映像 に対 する 前景 分離
22
3.3.2POC特 徴 量
上 記 のよ う に、演 算 範 囲の選 定 に は高周 波 成 分 、低周 波 成 分 の 多さ を 用 い る。 そ の た め 、前 景 分 離 手 法 にも 用 い られ て い るWT係 数 を 流 用す る こ とで 、演 算 量 の増加 を 抑 え てい る。POC特 徴 量fp。。を 以 下 の様 に作 成 す る 。
3
fp。C(P,q)一 Σ Σ1刑L(Zノ)ト1刑L(0,・)1(2・)
1=0ノ=O
fp。c(p,g)は1≦p≦S1/Nmin1≦q≦S2/Nminと な る 。S1、S2は 入 力 の 高 さ と 幅 。NminはWTブ ロ ッ ク の 最 小 サ イ ズ 。
3.3.3POCブ ロ ッ ク 作 成
POCの 仕 様 上 、 測 定 可 能 な シ フ ト 量 の 範 囲 が 演 算 範 囲 の ±1/2ま で と な って い る 。WTの ブ ロック サ イ ズNを そ の ま ま 用 い る と 、30[frame/sec]
のmTV動 画 に お い て 、1秒 で 振 り 切 る よ う な 速 度64[pixel/frame]
に 対 応 で き な い 。 そ の た め 、ル 。.の隣 接 す る α ×β個 の 値 を 用 い て 、 サ イ ズaN× β蝉 のPOCブ ロ ッ クB(m,n)を 以 下 の よ う に 作 成 す る 。
遡+α 一ln+β 一1
B(m,n)=Σ Σ 乃 ・・(μ9)
p=mq=n
(21)
3.3.4効 率 的 領 域 選 定
生 成 し たPOCブ ロッ クBか ら 、シ フ ト 量 を 求 め る の}と効 率 的な 演 算 範 囲を 選 定 す る 手法 につ い て述 べ る 。
3.可 動カ メ ラ 映像 に対 する 前景 分離
23
WAL
N
ろ 。C
図4:POCブ ロックの作成
1.前 景 オ ブ ジ ェ ク ト の 除 去:図5の よ う に 前 フ レ ー ム の 前 景 に 当た る 部 分 と そ の 前 後 の ブ ロ ッ ク を 要 素 と し て 持 つBの 領 域 の 値 を 除 去 す る 。
2.ノ イ ズ 、 ダ イ ナ ミ ッ ク バ ッ ク グ ラ ウ ン ド に よ る 乱 れ の 多 い 、 高 周 波 成 分 の 多 い エ リ ア の 除 去:WT係 数 に よ っ て 作 成 し たPOC
は ブ ロ ッ クBの あ 帯 は 高 周 波 成 分 の 多 さ に 比 例 す る た め 、 降 順 化 し 、 図7の よ う に 上 位10%の ブ ロ ッ ク の 値 を 削 除 す る 。 3.範 囲 内 が 一 様 に な る よ う な 領 域 の 除 去 手 法1.降 順 化1高 周 波 成 分
の 多 さ がPOCブ ロ ッ クBの 値 に 比 例 し て い る た め 、 上 記 の 処 理 を 行 っ た あ と 再 度 降 順 化 し 、上 位 の ブ ロ ッ ク を 選 択 す る こ と で 、 範 囲 内 が 一 様 と な る 可 能 性 の 高 い 領 域 を 避 け て 選 択 で き る 。
3.可 動カ メラ 映像 に対 する 前景分 離
24
4.範 囲 内 が一 様 にな る よう な領 域 の 除去 手 法2.ラ ン ダ ム 選 択:3の 手順 の代 用 が 可能 な 手 法。1,2の 処 理 を 行っ た あ と 、Bの 中か ら ラ ンダ ム で ブ ロッ ク を選 択 し 、値 がBの 平 均 以 上 であ れ ば採 用 す る 手 法 。Bの な か で 除去 され た エ リ ア の値 は0に さ れて い る 。 ま た 、一 様 とな る 可 能性 の高 い ブ ロ ッ ク の値 は 平均 を 下 回る た
め選 択 され な い 。 再 度 の 降順 化 処 理 が 不 要 のた め演 算 量 の 削減 が 見込 める が 、フ レ ー ムを 占める 前 景オ ブ ジェ ク ト の割 合 が 多 くな る ほ ど 、ラ ン ダ ム選 択 を 行 うル ープ 回数 が増 大す る 可能 性 があ る 。
3.可 動カ メラ 映像 に対 する 前景 分離
25
■ 前フレームで前景とされたブロック ロ 前景前後のブロック
[コ 前景 やその前後 のブロックを要素として持つ、
削 除 され るBの 範 囲
図5:前 フレーム前景分離 除去
部分除去
◇ 口
図6:前 フ レーム の前 景部 分の 除去 結果
3.可 動カ メラ 映像 に対す る 前景分 離
26
ゆ
図7:高 周 波数成 分 の多 い領 域 の除 去結 果
従来法
号
提案法
図8:従 来法 と提案 法の演 算範 囲 の比 較
3.可 動 カ メラ 映 像 に対す る 前景分 離
27
3.3.5動 き 修 正
実 験 か ら,誤 っ た シ フ ト 量 を 検 出 し て し ま っ た と き に は,正 し い 座 標 を 含 む 複 数 の ピ ー ク が 立 っ こ と が わ か っ て い る 。 カ メ ラ 自体 も シ フ ト し て い る た め,カ メ ラ シ フ ト に 対 応 す る 小 さ な ピ ー ク も 現 れ る か ら で あ る 。 そ の た め,複 数 の ピ ー ク か ら 正 し い ピ ー ク を 選 択 す る 手 法 が 必 要 で あ る 。
以 下,前 回 の シ フ ト 量 を 用 い た,修 正 法 に つ い て 述 べ る 。
前 回 の ピ ー ク 昭 一1と今 回 の1番 目,2番 目の ピ ー ク1Vl1、1V12と の 距 離 をdl、d2と す る 。 閾 値Lに 対 し て 、L<dlの と き,閾 値 内 に 収 ま る 距 離 を 持 つ ピ ー ク 値 か ら シ フ ト 量 を 求 め る 。 可 動 カ メ ラ で 撮 影 さ れ た 動 画 に お い て,背 景 の シ フ ト 量 の 急 激 な 変 化 は 考 え に く い こ と か ら,こ の 手 法 が 有 効 で あ る と 考 え る.
4。 提案 方式 の評 価
28
4提 案方 式 の評 価
4.1は じめ に
本 章 で は 、 文 献[5]の 可 動 カ メ ラ に 対 応 し た 前 景 分 離 と 、提 案 法 で あ る 複 数 の 小 型 ブ ロ ッ ク に よ る 位 相 限 定 相 関 法 を 組 み 合 わ せ た 手 法 の 性 能 評 価 を 行 う 。 ま ず 、 動 画 像 に 対 す る 前 景 分 離 の 性 能 評 価 を 行 う 。次 に 複 数 の 小 型 ブ ロ ッ ク に よ る 位 相 限 定 相 関 法 の カ メ ラ の シ フ ト 量 推 定 の 精 度 評 価 を 行 い 、最 後 に 同 手 法 の 演 算 量 の 評 価 を 行 う 。 実 験 は 、WindowsXPIntelCore2DuoCPUE8400@3GHzMATLAB2009a
Version7.8.0.347上 で 行 っ た 。
4.2前 景 分 離 性 能 の評 価
本 節 で は前 景 分 離 性 能 の評 価 を行 う。 解 像 度HDTVの 可 動 カメ ラ で撮 影 さ れた4つ の動 画 に対 して 前景 分 離 を行 い 、文 献[9]と の性 能 比較 を 行 う。 比較 対 象 とし た文 献[9]の 手法 はピ ク セル ベ ース の前 景 分 離 だ が 、フ ィ ル タ リ ン グ によ っ て ピ クセ ル 周 囲 の 情報 を 用 い て い る 。 ま た 、今 回 はカ メ ラ のシ フ ト 量推 定 に は提 案 法 同様 の 手 法 を 用 い て い る。 図9の 左 か ら 、 雪 が 降る な か 一 人 の 歩 行 者 が撮 影 さ れ た 動 画 、人 工池 の前 で2人 の歩行 者 が撮 影 さ れた 動 画 、建 物 の 前 で3人 の 歩 行者 が撮 影 さ れ た動 画 、風 の た め に揺 れ る 木 々の 前 を 一 人 の 人 が 歩行 して い る 動 画 と なっ て い る。
ま ず 、雪 の 中で撮 影 さ れた 動 画 につ いて 考 察す る 。本 動 画 で は 、雪 によ る 動 的 背 景 へ の対 応 と 、歩 行者 の 色 と 背 景 の植 物 の 色 が 近 い た め 、 そ の 区別 が 出来 る か ど うか が 問題 とな る 。 文 献[9]の 手 法 で は、
雪 の影 響 によ る 背 景 の誤 判 定が 生 じ 、さ ら に前 景 の 歩 行者 と 背 景 の
4.提 案 方 式 の評価
29
Ground truth
simplified Hayman's
提案法
図9:4種 類 の動画 に対す る前 景分 離結 果
植 物 の 区別 がで き て いな いこ と が わか る。 そ れ に対 し て 、 提案 法 は 雪へ の 対応 と 、歩 行者 と背 景 の 区別 が共 に成 功 して い る事 がわ かる 。
次 に人 工 池 の前 で撮 影 さ れた 動 画 につ い て 考 察 す る 。 こ の動 画 で は揺 れ る水 面 と いっ た動 的 背景 への 対応 が 問題 となる 。文 献[9]の 手 法 で は水 面 の誤 判 定 は少 な いも の の 、地 面 の誤 判 定 が 目立 って い る 。 こ れ は 、シ フ ト 量推 定 の僅 か なズ レ に 多大 な 影 響 を 受 け て し ま っ て い る も の と考 え られ る 。 提 案 法 で は 、水 面 の 揺 れ に対応 し て い る と 共 に 、地 面 の 誤 判 定 も 少 な い 。こ れ は 、ブ ロッ クベ ース の判 定 によ り 、シ フ ト 量推 定 の僅 かな 誤差 か ら影 響 を受 け にく いた めで あ る。建 物 の 前で 歩行 者 を 撮影 した 動画 につ い ても 、文 献[9]の 結果 は人 工 池 の 動 画 と 同様 に 、背 景 の エ ッ ジ部 分 の誤 判 定 が 目立 っ こ とか ら 、シ フ ト 量推 定 の僅 か な 誤 差 の影 響 を 受 け てい る と 考 え られ る 。
最 後 に風 で 揺 れる 木 々の前で 撮影 され た 動画 につ い て考 察 する 。こ の動 画 で は 、木 々の 揺れ に対応 でき るか が 問題 とな る。 文献[9]の 手
4.提 案 方式 の評 価
30
法 で は 、木 の部 分 で の誤 判 定 が 目立 っ こ と か ら 、木 々の 揺 れ に対応 し き れ て い な い こ と が わか る 。そ れ に対 し 、提 案 法 で は木 の 部 分 で の誤 判 定 は 見 られ ず、木 の揺 れ に対 し て 対応 して い る こ と がわ かる 。
上記 の結 果 か ら 、提 案 法 のブ ロック ベ ース の判 定 によ り 、動 的背 景 に強 い と わか る。 さ ら に 、可 動カ メ ラ へ の対 応 に際 し て は 、シ フ ト 量 推 定 の僅 か な誤 差 に対 し ても 安 定し た 性 能 を 発 揮 で き る。
4.3シ フ ト量 推 定性 能 の 評価
ど
本 節 で は 、 複 数 の 小 型 ブ ロ ッ ク を 用 い たPOCの シ フ ト 量 推 定 性 能 の 評 価 を 行 う 。 性 能 評 価 に は 、フ ル サ ー チ 、 文 献[5]で 用 い ら れ た 従 来 法 と 、2パ タ ー ン の 提 案 法(降 順 選 択 、 ラ ン ダ ム 選 択)の4つ の 手 法 に よ り 、 用 意 し た 動 画 の シ フ ト 量 推 定 を 行 う こ と で 比 較 す る 。 提 案 法 は サ イ ズi28×128の ブ ロ ッ ク を8個 用 い て い る 。 対 象 と な る 動 画 は 図10の2つ と な る 。
4.提 案方 式 の評価 31
Snow lframe
Blocks 78#rams
83frame
畢図10:シ フ ト量 の推 定 の精度 比較 を行 う 動画
動 画Snowは 雪 の 中で 撮 影 さ れ たHDTVの 動 画 か ら 、720×480の ブ ロ ッ ク を 作 り 、48pixel/frameで シ フ ト さ せ る こ と で 生 成 し た 動 画 で 、 背 景 が 変 化 し て い る 状 況 で の 精 度 を 測 る こ と を 目的 と し て い る 。 動 画BlocksはHDTVで 撮 影 さ れ た 動 画 に 対 し て 、 擬i似前 景 オ ブ ジ ェ ク ト と し て6つ の移 動 す る 長 方 形 の ブ ロ ッ ク を 書 き 加 え た も の で 、前 景 オ ブ ジ ェ ク ト が 集 中状 態 で の 精 度 を 測 る こ と を 目的 と し て い る 。
ま ず 、動 画Snowで の 推 定 結 果:表1を 考 察 す る 。 上 記 の よ う に 、こ の 動 画 は48pixel/frameで シ フ ト す る よ う に 生 成 さ れ て い る 。 雪 の た め 、 背 景 が 大 き く 変 動 す る 動 画 で あ る が 、表1か ら 、フ ル サ ー チ や 画 面 内 の 大 部 分 を 用 い る 従 来 法 と 同様 に 、 提 案 法 で も 高 い 精 度 で シ フ
4.提 案方 式 の評価
32
表1:動 画Snowに おいて のシ フ ト量 推 定結 果
推定方法 測 定 結 果
01‑0202‑0303‑0404‑OSOS‑06
フル サ ーチ
4848484848
従来法
II;1:1・1・
提案法:降順選択 1;1:1:II 提 案法:ラ ンダ ム選 択4748484848
ト 量 を推 定 で き て い る こ と がわ か る 。 こ の こ と か ら 、 背 景 の 変 化 が 複 雑 な動 画 に対 し ても 、小 型 ブ ロッ ク で 十 分 な 精 度 を 得 られ る こ と
が わか る 。
表2:動 画Blocksに お い て の シ フ ト 量 推 定 結 果
推定方法 測 定 結 果
78‑7979‑8080‑8181‑8282‑83
フル サ ーチ
10 8 8 811
従来法
1515 81510
提案法:降順選択
10 8 9 910
提 案法:ラ ンダ ム 選択10
8 8 710
次 に、動 画Blocksで の推定結 果:表2に つ いて 考 察す る。動 画Blocks は擬似 前 景オ ブ ジ ェ ク ト を 追加 した 動 画 で あ り、 特 に 中心 部 分 に 多 く の前 景オ ブ ジェ ク ト が集 まっ て いる フ レ ーム78〜83の 間で の推 定 結 果 を 比較 し て いる 。表2か ら 、入力 の 中心部分 を演 算範 囲 とし た従 来 法 は著 し く精 度 を 落 と し て いる 。 こ れ は 、集 中し た 擬 似 前 景 オ ブ ジェ ク ト の移 動 の影 響 を 受 けた た め と考 え られ る 。そ れ に対 し て 、2 つ の提 案 法 は フル サ ー チ と ほ ぼ 同様 の 結 果 を 得 て い る こ とか ら 、 高 い推 定精 度 を持 っ て い るこ と がわ か る 。 こ れ は 、 前 フ レ ー ム の前 景
4.提 案 方 式 の評価
33
分 離 結 果 の 利 用 と 、 小 型 ブ ロ ッ ク を 演 算 範 囲 と し た こ と で 、 図11の よ う に 前 景 オ ブ ジ ェ ク ト を 避 け て 、POCを 演 算 で き た た め と 考 え ら れ る 。
従来法
号
提案法
図11:動 画Blocksに お け る 、 従 来 法 と 提 案 法=降 順 化 の 演 算 範 囲
位 相 限 定 相 関 法 は 、基 本 的 に演 算 範 囲 を 絞 っ て し ま う と そ の 精 度 を 落 と し て し ま う 。 し か し 、上 記 の2つ の 結 果 か ら 、演 算 範 囲 を 小 型 ブ ロ ッ ク と し て も 、 演 算 範 囲 と し て 適 切 な 領 域 を 選 択 す る こ と で 十 分 な 精 度 を 確 保 で き る こ と が 証 明 さ れ た 。
ま た 提 案 法:ラ ン ダ ム 選 択 に お け る ル ー プ 回 数 を 、 前 景 オ ブ ジ ェ ク ト の 多 い 動 画Blocksを 用 い て 考 察 す る 。 表3か ら 、 前 景 が 最 大 で 画
4.提 案方 式 の評 価
34
面全 体 の役1/3を 占める こ の動 画 にお い ても 、ル ー プ 回数 の増 加 は 限定 的で 、最 大ル ー プ は選択 す るブ ロック 数 の2倍 にも 満 た な い 、さ ら に平 均 はル ー プ 回 数 は選 択ブ ロック 数 の+1未 満 と なっ て い る。 こ のこ とか ら 、前 景 が 多く 含 ま れ る よ う な動 画 に お い ても 、ラ ン ダ ム 選 択 手 法 は十 分 効 率 的 に機 能 す る と考 えら れ る。
表3:動 画Blocksに お け る 、 提 案 法:ラ ン ダ ム 選 択 の ル ー プ 回 数
選 択 ブ ロ ッ ク数 平均ル ープ 回数 最大ループ 回数
5 5.68 9
8 ・ … 13
4.提 案 方式 の 評価
35
4.4シ フ ト量 推 定 に お け る演 算 量 の評 価
本 節 で は 、シ フ ト量 推 定 にお ける 演算 量 の評 価 を行 う。演算 量 の比 較 には 、位 相 限定相 関法 に用い られ る2次 元高 速 フ ー リエ 変 換(FFT)
にお ける 演 算 量 を使 う。 そ のた め 、画 像 全体 を 演算 範 囲と し たも の 、 従 来 法 とし て 中央 部 分0.6S1×0.6S2を 演 算 範 囲 と したも の 、提 案 法 と し て128×128ピ ク セル のブ ロ ック8個 を演 算 範 囲 と したも の を 比 較 す る。 演 算 量Cは 式22と す る 。
C={塞 ×1・ ×210geS(22)
こ こ でSは 入 力 の 画 像 の サ イ ズ と す る 。表4か ら 、提 案 法 の 演 算 量 は 、 全 体 を 演 算 範 囲 と し た も の と 比 べ て1/30、 従 来 法 と 比 べ て1/10に 削 減 で き て い る 。ま たfp。。、Bの 導 出 に お け る 演 算 量C'式23は6.3×104 程 度 の た め 、 大 き な 影 響 は な い 。
SIS2
C'=解 くψ+17)
(23)
表4:演 算 量 の 比 較:入 力 画 像 を2048×1024
演算量
全体POC従 来法 提案法
5.2x1091.9x1091.6x108
次 に 、前景 分 離 処 理 全 体 の演算 時 間か ら演 算 量 の削 減 を確 認 す る 。 解 像 度HDTVの 動 画 像 に対 して 、 前景 分 離 を行 っ た 際 の 演 算 時 間 は 表5と なる 。提 案 法 によって 、前景 分離 処理 全 体 の演 算 時 間が ほ ぼ 半 分 に高 速化 し た こ と が わ か る。 ま た 、シ フ ト量 推 定 お ける 演 算 量 の
4.提 案 方式 の評 価
36
表5:演 算 時 間 の比較 演 算 時 間[sec/frame]
比 較 か ら 、提 案 法 にお ける 総 演算 時 間の大 半 で ある 約0.8秒 は 、シ フ ト量 推 定 以 外 の前 景分 離 処 理 に 当て られ て い る と わか る 。
5.本 研 究 の成 果 と今 後 の研 究課題
37
5本 研 究 の 成果 と今 後 の研究 課題
5.1ま と め
本研 究で は、可 動カ メ ラ に対応 した 前景 分 離 にお ける 、シフ ト 量推 定 方 法 を 、 小型 ブ ロ ック を=演算 範 囲 とす る 位 相 限定 相 関法 を 用 いて 高 速化 す るこ とで 、前 景 分離 処 理全 体 の高 速 化 を 図っ た 。
演 算 範 囲 とな る小 型 ブロック の作成 には 、前景 分離 にも 用 い て いる WT係 数 を 流用 す るこ とで 、余分 な演 算 量を 極 力減 らす。シ フ ト 量推 定 にお け る 演 算 量 を 文 献[5】の手 法 に対 し て1/10に 削減 し 、処 理 全 体 の 演 算 時 間 を 半分 に短 縮 する こ と に成 功 し た 。
さ ら に、前 フ レー ムで の前 景分 離結 果やWT関 数 の値 によ る周 波数 解 析 によ っ て 、よ り大 き な 固定領 域 を演 算 範 囲 とす る 手 法 よ り、 シ
フ ト量 推 定 の精 度 を安 定 させ るこ と にも 成 功 し た。
5.2今 後 の課 題
よ り シ フ ト 量 推 定 にお け る演 算 量 を 削減 す る た め に 、POCの 推 定 可 能 な シ フ ト量 の 問題 か ら 、単純 にブ ロッ ク を よ り 小型 化 す る こ と は難 しい 。 ま た 、前 景 分 離 結果 の誤 判 定 な ど か ら、適 当な演 算 範 囲 を 選 択 で き な い リ ス ク を 考 え る と 、ブ ロッ ク数 を 単 純 に 削減 す るこ とも ま た難 しいみ そ こ で 、動 画 像 の状 態 に応 じ て 、ブ ロッ ク サイ ズ 、 ブ ロッ ク 数 を 適 宜 変 更 し て い くこ と によ っ て 、 さ ら な る 高速 化 が 可 能 で あ る と 考 える 。
6謝 辞
38
6謝 辞
本研 究を進 める にあ た り,多 くの事 を ご指 南 し て くだ さった,首 都 大 学 東 京 シ ス テ ム デ ザ イ ン研 究科 の西 谷 隆夫 教 授 に深 く感 謝 い た しま す。 ま た 、研 究 へ 多 く の助 言 を 頂 い た 、 首都 大 学 東 京 シ ス テ ム デザ イ ン研 究 科 の 貴 家仁 志 教授 、 西川 清 史 教 授 、藤 田八 郎 先 生 に感 謝 致 し ま す。 ま た 、 首都 大学 東 京 大 学 院 シス テ ム デ ザ イ ン 研 究科 卒 業 生 の 手 塚 弘 招 氏,北 川 智 大氏,呉 斌 氏,鈴 木 智 之 氏,森 晃 一 氏,奥 野 剛 氏 に 感 謝 い た しま す.特 に、手 塚 弘招 氏 、鈴 木 智 之 氏 は本研 究 の基 礎 と な る 研 究 を 進 め 、 多く の 成 果 を残 し 、本研 究 の 指 針 を示 し て い た だ き 感 謝 い た し ま す。
39
#41at
[1] C. Stauffer and W. E. L. Grimson, " Learning patterns of activity
using real-time tracking," in IEEE Transactions on Pattern Analysis
and Machine Intelligence, Vol. 22, No. 8, pp. 747-757, Aug., 2000.
[2] H. Tezuka and T. Nishitani, " Multiresolutional Gaussian Mixture
Model for Precise and Stable Foreground Segmentation in Trans-
form Domain, " to appear in IEICE Transactions on Fundamentals,
Vol. E92 A, No. 3, Mar., 2009.
[3] K. Bhat, M. Saptharishi, P. Khosla. " Motion Detection and Seg- mentation Using Image Mosaics. " in Proceedings of the IEEE In-
ternational Conference on Multimedia and Expo 2000, New York,
New York (United States), Aug. 2000.
[4] C. D. Kuglin and D. C. Hines, "The phase correlation image align- ment method," in Proc. of IEEE 1975 International Conference on
Cybernetics and Society, Sep., 1975, pp.163-165.
[5] T. Suzuki et al., " Efficient Foreground Segmentation for a Pan-tilt
Camera Based on GMM over Walsh Spectrums " in ITC-CSCC
2009.
[6] J. W. Manz, " A sequency-ordered fast walsh transform, " in IEEE Transactions on Audio and Electroacoustics, Vol. 20, Issue
3, pp.204-205, Aug., 1972.
[7] J. Zhu, S. Schwartz and B. Liu," A transform domain approach to
real-time foreground segmentation in video sequences, " in Proc.
参考文献
