グラフコストの逐次更新を用いた
グラフコストの逐次更新を用いた
映像顕著領域の自動抽出
映像顕著領域の自動抽出
2009年5月28日
福地賢
福地賢
宮里洸司
（２）木村昭悟
（１）高木茂
（２）大和淳司
（１） （１） （１） 日本電信電話（株）日本電信電話（株）NTTNTTコミュニケーション科学基礎研究所コミュニケーション科学基礎研究所 メディア情報研究部 メディア情報研究部 メディア認識研究グループメディア認識研究グループ （２） （２） 国立沖縄工業高等専門学校国立沖縄工業高等専門学校 情報通信システム工学科 情報通信システム工学科背景
•
ヒトはどのようにして
「もの」を認識する能力を獲得するのか？
– 成長過程で、自然にその能力を獲得していく。 – 乳幼児の行動にヒントがあるのでは？ 目立つ「もの」に目を向ける 外観から「もの」を学習する新しい映像認識・検索の枠組
•
目立つかどうか＝顕著性
を手がかりに
「もの」がどの辺りにあるか？
をまず特定
•
「もの」と思われる領域に関する情報を
双方向でやり取りして、徐々に成長
重要領域抽出 重要領域抽出 注目位置推定 注目位置推定 画像認識・探索 画像認識・探索 モデル学習 モデル学習 教示情報 重要領域から「もの」が 何であるか？ を特定 重要領域の画像特徴量と 教示情報との関係性を学習 映像入力 注目すべき箇所を視覚特性を 考慮した処理により自動特定 「もの」らしい領域を 注目位置から自動抽出 本発表の主題 本発表の主題映像領域分割
•
問題設定
– 映像から、興味の対象である領域(物体領域) を、 背景などそれ以外の領域(背景領域) と区別して抽出•
グラフカットを用いたセグメンテーション
– セグメンテーションを、MRFのMAP推定問題として定式化 – この種のMRFは、そのMAP推定解が MRFと等価なグラフの最小カット解と完全に一致[Greig 1989] [Boykov-Jolly 2001] [Boykov-Lea 2006]
– 映像領域分割への拡張 [Kohli-Torr 2007] [永橋ら@MIRU2008]
映像領域分割の全自動化へ向け
•
目立つかどうか？
＝
顕著性
を用いることは分割自動化への有望なアプローチ
•
顕著性に基づく人間の視覚機構の計算モデル
– Saliency map [Itti 1998] ← [Koch-Ullman 1985]
– Koch-Ullman modelの拡張 [Peters-Itti 2002] [Li-Lee 2007]
– 映像への拡張 [Itti-Baldi 2005] [Leung et al.@MIRU2007]
– 確率的なモデルの導入
本手法のポイント
（１）
•
顕著度に基づく事前確率の決定
– グラフカットに基づく手法の懸案であった 手動ラベリングの問題を解消、全自動化を可能に – 静止画像領域分割における類似の既存研究で 有効性が示されている[福田ら@MIRU2008] [Fu et al.@ICPR2008] [藤崎ら@PRMU2009Feb]
Input frame Attention Priors
High prob. of attention
本手法のポイント
（１）
•
顕著度に基づく事前確率の決定
– グラフカットに基づく手法の懸案であった 手動ラベリングの問題を解消、全自動化を可能に – 静止画像領域分割における類似の既存研究で 有効性が示されている[福田ら@MIRU2008] [Fu et al.@ICPR2008] [藤崎ら@PRMU2009Feb]
– 近接フレームで顕著度の高い領域が異なる場合に、 分割結果が時系列として不安定になる
本手法のポイント
（２）
•
過去の分割結果を用いた事前確率の逐次推定
– 過去のフレームの分割結果からの事前確率と 現在のフレームの顕著度からの事前確率を、 カルマンフィルターの考え方を利用して更新 – 特徴量尤度についても、 過去のフレームの分割結果から取得した尤度と 現在のフレームで得た尤度を組み合わせて更新 Original priors Segmentation result Updated priors提案手法の枠組
Input frame
MRF setup
Features for “obj” Features for “bkg” Estimated density of visual attention Segmentation result Priors Feature likelihoods Update ポイント１ ポイント１ ポイント２ ポイント２
グラフカットを用いた静止画像領域分割
•
Interactive graph cuts
[Boykov-Jolly 2001]– 手動で与えられたラベル（「物体」 or 「背景」）を用いた グラフカットに基づく静止画像分割の手法
Input image Input image with labels
(manually) GMM fitting of color features Features for “obj” Features for “bkg”
Interactive graph cuts法の定式化
•
与えられた画像ＤからラベルＡを決定する
エネルギー関数最小化問題として定式化
一般化Potts 隣接画素の 輝度値の 類似性に基づく 手動ラベル から決定 当該画素の 色・テクスチャ 特徴のGMMエネルギー最小化
→
最小グラフカット導出
•
前述のエネルギー最小化問題は、
下記のグラフの最小カット問題に置換可能
– 最小カット問題を多項式時間で解くアルゴリズムがある
本手法のポイント
（１）
•
顕著性に基づく事前確率の決定
– グラフカットに基づく手法の懸案であった 手動ラベリングの問題を解消、全自動化を可能に – 具体的には、第1の事前確率項 を [Pang et al. 2008] [宮里ら 2009] に基づいて決定 – 第1の尤度項 のGMM学習の際に、 サンプルの重みを上記事前確率項により決定 Input frame PriorsHigh prob. of attention
AttentionEFDM
顕著性に基づく事前確率・尤度の決定
•
事前確率項：
•
物体事前確率
の決定
– [宮里ら 2009] の出力(EFDM)をGMMでモデル化 – ただし、フレームの縁については、 物体である可能性は低いので、•
背景事前確率
•
尤度項：
•
尤度
の決定
– 色・テクスチャ特徴をGMMでモデル化 – GMM学習の際のサンプルの数を事前確率で決定本手法のポイント
（２）
•
過去の分割結果を用いた事前確率の逐次推定
– 過去のフレームの分割結果からの事前確率と 現在のフレームの顕著度からの事前確率を、 カルマンフィルターの考え方を利用して更新 – 特徴量尤度についても、 過去のフレームの分割結果から取得した尤度と 現在のフレームで得た尤度を組み合わせて更新 Original priors Segmentation result Updated priors事前確率の逐次推定
•
物体事前確率に関して、以下のモデルを仮定
– １時点前に物体の箇所は、現在も物体の可能性が高い。 – 顕著性のみから決定した事前確率に近い形で 現在の事前確率が決定される。•
Kalman filterと同様にして最尤解を導出可能
これを現在の事前確率として採用 これを現在の事前確率として採用特徴量尤度の逐次更新
•
過去のフレームから決定した尤度と
現在のフレームから計算される尤度を混合
過去の分割結果から
動作例
•
良好な分割結果の一例
– 同じ映像が下記のURLにて公開されています。 http://www.brl.ntt.co.jp/people/akisato/saliency3-j.html•
事前確率の逐次更新が効果的である例
入力映像 逐次更新なし 逐次更新あり VideoSegmentationFox.flvデモ
•
実機デモをご覧下さい。
•
デモ機材のスペック
– CPU: Intel Core2 Duo P8600 2.40GHz
– RAM: 4.0GB
– GPU: NVIDIA GeForce 9600M GT (32 cores, 512MB VRAM) – 開発環境：
Microsoft Visual C++ 2008, OpenCV 1.1 pre, NVIDIA CUDA 2.1
