A Study on Object Extraction from Moving Pictures and Improvement of Coded Picture Quality

(1)

動画像のオブジェクト抽出ならびに

符号化画質向上に関する研究

A Study on Object Extraction from Moving Pictures and Improvement of Coded Picture Quality

2005 年 3 月

(2)

動画像のオブジェクト抽出ならびに符号化画質向上に関する研究 A Study on Object Extraction from Moving Pictures and

Improvement of Coded Picture Quality

2005年 3月

早稲田大学大学院理工学研究科境田慎一

(3)

1 章序論

1.1 本研究の背景と目的

2000 年に開始された衛星デジタル放送，ならびに2003 年に開始された地上デジタル放送によって日本の放送は本格的にデジタル時代へ突入した．放送におけるデジタル化は以前から放送局内の番組制作，編集，記録や放送局間の伝送では進んでいたが，これらに加えて衛星や地上波による実際の放送サービスが開始されたことで，本当のデジタル放送が実現した[1]．このようなデジタル化が進んだ背景には，半導体やコンピュータ技術革新，さらにデジタル伝送方式などの新しい技術開発が挙げられる．なかでも，デジタル信号の高能率圧縮符号化技術の果たした役割は大きい．デジタル化された映像や音声の信号は，

圧縮をしない状態では莫大な情報量を必要とし，このままでは実用的ではなく，

高能率の圧縮符号化技術の開発なくしてはデジタル放送の実現はなかったと言える．

映像信号の圧縮符号化技術は，技術の進展とともに実用化のための標準化がなされている[2]．静止画像用として，ファクシミリの符号化方式がCCITT（現 ITU-T）で標準化されたのに始まり，カラー静止画像用のJPEGが作成された．

動画像の符号化は，テレビ会議やテレビ電話向けの方式としてITU-TのH.261 やH.263 が標準化された．蓄積用や放送用など，より汎用的な符号化方式として ISO/IEC により MPEG-1，MPEG-2，MPEG-4 が標準化されている．さらに，2003 年には，これまでの方式を上回る効率を達成した MPEG-4 part 10 AVC/H.264方式が，ISO/IECとITU-Tの共同により標準化された．

符号化技術開発の目的は，より低いビットレートでより良い画質を得ることが第一であるが，様々な機能を重視する方式も考案されている．その中でも ISO/IECで規格化されたMPEG-4は，効率的な圧縮だけでなく，映像の被写体

(8)

また，映像信号の圧縮符号化技術の良し悪しを決めるのには，人間が実際に映像を観察して評価判断することが重要である．そのため，統一的な評価方法の確立も重要な研究課題とされている．

本研究の目的は，このような状況を踏まえ，オブジェクトベース符号化で必要とされる領域分割およびオブジェクト抽出技術の確立と，主観的な符号化画質向上のための方式改善技術と主観評価技術の確立にある．まず，静止画像を対象とした領域分割手法を提案し，続いて動画像を対象としてオブジェクトを抽出する技術を提案する．また，低いビットレートにおける映像符号化方式の画質評価の新しい方法を提案し，符号化画質向上の指針を得るとともに，動画像符号化方式であるMPEG-4 part 10 AVC/H.264特有の画質劣化を低減させるための改善方法を提案する．

1.2 従来の研究

本節では，従来の研究として，効率的かつ高機能なオブジェクトベース符号化の実現に必要な領域分割技術およびオブジェクト抽出技術，ならびに符号化画質の評価のための主観評価技術とこれまでに標準化された符号化方式を中心に符号化処理技術について述べる．

1.2.1 領域分割技術

領域分割は主に静止画像を対象として，これをある一定の特徴をもつ小領域ごとに分割する技術であり，セグメンテーションとよばれることもある[3]．領域分割は画像の理解や認識の前処理としても必要不可欠な重要な処理である．

画像内の物体ごとにラベルをつけることができれば，認識処理が容易になる．

しかし，本来は同一であると考えられる領域を複数の領域に分割した場合や，

領域間の境界線が得られずに本来は複数の領域であると考えられる領域を一つの領域にした場合は認識処理が困難になる．画像の領域分割の良否はその後の処理結果に大きく影響する．一般に，各領域の明確な境界線が得られることは稀であり，各領域内でも特徴にばらつきがある場合がほとんどである．そのた

(9)

間がおこなう領域分割と同等の性能をもつ汎用的な領域分割手法は現在まで開発されていない．

領域分割をおこなうためには，領域の特徴として何を利用するかが重要となる．画素ごとの特徴としては，輝度値，色の値，輝度の勾配の大きさと向きなどがある．複数の画素の集まりであるブロックを単位として考えると，ブロック内画素の輝度値の平均と分散やDCT（Discrete Cosine Transform：離散コサイン変換）に代表される 2 次元直交変換の係数などがある．これらの特徴のうち，どれを使うかは領域分割の結果やその後の処理影響を与えるため，目的応じて経験的に使い分けられているのが現状である．

領域分割の方法は次の4種に大別できる．

① 原画像上におけるクラスタリングを用いる方法

② 特徴空間におけるクラスタリングを用いる方法

③ 原画像中のエッジを用いる方法

④ テクスチャ解析による方法

以下にそれぞれの特徴について述べる．

①原画像上におけるクラスタリングを用いる方法

原画像上で領域の形成と境界線の決定をおこなうものであり，各領域がクラスタに相当し，クラスタの識別面は各領域の境界線に等しい．これに属する代表的な手法としては，領域成長法，分割法，分割併合法などがある．

【領域成長法】

注目している小領域と，それに隣接する小領域が互いに同じ特徴を持っている場合に，それらを一つの領域に統合する処理を逐次実行することによって，

特徴が等しい領域を少しずつ成長させ，最終的に画像全体の領域分割をおこな

(10)

はなく，これまでに統合された領域全体の特徴を用いる必要がある．例えば，

隣接画素を統合すると同時に領域に属する全画素の平均輝度値を計算し，次の統合対象画素の輝度値との差分がある閾値以下でない場合には隣接している境界部での差分が小さくても統合しないようにすることで領域成長を途中で停止して好ましい結果を得ることが可能になる．

領域成長法のアプローチとして watershed 法[6]と呼ばれる方法がある．

watershed法とは，画素の輝度値を標高として，画像を地形的な構造とみなし，

その標高の低い部分から水を注入し，形成される盆地を区切ることになる分水嶺(=watershed)に仮想的にダムを築いて境界とし，領域を分割する手法である．

watershed 法は一般の領域成長法に必要とされるしきい値の設定が不要であり，

オブジェクトの輪郭部分で精度良く分割される特長を有する．watershed を適用する画像には，その画像の空間内の輝度勾配であるエッジ画像を利用することが多い．また，画像全体にwatershed法を施すと，画像が非常に多くの領域に分割されてしまうため，あらかじめマーカを与えてその部分を対象として処理をおこなう手法が多く提案されている[7][8][9]．処理時間を短縮させるための高速な演算アルゴリズムも存在する[10]．

【分割法】

領域成長法とは逆に，画像全体を開始点とし，一定の特徴を持たない領域を細分化していき，最終的に均一な領域になった時点で領域の細分化を停止する [3]．領域の分割方法にはいくつかの手法があるが代表的なものにtreeを用いるものがある．treeは階層的な処理に適した画像データの記述方法の一つであり，

画像をそれぞれの節点が最大４つの子を持つ木によって表現するものである．

木の節点はある大きさの正方画像をさしており，元の画像は４つの正方部分画像に分割される．さらにその部分画像の部分画像によってもとの画像の孫画像に分割される．これによって画像分割を木で表現することができる．

(11)

が，画像全体を開始点とするのではなく，中間的な階層レベルの分割された画像から処理を開始し，隣接画素の統合と部分画像への分割処理を並列に実行する[11]．これにより分割および統合の回数が減少する特徴がある．

②特徴空間におけるクラスタリングを用いる方法

特徴空間でのクラスタリングを用いて領域分割をおこなう方法としては，ヒストグラムを用いる方法やクラスタリングアルゴリズムを用いる方法がある[3]．

【ヒストグラムによる領域分割】

例えば輝度ヒストグラムは，画像中の各画素を輝度という特徴軸で定義される１次元の特徴空間に写像したときの分布を表しているので，これを領域分割に利用する．輝度ヒストグラムを用いて画像を暗い部分と明るい部分に分ける処理は画像の２値化であるが，２値化の閾値の決定方法として，ヒストグラムの谷点を用いるなど，種々の方法がある．また，ヒストグラムを線形変換や平滑化などの補正をおこなった後に２値化を実行することも考えられている．

原画像がカラー画像の場合には，各色値のヒストグラムのいずれか，あるいはそれらを組み合わせることで領域分割をおこなうこともある．

【クラスタリングアルゴリズムを用いる方法】

代表的な手法に最小距離法とＫ平均アルゴリズム[12]がある．最小距離法は全てのクラスタの組についてクラスタ間の距離を計算し，ある決められたクラスタ数になるまで，最も近接したクラスタ同士を結合していく方法である．Ｋ平均アルゴリズムは，指定されたクラスタ数Ｋ個の代表ベクトルを任意に選択して，それぞれの特徴を最も距離の近い代表ベクトルに対応するクラスタへ分類する．特徴には画素の輝度，色，画面内での位置などが使われることが多い．

全ての特徴を分類した後，それぞれのクラスタに属する特徴の平均を計算し，

(12)

③画像中のエッジを用いる方法

主として線画のような２値画像を対象として用いられる手法である．原画像のエッジを全て抽出した後に閉曲線によって囲まれた領域が均一の領域であるとする方法である．しかし，一般の画像では明確な閉曲線を得ることは難しく，

処理対象を限定した場合が多い．エッジの抽出方法としては，Sobelフィルタのように２次元のフィルタリングによる方法が代表的であるが，閉曲線を得るためにある程度長いエッジを抽出する方法には，Hough変換のような特徴空間への写像を利用する方法や，直接閉曲線を得る目的のSnakesのようなエネルギー最小化問題を解く方法がある[13]．

④テクスチャ解析

繰り返し模様などのように規則性を有する周期的なパターンで構成される画像をテクスチャと呼び，これによる領域分割をテクスチャ解析と呼ぶ[14]．画素ごとのテクスチャの特徴が計算できる場合は，①や②のクラスタリング手法が適用できる．ある程度の大きさの領域のテクスチャの特徴を求める方法には，

構造的な解析手法と統計的な解析手法がある．

構造的な解析手法は，テクスチャの要素を抽出した後，その要素の属性や配置の規則からテクスチャを記述する方法であるが，テクスチャの要素の決定は経験的な画像処理の知識を要し，一般的な手法であるとは言い難い．一方，統計的な解析手法は画像の種々の統計量からテクスチャの判別をおこなうもので，

特に２次特徴量による解析がよく用いられる．これは，同時生起行列と呼ばれる，輝度レベルと画素位置の関係を画素間の変位により表したもので，この同時生起行列から種々の特徴量を計算する[15]．しかし，変位の組み合わせ数が膨大であるため，全てを計算すると元の画像データより多くなるため，限られた変位の組み合わせについて計算されることが多い．

(13)

ェクト抽出技術と呼ばれ区別される．動オブジェクトを抽出する手法には，領域分割手法のように，推定された画素の動き量に基づく方法[16]や，隣接するフレーム画像間の差分に基づいて抽出する手法と，背景画像をあらかじめ撮影しておき，それとの差分をオブジェクトとする背景差分法がある[17]．フレーム間の差分画像は，オブジェクトの移動量が大きければ動物体の形状に合わせた領域が抽出されるが，通常は隣接したフレーム間では移動量が大きくないため，

差分はオブジェクトの輪郭付近のみに現れる．そのため，オブジェクトの内部を埋める後処理が別途必要となる．一方，背景差分法はフレーム間差分のようなオブジェクトの輪郭付近のみの差分となる問題は生じないものの，あらかじめオブジェクトの存在しない背景のみの画像を準備する必要がある．背景画像が用意できない場合は動画像から背景画像を作成する検討[17][18]もなされており，一般の動画像への適用も可能となっている．

1.2.3 画像の主観評価技術

画像の符号化は，限られた情報量の中で符号化された画像の品質，すなわち画質を最も良くすることが目的である．そのため，符号化画質を定めるための評価技術が必要となる．画質を定量的に測定する客観評価技術の研究が進められているが，現時点で決定的な手法は確立されていない．画質の評価は，実際に人間が観察して評価することが主流である．画質の評価の結果を正当に比較するには評価をおこなう実験の条件を統一することが重要である．これまで，

評価をおこなう際の観視条件，評価方法などが国際的に規定されている[19]．本節ではこれらの従来の主観評価方法について述べる．

【標準観視条件】

画質の評価実験をおこなう部屋の照明，モニタの設定，評価する評定者の配

(14)

表１標準観視条件の主な項目規定内容

SDTV HDTV 評定者とモニターの

距離

4Hと6H H:画面の高さ

3H 画面のピーク輝度 70cd/m² 150〜250cd/m²

(当面は70cd/m²) 周囲光の影響（非発光

画面輝度のピーク輝度に対する比）

≦0.02

コントラスト比〜100

モニターの背景の輝度

画面のピーク輝度の約15％

室内の照明低いこと

モニターの設置場所の背景色

D65

画面サイズ 22〜26インチ 55インチ

(当面は30インチ以上)

【評価方法】

評価するシステムに応じて評価方法が異なり，主なものが勧告BT.500で規定されている．代表的なものに二重刺激劣化尺度法（EBU 法，DSIS とも呼ばれる）と，二重刺激連続品質尺度法（DSCQS）がある．他にも単一刺激法，一対比較法がある．

① 二重刺激劣化尺度法

評価するシステムがノイズなどに対してどの程度強いかを評価するのに適する．15名以上の評定者を集めておこなう．基準となるノイズのない原画像と評価するテスト画像（原画像を含む場合もある）を交互に見せ，5 段階の劣化尺度（「劣化がわからない」から「劣化が非常に邪魔になる」まで）で評価する．ノイズの大きさや画像の絵柄を変えて繰り返す．

② 二重刺激連続品質尺度法

評価するシステムで処理された画像の品質を，基準となる画像と比較して調

(15)

にはどちらが原画像であるかは知らせない）を交互に見せ，両方の画質をそれぞれ評価する．5段階品質尺度法の場合，「非常に良い」から「非常に悪い」

の5段階で評価する．評価結果の集計には，2つの画像間の差を計算する場合と，それぞれ別々に処理する場合がある．

1.2.4 画像の符号化技術

本節では，画像の符号化について，国際標準化された方式を中心にこれまでに開発された技術について述べる[2]．

【静止画像の符号化技術】

画像の圧縮符号化を国際的な標準としての規格化する試みは，ファクシミリやテレビ会議などでの応用のため通信の分野で始まった．CCITT（現 ITU-T）

によって，G3 ファクシミリへの応用のための MH (Modified Huffman)，MR (Modified READ)，G4 ファクシミリの標準である MMR (Modified Modified READ)が作成された．さらに1988年にはJBIG (Joint Bi-level Image Experts Group)がJBIG規格の作成を開始した[22]．

続いてCCITT と ISO/IECが協力し，カラーの静止画像の符号化規格として JPEG (Joint Photographic Experts Group)が 1986 年から作成された[23]． JPEGには圧縮符号化してもロスのない，いわゆる可逆符号化のSpatial方式と，

非可逆符号化のDCT方式があるが，一般にはDCT方式の方をJPEGと呼び広く用いている．JPEGの符号化方式は，DCTによる直交変換，量子化，エントロピー符号化の３つから構成される．

DCTとはDiscrete Cosine Transform，離散コサイン変換の略で，後述する MPEGにおいても基本の技術として用いられている．画像信号は空間内で水平方向，垂直方向ともに強い相関を有しており，圧縮符号化では画像信号を周波数領域の信号に変換して，相関を削減することで全体の情報量を低減する．DCT

(16)

とは情報理論の分野における技術で，符号化対象の数値などであるシンボルに符号語を割り当てる操作である．シンボルの発生する生起確率に応じて符号語を割り当てる．JPEG ではハフマン符号と呼ばれるエントロピー符号化方法が用いられている．

【動画像の符号化技術】

動画像の符号化は，通信の分野において CCITT により H.261 と呼ばれる規格が 1990 年に作成された[24]．この方式は動き補償（MC：Motion Compensation）とDCTを組み合わせたハイブリッド符号化方式で，後のMPEG などの符号化方式の基礎となった．

動画像は時間方向にも高い相関性を有しているため，時間的に連続する画像間の情報を利用した圧縮符号化方式が用いられる．動き補償とは，画像間の動きをブロックなどの小さな領域ごとに予測して，予測がうまく当たれば画像間の相関が除去可能な方法である．

ISO/IECでは，CD-ROMへVHS程度の画質で1時間ほどの画像を記録するために MPEG（Moving Picture Experts Group）というグループを組織し，

MPEG-1を1993年に規格化した[25]．MPEG-1はH.261と同様，MCとDCT のハイブリッド符号化である．続いて，放送など高画質での応用を想定し，

MPEG-2（ITU-TのH.262と共通規格）が作成され，HDTV信号をも扱う汎用符号化方式となった．現在のデジタル放送やDVDは全てMPEG-2が用いられている[26]．

ITU-T ではテレビ電話など低いビットレートでの高画質化をめざし，H.263 を1996年に規格化し[27]，ほぼ同期にISO/IECはMPEG-4というインターネットなどでの利用も考えた方式を1998年に規格化した[28]．MPEG-4は高画質だけを目的とはせず，高機能化もその範疇とした．その一つが画像中の被写体をオブジェクトと呼ばれる単位に分割して符号化するオブジェクトベース符号化である．MPEG-4 は当初低いビットレートのみをターゲットとしていたが，

(17)

れらの規格は一部の例外を除いてほぼ全てMCとDCTによるハイブリッド符号化となっている．

その後，更なる高画質化をめざし，ITU-TとISO/IECが協力し，MPEG-4 part 10 AVC(Advanced Video Coding)/H.264を2003年に規格化した[29]．この方式もハイブリッド符号化ではあるが，様々な符号化ツールを導入することで MPEG-2などの従来規格の約2倍の符号化効率を達成している．

このように，符号化技術は規格化の進捗に伴って技術発展し，様々な分野で利用されている．符号化の規格が定められたことで符号化技術の性能はほぼ決まってはいるが，符号化する画像や目的に応じて符号化処理時のパラメータを変えることで効率は変化する．そのため，規格化が終了しても，いかに効率よく符号化をおこなえるかを目的に符号化技術の研究は進められている．例えば，

符号化のビットレートを制御するレート制御，同じ符号化ビットレート内で画質を高めるための量子化制御，ハイブリッド符号化の中心である動き予測などを改善することで画質の更なる向上が可能になっている．

1.3 本論文の構成

本論文は6章から構成され，概要は以下に述べるとおりである．

1章では，本研究の背景と目的を述べ，従来の研究として，領域分割技術，オブジェクト抽出技術，画像の評価技術，画像の符号化技術を概説して研究の課題を明確にする．

2章では，画像のオブジェクトベース符号化をおこなうための前処理としての静止画像の領域分割について述べる．領域の統合処理を伴う実用的な手法を提案する．画像の領域分割手法として広く利用されているＫ平均アルゴリズムによるクラスタリングは，画像を必要以上に多く，かつ小さな領域に過分割する傾向がある．また，最初に与えるクラスタの形状に影響され本来の領域の境界

(18)

ラメータを用いても，異なる画像中の物体の輪郭を抽出可能であることを確認する．また，初期に与えるクラスタの数を変化させても領域を同様に抽出可能であることも確認する．本手法は少ない演算量で良好な領域分割結果が得られるだけでなく，初期クラスタや画像に影響されないロバストな処理であるため，

オブジェクトベース符号化の要素技術として有効である．

3章では，２章で述べた静止画像よりも難度が高く処理が複雑になる動画像を対象としたオブジェクト抽出手法について述べる．動画像からのオブジェクト抽出の代表的な手法には背景差分法がある．背景差分法ではあらかじめ背景となる画像を用意する必要があるが，撮影済みの動画像を対象とする場合には背景画像が与えられないため，別の手段で推定しなければならない．本章では，

背景画像を動画像の時間方向ヒストグラムを利用して推定し作成した後，オブジェクト輪郭付近での誤検出を防ぐためwatershedによる領域成長法を利用したオブジェクト抽出の手法を提案する．さらに動オブジェクトの輪郭形状のジャダーを抑制するために，時空間watershedを新たに適用してオブジェクト抽出の精度を向上させる．

4章では，画像の符号化処理における符号化パラメータ決定の検討について述べる．携帯端末などの小画面で視聴する画像をMPEG-4のような低ビットレート圧縮符号化する場合，画質向上のために画像サイズやフレームレートなどのパラメータを適切に設定する必要がある．符号化画像の画質の判断には主観評価が必要となるが，小画面符号化画像を対象とした評価手法は確立されていない．そこで新たに主観評価手法を提案し，これによりパラメータの検討をおこなう．まず，パラメータの変化が観視者に及ぼす２つの心理因子「画質」と「連続感」を抽出する．次に，「総合評価」が２つの心理因子に対する評点の線形結合で表されることを検証し，「総合評価」からシステム全体のパラメータ設定の指針を得られることを明らかにする．この結果から，同一ビットレートでは小サイズのQSIFの方がSIFよりも評点が高くなる傾向が強いことを示す．

5章では，画像の符号化画質改善の手法として，MPEG-4 part 10 AVC/H.264

(19)

倍の符号化効率を達成している．特にイントラフレーム符号化では，隣接画素からの画面内予測をおこなうため圧縮の効率が高い．しかし，イントラフレーム符号化ではこの画面内予測と粗い量子化に起因するフリッカが発生する問題が指摘されている．これまで，量子化・逆量子化処理を修正することでフリッカを抑制している提案があるが，この方法はAVC/H.264方式規格の範囲を外れている．そこで，適応的な量子化制御とモード選択時のコスト関数変更により，

規格の範囲内でフリッカを抑制する方法を提案する．

6章では，本論文の内容を総括し，今後の課題を述べる．

(20)

2 章クラスタリング手法による静止画像の領域分割

2.1 まえがき

画像の圧縮符号化手法としてMPEG-2が標準化され，すでに実用化の段階に入っている．この圧縮符号化手法は，画像の内容とは無関係にフレームや方形ブロックを単位として処理をおこなう．そのため画像内の物体の境界部分でのモスキートノイズや，用いる方形ブロックによるブロック状の画質劣化を引き起こす可能性がある．また，符号化したビットストリームレベルでの合成や編集がフレームやGOP(Group Of Pictures)単位に限定され，画像中の物体単位でのハンドリングが不可能である．そのため，符号化をフレーム単位におこなうのではなく画像の内容に応じた領域（オブジェクト）単位に分割しておこなうミッドレベル符号化[30]の研究が近年活発になっている．このミッドレベル符号化ではオブジェクト単位で処理をおこなうため，先に述べた方形ブロック単位の処理によって生じる画質劣化を避けることが可能になる．また，画像の領域単位のハンドリングも可能になる．このようなオブジェクトをベースとする符号化の実現には，前処理として画像の領域分割法が要素技術として必要である．

領域分割法は画像処理，画像認識の分野においてもこれまでさまざまな取り組みがなされている[4][5][11][12][31][32][33]．しかし，これらの手法は処理のための演算量が膨大であるという問題が指摘されている．また，分割する画像に応じて，しきい値などのパラメータを逐一設定したり，処理対象を顔のような特定の物体抽出に制限して処理をおこなうなど領域分割としての汎用性に欠ける面があった．画像符号化の前処理を目的とした領域分割手法においては，

物体のエッジを輪郭とした分割がおこなえることが必要である．加えて，領域数の増加は領域形状の符号化情報量を増大させるため，最終的に得られる領域は画像中で意味をもち，かつ領域数は必要最小限であるのが望ましい．また，

領域単位の映像のハンドリングをするためには各領域は完全に閉じた形状になっていなければならない．これまでこれらの問題を統合的に扱い，検討された

(21)

域分割手法を提案する．基本としている手法は，画素のレベル値などの特徴量を用いてクラスタリングをおこなうＫ平均アルゴリズム[12]である．これを1フレームの画像に適用し，領域分割をおこなう．このクラスタリング手法により得られる領域分割結果には過分割による小領域の発生とクラスタの初期設定による影響などの問題点があるため，新たに多数決フィルタリング，ラベリングによる統合，複数分割結果の統合の3段階の領域統合法を提案する[34][35][36]．本提案は少ない演算量で実現可能である．

2.2 従来法の問題点

画像の領域分割法は画像処理，画像認識の分野でこれまで様々な取り組みがなされている．従来提案されている領域分割法は，実際の画像平面上で直接分割する方法と画像内の各画素の有する特徴量でクラスタリングをおこなう方法に大別される．特徴量によるクラスタリングの代表的手法にＫ平均アルゴリズムがある．Ｋ平均アルゴリズムは輝度レベルだけではなく，画素の位置やその他の複数の特徴量を１元的に取り扱い，簡単な計算で処理が実行可能である．

本章では演算量が少なく，汎用性がある領域分割法を目指しており，5次元のＫ平均アルゴリズムによる領域分割を基本の手法とする．Ｋ平均アルゴリズムは以下の手順でおこなわれる．

[Step 1]

初期状態として例えば図2.1のように画面を矩形に分割したクラスタ（領域）

を与える．図2.1の場合では，6×4＝24個のクラスタが与えられている．

[Step 2]

各クラスタに特徴量の平均値を計算する．クラスタリングの特徴量として画素のレベル(R,G,B)と水平位置(x,y)の計5種類[37]を用いる．

[Step 3]

(22)

ここで，R,G,B,x,yは画素の特徴量，R,G,B,x,yはクラスタの平均値であり，kL,kP

は特徴量への重み付け係数である．

[Step 4]

再構成されたクラスタごとに平均値を調べ，同様の処理を繰り返しても平均値が変化しなくなったときクラスタリングを終了する．

図2.2の画像（ITEディジタル標準画像「肌色チャート」）に対して，初期の領域数を24としてＫ平均アルゴリズムによるクラスタリングをおこなった結果を図2.3に示す．領域の区別を明確にするため，図では輪郭線によって領域を表示している．

(23)

図2.1 初期クラスタの例

図2.2 画像 ITEチャート「肌色チャート」

図2.3 K平均アルゴリズムによる分割結果

(24)

このＫ平均アルゴリズムによるクラスタリングを画像の領域分割に適用した結果には以下の問題が生じる．

＜問題点1＞大きな領域の周囲などに粒状の小さい領域が多数発生する．

＜問題点2＞同一クラスタが，画面上では連結した領域を構成せず複数の領域となる．

＜問題点3＞初期に与えるクラスタが領域分割結果に影響する．

（3-1）初期クラスタ数の増加によって領域の数が増大する．

（3-2）初期クラスタ形状の影響で，物体の輪郭以外の部分にも境界線が発生する．

これらの問題点を解決するために，Ｋ平均アルゴリズムに 3 段階の領域統合処理を組み合わせた手法を提案する．

2.3 提案手法

提案する領域分割統合手法は図 2.4 のフローチャートの手順により実行される．以下では各問題点を解決するための手法について順番に述べる．

(25)

図2.4 提案手法のフローチャート

Initial region setting

Clustering by K-means algorithm

Majority filtering (Solution to problem 1)

Labeling process & merging of isolated small regions (Solution to Problem 2 & 3-1)

Merging of region segmentation results in a number of initial regions

(Solution to problem 3-2)

Results of other initial regions

(26)

2.3.1 多数決フィルタリングによる粒状領域の統合（問題点１の解決法）

粒状の小さい孤立領域を近隣の大きな領域に統合するための処理として弛緩法を利用する手法[38]やモルフォロジカルフィルタの一種である多数決フィルタを利用する方法[39]がある．弛緩法は領域の属性などの予備知識が必要となり，

一般の自然画像に適用するのは困難である．一方，多数決フィルタは線図形のような２値画像などで粒状ノイズを除去するために使われる処理である．これは図2.5の例のように，フィルタの窓の中心画素をフィルタ内の最も画素数の多い領域に統合させるものであり，単純な処理によって確実に粒状の小領域を大きな領域に統合することが可能である．そこで本提案では多数決フィルタを利用することとする．フィルタサイズについては数種類のサイズでの予備実験で結果が良好であった5×5画素サイズを適用する．次節で述べるラベル付け処理によっても粒状小領域は統合可能である．しかし，多くの粒状領域に対して次節の処理を適用すると計算量が莫大になるため，あらかじめ多数決フィルタによって数画素程度の大きさの小領域を統合する．

図2.6は多数決フィルタを図2.2のクラスタリング結果に適用した結果である．

多数決フィルタにより粒状の小さい領域の数がかなり低減されていることが示されている．

(27)

図2.5 多数決フィルタリングの例

図2.6 多数決フィルタリングの処理結果

: target pixel : region 1 : region 2 : region 3 The target pixel belongs to the region 1.

(28)

2.3.2 ラベル付け処理による小領域の分離・統合（問題点２，３−１の解決法）

クラスタリングの結果得られたクラスタが，同じクラスタであるにもかかわらず画面上では連結しない複数の領域から構成される場合に，このようなクラスタを画面上で分離して異なる画像領域として扱い，更に小さな領域は隣接する大きな領域に統合するために次の処理をおこなう．

以下，図 2.7 のフローチャートに基づいて処理の詳細を説明する．まず，図 2.6の画像に相当する，多数決フィルタリング処理された領域画像の全画素について，8近傍で連結する画素を追跡する．追跡された画素の集合，すなわち画像領域の各々にラベルを付与する．ラベルを付与することにより，クラスタとしては同一でありながら画面上で連結していない領域も完全に別領域として扱われる．

(29)

図2.7 ラベル付けおよび小領域統合処理のフローチャート

Searching for eight-neighber pixels

Labeling

Merging of small region

(30)

オブジェクトベース符号化では形状情報を符号化する必要があることから，

面積の小さい多数の領域を符号化対象とすると，その形状情報の符号化に要する情報量が多くなり効率が悪くなる．従って，一つの画像の中から主となる少数の物体のみが抽出されるように，1000画素をしきい値として，これ以下の領域に属する画素は隣接領域に統合することとする．1000画素の領域は1フレームの総画素数720×480=345600 に対して約0.3%の面積で，正方ブロックと仮定すると32×32画素ブロックである．この程度の大きさの領域は実際の画面上では無視できる大きさであると判断する．小領域と判断された画像領域は次の手順により別領域へ統合される．

・小領域の最外郭の画素を対象画素とする．

・対象画素の8近傍画素のうち，別領域に属する画素を選択する．

・それら画素の属する領域の中で対象画素の領域と隣接している画素数の最も多い領域を選択する．

・対象画素をその領域へ統合する．

・この操作を小領域内の全画素について施す．

この処理によって，すべての領域は実際の画面上でも連結し，完全な閉領域として扱うことが可能になる．

図2.8にラベル付け処理による小領域の分離・統合結果を示す．

2.3.3 異なる初期設定の領域分割結果の統合による物体境界以外での分割の除去（問題点３−２の解決法）

クラスタリングによる領域分割は初期に与えるクラスタの数や形状によって結果が異なることがある．この影響を避けるために，クラスタ数を変化させて領域分割を繰り返して最適な数を決定する方法[40]やクラスタ数を変えた複数の結果を統合させる手法[41]がある．また，クラスタ形状の影響を低減するために，クラスタリングの過程に遺伝的アルゴリズムを導入して領域形状を推定する手法[42]がある．しかし，これらの方法は繰返しの演算量が増大したり，最適

(31)

の形状の初期クラスタによる領域分割結果の共通する境界線部分を抽出することで不要な境界線を除去する方法を提案する．文献[41]ではクラスタリングの特徴量に輝度値のみを利用しているため不要な境界線は緩やかな輝度変化位置に生じる．初期に与えるクラスタ数が少ない場合には本来得るべき領域線が十分得られず，逆に初期クラスタ数が多い場合には不要な境界線が増加してしまうことが問題となる．そこで初期クラスタの数を変化させてクラスタリングをおこなった約20種類の結果を用意し，大まかな分割のみの結果から順に統合して不要な境界線を除去する．一方，本提案手法では，初期クラスタの形状を変えることによって本来得るべき部分の輪郭線と同時に余分な境界線も出てしまうことを問題点とする．この問題点に対して，初期クラスタの形状の変化により余分な境界線の位置だけが変わる性質を逆に利用して対処する．

初期クラスタの形状を変えても，領域分割により得られるオブジェクトの輪郭線はほぼ同一に抽出可能である．一方，不要な境界線は初期クラスタに依存するため初期クラスタ形状の変化により異なる位置に発生する．図2.9(a),(b),(c) に初期クラスタ数は同一で，形状を変化させた場合の分割結果を示す．図 2.8 を含めた四つの領域分割結果は初期クラスタの形状が異なるが，人物の輪郭などの境界線はほぼ同一に抽出されている．よって，これらの結果の輪郭線の共通部分を取り出すことで最終の統合結果を得ることが可能となる．

(32)

図2.8 ラベル付け処理による小領域の統合結果

(a)

(b)

(c)

図2.9 初期クラスタの形状を変えた処理結果

(33)

統合の方法を図2.10の例を用いて説明する．この例では簡単のため二つの初期領域を用いた場合の領域分割結果を利用している．

・領域分割結果の領域境界線を抽出した境界線画像を作成する．

・境界線は共通部分を取り出しやすくするために線幅を拡大する(図2.10(a),(b))．ここでは，画素の幅は多数決フィルタ処理による粒状小領域の別領域への統合がなされた場合を考慮してフィルタのサイズと同じ5画素幅とする．

・二つの境界線画像を重ね合わせた画像(図2.10(c))を作成する．

図 2.10(c)の境界線のうち，実線は二つの境界線画像に共通する部分，点線はどちらか一方の境界線画像にのみしかない部分である．

・どちらか一方の境界線画像を基準として選択し（例では図2.10(a)），その画像中の２つの領域間で以下の処理をおこなう．

・図2.10(a)を基準とした図2.10(d)の領域1は他の三つの領域と接している．

・領域1-2間，1-3間の境界線は二つの境界線画像に共通しているため残す．

・1-4 間の境界線は実線部分と点線部分が混在し，完全には共通していないが，

共通部分が 1-4 間の境界線の長さに対してある割合以上存在するので境界線を残す．この割合については2.4で述べる．

・領域2-3間，2-4間，3-4間については共通部分がないため境界線を消す．

この結果として，図2.10(e)のように境界線の切れ目を生じることのない閉領域を得ることが可能になる．

(34)

(a)

(b)

(c)

(d)

(e)

図2.10 統合処理の例

(35)

2.4 予備実験

複数の初期クラスタ形状を利用して境界線を判別する基準値を仮定するために，「肌色チャート」を標本画像とし，予備実験をおこなった．

2.4.1 予備実験条件

初期に与えるクラスタ形状として図2.1に示したような，画像を複数の方形に分割した形状のものを用いた．図2.1 は24個の初期領域を 6×4個のクラスタとして作成した例である．実験では，初期のクラスタの数CIを12個,18個,24 個,40個の４通りとした．これらのクラスタ数になるような方形形状を，表 2.1 に示す組合せにより図2.1と同じ要領で作成した．領域統合処理の最終段階で４つの分割結果を統合するため，各初期クラスタ数CIに対してそれぞれ4種類の初期クラスタを作成する．

式(2-1)における特徴量への２つの重み係数は両方とも 1 とした[37]．但し各特徴量の範囲はほぼ0〜1になるように，色の値についてはレベルの最大値，位置については水平画素数で割り，あらかじめ正規化する．

領域統合処理の第２段階である2.3.2のラベル付け処理において，隣接する領域へ統合する小領域の大きさは 1024画素以下とした．また，第３段階の 2.3.3 の統合処理における領域境界線の共通部分の割合については，４つの輪郭線が共通している場合は，その長さが境界線の40％以上，３つ以上の輪郭線が共通している場合は，その長さが境界線の60％以上，２つ以上の輪郭線が共通している場合は，その長さが境界線の80％以上あれば輪郭線は領域の境界線として残すこととした．これらの割合は，得られる領域を多く残す場合には小さく，

領域数を少なくする場合には大きく設定する．ここでは領域数はあまり多く必要としないため大きめに設定した．

(36)

表2.1 初期クラスタ形状作成方法初期クラスタ数

CI

組合せ

12 4×3，3×4，6×2，2×6 18 6×3，3×6，9×2，2×9 24 6×4，4×6，8×3，3×8 40 8×5，5×8，10×4，4×10

(a)CI=12 (b)CI=18

(c)CI=24 (d)CI=40 図2.11 実験結果「肌色チャート」

(37)

2.4.2 予備実験結果

「肌色チャート」を用いた結果を図2.11(a)〜(d)に示す．図 2.8，図 2.9に見られたような本来の物体境界でない部分に生じる境界線はなくなり，人物の輪郭が抽出されていることが明らかになった．また，ラベル付け処理において1024 画素以下の領域は隣接領域へ統合されたため，最終的に得られる領域数が少数に抑えられている．

汎用性のある領域分割手法においては，初期クラスタ数が変化しても常に同じ領域形状，領域数の結果が得られることが望ましい．図2.11より，初期領域数の変化に対しても人物の輪郭形状が同じように抽出されていることが示されている．領域数について，初期クラスタ数に対する最終分割結果を表2.2に示す．

表2.2では，初期クラスタが少ないときには最終領域数の増加は初期値にほぼ比例して増加しているが，初期クラスタが多い場合には最終領域数の増加は低くなっており，初期値の増加に対して得られる領域数は安定する傾向があることが示されている．これは，領域数が多いときには，一つの領域の画素数は少なくなるためラベル付け処理により他の領域へ統合される可能性が大きくなるという理由による．

以上のことは，初期クラスタ数の変化に対して得られる結果は常に同一にはならないものの，初期クラスタ数に対して本手法はロバスト性を有することを示唆している．

表2.2 初期クラスタ数と最終領域数初期クラスタ数最終領域数

12 6 18 7 24 9 40 11

(38)

2.5 実験と考察 2.5.1 実験結果

2.4 で定めたパラメータを用いて本手法を図 2.12(a),(b),(c)の画像「ヘアバンドの女性」，「天気予報」，「girl」に適用した．図2.13(a),(b),(c)がそれぞれの結果である．初期領域数はすべて24個，処理のためのパラメータは「肌色チャート」

への適用時に設定したものと同一である．

また，本手法と同様にK平均アルゴリズムを利用している文献[41],[42]の手法についても実験をおこなった．これらの参考文献の手法を実験する際の処理パラメータは文献に記載の通りに設定したが，2.3.1で述べた多数決フィルタリングによる形状領域の統合処理は後処理として各手法とも同様に施した．

(39)

(a)ITE標準画像「ヘアバンドの女性」

(b)ITE標準画像「天気予報」

(c)「girl」図2.12 原画像

(40)

(a)「ヘアバンドの女性」

(b)「天気予報」

(c)「girl」

図2.13実験結果CI=24

(41)

(a)「肌色チャート」

(b)「ヘアバンドの女性」

(c)「天気予報」

(42)

(a)「肌色チャート」

(b)「ヘアバンドの女性」

(c)「天気予報」

(43)

領域分割結果の正当性に対する客観評価の尺度は現在までに見いだされておらず数値的な評価は不可能である．そこで，処理結果と原画像を目視で比較してその妥当性を判断する．2.4において予備実験としておこなった「肌色チャート」の画像の結果(図2.11(c), 図2.14(a), 図2.15(a))では，人物の輪郭はどの手法とも良好に抽出できている．手の部分が本手法で消えているのは，小領域と判断するしきい値の設定によるものである．先にも述べたように，小さい領域を多数残すことは形状の情報量の増加となり全体の符号化効率の低下になるため，本手法ではしきい値を大きくしている．文献[41]の結果は背景などに余分な線はないものの，小さい領域は残っている．文献[42]による結果では，輝度の変化部分に余分な線が多数残っている．

「ヘアバンドの女性」の結果(図2.13(a), 図2.14(b), 図2.15(b))でも「肌色チャート」の場合と同様の傾向が見られる．「天気予報」の結果(図 2.13(b), 図 2.14(c), 図 2.15(c))のうち，文献[41]の手法では背景の天気図が消失している．

これは天気図内の等圧線が密集しているため輝度の変化が激しくなり，複数の分割結果に共通となる輪郭線が抽出不可能であったと推測される．文献[42]による結果は，天気図や人物などは抽出されているが，未除去の小領域が散見される．

「girl」の結果(図2.13(c), 図2.14(d), 図2.15(d))については本手法と[41]による結果が良好に見えるが，[41]の結果では背景と右下のテーブルが同一領域になっている．[41]による結果には多数の小領域が残っている．

総合的に見て，本手法による処理結果はすべて同じパラメータ設定にもかかわらず，オブジェクトベース符号化への応用のための領域分割手法として安定かつ良好な分割結果が得られている．

(44)

ータの設定によって領域分割結果が異なるため，マクロな視点から各手法を比較することとし，文献の処理手順の記述から演算量を推定する．Ｋ平均アルゴリズムは初期領域の数にもよるが，本稿の実験では Sun ワークステーション SPARCstation20 において平均約数分の計算時間を必要とした．このＫ平均アルゴリズムに要する演算量を１とし，本手法と文献[41][42]の手法の演算量を考える．

本提案手法は，実験によればＫ平均アルゴリズム後の多数決フィルタリングに約0.1，ラベル付け処理と小領域削除に約0.4の演算量を必要とする．以上計 1.5の演算を統合のため4回おこない1.5×4=6となり，統合処理には約0.5を要するので全体で6.5の演算量を必要とする．これに対し[41]の文献の実験では 19個の結果を用意し，これらのうち統合終了するまで9枚の画像を利用する．

統合に要する演算を本手法よりも若干簡単な処理をしているため約 0.2 と見積もると 0.2×9=1.8 の演算が必要であり，Ｋ平均アルゴリズムと合わせると約 20.8 演算を必要とする．また，文献[42]では１回のＫ平均アルゴリズムに対して遺伝的アルゴリズムの交叉と突然変異の処理を１回おこなう．文献[42]によれば実験は世代数10程度で収束するので演算量は1×10=10となる．ここでは交叉と突然変異の演算量はＫ平均アルゴリズムの演算量に対してほぼ無視できると考え，ゼロとしている．また，初期ベクトルの影響があるため50組の初期ベクトルに対して処理をおこなった中から良い結果を選択しているため最悪値で 10×50=500の演算を必要とする．以上の比較を表2.3に整理する．

表2.3 演算量の比較

手法演算量

（K平均アルゴリズムを１とした場合の推定値）

本手法 6.5

文献[41] 20.8 文献[42] 10(最悪値500)

(45)

倍，最悪値では約75倍必要とする．これらの比較は実測値ではなく，文献の処理手順からの推定値ではあるものの，本方式が他方式に比べて少ない演算量で実現可能であることが明らかになった．

2.5.3 本手法の特長

実験結果および考察により本手法の特長は下記の通りである．

・画像によらず同じパラメータ設定で領域分割が可能である．

・初期クラスタ形状の影響によって生じる物体輪郭以外の境界線は最終分割結果に発生しない．

・初期クラスタ数が増加しても最終領域数には大きく影響しない．

・少ない演算量で良好な領域分割が可能である．

2.6 2章のまとめ

オブジェクトベース符号化の開発において重要な要素技術である画像の領域分割法について新たな方式を提案し，その有効性を示した．

領域分割にＫ平均アルゴリズムを利用すると，粒状の小領域が発生する過分割や物体境界以外での分割がなされてしまう可能性がある．これらの問題点を解決するために，Ｋ平均アルゴリズムに３段階の領域統合処理を施す手法を提案した．過分割に対処するために多数決フィルタと領域へのラベル付け処理による統合処理を施した．物体境界以外での分割の問題には，初期クラスタ形状を変化させた４つの分割処理結果の共通部分を抽出する処理をおこなうことで対処した．本手法を自然画像に対して適用したところ，初期に与えるクラスタの形状や数，処理をおこなう画像に依存することなく全く同じパラメータの設定で良好な分割結果を得ることが可能となった．初期クラスタの増加に対して得られる領域数の増加も抑えられることを確認した．これらの結果から本手法

(46)

3 章動画像の時空間情報を利用したオブジェクト抽出

3.1 まえがき

画像中の人物や背景などの要素画像ごとに圧縮符号化するオブジェクトベース符号化が，国際規格 MPEG-4 の標準化に伴い注目を集めている[43][44]が，

このオブジェクトベースの符号化を実現するには，動画像からオブジェクトを抽出することが必要不可欠となる．放送局におけるオブジェクトの抽出には，

従来からクロマキー技術による切り出しが利用されている．クロマキーは均一色の背景，例えばブルーバックを用意して撮影するため，均一な色照明条件など，使用環境が限られる．また，クロマキー設備を使うことが不可能な屋外シーンなどにおいては，動画像のみからのオブジェクト抽出が必要とされる．

放送局のスタジオにおいて撮影された動画像は背景が静止しており背景差分法が適用しやすい．そこで本章では，オブジェクト抽出手法として，背景差分法を基本にした，画素輝度値の時間方向の分布を利用する背景領域および動オブジェクト領域の決定方法を提案する．そして，背景差分法に基づき，動画像中の動物体を輪郭に沿って精度良く抽出する手法を提案する．さらに，精度の良いオブジェクトの抽出を実現するために，空間内のwatershed法[6]を拡張した，複数フレームに適用する時空間 watershed 法を組み合わせた新しい手法 [45][46]について述べる．

3.2 オブジェクト抽出処理の概要

図3.1にオブジェクト抽出処理の流れを示す．本手法の適用対象とする動画像は，背景が静止しており，かつカメラのパン，チルト，ズーム，ドリーなどが全く無いか，あるいは大域的な動き補償済みでこれらのカメラの動きが等価的に無いと見なせる場合である．また，抽出するオブジェクトはシーケンスを通して動きがあると仮定する．

(47)

Moving pictures

Generation of gradient image Generation of background image

Extraction of background region, moving object region and uncertain region

Region growing using watersheds

Moving objects

図3.1 動オブジェクト抽出処理の流れ

(48)

動画像から背景画像を得るために，画素ごとに時間方向のヒストグラムを作成し，その最頻値を背景画像の画素値とする．続いて各フレーム画像と背景画像との差分から動オブジェクト領域を得る．ここではヒストグラムなどの統計量から判断して，輪郭付近と推定される画素は未確定領域に属させる．これは，

背景画像の輝度値が変動したり，動きボケなどにより輪郭部の輝度値が背景の輝度値に近くなるなどの理由により，背景差分だけではオブジェクトの輪郭が正確に抽出可能とは限らないためである．

上記で得られた未確定領域をオブジェクトあるいは背景に分類するために，

watershed 法による領域成長をおこなう．ここでは，オブジェクト輪郭にフレームによってオブジェクトの動きに無関係に凹凸が生じる現象である時間方向のジャダーを防ぐために，通常のwatershed法を拡張した時空間watershedを適用する．

次節以降において各処理の詳細について述べる．なお，各処理は時間方向処理と空間内処理の組み合わせであるため，それらを明確にするために各節のタイトルに補足をする．

3.3 背景画像の生成と背景差分法による動オブジェクト領域の抽出 3.3.1 背景画像の生成（時間方向処理）

図3.2は，ある動画像の１画素の位置に着目し，時間方向にその輝度値の変動を示したものである．この画素位置の画像において，輝度値の変動が極めて小さい期間は背景であり，逆にその輝度値からはずれ，大きく変動している期間は動オブジェクトであることが知られている[47]．そのため，各画素位置の時間方向の輝度ヒストグラムをとれば分布の最頻値が背景の輝度値となり，背景期間での輝度値の変動は照明変化やカメラ等の撮影時のノイズは背景の輝度値周辺の小さな変動として現れる．

図3.3に画像中のある画素位置の時間方向ヒストグラムを示す．図3.3の最頻の輝度値をその画素位置における背景画像の輝度値とする．色差信号に対して

(49)

段階のレベルで生成する．ヒストグラムのレベルが多いと，ノイズの影響を受けやすく，時間方向の計算時間をより多く必要とするが，本手法ではヒストグラムを用いて分散値を計算する処理(3.3.2.2 節)をおこなうため，その精度を重視し，階調と同数のレベルとする．

(50)

図3.2 画素の輝度値の時間変動

図3.3 1画素の時間方向の輝度ヒストグラム

t

Intensity level

Duration of moving object

Duration of background image

Intensity level

0 128 255

Frequency

Intensity of background image

(51)

3.3.2 背景差分法による動オブジェクト領域の抽出（時間方向および空間内処理）

3.3.1 節で得られた背景画像と，動画像の各フレームとの差分(背景差分)から動オブジェクト領域を抽出することが可能である．しかし，背景部分の輝度値は照明の変化や撮影時のノイズなどにより変動するため，単純な背景差分の領域を動オブジェクト領域としてしまうと，これらの変動の部分も動オブジェクト領域に含まれてしまう．図3.3の背景画像輝度値付近の分布はこの変動のためである．そこで，各画素位置の輝度値および色差信号値の時間方向での統計的な性質を利用した下記の新たな提案方法により，各画素が背景領域に属するか，

動オブジェクト領域に属するかを判断する．まず，時間方向の性質のみを利用して，ある画素位置がシーケンスを通じて背景であるかどうかを判定する．続いてそのように判定されなかった画素に対して，時間方向の特徴と空間的に近傍の画素の特徴量を利用して，フレームごとにその画素が背景か動オブジェクトかを判断する．

なお，以下では輝度値についての処理のみ言及するが，実際は輝度値以外の2 つの色差信号に対しても平行して同様の処理をおこなう．輝度値と色差信号間の相関を考慮する必要があるため 3 つの信号の処理結果を後述する統合により対処する．また，時間変動や時間方向ヒストグラム上での範囲を表す場合は期間と呼び，画面空間上での範囲を表す場合は領域と呼ぶこととする．

3.3.2.1 シーケンスを通した背景の決定（時間方向処理）

3.3.1節で述べたように，時間方向ヒストグラムは背景であると推定される輝度値を中心に分布している．動オブジェクトが無い，つまりシーケンスを通して背景である画素位置についてのヒストグラムを作成すると図 3.4(a)のような単峰性の分布になると予想される．この場合，分布の平均値は最頻値とほぼ等

(52)

て背景領域であると判断する．平均値と最頻値が同じでも必ず単峰性になるとは限らないが，もし多峰性であるにもかかわらず背景と判断されても，後段処理の空間内の孤立点，孤立穴除去により修正が可能である．

このように，シーケンスを通じて背景であると判断された画素の時間方向ヒストグラムは図3.4(a)のようになり，この画素位置については変動分を雑音とすれば静止画像と同等に見なせるため，確率分布モデルを，最頻値である背景輝度値に正規分布の雑音を重畳したものとして取り扱うことが可能である[48]．ヒストグラムの分布を表す特徴量として分散があるが，変動分の雑音の原因が照明条件やカメラの特性であり背景の分散値は画像に依存する．そのため，分散値は背景かどうかを判断するための特徴量としては用いない．

(53)

(a) 背景のみ

(b) 背景と動オブジェクト図3.4 輝度分布とその最頻値と平均値

Intensity level

Frequency

Average value Mode value

Intensity level

Frequency

Mode value Average value

Frequency of moving object