修士論文概要書

(1)

修士論文概要書

CD 2008 年 2 月提出学籍番号 3606U049-3 専攻名（専門

分野）情報・ネットワーク指導

研究指導名画像情報処理研究

氏名

鈴木惇也

教員

甲藤二郎印

研究

題目高精度動きベクトルを用いた符号化画質改善手法

1. はじめに

近年、画像の符号化において分散映像符号化(DVC)[1]や MDC[2]の様に、付加情報や複数の圧縮画像の活用によってデコーダ側で復号画像の画質改善を行う手法に関する研究が盛んに行われている。我々も同様に、一枚の画像を互いに独立に圧縮符号化し、その復号画像を重ね合わせることにより量子化誤差を低減する効果を示すと共に[3,5]、この効果を利用した動画像符号化方式として、デコーダに付加情報として符号化規格を超える精度の動きベクトルを与える画質改善手法の検討を進めている。この方式は、[4]で提案されている、画像を複数の符号化形式で圧縮・送信し、異なる圧縮画像を受信・合成した場合に画質改善が図れる不確定性符号化方式と目標を同じくする。本稿ではこの提案手法と、手法について更なる画質改善及び圧縮効率向上を目指した改善案について検討を行う。

2.提案手法

2.1 付加情報を用いた符号化画質改善 (I)

[3,5]の量子化誤差低減効果の動画像符号化への応用例として、筆者らは、（付加情報を使用せずに）デコーダ側の動き検出によって画質改善を図る手法と、エンコーダ側の付加情報の添付によって画質改善を図る手法の検討を並行して進めている。その中で、本稿では付加情報の利用による動画像の符号化画質改善手法を以下に示す。

全体の流れを図2.1に示す。エンコーダで原画像Fを符号化する際に、符号化規格の画素精度よりも高精度な動きベクトル探索を同時に行う。この高精度動きベクトル探索は次のようにして行っている。

F中の連続した2フレームの画像Fm、Fm-1について、Fm をブロック分割し、各ブロックについて符号化ストリーム中の動きベクトル値(本研究では H.263+を採用しているため 1/2pel精度)を中心として、更に高精度（本研究では±1/4pel）

に MSE を最小とする高精度動きベクトルを探索する。この時、イントラフレームについてはストリーム中にベクトルがないため、復号画像I中の連続した2フレームの画像Im,Im-1 を用いて一旦動きベクトル探索を行い、これをストリーム中のベクトル値とみなして上記の高精度動きベクトル探索を行う。次に、探索した高精度動きベクトルを使用して合成処理を行い、PSNRの改善効果を判定する。PSNR が改善する場合は、高精度動きベクトル vm とストリーム中の動きベクトルの差分ベクトル(3bit)を伝送する。また、各ブロックについて合成の有無を示す情報(1bit)を付加情報として伝送する。

デコーダではこれらの付加情報を利用して復号画像 I をフレーム間合成することで復号画像の画質を改善する。2つのフレーム内のブロックを高精度動きベクトルで動き補償合成することで、量子化誤差低減効果が期待できる。

各フレームにおける合成処理を図2.2に示す。Imをブロック分割し、付加情報により合成を行うブロック(A)に対して、

対応する高精度動きベクトルを用いて Im-1 から動き補償したブロック(B)を用意する。ここで、高精度動きベクトルはストリーム中のベクトル値に付加情報として受け取った差分ベクトル値を加えて生成する。ただし、イントラフレームではストリーム中にベクトル値が存在しないた

め、エンコーダと同様に復号画像を用いて動きベクトル探索を行い、ストリーム中のベクトル値の代用とする。この2つのブロックについて、合成ブロック(C)をブロックC = (ブロックA + ブロックB) / 2として生成する。

このように、デコーダではPSNRが向上するブロックのみ合成が行われ、画質改善したフレーム画像Gm及び動画像G を得る。以降、この手法を手法1と呼ぶ。

F I

復号画像

付加情報

フレーム間合成処理

エンコードデコード

原画像

G 合成結果画像

デコーダエンコーダ

ストリーム

・高精度ベクトル

・合成判定 F

F II

復号画像

付加情報

フレーム間合成処理

エンコードデコード

原画像

G 合成結果画像

G G 合成結果画像

デコーダデコーダエンコーダ

ストリーム

・高精度ベクトル

・合成判定

図2.1 手法全体の流れ

第mフレーム

第m-1 フレーム

高精度ベクトル vm

復号ブロック

動き補償ブロック合成

合成ブロック

合成結果画像ブロック分割

ブロック分割復号画像

第mフレーム

第m-1 フレーム

高精度ベクトル vm

復号ブロック復号ブロック

動き補償ブロック合成

合成ブロック合成ブロック

合成結果画像合成結果画像ブロック分割

ブロック分割復号画像

図2.2 各フレームにおける処理概要

手法1による改善結果を図2.3に示す。

図におけるDecoded Imageは復号画像のR-D曲線、Improved

Imageは手法1によって改善した画像のR-D曲線である。画

像は、ITE 標準動画像の No.11:”Buildings along the canal”を QCIFに縮小して使用した。これにより、手法1はビットレートが高い程有効であることが分かる。次節では、圧縮効率の更なる改善を目指し、手法1における付加情報であるベクトルの選出方法、及びその利用方法の改善を提案する。

図2.3 手法1による画質改善効果

100 150 200 250

30 31 32 33 34 35 36

Bit Rate [kbps]

PSNR [dB]

Decoded Image Improved Image

(2)

2.2 付加情報を用いた符号化画質改善 (II)

2.2.1 ベクトル選出条件

手法1では動きベクトル探索を行った後にPSNR向上の判定を行うため、無駄な探索が発生する。そこで、MSEが最小になるものではなく、合成によってPSNRが最大となるものを探索する。これにより、手法1 で探索からもれていた、効果的なベクトルの探索を行うことが出来る。しかし、PSNR を向上するベクトルをすべて採用すると付加情報量が大きくなり、R-D特性が悪化する。そこで、合成した際にPSNRの向上が閾値以上となるベクトルのみを採用する。これにより、

PSNR の改善効果が高く、かつ適度な量の付加情報が送信可能になる。

2.2.2 ベクトル探索対象画像

手法1ではiフレーム目（iは任意の正数）の復号画像Iiを改善するための合成に用いるブロック及びベクトル探索は、i-1 フレーム目の復号画像Ii-1から行っていた。これに対して、

本稿ではベクトルの合成に使用する画像をIi-1ではなく、手法1によって画質改善を行った復号画像I’i-1を使用する。これを簡単な図にしたものが図2である。

これは単純にPSNRの高い画像を用いるということだけでなく、画質改善の対象となる画像と合成に用いる画像との関係性を小さくするという目的がある。

フレーム間合成フレーム間合成

I_i-1 I_i

I’_i

I’_i-1 I_i I’_i

手法１

提案手法 I_i-1

I_i-2

I’_i-2

I_i-1 I_i-1 II_i_i

I’_i I’_i

I’_i-1

I’_i-1 II_i_i I’I’_i_i

手法１

提案手法 II_i-1_i-1 I_i-2

I_i-2

I’_i-2 I’_i-2

図2.4 画像合成の流れ

これはフレーム間の合成によるPSNRの向上が、画像の符号化による量子化誤差の低減[3,5]に基づくためである。つまり、合成に用いられる画像は、それぞれが独立した符号化によって独立した量子化誤差を含んでいることが望ましい。しかし、H.263 のようなフレーム間符号化では連続する画像の相関が高く、量子化誤差も似通った値を持ってしまうため、

フレーム間合成により次のフレーム画像と関係性の小さくなった画像を合成に用いる手法が有効なのである。

3. 実験

提案手法の画質改善効果を確認するために符号化実験を行った。実験に使用した画像は ITE 標準動画像の No.06:“Intersection”, No.11:”Buildings along the canal”, No16:”Whale Show”, No.19:“Opening Ceremony”をそれぞれQCIFに縮小したものである。また、動画像符号化には[4]

と同様に H.263+を使用し、付加情報の高精度ベクトルは

1/4pel 精度、ベクトルの探索範囲は動き補償された箇所から

±1pixel以内とした。ここで、手法1に加え2.2.1節の選出条件の改善を施したもの手法A、それに更に2.2.2節の改善を行ったものを手法Bとする。

3.1各手法の比較

ここで、2.2.1節の改善で閾値0.2とした手法A、手法Bについて手法1との比較を行った（原画像はNo.11）。図5.6は各手法の R-D 特性を示したものであるが、ほぼ全ての Bit Rateで手法Bが最も優れた結果を示している。これによって、

本稿で提案した改善手法により、手法１に比べ、幅広いビットレートでの大きな改善が可能であることが示された。

3.2 各画像による効果

図3.2、他の画像（No.1、No.3、No.8）に対して手法Bを使用した際の結果（R-D特性）を示す。

8 0 1 0 0 1 20 14 0 1 6 0 18 0 2 0 0

2 8 2 9 3 0 3 1 3 2 3 3 3 4 3 5

Bit Rate [kbps]

PSNR [dB]

Re su lts of Meth od.1 Re su lts of Meth od.A Re su lts of Meth od.B

図3.1 各手法におけるR-D特性の比較

100 150 200 25 0 300 350 400

25 26 27 28 29 30 31 32 33 34 35 36

Bit Rate [kbps]

PSNR [dB]

No.6(De coded) No.6(Method:B) No.16(Decode d) No.16(Method:B).

No.19(Decode d) No.19(Method:B)

図3.2 様々な画像への手法Bの適用結果

No.6 を除いて概ね良好な結果が得られているといえる。

No.6の画像は、静止した背景の前を、さほど大きくない物体 (自動車)が高速で向きを変えながらフレームイン・アウトを繰り返している。次節で確認実験の結果を示すが、本手法が最も有効であると考えられるのは画面全体が一方向にシフトしていくような画像である。これは、動き補償によって、フレーム間でほぼ同じ画像を合成出来た場合、実質的に[3,5]における同一画像内で画素シフト及び独立した符号化を適用させたとみなせるためである。完全に静止している領域では量子化誤差の低減効果が無く、動きが複雑で正しい動きベクトルの検出が困難な場合は改善効果は小さくなる。そのため、No.6 のような画像では提案手法による画質改善効果が小さくなり R-D特性が悪化したと考えられる。

4. おわりに

本稿では符号化方式の独立性に基づく量子化誤差低減効果

[3,5]を活用した動画像符号化方式として、高精度動きベクト

ルを付加情報として利用した手法、及びその手法についての改善案を提案し、各種動画像を利用した実験によりその効果を確認した。

文献

[1] B.Girod et al, "Distributed Video Coding," Proc. of the IEEE, Jan.2005..

[2] V.K.Goyal,"Multiple Description Coding: Compression Meets the Network," IEEE Signal Proc. Magazine, Sep.2001.

[3] 板垣他: "複数の圧縮画像を用いた量子化誤差低減方式", 2007春季信学全大, A-4-44, Mar.2007..

[4] 石川,渡辺:"画像の不確定性符号化について", PCSJ2006, P-3.02, Nov. 2006.

[5] 板垣他: "複数の圧縮画像の合成時における PSNR 改善効果の一検討", PCSJ2007, P-2.09, Nov.2007.

修 士 論 文 概 要 書