画質改善効果の確認及び合成判定法決定のための予備実験

我々は、まず本手法の有効性を確認するために、予備実験として、図4.1のエンコーダで の合成の有無の判定に関して以下の3つの合成条件での実験を行った。

「条件１：特別な条件をつけないブロック合成」

・合成判定において、特に判定条件を用いず、全てのブロックを単純に合成する。

「条件2：閾値を用いた合成」

・検出されたブロックについて、MSE が一定以下の場合のみ合成する閾値処理（閾値 20,65）を合成判定で行う。

「条件3：理想的な処理による合成」

・エンコーダでブロック AとBを合成して仮の合成ブロック（D）を生成し、このブロ ックＤのPSNRを測定、これがブロックAのPSNRを上回る場合のみ合成する。この 条件では、本手法の画質改善効果の限界を知ることが出来る。

これらの実験での原画像 Fについては、図 4.3 のように一枚の大きな静止画から一部分 第mフレーム

第m-1 フレーム

高精度 ベクトル

復号ブロック

推定ブロック 合成

合成ブロック

合成結果画像 高精度動き補償

高精度動き補償

ブロック分割

ブロック分割

復号画像 第mフレーム

第m-1 フレーム

高精度 ベクトル

復号ブロック 復号ブロック

推定ブロック 推定ブロック

合成

合成ブロック 合成ブロック

合成結果画像 合成結果画像 高精度動き補償

高精度動き補償

ブロック分割

ブロック分割

復号画像

を一画素ずつずらして抜き出し、更にその画像を四分の一に縮小することによって、フレ ーム間で1/4画素ずつ画像全体を水平方向に平行移動している動画を作成して使用した。ま た、Fの符号化には4.1節に示したようにH.263を、高精度動き補償には1/4pel制度のブ ロックマッチングによる動き補償を使用している。

図4.3  予備実験に使用した動画像

この予備実験の結果を表4.１、図4.4にまとめた。ここで、表4.1におけるPSNRの数 値は各条件での結果画像の連続する10フレーム(第2フレームから第11フレーム)のPSNR の平均値を示している。ちなみに、条件2として示されているのは閾値65 の場合である。

図4.4にはこれらの10フレームのPSNRの推移の様子が示されている。

この表4.１を見てみると条件1では処理結果の平均PSNRが復号画像よりも高くなって

おり、画質の改善がなされているといえる。更に、条件 2 の閾値処理を行うことで条件１ よりも平均のPSNRが高くなる。これは条件１で高精度動きベクトルの誤りや、オクルー ジョンの領域で画質低下があり、その問題が条件 2 の閾値処理を行うことで改善されたた めであると考えられる。これは図4.4について、条件1では復号画像よりもPSNRが下が るフレームが存在するが、条件2における閾値65では条件1ほど低くなることは無く、更 に閾値20では処理結果のPSNRが復号画像よりも低くなることはない。ただし、一方で、

この閾値は改善の幅にも影響を与えるため（閾値20 の平均 PSNRが条件 1を超えていな

一画素ずつ平行移動させて切り出し

一画素ずつ平行移動させて切り出し 一画素ずつ平行移動させて切り出し 1/4に縮小 1/4 に縮小

一画素ずつ平行移動させて切り出し 1/4に縮小 1/4 に縮小

い）、原画像に最適な閾値の設定が非常に重要である。また、当条件3の理想的な条件では 復号画像を含めた全ての条件を上回っており、本手法の画質改善の有効性が確認されたと いえる。

復号信号 条件1 条件2 条件3 PSNR dB 28.007 28.145 28.155 28.201

表4.1　各条件の画質改善効果の比較

図4.4  実験におけるPSNRの推移

ここで、我々は合成判定について、改善効果の不安定なMSEに対しての閾値法は使用せ ず、付加情報として、高精度動きベクトルの他に合成判定の有無を示した情報を各ブロッ クに送ることで理想的な合成を常に行う手法を選択した。つまり、高精度動きベクトルを 探索した後に、探索した高精度動きベクトルを使用して合成処理を行い、PSNR の改善効 果を判定する。PSNR が改善する場合は、高精度動きベクトルとストリーム中の動きベク トルの差分ベクトル(3bit)を伝送する。また、各ブロックについて合成の有無を示す情報

(1bit)を付加情報として伝送するという手法である。以降、この提案手法を手法1と呼ぶ。

この手法1について、図4.3のような理想的な画像ではなく、一般の画像であるITE標 準動画像のNo.11:”Buildings along the canal”をQCIFに縮小したものを原画像として効果

の確認実験を行った。この改善結果（R-D特性）を図4.5に示す。図におけるDecoded Image は復号画像のR-D曲線、Improved Imageは手法1によって改善した画像のR-D曲線であ る。これにより、手法 1 の画質改善効果が確認でき、さらにそれはビットレートが高い程 有効であることが分かる。

図4.5  手法1による画質改善効果