第 4 章 提案手法
4.3 更なる画質改善を得るための改善案
の確認実験を行った。この改善結果(R-D特性)を図4.5に示す。図におけるDecoded Image は復号画像のR-D曲線、Improved Imageは手法1によって改善した画像のR-D曲線であ る。これにより、手法 1 の画質改善効果が確認でき、さらにそれはビットレートが高い程 有効であることが分かる。
図4.5 手法1による画質改善効果
では±1pixelとしたので差分ベクトル分が6bitとなる)が、手法1の動きベクトル探索 より効果的なベクトルの探索を行うことが可能になる。一方、PSNR を向上するベクト ルをすべて伝送すると付加情報量が増大し、R-D特性が悪化する可能性がある。そこで、
合成した際にPSNRの向上が閾値以上となるベクトルのみを採用する。これらの改善に より、PSNRの改善効果が高く、かつ適度な量の付加情報が送信可能になる。
4.3.2 動き補償・画像合成の参照画像の変更(改善B)
手法1ではmフレーム目の復号画像Imを改善するための合成に用いるブロックは、
m-1フレーム目の復号画像Im-1から動き補償していた(図4.6)。これに対して、Im-1で はなく、画質改善を行った復号画像 Gm-1 を参照画像として使用する。この改善案を改 善Bとする。改善Bを行った動き補償・合成の流れが図4.7である。
動き補償・合成に画質改善した復号画像Gm-1を用いる理由は、単純にPSNRの高い 画像を用いて合成を行うことによって合成後のGmのPSNRを上げるということが目的 ではなく、画質改善の対象となる画像と合成に用いる画像との関係性を小さくするとい う目的がある。これは、前述したようにフレーム間の合成によるPSNRの向上が、画像 の符号化による量子化誤差の低減に基づくためである。つまり、合成に用いられる画像 は、3.3節の画素シフトで得られた画像のように、それぞれが独立した符号化によって発 生した独立した量子化誤差を含んでいることが望ましい。しかし、H.263 のようなフレ ーム間符号化では連続する画像の相関が高く、量子化誤差も似通った値を持ってしまう。
そこで、復号画像I m-1ではなく、フレーム間合成により次のフレーム画像と関係性の小 さくなった画像Gm-1を合成に用いる事が有効と考えられる。
また、この変更により、それまでの全てのフレームの情報が次のフレームへと引き継 がれるため、ブロックによっては過去の全てのフレームのブロックとの合成が行われる 場合もある。3.3節で示した合成枚数が多い方が画質改善効果が高いという結果から、合 成枚数の増加による画質改善効果の向上も期待できる。
図4.6 手法1の合成処理の流れ
図4.7 改善Bの合成処理の流れ
フレーム間合成 フレーム間合成
合成処理
フレーム間合成フレーム間合成I
i-1I
i複合画像 ・・・ I
i-2I
i+1・・・
G
i-1G
i合成画像 ・・・ G
i-2G
i+1・・・
フレーム間合成 フレーム間合成 フレーム間合成
フレーム間合成
合成処理
フレーム間合成フレーム間合成I
i-1I
i-1I I
ii複合画像 ・・・ I I
i-2i-2I I
i+1i+1・・・
G
i-1G
i-1G G
ii合成画像 ・・・ G G
i-2i-2G G
i+1i+1・・・
フレーム間合成 フレーム間合成
フレーム間合成 フレーム間合成
G
i-1I
iG
i合成処理 I
i-1フレーム間合成 フレーム間合成
G
i-2G
i-1G
iI
i-1I
i複合画像
合成画像
I
i+1G
i-2G
i+1I
i-2・・・
・・・
・・・ ・・・
フレーム間合成 フレーム間合成
G
i-1G
i-1I I
iiG G
ii合成処理 I I
i-1i-1フレーム間合成 フレーム間合成