第 4 章 視差補償の高度利用による 3D-HDTV 符号化方式 26
4.5 検討結果ならびに性能評価
第4章 視差補償の高度利用による3D-HDTV符号化方式 33
AM DC
MC MC/DC
Mode decision Mode decision Video-in
(left)
T Q VLC
IQ
IT
F rame
memory Buffer
memory F rame
memory ME/DE
IQ
T Video-in
(right)
VLC
Bitstream-out Rate control mquant (left)
mquant(right) Number of
encoded bits
ME: Motion estimation MC: Motion compensation DE : Disparity estimation DC: Disparity compensation AM: Activity measurement PF : Prefilter control Coding engine (left)
Coding engine (right) IT
Q MC
PF PF
ME AM
図 4–5: 符号化器の構成
やや広い量子化器がRチャンネルに適用されることとなり，Rチャンネルに対する効率的 な発生ビット数の削減が可能となる．
i) Q×S < Rth (ビット数削減による効果が大)
Q=WQ×Q(WQ>1.0) (4·3)
ii) otherwise
Q=Q (4·4)
第4章 視差補償の高度利用による3D-HDTV符号化方式 34
表4–3: シミュレーション条件
符号化領域 1920画素×1035ライン，4:2:0 フレーム数 30フレーム
符号化レート 40Mbps，60Mbps ピクチャ構造 フレームピクチャ
動き補償 フレーム予測/フィールド予測適応 動き検出 ブロックマッチング法
±127.5画素×±31.5ライン，半画素 (1frame間隔相当)
視差補償 フレーム予測/フィールド予測適応 視差検出 ブロックマッチング法
±63.5画素×±3.5ライン，半画素
4.5.2 GOP構造の比較検討
図4–6，図4–7に符号化ビットレートをそれぞれ40Mbps，60MbpsとしたときのType1 からType4の検討GOP構造に対する復号画像のPSNRを示す．図中，各TypeのPSNR を2本の隣接する帯により表現しており，左からLチャンネルのPSNR，Rチャンネルの PSNRを示す．
ここで，本節で扱う実験とは別に多種の画像入力に対して行った3D-HDTV符号化の予 備実験の結果から，Rチャンネルの符号化において，マクロブロックごとに選択される符号 化モードとしては動き補償予測モードが大半を占めていることを確認している．本実験に おいても例外ではなく，例えば，図4–6および図4–7 のType1に対しては，表4–5に示す モード選択比率となっている．このことからRチャンネルの符号化においても，動き補償 予測の効率低下が直接符号化効率の低下につながり，高い符号化効率を維持するためには，
動き補償予測フレーム間隔は最小，つまり1frameに保つのが望ましいと考えられるが，実 験結果より動き補償予測フレーム間隔が最大4frameとなるType2においてもType1とほ ぼ同等のPSNRが得られ，これに起因する明らかなロスは確認されなかった．
次にLチャンネルの符号化に関し，Type1とType3の結果より，LチャンネルをBピク チャありのGOP構造とすることで，Rチャンネルでの符号化に遅延を生じるものの，一部 のシーケンスで主観画質がやや向上することが確認される．LチャンネルにBピクチャを適 用することで，符号化効率の低下を招くことは特になく，Bピクチャの適用/非適用の問題 は非ステレオ符号化時と全く同様に扱えることが分かる．
また，再生時刻と符号化時刻の対応に関して以下のように考察した．一連の符号化シミュ レーション実験では共通型バッファ制御を導入し，符号化時に各チャンネルから参照する仮 想バッファを一本化し，互いに再生時刻の近い各チャンネルのピクチャ符号化を並行して 行っている．再生時刻が同一のピクチャについてチャンネル間画質差を低く保つという本制
第4章 視差補償の高度利用による3D-HDTV符号化方式 35
表4–4: 3D-HDTVテストシーケンスの特徴
シーケンス 特徴
Tulip ・チューリップ畑の通路を女性がゆっくりと歩く．
garden ・前方に位置する花や背景となる木の枝といった精細
な部分を多く含む．
Festival ・大勢の人混みの中で御輿を上下に揺らす祭のシーン．
・垂直方向に激しい動きを伴う．
・御輿の模様，紙吹雪といった精細部分を多く含む．
Soccer ・サッカーのコーナーキックのシーン．
・カメラ操作として比較的高速なパニングを含む．
・画面中央部で複数の選手が絡む激しい動きを伴う．
34
32
30
28
26
24
22
Soccer Festival
Tulip garden
Type 1 Type 2 Type 3 Type 4
PSNR
Lch Rch
図4–6: 検討GOP構造に対するPSNR(40Mbps)
御の主旨から考えて，互いに再生時刻の近い各チャンネルのピクチャを対として同時に符号 化するのが望ましいと考えられる．しかし，再生時刻が同一のピクチャ対に対する同時符号 化が保証されないType3の結果において，これに起因する特別な画質劣化は見られていな い．これより，Lチャンネル，Rチャンネルで再生時刻が同一のピクチャの符号化時刻に関 しては，その差が高々3frame程度であれば特に問題ないものといえる．
以上の実験結果より，検討対象にあげたGOP構造のうち視差補償に基づくType1から
Type3に関しては符号化結果に有意な差が特になく，これらを適用した際の効果はほぼ同等
であるとみなされるが，以後の各種要素技術の評価実験においては便宜上Type1を統一的 に適用することとする．
第4章 視差補償の高度利用による3D-HDTV符号化方式 36
37 36 35 34 33 32 31 30 29 28 27 26 25
Soccer Festival
Tulip garden
Type 1 Type 2 Type 3 Type 4
PSNR
Lch Rch
図4–7: 検討GOP構造に対するPSNR(60Mbps)
表4–5: 符号化モードの選択比率
bit-rate 画像 モード比率 ％
動き補償 視差補償 双方向
Tulip 53.0 7.4 38.9
40Mbps Festival 23.9 12.2 62.6
Soccer 53.4 8.6 36.9
Tulip 52.0 7.3 40.1
60Mbps Festival 22.4 13.6 62.9
Soccer 54.2 9.0 35.9
4.5.3 高度化技術の性能評価
4.5.3.1 改良型動き検出
Rチャンネルの動き検出に改良型動き検出を適用し，Lチャンネルの動き検出にはフル サーチを適用した際の符号化実験を行い，客観品質指標として復号画像のPSNRおよび予 測画像の平均二乗誤差を算出した．改良型動き検出の最終的なサーチは±8画素×±8ライ ンの範囲に対して半画素精度で行うこととし，比較のためRチャンネルの動き検出方法を Lチャンネルと同一にした際の実験も合わせて行った．動き検出手法に対するPSNRおよ び平均二乗誤差の結果を表4–6に示す．結果より，Rチャンネルの符号化においてフルサー チの代わりに提案動き検出手法を適用した場合，いずれのシーケンスに対しても予測誤差の 増加は高々5％程度で，PSNRの低下は0.1dB以内に抑えられていることを確認した．この ことから，提案動き検出手法により，Rチャンネルのベクトル検出を左チャンネルと同様，
高精度に行うことが可能であるといえる．さらに，提案動き検出手法は±8画素×±8ライ ンという格段に縮小された検出範囲のもとでさえも有効に機能しており，左チャンネルに適
第4章 視差補償の高度利用による3D-HDTV符号化方式 37
表4–6: 動き検出手法に対するPSNRとMSE
bit-rate PSNR MSE
全探索 8×8 全探索 8×8 Tulip 40Mbps 30.63 30.63 87.01 88.24 60Mbps 32.55 32.55 74.07 74.80 Festival 40Mbps 25.98 26.00 276.69 289.97
60Mbps 28.28 28.29 227.68 239.37 Soccer 40Mbps 34.10 34.01 45.81 48.67
60Mbps 36.22 36.16 39.53 41.89
表4–7: 最終段のサーチ範囲に対するPSNRとMSE
PSNR MSE
±1 ±2 ±4 ±1 ±2 ±4 Tulip 30.64 30.66 30.66 96.77 94.09 94.29 Festival 25.55 25.76 25.88 344.66 316.34 301.97
Soccer 33.50 33.78 33.87 69.79 62.32 56.71
用されているような±128画素×±32ラインという広範囲をカバーするフルサーチと同等 の検出性能を発揮しているといえる．
上記検討をさらに進め，最終段のサーチ範囲と画質の関係を見極める目的から，40Mbps の符号化レートの下で同サーチ範囲をそれぞれ±4画素×±4ライン，±2画素×±2ライ ン，±1画素×±1ラインとして符号化した際の結果を表4–7に示す．結果より，最終段の サーチ範囲を±8画素×±8ラインよりも縮小する場合，高速な動きを伴う素材に対しては 縮小の度合を高めるにつれて徐々に再生画質の劣化を招き，本劣化は最も狭い範囲として設 定した±1画素×±1ラインの下でとくに顕著となることが分かる．よって，本手法の適用 による全探索に対するロスの目標値を0.1dB以内に設定した場合，最終段のサーチ範囲とし ては±8画素×±8ライン程度で充分であるといえる．
4.5.3.2 差別型ビット割当
差別型ビット割当に関して，符号化ビットレートを40Mbpsおよび60Mbpsに設定した 際の実験結果をテストシーケンスごとに図4–8から図4–10に示す．差別型ビット割当の制 御パラメータとして重み係数WQと量子化代表値に対する閾値Rthがあるが，本実験では，
WQを1.0(制御なし)，1.5，2.0の3通りに設定し，Rthを当該ピクチャの符号化開始時にお ける量子化パラメータに等しい値とした．図4–8から図4–10において，横軸はWQの各設 定値においてLチャンネルに費されたビットレートをRチャンネルを1.0とした際の比率で
第4章 視差補償の高度利用による3D-HDTV符号化方式 38
1.05 1.10 1.15 1.20 1.25
PSNR
33
32
32
31
31
: Left : Average : Right
40Mbps 60Mbps
Ratio of the number of allocated bits for Lch to that for Rch dB
図4–8: Lチャンネルに費したビット数に対するPSNR(Tulip garden)
示し，縦軸は各チャンネルの復号画像のPSNRを示す．さらに，ステレオ画像の画質の評 点はL，R各チャンネルに対して算出された評点の平均により近似できるという報告に基づ き(23)，3D-HDTVの客観品質指標として，L，R両チャンネルの復号画像の平均二乗誤差 から算出した，PSNRの2チャンネル平均を各図に重ねて示した．つまり，図において垂直 方向に連なる一連の3プロット(Left，Right，Average)は符号化条件ならびに画像入力に 関して同一の実験から得られた結果に相当する．
WQを1.0より大きな値とした際の結果から，差別型ビット割当の適用時には，Rチャンネ ル符号化におけるビット数の削減は特別な画質劣化につながっておらず，効果的にLチャン ネルの復号画質が高められていることが分かる．さらに，PSNRの2チャンネル平均がWQ を大きくするにつれて高く保たれている結果からも，差別型ビット割当と共通型バッファ制 御の併用により，3D-HDTV符号化のさらなる高効率化が実現されているといえる．
4.5.4 視差補償導入の意義
ステレオ動画像符号化への視差補償の導入により得られる直接的な効果は予測効率の向上 である．表4–5の結果を例にとると，Festivalのような元々動き補償が充分に効かないテ スト画像に対しては，視差補償が動き補償と相補的な役割を果たしており，予測誤差の低減 をもたらしている．ここで，図4–6と図4–7の結果から，マルチビュープロファイルに対応 した符号化(Type1からType3)のサイマルキャスト符号化(Type4)に対するゲインは最大 で2dB程度であり，これは視差補償を導入し，かつGOP構造を最適に設定した場合におい てでさえも，視差補償により直接的に得られるゲインが高々2dB程度であることを意味して いる．
しかし，本章で提案した動き検出の高精度化やレート制御の最適化は，視差補償と併用し て実現される技術であり，これら高度化技術により得られる効果も視差補償の導入に起因す るものである．さらに，本章で提案した以外にも，ステレオ動画像の特性に着目した各種高