修 士 論 文 概 要 書
Summary of Master’s Thesis
Date of submission: ____/____/____ (MM/DD/YYYY) 専攻名(専門分野)
Department 情報理工学専攻 氏 名
Name 竹内健
指 導 教 員 Advisor
甲藤二郎教授 印 Seal 研究指導名
Research guidance 画像情報研究 Student ID 学籍番号 number
CD
5110B081-1 研究題目
Title ビット深度スケーラブル符号化方式における非線形フィルタを用いたレイヤ間予測手法
1.
まえがき
近年,ディスプレイや撮像機器の広ダイナミック レンジ(HDR: High Dynamic Range)化に伴い,より 細やかな階調表現が可能な,10bit-per-sample など の高ビット深度な環境の今後の普及が期待されてい る.高ビット深度環境の普及の過程では,従来の8bit 環境と,高ビット深度環境が共存すると考えられ,
これら2 つの異なる環境に向け,同時に,高効率に HDR・高ビット深度映像信号を符号化できる方式と して,ビット深度スケーラブル符号化方式が検討さ れている.
2.
ビット深度スケーラブル符号化方式
高ビット深度信号を,従来環境で表示させる際は,
黒潰れ・白飛びを避け,階調表現を出来るだけ損な わないように変換するTone Mapping(TM)処理を要 する.
ビット深度スケーラブル符号化方式では,原画像 に対しTMを施した従来環境向け信号を基本レイヤ として符号化,高ビット深度信号は,基本レイヤか らの復号信号からの予測(レイヤ間予測)信号との 残差を,予測に要する補助情報と合わせ,拡張レイ ヤとして符号化し,それぞれを伝送する.従来環境 向け信号は基本レイヤのみから,高ビット深度信号 はストリーム全体を用いて復号可能となる.
従来方式[1]では,レイヤ間予測として TM の逆処理 である Inverse Tone Mapping(ITM)による 1 対 1 の階調 値変換を主に用いるが,TM の過程で失われた中間階 調値を予測信号が持ち得ない為,グラデーション領域に おける原信号との残差は,図 1 で表されるような高周波 成分を多く持つ残差信号(Residue)となる.
図1: 単純なITM手法における残差信号
それらの高周波成分は,変換・量子化の過程で失われ てしまうため,復号側では滑らかなグラデーションを復元 することができない.本稿では,1 対多の階調値変換が 可能な ITM 手法を用いたレイヤ間予測により,レイヤ間 予測の精度向上,及び,それに伴い符号化特性の改善 を図る方式を提案する.
3.
提案方式
提案法の流れ図を図 2 に示す.
図 2: 提案手法フローチャート
単一動き補償ループを用いた構成によるビット深度 スケーラブル符号化方式[1]を元に,レイヤ間予測内 のITMの後処理として,ヒストグラム補間及びグラ デーション補間処理を組み合わせた非線形フィルタ [2]を適用することで,グラデーションの復元を試み る.
[2]は,入力となる低ビット深度信号からヒストグ ラム情報と空間分布情報を元に,高ビット深度精度 信号の復元を図る非線形フィルタリング手法であり,
以下のステップから構成される.手順は輝度・色差 の各成分・フレームに対し,独立に行われる.
Step 1: 入力信号 𝑋(𝑥, y) のヒストグラム𝐻𝑥(𝑘) を 取得.
Step 2: 𝐻𝑥(𝑘) を線形補間し,図3 に表す様な 中 間階調を含み滑らかな分布を持つ 𝐻𝑦(𝑘) を得,推定 高ビット深度信号ヒストグラムとする.
Step 3: 𝑋 を Gaussian などの低域通過フィルタに 掛け,𝑂(𝑋) を得る.𝑋 で同階調となっている画素 集合を,各画素の空間的分布情報を用いて区別化を 行う意図を持ち,図3の 𝑂(𝑋) のヒストグラム 𝐻𝑥′
に表される通り,𝐻𝑥 に対し値は分散される.
Step 4: 式(1), (2)の様に,画素毎の評価値 𝑅(𝑥, y) を 計算する.
𝑅(𝑥, y) = 𝑋(𝑥, 𝑦) + 𝛼(𝑋(𝑥, 𝑦)) ∙ 𝑂(𝑋(𝑥, 𝑦)) (1) 𝛼(𝑘) = Step(𝑘) max( 𝑂(𝑋) )⁄ (2)
Step(𝑘) は高ビット深度階調値 𝑘 と同じ低ビット
階調値に対応する,高ビット深度階調値の総数を表 す.
評価値 𝑅 は,第一項 𝑋 及び係数 𝛼 により,𝑅 で の大小関係と 𝑋 におけるそれを保ち,且つ 𝑂(𝑋) により区別化される.
Step 5: 𝑅 が高い画素から順に, 𝐻𝑦 に基づき階調 値を割り当てることで,各画素が 𝑋 から推測される 値域から逸脱せず,且つ多階調化された出力信号 𝑌 を得る.
図 3: 各信号のヒストグラム
4.
実験結果
表1の条件において,レイヤ間予測内でHIFを一 切適用しない手法をアンカーとし,提案の非線形フ ィルタを全面適用する提案レイヤ間予測方式の,
BDRATE による評価実験を行った.図 4 に示す 3
つのシーケンスに実施し,また,コアコーデックに はH.264/AVC High Profileを用いた.結果を表2に 示す.
(a) No. 1: SteamLocomotiveTrain
(b) No. 2: Night (c) No. 3: Horse racing(dirt)
図4:対象シーケンス
表1: 実験環境 Table 1: Parameters ビデオフォ
ーマット
YUV420, 1080p, 30Hz, 10bit
フレーム数 30 frames GOP周期
基本レイヤ:15 ( I-P-B-P-B… ) 拡張レイヤ ( All I ) ターゲット
レート
基本レイヤ: 15, 20, 25, 30Mbps QP
拡張レイヤ QP(基本レイヤ) + 12 Tone
Mapping Operator
輝度成分:
非線形(Lloyd-Max) 色差成分: 線形
表2: アンカーに対するBDRATE評価 [%]
シーケンス№ 1 2 3 Predicted -2.066 -1.054 -0.651 Decoded -1.940 -0.815 -0.727 表2中のPredictedは,SDR復号信号からレイヤ 間予測後のHDR信号のR-D特性を,Decodedは最 終的な HDR 復号信号を表す.どちらに関しても,
全てのシーケンスでアンカーに対しビットレートが 削減されていることが確認できる.
一方で,シーケンス番号 2 以外では,Predicted に対し,Decoded のBDRATE が若干悪くなってし まっていることも確認できる.これは,拡張レイヤ を構成する予測残差信号の符号量の増加に対し,
PSNR の向上効果が十分でないことを意味し,予測 残差の送出を制御することで,より符号化効率の向 上が期待できると考えられる.
5.
まとめと今後の課題
ビット深度スケーラブル符号化方式のレイヤ間予測 に,グラデーション補間に特化した非線形フィルタリン グ処理を適用することで,符号化効率の向上を確認し た.今後は,レイヤ間予測におけるモード選択最適化 や,サイド情報の符号化法について更なる検討を進め ていきたい.
参考文献
[1] Martin Winken, Heiko Schwarz, Detlev Marpe, and Thomas Wiegand, “SVC bit depth scalability”
ITU-T JVT, JVT-V078, Jan. 2007.
[2] 竹内健,甲藤二郎,“中間調画像の色ビット深度 拡張に関する検討,”電子情報通信学会研究技術報告 no.2, pp.55-60, April. 2010.