超解像を用いたJPEGコーデックに関する一検討

全文

(1)Vol.2012-AVM-79 No.6 2012/12/6. 情報処理学会研究報告 IPSJ SIG Technical Report. 超解像を用いた JPEG コーデックに関する一検討清川正徳†. 黒木修隆†. 廣瀬哲也†. 沼昌宏†. 概要：JPEG コーデックの内部で算出される DC 成分に対して 8×8 倍の超解像拡大を行うことにより，AC 成分を予測・生成する方式を提案する．. A Study of JPEG Codec with Super-Resolution. MASANORI KIYOKAWA† NOBUTAKA KUROKI† TETSUYA HIROSE† MASAHIRO NUMA† Abstract: This paper proposes a new JPEG codec in which AC coefficients are predicted from DC coefficients by a super-resolution technique.. 1. はじめに. 傾向にある． DCT 係数の量子化とは，定められた量子化ステップサイ. 近年，ディジタルカメラやハイビジョンテレビの普及に. ズの整数倍で数値を表すことである．すなわち，量子化係. より，ユーザが高精細な画像を取り扱う機会が増えている．. 数を Q，DCT 係数を S，量子化後の代表値を Sq とすれば，. 高精細な画像の保存や伝送を行う際にはデータを圧縮する. ガウス記号を用いて. ことが多い．現在，画像の圧縮は JPEG 方式[1]が主流とな. ⎧ ⎡S ⎤ if S ≥ 0 ⎪ ⎢ ⎥ ⎪ ⎣Q ⎦ Sq = ⎨ ⎪ ⎡ S ⎤＋１ if S < 0 ⎪⎩ ⎢⎣ Q ⎥⎦. (1). [ x] = n , n ≤ x < n＋ 1 （ n は整数）. (2). っている．しかし，JPEG は画像を 8×8 pixel の MCU （Minimum Coded Unit）と呼ばれる単位で処理するため，ブロック状の歪みが発生することが問題となっている．一方，低解像度の画像から高解像度の画像を予測・生成する技術は“超解像”と呼ばれ，近年注目されている[2]．菅原ら[3]は超解像の階層化により，8 倍を超える画像拡大を実現した．ところで，超解像によって 8 倍の拡大を行うことは， JPEG の 8×8pixel の DC 成分のみから，残りの AC 成分を予測することと等価である．本研究はこの点に注目した．すなわち AC 成分を予測できるなら，符号量を減らし，圧. で定義される．量子化係数 Q は例えば図 2 のような量子化テーブルの実数倍であり，倍率を変化させることでデータの圧縮率を調整することができる．デコーダ側では，復号化，逆量子化，逆 DCT を行い復元画像を得る．. 縮率を改善できる可能性がある．本稿では 8 倍超解像と JPEG を融合したコーデックの一例を示し，その性能を評. エンコーダ側. デコーダ側圧縮データ. 価する．原画像. 2. JPEG 従来の JPEG 圧縮の流れを図 1 に示す．エンコーダ側では，まず原画像中の各 MCU において離. 復号化 DCT. 散コサイン変換（DCT）を行うことで周波数領域に変換し，量子化した後，ハフマン符号化を行う．. 逆量子化量子化. 8×8pixel の MCU は DCT によって直流成分（DC）1 個とコサイン波を表す交流成分（AC）63 個に変換される．. 逆 DCT 符号化. 一般的な画像においては水平・垂直方向とも低周波にエネルギーが偏っているため，DCT 係数においては低周波成分. 圧縮データ. 復元画像. ほど値が大きく，高周波成分に近づくほど値が小さくなる図 1 † 神戸大学工学部 Faculty of Engineering, Kobe University. ⓒ2012 Information Processing Society of Japan. Figure 1. JPEG 圧縮過程. Compression process of JPEG.. 1.

(2) Vol.2012-AVM-79 No.6 2012/12/6. 情報処理学会研究報告 IPSJ SIG Technical Report. 16. 11. 10. 16. 24. 40. 51. 61. 12. 12. 14. 19. 26. 58. 60. 55. 原画像. DCT 係数 ② ⅱ）量子化. 14. 13. 16. 24. 40. 57. 69. 56. 14. 17. 22. 29. 51. 87. 80. 62. 18. 22. 37. 56. 68. 109. 103. 77. 24. 35. 55. 64. 81. 104. 113. 92. DCT 係数. 49. 64. 78. 87. 103. 121. 120. 101. ①. 72. 92. 95. 98. 112. 100. 103. 99. 逆量子化. ⅲ）DC から. ⅰ）DCT 縮小画像. 図 2 Figure 2. （1/8） ⅳ）8 倍超解像. 超解像画像. 量子化テーブル Quantization table.. ⅴ）DCT. 3. 提案手法従来の JPEG では 8×8 pixel の MCU ごとに DCT を施し，. ⅵ）AC 成分のみ. MCU の平均値である直流成分（DC）1 個と交流（AC）成. DCT 係数. 分 63 個からなる DCT 係数に変換し，それらを量子化して. ③. 符号化を行なう．提案手法は超解像技術を用いて，DCT 係数の AC 成分をある程度予測することで DCT 係数の絶対値を小さくし，圧縮データの容量を減らすことを目的とした. DCT 係数 ④. ものである． 3.1 エンコーダ側. ⅶ）量子化. エンコーダ側における処理の流れを図 3 に示す．. 符号化. ⅰ）まず原画像の MCU ごとに DCT を施し DCT 係数①（DC1， AC1）を得る．. 圧縮データ. ⅱ）DCT 係数①をいったん量子化し，さらに逆量子化して DCT 係数②（DC1’，AC1’）を得る．この操作はデコ. 図 3. ードする際の超解像画像の整合性を高めるためのものである． ⅲ）DCT 係数②の DC 成分（DC1’）を用いて 1/8 縮小画像を得る．これは DC 成分が MCU の平均値であることを利用している． ⅳ）1/8 縮小画像から 8 倍超解像拡大を用いて超解像画像を得る．なお，8 倍拡大は 2 倍超解像を 3 段に分けて行う階層的超解像[3]を用いる． ⅴ）超解像画像に DCT を施し DCT 係数③（DC2，AC2）を得る． ⅵ）DCT 係数①と③の AC 成分のみ差分を取り，DCT 係数 ④（DC1，AC1－AC2）を得る．DC 成分については原画像の DC 成分をそのまま用いる． ⅶ）以降は通常の JPEG 処理と同様に DCT 係数④を量子化し，ハフマン符号化を経て圧縮データとする．. ⓒ2012 Information Processing Society of Japan. Figure 3. エンコーダ側 Encoding process.. 3.2 デコーダ側デコーダ側における処理の流れを図 4 に示す． ⅰ）圧縮データを復号し，逆量子化を行い DCT 係数⑤（DC1’， [AC1－AC2]’）を得る． ⅱ）DCT 係数⑤の DC 成分（DC1’）から 1/8 縮小画像を得る． ⅲ）1/8 縮小画像から 8 倍超解像を用いて超解像画像を得る． ⅳ）超解像画像に DCT を施し DCT 係数⑥（DC2，AC2）を得る． ⅴ）DCT 係数⑤と⑥の AC 成分のみ足し合わせて DCT 係数⑦（DC1’，[AC1－AC2]’＋AC2）を得る．DC 成分については⑤の DC 成分をそのまま用いる． ⅵ）DCT 係数⑦に逆 DCT を施し復元画像を得る．. 2.

(3) Vol.2012-AVM-79 No.6 2012/12/6. 情報処理学会研究報告 IPSJ SIG Technical Report. 圧縮データ. 縮小画像（1/8）. ⅱ）DC から. ⅰ）復号化. ⅲ）8 倍超解像. 逆量子化. b) caps. a) bikes 超解像. DCT 係数. 画像. ⑤. ⅳ）DCT ⅴ）AC 成分のみ. d) parrots. c) fish DCT 係数 ⑥. DCT 係数 ⑦ e) monarch. f) plane. g) fuji. h) origami. i) house. j) ocean. ⅵ）逆 DCT. 復元画像. 図 4 Figure 4. デコーダ側 Decoding process.. 4. 実験 4.1 実験方法図 5 に示す 10 種類のモノクロ画像（768×512pixel）について，それぞれ量子化係数 Q を 1～10 まで 0.1 ずつ変化させ，従来の JPEG 圧縮と提案手法による圧縮を行い，画. 図 5. 質とデータ容量について評価する．画質評価には PSNR. Figure 5. 評価画像 Test Sequence.. （Peak Signal to Noise Ratio）を用い，提案手法における超解像については階層型の 8 倍超解像[3]を用いる．また量子. デックの一例を示し，その圧縮性能を評価した．実験の結. 化テーブルについては図 2 に示すものを用いる．. 果，提案手法は従来の JPEG と同等またはそれ以上の性能. 4.2 実験結果と考察. であることを確認することができた．. 図 6 に示す実験結果から，高圧縮時において 4 種類の画像（c）（d）（e）（h）で PSNR の改善が確認された．残りの. 参考文献. 6 種類の画像に対しては従来の JPEG と同程度の PSNR で. 1) 小野定康, 鈴木鈍司:わかりやすい JPEG / MPEG2 の技術, オーム社出版局 (2001). 2) 橋本明信, 中矢知宏, 黒木修隆, 廣瀬哲也, 沼昌宏: 学習型超解像のための高能率な辞書, 電子情報通信学会画像工学研究会, vol. 111, no. 284, pp. 35-40, (2011). 3) 菅原佑貴, 橋本明信, 黒木修隆, 廣瀬哲也, 沼昌宏: 階層的超解像による電子ズームの構成方法, 第 11 回情報科学技術フォーラム (FIT2010), I-11, (2012).. あった．画像によって効果が異なる理由について，今後調査する必要がある．. 5. まとめ本稿では，超解像技術と JPEG 方式を融合した画像コー. ⓒ2012 Information Processing Society of Japan. 3.

(4) Vol.2012-AVM-79 No.6 2012/12/6. 情報処理学会研究報告 IPSJ SIG Technical Report 30 36. 28 34. 提案手法. 26. PSNR [dB]. 32. PSNR [ｄB]. PSNR [ｄB]. PSNR [dB]. 提案手法 JPEG 24. JPEG 30. 22 28. 20 0. 10. 20. 30. 40. 60. 50. 26. 70. データサイズ[KB]. データサイズ [KB]. a) bikes. 0. 5. 10. 15. 20. b) caps. 38. 25. 30. データサイズ[KB]. データサイズ [KB] 38. 36. 36. 提案手法. 提案手法 JPEG. 32 30. 34 PSNR [ｄB]. PSNR [dB]. PSNR [ｄB]. PSNR [dB]. 34. JPEG 32 30. 28. 28. 26. 26. 0. 5. 10. 15. 20. 0. データサイズ[KB]. データサイズ [KB]. c) fish. 15. 20. 25. データサイズ[KB]. データサイズ [KB]. 34. 32. 32. 提案手法. 28. PSNR [ｄB]. 提案手法. JPEG. 30. PSNR [dB]. PSNR [ｄB ]. 10. d) parrots. 34. PSNR [dB]. 5. 26. 30. JPEG 28. 26. 24 0. 5. 10. 15. 20. 25. データサイズ [KB]. e) monarch. 24. 35. 30. 0. データサイズ[KB]. 5. 10. 15. 20. f) plane. 30. 25. 30. データサイズ[KB]. データサイズ [KB] 40. 38. 提案手法 JPEG. 26. 36 PSNR [ｄB]. 提案手法. PSNR [dB]. PSNR [ｄB]. PSNR [dB]. 28. JPEG 34. 32. 24 30. 28. 22 0. 5. 10. 15. 20. 25. 30. 35. 0. 40. 2. 4. 6. データサイズ[KB]. データサイズ [KB]. 8. 10. 12. h) origami. g) fuji. 32. 14. 16. 18. データサイズ[KB]. データサイズ [KB] 34. 32. 提案手法 PSNR [ｄB]. PSNR [dB]. PSNR [ｄB]. PSNR [dB]. 30. JPEG 28. 26. 提案手法 30. JPEG 28. 26. 24. 24 0. 5. 10. 15. 20. 25. データサイズ [KB]. 30. 35. 40. 0. 45. データサイズ[KB]. 10. 15. 20. 25. 30. 35. 40. データサイズ[KB]. j) ocean. 図 6 Figure 6 ⓒ2012 Information Processing Society of Japan. 5. データサイズ [KB]. i) house. 実験結果. Experimental results. 4.

(5)