デジタル画像データ圧縮

2014/1/6 1

先端情報工学概論（ 3 ）

デジタル画像データ圧縮

-MPEG

-

ファイヤー和田 知久

[email protected]

琉球大学・工学部・情報工学科 教授

http://www.ie.u-ryukyu.ac.jp/~wada

University of the Ryukyus

2014/1/6 2

1. MPEG

2.

3.

3

１．MPEG応用システム

画像圧縮技術が応用されたシステム

2014/1/6 4

放送

通信 蓄積

デジタル衛星放送 デジタルCATV

デジタル地上波放送 デジタル衛星放送 デジタルCATV

デジタル地上波放送

ISDN、携帯型TV電話 ブルーレイ

インターネット通信 ISDN、携帯型TV電話 ブルーレイ

インターネット通信

MPEG技術のマルチメディアへの応用

MPEG2ﾊｲﾚﾍﾞﾙ技術

MPEG2ﾒｲﾝﾚﾍﾞﾙ技術 MPEG4、H.26X技術

DVDビデオ機器 MPEGカメラ MD

DVDビデオ機器 MPEGカメラ MD

MPEG2 MPEG4

5

■ テレビ１コマ 700KByte １秒間 30コマ

１秒間のデータ 21MByte → 約170Mbps (bit/second)

■ １チャネルの衛星波でのディジタルデータ伝送量

→ 約30Mbps～50Mbps

■ 画像圧縮技術により5Mbps程度までにテレビ画像の データ圧縮が可能

■ 衛星放送の多チャネル化が可能

■ HDTV画像なら、20Mbpsまで圧縮して、放送。

放送における画像圧縮の必要性

2014/1/6 6

ディジタル放送システムの方式比較

日本

ベースバンドレイヤ

（ピクチャレイヤ）

情報源符号化レイヤ

（ﾋﾞﾃﾞｵ、ｵｰﾃﾞｨｵ）

多重化レイヤ

伝 送 レイ ヤ

情報レート

ﾄﾚﾘｽ符号／

畳込み符号

トレリス符号 内符号

外符号 RS (204,188) RS (207,187)

変調

52.2Mbit/s

PSK OFDM

伝送帯域幅 34.5MHz 6MHz 6MHz

QAM 23.4Mbit/s

MPEG-2 トランスポートストリーム MPEG-2

ﾋﾞﾃﾞｵ MPEG-2 ｵｰﾃﾞｨｵ

（衛星・地上波はAAC）

1080 I …1920[画素]×1080[ﾗｲﾝ], 30 I 480 I … 720[画素]×480[ﾗｲﾝ], 30 I 480 P… 720[画素]×480[ﾗｲﾝ], 60 P (720 P..1280x720, 60P, 1080 P 条件付)

MPEG-2

ﾋﾞﾃﾞｵ ﾄﾞﾙﾋﾞｰ AC-3

畳込み符号

29.2Mbit/s

VSB 6MHz 19.39Mbit/s 米国(ATSC) 1080 I/P(24P,30P/I) 720 P (24/30/60P) 480 P (24/30/60P) 480 I (30I)、 等

衛星(BS) 地上波 ケーブル 地上波

−

AAC：Advanced Audio Coding RS：Reed-Solomon

7

システム制御

MPEG2

多重部

MPEG2

ビデオ エンコーダ

オーディオ エンコーダ

データ

I/F

回線／モデム

／蓄積メディア

I/F

伝 送 路

ビデオ入力

データ入力 オｰディオ入力

デジタルTV送・受信機ブロック図

送信機

システム制御

MPEG2

分離部

MPEG2

オーディオ デコーダ

データ

I/F

受信機

回線／モデム

／蓄積メディア

I/F

ビデオ出力

データ出力 オｰディオ出力

2014/1/6 8

■ ５〜６Mbpsまで圧縮することで、映画２時間分を DVDに記録できる。

DVD-RAMの容量：4.7GB

蓄積メディアにおける画像圧縮の必要性

■ DVC（テープ媒体）に比べて編集やアクセスの

よいディスクメディア（ｺﾝﾊﾟｸﾄDVDやMD）に記録 できる

→ MPEG2カメラ、MPEG4カメラ

9

録再DVDプレーヤブロック図

MPEG ENCODE LSI

モーター 16Mbit サーボ

SDRAM NTSC / PAL

Encoder

汎用マイコン

DVD-レコーダー ドライブ

NTSC / PAL 入力

データ 制御

フラッシュ

ROM

キー入力 オーディオ

ＡＤＣ

オーディオ ＤＡＣ

ECC Encoder

16Mbit DRAM

MPEG Decode LSI オーディオ

入力

NTSC / PAL 出力

オーディオ 出力

NTSC / PAL Decoder

ワークRAM 16Mbit

SDRAM ＡＣ−３

Encoder ECC

CODEC

ECC Decoder

クロック

2014/1/6 10

マルチメディア通信システム

ISDN Internet

無線ﾈｯﾄﾜｰｸ

ｺﾝﾃﾝﾂ･ｻｰﾊﾞ

基地局 基地局

ﾃﾞｽｸﾄｯﾌﾟ ﾃﾚﾋﾞ会議ｼｽﾃﾑ

音楽･画像 配信

ｹﾞｰﾄｳｪｲ ﾌﾟﾛﾄｺﾙ変換

ﾄﾗﾝｽｺｰﾃﾞｨﾝｸﾞ

ISDN

ｹﾞｰﾄｳｪｲ

携帯ﾃﾚﾋﾞ電話 音楽･画像配信

ﾃﾚﾋﾞ会議ｼｽﾃﾑ

11

■ 家庭・オフィスにつながる安価なネットワーク 有線系；ISDN（64K-128Kbps）

X-DSL(128K-1Mbps)

無線系；W-CDMA（64K-384Kbps）

■ 画像情報の圧縮（MPEG4）により、インターネットやISDN によるコンテンツ（映画、ゲーム、音楽）のスムースな配信、

W-CDMA 携帯TV電話、 TV会議等が可能になる。

ﾏﾙﾁﾒﾃﾞｨｱ通信における画像圧縮の必要性

2014/1/6 12

マルチメディア通信端末

（

_W-CDMA

送受信部

ﾍﾞｰｽﾊﾞﾝﾄﾞ 信号処理部

Speech Codec/

Audio Decoder

MOD

DEMOD

CH Encoder

CH Decoder

D ata P ath S w itc h

ANT

Video Decoder

Video Encoder

MPEG-4, H.263

GSM-AMR, G.723.1 AAC, MP3, etc

Audio Cont.

Display Cont.

Camera Cont.

M ux /D em ux

Camera Sensor

Mic.

Speaker

LCD

Monitor

音声通話時

13

２．画像圧縮アルゴリズム

さて、どのように画像データを減らすのか？

2014/1/6 14

後画面

予測画面

前画面

時間 現画面

誤差画面

3 2 1 0 0

0

x方向周波数 y

方 向 周 波 数

0

ビット ストリーム 3 2 1 ⋯

動きベクトル（前、後）

MPEG2動画像圧縮の考え方

（１）画面内の相関関係 による圧縮

（ＤＣＴ、量子化）

（２）符号の出現確率 による圧縮

（可変長符号化）

（３）画面間の相関関係 による圧縮

（動き補償、

フレーム間予測）

15

フレーム内/

フレーム間判定 8×8

DCT 量子化 VLC バッファ

逆量子化 逆DCT

ループ内

フィルタ 動き補償

予測器

+

バッファ 逆VLC 逆量子化 逆DCT

+

動き補償 予測器

動画像符号化器ブロック図(H.261,MPEG)

－

符号器(エンコーダ）

（ループ内フィルタはH.261のみ）

復号器（デコーダ）

2014/1/6 16

DCT（離散ｺｻｲﾝ変換）処理

ここで

x(i,j)(i,j＝0,1,2, … .,N-1)は原信号 X(u,v)(u,v=0,1,2,….,N-1)はDCT係数 u＝v=0の時C(u)=C(v)=2

u,v≠0の時C(u)=C(v)=1

X(u, v )  2

N c(u )  c(v ) 

i 0 N 1

 j o N 1

 ^{x (i, j)  cos (2 i} ₂ ^ _N ^{1)u  cos (2 j} ₂ ^ _N ^{1)v }

■絵柄の細かさに依存する、画像データの空間的冗長度を取り 除くための、直交変換の一手法。

■２次元的相関性の強い画像信号を周波数領域に変換すること で、変換係数の低周波成分にエネルギーを集中させる。

■コサイン関数を係数とする積和演算で実現できる。

■

LSI

2014/1/6 17

2次元DCTの基底ベクトル

６４通りの基底パターンの各成分がどの位のエネルギーを持つかを求める。

2014/1/6 18

ＤＣＴ

部分画像 変換係数

8

8

ＤＣ成分 高周波数

高 周波 数

DCT処理

u

v

ＡＣ成分

x(i,j) X(u,v)

自然画像への２次元

DCT

19

ランレングス符号化

■量子化係数を、先行するゼロ係数と非ゼロの係数という ２次元データ系列に変換する。

5、0、3、0、0、0、0、0、1、0、0、0、0、0、0、0、0、・・・

ａ：先行するゼロ係数の個数（ラン）

ｂ：非ゼロの係数値（レベル）

（ａ，ｂ）

(ゼロラン長、係数）＝(0、5)、(1、3)、(5、1)、EOB(End of Block)

可変長符号語

2014/1/6 20

シンボル 生起確立 符号語

S1 0.3 00

S2 0.25 01

S3 0.2 11

S4 0.1 101

S5 0.07 1000

S6 0.05 1001

0 1

1 0 0

1

1

0

0

1

発生確率の小さいシンボルからペアを組んで積み上げていく

（この例では平均符号長＝２．４ビット）

ハフマン符号の作成手順

21

フレーム間予測符号化の原理

時間

フレーム２

フレーム１ フレーム３

フレーム１：フレーム内符号化

（静止画像として符号化）

フレーム２：フレーム間符号化

（符号化されたフレーム１を用いて予測）

予測誤差＝（フレーム２）-（フレーム１）

フレーム３：フレーム間符号化

（符号化されたフレーム２を用いて予測）

予測誤差＝（フレーム３）-（フレーム２）

2014/1/6 22

現フレーム 前フレーム

■前フレームの中で最もよくマッチングする マクロブロックパターンの位置を見つける。

■その位置の画像を予測画像とする。

■その位置を動きベクトル情報として伝送す る。

動き補償なし時の 予測画像

動き補償あり時の 予測画像

動きﾍﾞｸﾄﾙ

動き補償予測符号化の原理

23

３．ＭＰＥＧ２ ＬＳＩ

2014/1/6 24

２次元DCTコアのチップ写真

25

１チップMPEG2ﾋﾞﾃﾞｵ/ｵｰﾃﾞｨｵ/ｼｽﾃﾑ符号化LSI

プロセス

ﾁｯﾌﾟｻｲｽﾞ ﾄﾗﾝｼﾞｽﾀ数 電 源

動作周波数 入力ｸﾛｯｸ パッケージ

0.25um CMOS 4層メタル

Embedded Cell Array 14.2mm x 14.2mm 11 million

内部:2.5V/外部:3.3V 27/54/81/162MHz 27MHz

329-pin BGA

D30V core

Fine MEcore Course ME core

Host I/F BS I/F ME3 I/F Video

I/F Audio

I/F SDRAM I/F

DCT/Q

Filter