論 文
グループ分割DPCMによるディジタル画像圧縮記録装置
(平成元年8月31日受理)
Image Data Compression System
橋口住久 三枝正人
荒崎真一 中澤透
木下祐三
utilizing Adaptive DPCM with Group Division
SumihisaHASHIGUCHI ShinichiARAZAKI YuzoKINOSHITA MasahitoSAIGUSA TohruNAKAZAWA Abstract An image encoder/decoder system for digital still cameras was manufactured for experi・ ment. The system consists of an AD/DA converter, a data compressor/expander, and banks of image memories. The picture is devided into square local areas and the brightness of each pixel is converted to 8bit data. These image data are compressed to 4bit data by applying PCM, whose encoding characteristics varies adaptive to the dynamic range of the signal for each local area. According to the magnitude of the dynamic range 8bit data of each local area, which are stored in the temporal memory, are fed into one of eight compressores and converted into 4 bit data.4bit data and indices corresponding to the dynamic range are transferred to the main memory and stored there in. The quality of the reproduced pictures was found to be excellent and there were no visible degredations observed. 1.はじめに 写真を電気的に扱う電子スチルカメラが身近になり つつある.現在の電子スチルカメラでは画像信号をア ナログでフロッピーディスクに記録する.画像信号を ディジタル化すると、保存やコピー時の信号劣化を防 ぐことができるほか、可動部分のないSRAMに記録 することができるなど有利である.したがって,今後 は画像のディジタル化が進むと予想される. ディジタル化された電子スチルカメラのデータ記憶 媒体としてメモリカードがある.ICメモリカードの 限られた容量に多くの画像データを記録するためには, データを圧縮することが必要である.一般に,画像デ ータには冗長が多く、これを取り除くとデータが圧縮 できる.電子スチルカメラ用のデータ圧縮法としては、 構成が簡単であることと高速処理が可能であることが 要求されるので,DPCM(Differential Pulse Code Modulation)が有力である.ここでは、ディジタル電 子スチルカメラ搭載用として、DPCMの中でも優れ た符号化特性を持つブロック適応グループ分割DPC *電子情報工学科,Department of E|ectronics )lolc機山工業高校,Kizan Technical High School M1)を採用した画像圧縮システムの試作を行ったので 報告する.
2.DPCM符号化方式
人物や風景などの画像には、隣接画素間の相関が非 常に高いという特徴がある.DPCM符号化方式は、 この画像の特徴を利用して,注目する画素の輝度をそ れに先行する画素の値から予測し、実際の値と予測値 との差である予測誤差信号をデータとする方法である. 予測が正確であれば,予測誤差信号の大きさを小さく できるので,より少ないデータで画像を表現すること ができる.図1は,画像を構成する画素の配置図であ Aる.ここでは,注目画素SOの予測値S⑪を前値Sl と前ラインの直上の値S2を用いて,次式で決定する. A S⑪=(Sl十S2)/2 (1) この予測方式は,縦の相関が強い画像にも横の相関 が強い画像にも対応できる.◎○○○○
⊥○○○⑮○図1画素の配置図
me Fig・1聯2f,1,me,t
予測誤差信号は A ε⑪=:SO−S⑪ (2) である. 予測誤差信号の分布は一般にラプラス分布となる. ラプラス分布は0近傍に確率が集中するので,0近傍 のデータを表すのにヒット割当を密にし,0から離れ るほどビット割当を粗にするような非線形変換を用い て予測誤差信号を圧縮する.復号側では,圧縮された 予測誤差信号を非線形逆変換器でもとに戻し,画像デ ータを得る. DPCMでは,圧縮した値を代表値に置き換えるの で元の値を完全に回復することはできないが,視覚的 には原画像と区別のつかない画像を得ることができる. 3.ブロック適応グループ分割DPCM DPCMでは,データ圧縮を行う非線形変換器は, 予測誤差信号がラプラス分布をもつと仮定して設計す る.差信号分布がラブラス分布でないときには圧縮処 理した画像が正しく復元されない.また,1個の非線 形変換器でデータ圧縮を行うと,画像によっては,局 所的に見ると正しく復元されていない.これは,局所 的な相関が異なるためである. そこで,ここでは画像を8×8画素のブ[1ックに分 割2)してブロック毎に最適な非線形変換器を割り当て る.このようにブロックに分割すると,画像の局所的 相関を利用でき,各種の画像に対応できる. 本システムには,各ブロックの予測誤差信号の絶対 値の最大値を指標として,ブロックを8つのグループ に分類する1)ブロック適応グループ分割DPCMを用 いた.グループに分類することによって,予測誤差信 号の分布の幅を狭くすることができるため,各グルー プの符号化特性が向上する.表1は,各グループの分 類の指標である.このとき,予測誤差信号はラブラス 分布ではなく図2のような分布をもつ1).図2の形の 分布に最適な非線形変換特性は,Maxの手法3)より 次式で与えられる. x V (3) f(x)= i−§[・・p{一β(M9’)}−1](。≦。≦1) 1一暑[・・p{−AtSS”)}−1] V f(x)= i−X[・・p{』与D}−1] xは予測誤差信号, (4) (1<x) Vは各グループの最大値,各グル ープのβは表21)の通りである.なお,変換特性には ミッドライザ型量子化器を用いた4). 表1 グループ分割の指標 T“ble 1}↓a↑R↓f綴鵠d8f。1閑iき宅〒8脚響。r 1予測誤差信号1の最大値 グループ番号G
0∼1
12∼3
24∼7
38∼15
4
16∼31
532∼63
664∼127
7128∼255
8 P(X)_⊥⊥
2β+1
一1 1 x 図2 予測誤差信号の分布 Fig.2 Truncated Poisson distribution 表2 使用したβ Table 20ptimalβfor each group グループ番号G β 10.02
2
0.02
3
0.09
4
0.67
5
0.25
6
0.11
7
0.06
80.06
ブロック適応グループ分割DPCMでは,付加デー タとして各ブロックのグループ番号が必要である.一 方,本方式のようにグループ分類の指標に予測誤差信 号の絶対値の最大値を用いると,比較器のみで指標を 決定できるので,一般に行われている予測誤差信号の 標準偏差を使う方法よりも簡単なハードウェア構成に なる. 本システムのブロック適応グループ分割DPCMは, 次の圧縮手順で処理をおこなう. 1)一枚の画像を8×8画素のブロックに分割し, 予測誤差信号を求める. 2)各ブロックの予測誤差信号の絶対値の最大値を 指標にしてブロックを複数のグループに分類する. 3)各グルー一プ毎にあらかじめ用意した非線形変換 器を用いて,各ブロックの予測誤差信号のデータ圧 縮を行う. 図3はブロック適応グループ分割DPCMのプロッFrame meeoryl 十 Pre輌ictor Co血pressor C匝P,essed data Ex,a皿輌er Predictor Encoder Group 跳;。ii,esse己E・p・・der±。 data Predictor 図3 ブロック適応グループ分割DPCMのブロック図 Fig.3 Block diagram of a group division ADPCM system ク図である.符号器はブロック適応グループ分割DP CMの圧縮手順を実行し,復号器はその逆の復号手順 を実行する. 符号器では,フレームメモリ1のデータから各ブロ ックのグループ番号を決め,それを付加データとして メインメモリに記録する.次に,ブロック毎にこの付 加データを読みだしてグループに適した非線形変換器 を選択してプレN・一一ムメモリのデータを圧縮し,メィン メモリに記録する.復号器では,メインメモリから付 加データと圧縮データを同時に読み出して,符号化に 用いた非線形変換器とは逆の特性を持つ非線形逆変換 器を選択して復号する.復号したデータを復号器側の フレームメモリ2に記録する. 4.システムの構成 図4は製作したシステムのブロック図である. 符号側では,画像信号をAD変換して,フレームメ モリに記録する.次に記録したデータを読みだして符 号器で圧縮を行い,圧縮したデータを保存用のメイン メモリに記録する. 復号側では,メインメモリに記録された圧縮データ を復号してフレームメモリに記録し,復号したフレー ムメモリのデータを静止画像として出力する. スチルカメラへ応用する際には,符号器側のフレー ムメモリと復号器側のフレームメモリは別のものであ るが,ここでは,同一のフレームメモリを共用した. こうすると,画像入力回路でフレームメモリに記録し たデータを直接出力することもできるため,圧縮画像 と原画像の比較が簡単にできるという利点がある. 本来は,画像データを取り込むと同時にデータ圧縮 を行うことが望ましいが,試作したシステムでは,画 像の取り込み速度が高速であるため処理が追いつかな i三 i§
i≒
溺
1一c° Decoder F随e mem。ry2 「一一一一一一一一一一一一一一一一一一一一一一一一一一@一’ T−一一一一 ’一 一一一一一一 一’ 一’一一一一一一一 P i日 i§ ita i歪 l°SYNC
rYNC
月Mage 唐奄№獅≠ 1加t b。ntrole↑ 〔}utput 盾盾獅狽窒盾撃? HSYN uSYN @ lnag @sign AD モ盾獅魔№窒買ニr Frame 高?高盾窒 DA 盾盾獅麻ニrtθr ::::::::二:::ニニ:二: : 二 二:::二::二:ニニニニニ:: Enooler Main 高?高盾窒 Deooler Encoder 盾盾獅狽窒盾撃№ Decoder 盾盾獅狽窒盾撃? ‘一一一一_一一一一一一一一________r一一〔一一↓⇔一_____一____r___一_〔一〔4 Enooder side Deooder side 図4 システムのブロック図 Fig・4薰W齪醗me2;,↑罐em
いので,データ取り込み部分と圧縮処理部分は別の回 路とした.復号についても同様で,データの復号部分 と画像出力部分は別の回路としてある.すなわち,シ ステム全体は,外部との画像データのやり取りを行う 画像記録システムと,データ圧縮を行うDPCMシス テムとから成る. なお.製作したシステムでは,データ記録時に画像 データがフレームメモリに記録されると,自動的にデ ータ圧縮を行いメィンメモリに記録する.同様に画像 データ出力時には,復号が完了すると自動的に画像信 号がCRTに出力される. DPCMシステムは,画像記録システムよりも遅い クロックで動作している.DPCMシステムの動作ク ロックが,画像記録システムのアナログ信号に影響を 及ぼすのを防ぐため,画像信号取り込み時と画像信号出力時には,DPCMシステムの動作クロックを停止 させている. 5.画像記録システム 表3は製作した画像記録システムの仕様である.高 画質を目標としたので,1本の走査線を10MHzで サンプリングして横方向512の画素データに分ける. 縦方向の分解能はTV信号の走査線の数で決定するの で、有効分解能492本である.
画像信号はRGB信号である.これはRGB各色に
同じ構成の信号処理系を使えるという利点があり,さ らに高画質化に適しているためである. 記録の対象としたTV信号はインタレース走査を行 ってるため,第一フィールドと第ニフィールドでは時 間のずれが生じているが,本システムでは,この2フ ィールド問の時間のずれは無視して,2フィールドで 一枚の静止画像と見なしている. TV信号には基準レベルを決定するためのブランキ ング期間がある.しかし,本システムではブランキン グレペルのデータは必要ないので,システムのフレー ムメモリにはブランキング期間を除去して画像データ のみを記録する.逆に画像データを出力するときには, 出力データを強制的にクリヤしてブランキングレバル を作っている.TV信号の帯域幅は4.2MHzであるので,10
MHzサンプリングでAD変換を行うときはエリアシ ングは生じないが,TV信号以外の入力にも対応する ために入力側にカットオフ周波数4MHzのアンチエ ーリアス用のLPFを挿入してある.また,出力側に もDA変換時のエリアシングを防ぐためカットオフ周波数4MHzのLPFを挿入してある.
6.DPCMシステム
表4は製作したDPCMシステムの仕様である. 試作器では,対象とする画像にかかわらず8ビット /画素のデータをその半分の4ヒット/画素に圧縮す る.非線形変換器に用いているEPROMのデータを 書き換えれば,更に圧縮率を上げる実験も可能である. また,非線形変換器と非線形逆変換器に動作の遅いEPROMを使用しているため,符号化時間は0.6
sである.EPROMに高速動作の素子を使うと変換 速度を高めることができる. 本システムでは、ブロック分割する際のブロックサ イズをスイッチで選択できるようにしてある.これま でに、最適ブロックサイズは8×8画素であることが 分かっている2)ので、8×8画素のプロツクサイズで 表3 画像記録システムの仕様 Table 3 SPecificatiOn of the lmage recod l ng system 入出力信号 インターレース走査@RGB信号
階調 256階調(8ビット) 分解能512×492画素
サンプリング @周波数10MHz
表4 ADPCMシステムの仕様
Table 4 Specification of the ADPCM system 対象画像 512×492画素RGB画像RGB各色256階調(8ビット) 圧縮方式 ブロック適応グループ分割DPCM符号化方式4ビット固定長 圧縮率1/2
ブロックサイズ可変式8×8∼256×256画素
符号化処理時間0.6s
動作させる.図5は,製作したADPCMシステムのブロック図
である.処理時間の高速化と構成の簡略化を図るため に,図3の基本構成の一部を次のように修正してある. 1)局部復号器の非線形逆変換器の代わりに,非線形 変換器と非線形逆変換器を合わせた代表値設定器を用 いている. 2)バッファでデータの流れを切り替える方法を用い て,グループ番号を算出するループに使う予測器と局 部復号器に使う予測器をまとめた. また,各ブロックの回路構成は次の通りである. ・非線形変換器,非線形逆変換器,代表値設定器 EPROMを使用する.アドレス線にグル・…プ番号 と変換するデータを入力し,変換データをデータ線か ら出力する.EPROMのデータを書き換えれば,非 線形変換特性と非線形逆変換特性を変えることができ る. ・加算器,減算器TTL74シリーズの74ALS283を2個直列
にして使用する. 減算方式には補数表現を用いた.したがってあらか じめ加算器に1を加算し,減算値には反転バッファで データを反転させた値を使って減算を実現している. ・リミッタ 実際のDPCMにおいては.データの復号値が0∼ 255の範囲に納まらないことがある.これは,非線 形変換で1直を代表値に置き換えるためである.したがFrame or +十 Group seleotor Co匝pressor Group 己ata Group data P・eli・to・1;ll。,or Li・it・・ =・yC。mpressed E・p・nder data Li皿iter Prediotor Enooder i Deooder 図5 ブ[1ック適応グルー・一プ分割DPCMのブロック図 Fig.5 Block diagram of a group division ADPCM sys七em って,0∼255の範囲を越える値が生じたときにこ の範囲内に強制的に値を抑える必要がある.補数演算 の性質を利用してリミッタを動作させる.オーバー・一フ ローになったとき255に値を抑え,アンダーフロー になったときに0に値を抑える.データを抑えるため のバッファと,バッファをコントロールするゲートで 構成する. ・グループ選択 EPROMを使用して行う.次の動作でグループ算 出を行う. 1)各ブロックの先頭画素でROMを初期化する. 2)2画素目の予測誤差信号の大きさで決定したグル ープ番号をROMから出力する. 3)3画素目から,ROMから出力しているグループ 番号と入力される予測誤差信号の大きさを比較する. 入力される予測誤差信号が,ROMの出力しているグ ループ番号の最大値を越える時に出力するグループ番 号を更新する. 4)3)の動作をブロックの最終画素まで繰り返すと, そのブロックのグループ番号が決定する. ・予測器 ブロック分割を行うので,処理する画素位置によっ て,前値予測と前ラインの直上予測と2点予測を切り 替える必要がある.各ブロックの1ライン目には前ラ インが存在しないので前値予測を行い,各ラインの1 画素目には前値が存在しないため直上予測を行う.そ の他の画素には2点予測を行う. 図6は,予測器のブロック図である.前値はラッチ 前ラインの直上の値はメモリ,2点の平均値は前値と 前ラインの直上の値を加算して下位1ビットを無視し てヒットシフトした値を用いた.コントロール信号で 予測方式を選択する. ぢ 含 PreviOUS Latche san le orevlous line Wam Llne 高?高盾窒 十 { bh shift 図6 予測器のブロック図 Fig.6 F随e oe凪ory2 三 三三 三§ 口→ca Btock diagrarn of a predictor 7.結果と検討 本システムを用いて画像データのビットレイトを半 分に圧縮しても,画像に視覚的な劣化は認められなか った.システムでは,画像をブロックに分け,ブロッ ク毎に最適な非線形変換器を選択するため各種の画像 データに対処できる. 本システムのハードウェアの構成ではリアルタイム 処理が不可能である.また,最大値の異なるグループ 毎に割り当てビット数を変化させる圧縮方法の方が高 能率な圧縮をすることができる. 8.おわりに グループ分割DPCMシステムを製作し,良好な圧 縮画像を得ることが出来た.ディジタル電子スチルカ メラが実用になったとき,本システムを使えばメモリ カードをより能率的に使うことができる. 今後は,システムの改良による処理時間の高速化と, 圧縮方式の検討による圧縮率の向上が課題である. 謝辞 本研究を進めるにあたり貴重な討論を頂き,実験に 必要な機材等についてご配慮頂いただいたチノン(株)
内山雅之氏,小林正夫氏,伊東郁義氏,日立マイクロ コンピュータエンジニアリング深尾嘉広氏,日立東京 エレクトロニクス小林 修氏に感謝する. 参考文献 1)中澤透他:DPCMを用いた画像情報圧縮方式の 検討,lE87−119 pp.17−24(1988.2) 2)三枝正人他:ブロック適応グループ分割DPCM における最適ブロックサイズの決定,電子情報通信学 会春季全国大会(1989.3) 3)」.Max:,,Quanttizing for Minirnum Distortion,,, lRE Trans.lnf.Theory,lT−6,11PP.7−128 (1960.3) 4)広瀬達也他:固定長DPCM符号化方式における 量子化方式の検討,電気関係学会北陸支部連合大会, p.116(1987.10)