論 文
再帰形フィルタによるマルチチャンネル画像復元
小山充芳 大木真 周欣欣 橋口住久
（平成7年8月31日受理）
Multi-Channel Image Restoration by Recursive Filters
MitsuyoshiKOYAMA MakotoOHKI XinxinZHOU SumihisaHASHIGUCHI Abstract When multi−channe1 images such as color images are degTaded，there are interferences be− tween channels．Therefore the multi−channel re8toration filter，which take into account between− channel information，is needed for the optimal restoration of multi−channel images， This paper proposes a multi．channel re8toration method by recursive regularization丘lters． In this method，2−D recursive regularization filters are implemented by the combined DFT／LDE approach．In order to demonstrate the proposed method，the restoration result of a color image i8 shown．
1 はじめに
カラー・一・・画像の復元を行なう場合，従来は赤・ 緑・青の各色を個々に復元するシングルチャン ネル画像復元が考えられていた．しかし，カ ラー画像の劣化過程においては各色がそれぞれ 単独に劣化を受けるのではなく，各色間に相互 作用が存在するため，劣化した画像には単にぼ けやぶれだけではなく，槌色や色ずれを伴った 複雑な劣化を生じる．このため，シングルチャ ンネル画像復元では最適な画像復元を行なうこ とができない．そこで，最近，劣化の際に生じ る各色の間の相関を考慮に入れ色情報も復元す るマルチチャンネル画像復元1）の問題が考えら れている． 本研究では，計算方法として行列演算を用い る方法や反復計算による方法よりも再帰形フィ ルタを用いる復元法の方が計算回数が少なく済 むと考え，再帰形の正則化フィルタを用いたマ ルチチャンネル画像復元を提案する． 2次元の再帰形正則化フィルタを実現するた めには，2次元の伝達関数を因数分解する必 要があるが，2次元の伝達関数は必ずしも因 数分解が可能とは限らない．そこで本研究で は，Combined DFT／LDE （Discrete Fourier ＊電子情報工学科，Department of Electrical Engineering and Computer Science Transform／Linear Difference Equation）法4） を用いることによって2次元の因数分解を1次 元の因数分解に帰着させ，マルチチャンネル画 像復元を再帰形フィルタとして実現している．2 画像復元問題
原画像∫（Ml，M2）が劣化して観測画像
g（m1，m2）が得られる過程は以下のように表 わされる．なお，M1，M2はそれぞれ画像上の 水平，垂直方向の位置を表わす整数である． 9（Ml，M2）＝ん（Ml，m2）＊∫（Ml，肌2）＋n（Ml・，肌2）（1） ただし，n（m1，m2）は観測雑音やディジタル 化を行なうときに生じた誤差等を含めた雑音ベ クトルであり，ん（m1，M2）は信号の劣化（ぼけ やぶれなど）を表わすインパルス応答である． 画像復元問題は劣化画像g（ml，M2）から原画 像∫（Ml，M2）を推定する問題である．復元画 像∫（M1，M2）は，復元フィルタW（m1，m2）を 用いて ∫（7γじ1，γγL2）＝uノ（γγ↓1，γγじ2）＊9（7γじ1，M2） （2） と表わせる． 復元フィルタw（m1， M2）を設計するために， 原画像f（Ml，M2）と復元画像∫（Ml， M2）との 誤差を評価する基準を考える．しかし，原画 像の情報が得られないため実際にこれらの値平成7年12月 山梨大学工学部研究報告 第46号 を計算することはできない．したがって，復元 画像を再びイメージングシステムに通して得 られた画像ん（M1，M2）＊f（m1，m2）と劣化画像 g（M1，M2）を比較する．すなわち，評価基準を J＝lig（m、，m、）一ん（m、，m・）・∫（m・，m・）ll2（3） と定義する．ただし，1川1はユークリッドノ ルムである． この評価基準を最小にする復元フィルタが一 般逆フィルタ（GIF：generalized inverse filter） であり，雑音が存在しない場合には，このフィ ルタを設計することにより最適な復元画像を得 ることができる．しかし，この評価基準は雑音 を考慮しない劣化モデルに対して得られたもの であるため，実際の雑音成分の含まれる観測過 程に適用するためには，正則化（regularization） の操作が必要になる． 復元画像の高周波域には，雑音が復元フィル タによって増幅された成分が多く含まれている． これらの成分を制限するような復元フィルタが 正則化フィルタである．正則化フィルタの評価 基準は， 」＝ll9（Ml，M2）−h（m、，M2）・∫（m・，m・）ll2 ＋λ 11・（m、，M2）・∫（m、，M2）ll2（4） となる．ここで，c（ml，m2）は高域通過特性 を持つ正則化演算子，λは正則化の程度を調 整するパラメータである．最初の項は，劣化 画像と復元画像に劣化を表わすインパルス応 答を掛けたものの誤差を示し，第2項は，復 元画像の高周波域に生じる雑音が復元フィルタ によって増幅された成分を示す．なお，正則化 演算子c（m1，m2）には原画像および雑音の性 質に依存した最適な特性が存在するはずであ る．しかし，画像復元問題では実際に得られる ものは劣化過程を表わすん（Ml，m2）と劣化画 像g（Ml，m2）のみであり，劣化画像から正則 化演算子c（ml，m2）の最適な特性を推定する ことは非常に困難である．そこで，正則化演算 子c（M1，M2）としては単純な高域通過フィルタ （ラプラシアンフィルタなど）を用いるのが普通 である．また，正則化パラメータλについても 原画像と雑音の性質に依存して最適値が存在す る．λの最適値にっいては，劣化画像のみから これを推定する方法がいくつか提案されている 6）．本報告では，マルチチャンネル画像復元に 議論を集中するために，λの推定法にっいては 深入りせず，以下の議論では，λの最適値が分 かっているものと仮定する． 最適な復元画像を得るために，式（4）の評価 基準を最小にするような問題を考える．式（4） を∫（m1，M2）で偏微分したものを0とおき，こ れをz変換してF（Z1，Z2）にっいて解くと，以 下の式が得られる． F（z1，z2）：＝W（z1，z2）G（Zl，z2） （5） w（Zl，z2）＝ H（ 一1 −1Zl ，z2） （6）H（・・，・・）H（・1㍉・；1）＋λσ（・・1・・）o（・r1，・；1） W（Z1，Z2）は，復元フィルタの伝達関数を示し， このフィルタを正則化フィルタと呼ぶ．正則化 フィルタの伝達関数は．遅れ要素（ 一1 −1Zl ，Z2）の みならず進み要素（z1， z2）も含み，非因果的な 伝達関数である．
3 シングルチャンネル復元フィルタ
カラー画像は赤・緑・青（R，G，B）の3チャ ンネルからなるマルチチャンネル画像である， カラー画像の劣化を考える場合，各色ごとに 独立に劣化が生じると考えると，劣化を表わす 式は以下のようになる．ぽii｝iii｝］一［簿蕊』
闇iiiii｝］＋［iiiiiiii］（7） この場合，画像復元も各色ごとに独立に行なえ ぱよい（シングルチャンネル復元）ため，誤差 の評価基準としては以下の式を用いることがで きる． J，＝llG，（・、，・2）−H，（・、，・2）民（・、，・2川2 十λlic，（Zl，z2）民（Zl，z2）ll2 （i＝R，G，B）（8） 復元フィルタの伝達関数は各色共に 1，Vl（Zl，z2）ニ H，（zii，zii） （9） H，（・、，・、）疏（・r㍉・；1）＋λα（・・，・・）0，（・こ1，・；1） となり，この場合の復元のブロックダイアグラ ムを図一1に示す． しかし，カラー画像においては，劣化の際に 各色の間に相関が生ずるため，相関がないと仮 定しているシングルチャンネル画像復元では最 適な復元が可能でない．したがって，各色の間 の相関を考えて復元を行なうマルチチャンネル 画像復元を考える必要がある．雑音 π 復元 π
口
赤緑青H
赤緑青 復元口
／π 画像∫ 復元A
恁ｳ画像∫ 劣化 図一1：シングルチャンネル画像復元 Fig．1 Single channel image restoration．4 マルチチヤンネル復元フィルタ
劣化の際に生じる各色の間の相関を考慮した 場合，劣化過程は以下のようになる．［麗iil］一
麟㌶lii誤ii｛三劃
・［舞剰＋［§iiiiii］（1・） これに対して最適な復元を行なうためには， 復元過程も各色の間の相関を考慮したものでな ければならない（図一2）． 雑音 ／η 赤 ／π口
緑H
赤緑青口
〆η 原画像∫ 青 劣化 復元 図一2：マルチチャンネル画像復元 Fig．2 Multi channe｝image restoration． 」R＝llGR−（HRR1㌔＋HRG良〕＋HRB ＃B）ll2 ＋λllσRR良ll2 JG＝llσG・一（HGR塩＋HGG17G＋HGB1㌔）112 ＋λllσGG1㌔ll2 」B＝llσB−（HBR良＋HBG瓦＋HBB島川2 ＋λllOBB1㌔ll2 （13） 復元フィルタの伝達関数 慨」 （Zl，Z2） （i“’＝R，G，B）の具体的な式は極めて繁雑と なるので省略する．これは，進み要素，遅れ要 素を含む2次元の再帰形のフィルタである． 画像復元フィルタを再帰形で実現するために は，伝達関数のスペクトル因数分解が必要に なる．しかし，2次元の場合の伝達関数は因数 分解が一般的には可能でない．そこで，Com− bined DFT／LDE法4）を用いることによって 2次元のスペクトル因数分解を1次元の因数分 解に帰着させ，マルチチャンネル画像復元を再 帰形フィルタによって実現する． 具体的な処理手順は，以下のようになる． 1．各行毎に1次元のFFTを行なう． 9（M1，7η2） したがって，例えば，赤成分の復元画像 FR（Z1，Z2）は， Fh（・・，・2）＝WRR（・・，Z2）GR（・・，Z2） ＋WRG（Zl，Z2）GG（Zl，Z2） ＋WRB（Zl，z2）GB（z1，・2） （11） 2．各列毎に1次元のフィルタをかける． ↓↓ 9（m1，ε冷1・）一↓↓
となる．同様に，G，B成分も求まる． ここで，正則化フィルタ慨」（↓，」＝R，G，B） は，次の評価基準を最小にするように設計さ れる． J ・JR＋JG＋JB （12） f（m1，e弔1・） 3，各行毎に1次元のIFFTを行なう． ∫（m・，・η2） 図一3：実現の過程 Fig．3 Combined DFT／LDE method L観測画像g（Ml，M2）の各行毎に離散フー リエ変換をし，g（M1，♂誓12）を求める．平成7年12月 山梨大学工学部研究報告 第46号 2，9（ml，♂■2）の各列毎に1次元のフィル タをかけ，∫（m、，・ゴ辞1・）を求める． 3，∫（m、，e冷1・）の各行毎に離散逆フーリエ の 変換をし，復元画像∫（M1，M2）を求める． 使用している復元フィルタは，36次のものを 2次の縦続形で実現している． 観測画像には，SNR＝21dBとなるようにR ，G，B各色ごとに白色ガウス雑音を加える． ただし，観測画像のSNRを次式で定義する． 劣化画像の分散 SNR＝1010g ノイズの分散 （15）
5 シミュレーション結果
256×256画素24bit／pixel8のカラー画像 mandrillを用いて，マルチチャンネル画像復元 フィルタによる画像復元のシミュレーションを 行なった．劣化の特性としては，円形のぼけが 生じるものを用い，劣化の際，各色間には以下 のような相関が存在するものとする1）． H（Zl，z2）＝竃iii闇iiiii｝曇ii勤
［O．5HR（Zl，z2） O．3HR（z1，z2） O．2HR（z1，z2）O．25HG（zl，z2） O．5HG（z1，z2） 0．25HG（zl，z20．2HB（zl，z2） O、3HB（zl，z2） O，5HB（z1，z2））］ HR（Z1，Z2）は以下のインパルス応答を持っ1／9 の重みつき3×3畳み込みオペレータのz変換 である． hR（M・，M2）＝m÷i溺
HG（Zl，Z2）は以下のインパルス応答を持っ1／25 の重みつき5×5畳み込みオペレータのz変換 である． んG伽1，πL2）＝隆§曇li籔司
HB（Z1，Z2）は以下のインパルス応答を持っ1／49 の重みつき7×7畳み込みオペレータのz変換 である． んB（Ml，m2）＝ 0 0 0 0．04 0 0 0 0 0 0．04 0 0 0 0．04 0，04 0．04 0 0．04 0．04 0．04 0．04 0．04 0．04 0．04 0．04 0．04 0．04 0．04 0．04 0．04 0．04 0．04 0 0．04 0．04 0．04 0 0 0 0．04 0 0 0 0 0 O．04 0 0 0 また正則化演算子には，次式に示すラプラシ アンフィルタを用いる． 烏＝､二1：：判G＝輌μ）
マルチチャンネル復元，シングルチャンネル 復元法を用いた画像復元結果の比較を表1に 示す． 表一1：各色における平均2乗誤差（MSE） Table−1 MSE of Restored images． 赤 緑 青劣化画像のMSE
1191 586 1060 マルチチャンネル復元法 λ 0，010 0，005 0，010MSE
97 348 186 シングルチャンネル復元法 λ 1，000 0，200 0，010MSE
1182 500 693 平均2乗誤差（MSE）は，以下の式で定義さ れる． Σ㍍。Σ㍍。（∫（m・，肌・）−f（肌・Trn・））2MSE＝
N2 （16） ここで，f（m1，M2）は原画像， f（M1，m2）は 復元画像，Nは画像の大きさである、 λの値は，本来は劣化画像からλの最適値を 推定して，その推定値を用いるべきであるが， ここでは簡単のため，λを変化させながら画像 復元を繰り返して，MSEを最小にするλを求 め，そのλの値を用いて表一1のデータを計算し ている． 原画像を図4，観測画像を図5，マルチチャ ンネル復元の復元画像を図6，シングルチャン ネル復元の復元画像を図7に示す． 表一1，図4∼7よりマルチチャンネル復元は シングルチャンネル復元より優れていることが 確認できる．6 むすび
本研究では，再帰形フィルタを用いたマルチ チャンネル画像復元法を提案した．再帰形フィルタの実現にはCombined DFT／LDE法を用 いた． シングルチャンネル復元と比較することによ り，マルチチャンネル復元の方が良好な復元画 像を得ることができることをシミュレーション により確認した．
参考文献
1）N．P．Gaユatsanos，A．KKatsaggelos， R．T Chin，and A．Hillery： Two Metods fbr Least Squares Multi’chan− nel Image Restoration，Proc． of IEEE ICASSP，91，M4．9，pp．2509 −2512，May 1991． 2）N．P．Gaユatsanos，A．K．Katsaggelos， R．T Chin，and A．Hillery： Least Squares Restration Multichannel lm− ages，IEEE Trans． Signal Proce8sing ，pp．2222−2235，0ctober 1991． 3）G．Angelopouls，1．Pitas： Multi− channel Wiener Filters in Color Im− age Restoration，IEEE Trans． Signaユ Processing，pp．83−87，1994． 4）L．T．Bruton and N．R．Bartley：Appli− cation of Complex Filters to ReaユizeThree−DimensionaユCombined DFT
／LDE Transfer Functions， IEEE T｝ans． SignaユProcessing，PP．391− 394，1992， 5）A．A．Choudhury and L．T．Bruton：Multidimensional Fi1− tering Using Combined Dimensional Fourier Transfrom and Linear Dif− fe rence Equation Methods，IEEE Trans． Circuit and Systems，Vo1．37， No．2，，Feb，1990．6）S J．Reeves： OptimaユSpace＿
Varying Regularization in Iterative Image Restoration ， IEEE Trans． Image Processing ， pp．319 − 320， 1994．7）斎藤恒雄：画像処理アルゴリズム，
近代科学社，1993．8）小川英光 ： 信号と画像の復
元［1］［2｜， 電子情報通信学会 誌，Vo1．71，No．5，pp．491−497，1988； Vo1．71，No．6，pp．593−601，1988．glら成71N21］ 1．Ll梨人傍「；学部研究el−：li一 第46号 ri ．」 、．．．、燃．
