適応マスクを用いたトランケート劣化画像の ブラインド回復と応用
Blind Image Recovery of Truncated Degraded Images Using Adaptive Mask and Its Applications
2008 年 2 月
石原 信人
適応マスクを用いたトランケート劣化画像の ブラインド回復と応用
Blind Image Recovery of Truncated Degraded Images Using Adaptive Mask and Its Applications
2008 年 2 月
早稲田大学大学院 理工学研究科 物理学及応用物理学専攻 光物理工学研究
石原 信人
iii
目次
第1章 序論 1
第2章 原理 5
2.1 画像処理 . . . 5
2.2 デコンボリューションフィルター . . . 8
2.3 ブラインド・デコンボリューション . . . 9
2.4 まとめ . . . 11
第3章 最適化法 13 3.1 最適化法とは . . . 13
3.1.1 最急降下法. . . 14
3.1.2 山登り法 . . . 14
3.1.3 共役勾配法. . . 14
3.1.4 最尤法 . . . 15
3.1.5 遺伝アルゴリズム . . . 15
3.1.6 ニューラルネットワーク . . . 16
3.1.7 焼き鈍し法. . . 17
3.2 ブラインド・デコンボリューションの最適化法 . . . 17
3.2.1 フーリエ反復法(ADアルゴリズム) . . . 18
3.2.2 ゼロシート法 . . . 20
3.2.3 焼き鈍し法(SA法) . . . 21
3.2.4 ハイブリッドAD/SA法 . . . 24
3.2.5 その他のアルゴリズム . . . 25
3.3 シミュレーション . . . 25
3.3.1 原理 . . . 26
3.3.2 結果 . . . 28
3.4 まとめ . . . 29
第4章 適応マスク手法 31 4.1 従来手法のブラインド・デコンボリューションの問題点 . . . 31
4.2 トランケートが画像に及ぼす影響 . . . 32
4.2.1 写り込み . . . 33
4.2.2 にじみ出し. . . 34
4.3 適応マスク法 . . . 35
4.3.1 窓処理と適応マスク . . . 35
4.3.2 適応マスクの原理と数式化 . . . 37
4.4 適応マスクを用いたブラインド・デコンボリューション . . . 38
4.4.1 画像情報のサンプリング . . . 38
4.4.2 シミュレーション . . . 39
4.4.3 サポート領域に関する考察 . . . 55
4.4.4 実験 . . . 56
4.5 まとめ . . . 58
第5章 シフトバリアント劣化像の復元 61 5.1 シフトバリアントな劣化 . . . 61
5.2 シフトバリアント劣化像のブラインド回復 . . . 63
5.2.1 連続分割法を用いた回復 . . . 63
v
5.2.2 シミュレーション . . . 65
5.2.3 実験結果(一眼レフカメラ) . . . 72
5.2.4 実験結果(携帯電話付属カメラ) . . . 75
5.3 まとめ . . . 77
第6章 動画の復元 79 6.1 フレーム処理 . . . 79
6.2 実験. . . 81
6.2.1 実験方法 . . . 81
6.2.2 PSFの推定 . . . 82
6.3 まとめ . . . 89
第7章 結論 91
謝辞 95
参考文献 97
研究業績 103
1
第 1 章
序論
近年，携帯電話付属のカメラモジュールやカプセル型内視鏡に見られるように撮像素子 の小型化・高性能化の技術の向上が望まれている．これらの技術は撮像素子のハイテク化 に従い，撮影された画像の処理系等も複雑になってきており，高度な画像処理技術を必要 とすることが多い．しかしながら，光学系と画像処理系を同時に改善していくことは困難 な問題であり，今日盛んに研究が行われている分野ではあるが，画像処理系は光学系への 依存性が高く，デバイスごとに異なった画像処理系が必要となることが少なくない．
本論文では，画像回復においてロバスト性の高いブラインド・デコンボリューションの 手法を用いることにより，様々な光学系においてアルゴリズムを替える事無く画像を回復 するアルゴリズムを提案する．画像の劣化は一般的にはコンボリューション演算で表すこ とが出来る．ブラインド・デコンボリューション法とは，コンボリューション演算により 得られた劣化画像情報のみから物体の回復と劣化関数の推定を同時に行う逆問題として画 像処理をとらえた手法であり，元来の画像処理法では行う事が困難である劣化関数の情報 が得られない状況下において物体を回復する手法である．提案する手法の利点としては，
系を選ばずに回復が可能であると言うことから，無理に複雑な光学系を用いて画像回復に 適した画像を撮影したりすることなく，ごく簡単なモジュールで撮影された劣化画像の回 復を行うことが可能である．簡易なモジュールから撮影された劣化画像の回復を行えると
言うことは，特に先に挙げた内視鏡や携帯電話のカメラモジュールを現在よりも小型化す ることが可能となり，さらなる精密化の発展を伺えることとなる．
ブラインド・デコンボリューションを行うための基礎として，トランケートされた画像 に関しての考察が必要となってくる．本研究ではトランケートされた画像に対する前処理 として，適応マスクという手法を用いている．本手法は，画像が切り出された時に周りか ら写り込む光の影響を少なくするための手法である．一見するとあまり必要性の無さそう に見えるが，一般的に撮影されているスナップショットやビデオカメラの画像というもの はそもそもが周りからの光の写り込みが存在するものであり，その影響を無視することが 決して出来ないものである．現在までに行われているブラインド・デコンボリューション 法のシミュレーション法としては，周りが暗い物体を用いて劣化画像を作成している．ま た，劣化画像を考える際に実際に物体と劣化関数のコンボリューション演算から得られた 劣化画像を用いているために画像の縁部分に物体から漏れ出した光の情報をそのまま残し ている場合や，フーリエ面においてコンボリューション演算を行うことによりサポート領 域内で完璧なコンボリューション情報を持っている劣化像を用いている．また，実際の実 験においては，暗い実験室で撮影された画像や，天体画像などそれに準ずる劣化画像を用 いることによりトランケートによる情報の汚染や漏れを考慮に入れない系を考えているも のがほとんどである．一方で通常の劣化画像を用いて実験をしている研究に関してはその 結果としては決して芳しいものが得られているとは言えないものである．すなわち，ブラ インド・デコンボリューション法を用いた画像処理としては画像の縁，つまりトランケー トされた部分の情報を考えることが非常に重要となり，トランケートすることにより起こ る汚染・漏れを考慮に入れて処理を行う適応マスクは一般的な画像回復を行うにも必須の 技術とこの先なって来る可能性が高い．
マスク処理としては窓関数をはじめとする形の変わらないマスクに関しては研究が行わ れ，信号処理の分野では頻繁に用いられている．しかしながら，画像処理に用いるための マスク処理はほとんどが矩形窓を用いたものであり，いわゆる窓関数というものも有用な ものが存在しない．適応マスク法は信号処理における窓関数を現在の状況により変化させ
3
る手法であり，推定された劣化関数から作成されるため様々な光学系に対して適用するこ とが可能である．
本論文は，適応マスクを用いたブラインド画像回復を提案し，その応用技術として，位 置により劣化関数が変化してしまうシフトバリアントな光学系により撮影された画像の回 復，およびCCDカメラモジュールで撮影された動画の回復を試みる．
また，トランケートされた劣化画像の回復が行えるという観点から，応用技術として物 体の位置により劣化関数が変化する光学系に適応マスクを用いることにより回復を行うこ とが可能となる．情報量が多く画像全体に対して回復を行うことが困難である動画に対し ても，切り取られた画像の一部から劣化関数を推定することが可能であるため，動画への 応用も例としてあげられる．
第2章では，基本的な画像処理の手法の説明をし，第3章ではブラインド・デコンボ リューションの基本的な最適化法の例を挙げる．第4章において，本研究の肝となる動的 適応マスクについて詳しく述べ，第5章・第6章においては，シフトバリアントな光学系 で撮影された劣化画像の回復と動的適応マスクの適用例として動画への応用について記述 する．第7章では，動的適応マスクを用いた画像処理のシミュレーション・実験結果をま とめ，本研究の総括を行う．
5
第 2 章
原理
2.1 画像処理
人間の得られる情報の中で80%〜90%を占めているのが視覚情報と言われている．画 像処理は，視覚情報で得られる情報の1つである画像を様々な状況に応じて処置を施す 手法である．デジタルカメラを例に挙げると液晶モニターに映し出される画像はエッジ強 調処理や明るさ・ヒストグラムの補正を施した画像であるし，オートフォーカスにおける エッジ検出処理，顔画像認証のために行う前処理やノイズの低減処理，画像を保存する際 の圧縮処理と言った様々な箇所でその場に応じて全く違った過程から成り立つ画像処理が 行われている．
これらのデジタル画像処理における画像は，圧縮方式によるファイル自体の記述に違い はあるものの，主に2種類の方法で表現される．1つ目の手法は画像のピクセルをそのま ま行列の要素として表現する手法である．多くの場合，加法三原色RGBを基準とした3 要素に分けて表現される．画像の1ピクセルに対して，三原色各々の強度情報をそれぞれ 指定する手法である．2つ目の手法は画像そのものではなく画像の持つ空間周波数で表し たものである．この手法は，座標(x, y)の各色要素の強度分布に対して，(u, v)を空間周
波数とおいたとき，
F(u, v) =F[f(x, y)](u, v)
= Z ∞
−∞
f(x, y)e−iux−ivydxdy, (2.1)
という変換を行ったものであり，この変換をフーリエ変換(Fourier transform) と呼ぶ
[1, 2]．*1物体空間からフーリエ変換を行い，扱う変数が空間周波数に変換されることによ
り画像そのものの形ではなく画像の性質を知る事が可能となる．また，式2.1からわかる とおり，複素数となってしまうため関数の値としては物体空間における値に比べると扱い が複雑になる反面，コンボリューション定理(重畳定理)と呼ばれる式変形が可能である ため，デジタル画像処理における重要性は非常に高いものとなっている．コンボリュー ション定理とは，簡単のため1変数で表すと，
F[f∗h] = Z Z
f(x0)h(x−x0)dx0e−iωxdx
= Z Z
f(x0)e−iωx0×h(x−x0)e−iω(x−x0)dx0d(x−x0)
= Z
f(x0)e−iωx0dx0 Z
h(x−x0)e−iω(x−x0)d(x−x0)
=F(ω)H(ω), (2.2)
という関係式である．2変数の場合においても全く同様に式変形することが可能である．
画像の表現手法は大体上記に挙げたとおりである．本研究における画像処理は画像処理 の中でも画像回復・画像再構成と言われるものであり，これは見えづらくなった劣化画像 を人間の目により見やすくするため，または機械的に画像認識などの処理を行いやすくす るために回復画像を求める手法である．現在アプリケーションとして使われることが多い アルゴリズムとして，ルーシー[3]・リチャードソン[4]法がある．
一般的に劣化画像g(x, y) は次の式の様に物体f(x, y)と劣化関数(以下PSF：Point
*11次のフーリエ変換は通信における信号処理や音響解析などに用いられるものであり，この時は変数とし
てω= 2πνと行った周波数や角振動数が用いられる．
2.1 画像処理 7
spread functionと記述する)h(x, y)の畳み込み積分の形で表すことが出来る．
g(x, y) =h(x, y)∗f(x, y) +n(x, y),
= Z
h(x0, y0)f(x−x0, y−y0)dx0dy0+n(x, y). (2.3)
演算子∗はコンボリューションを，n(x, y)は加算ノイズを表す．式 2.3の両辺をフーリ エ変換すると，式2.2より
G(u, v) =H(u, v)F(u, v) +N(u, v), (2.4)
となる．ここで，G, H, F, N はそれぞれ劣化画像，劣化関数，物体，加算ノイズをフーリ エ変換したもの，(u, v)は空間周波数を表す．一般的に画像処理と呼ばれるものは式2.3 または式2.4で表現されている行列gまたはGにフィルター処理を施すものである[5]． 先ほど挙げた物体空間における劣化像が式2.3，周波数空間における劣化像が式2.4で表 されるものである．
例として，微分フィルターであるラプラシアンフィルターやソーベルフィルターと言っ たフィルター[6]の多くは式2.3の両辺に3×3もしくは5×5の簡単な行列を畳み込み 積分することによりエッジの画像を得るフィルターである．対して，ノイズ除去として広 く用いられている積分フィルターであるガウシアンフィルターやローパスフィルター等の 処理は式2.4で表されている周波数空間で行われることが多い．これら画像表現手法の違 いは，計算のコスト面，表現のわかりやすさ等の理由から使いわけがされているためであ り，本質的な違いは存在しない．
上記に挙げたフィルター例は，ごく簡単なフィルターである．ラプラシアンフィルター やソーベルフィルターは形には多少相違はあるものの，関数としてはどんな状況で用いる ものにしてもほぼ同じ関数の形になる．また，ガウシアンフィルターはサポートサイズが その大きな相違点になるが，パラメーターとしてはガウシアン分布の分散のみでそのほと んどの特性が決まってしまうフィルターであり，ノイズ減少のフィルターや，ボケフィル ターとしては非常に簡単に表すことが可能で，フーリエ変換しても関数の形が変わらない ことから多く用いられる．しかしながらこれらのフィルターはロバストな画像回復手法と
しては用いる事が困難である．
2.2 デコンボリューションフィルター
そこで考えられたのがインバースフィルターやウィーナーフィルターと呼ばれるデコン ボリューションフィルター[7]である．まず式2.4においてノイズが無視できる状況を考 える．このとき以下の様に式変形することが出来る．
F(u, v) = G(u, v)
H(u, v). (2.5)
*2式2.5で表されるフィルター処理がインバースフィルターと呼ばれる処理である．PSF が事前に測定できている状況や，PSFの推測が容易に可能であるときに用いられるフィ ルター処理であり，簡易な形ながらも良い精度での回復を行うことが可能である．その特 性から，画像回復を行いたい光学系と同じ光学系を用いて事前に各位置でのPSFを測定 してしまうフィルターバンク手法に用いられることが多い．また，H(u, v) = 0となって しまう成分の事を考慮し，少ないながらもノイズレベルを設定し，
F(u, v) = G(u, v)
H(u, v) +α, (2.6)
と，ノイズパラメーターα(¿1)を分母に入れてしまう疑似インバースフィルターも広く 用いられているものである．
劣化画像のS/Nが比較的低い場合には，こちらのインバースフィルターを用いること が不可能であり，インバースフィルターにノイズの影響の項を加えたフィルターがウィー ナーフィルターと呼ばれるものである．式2.4を以下のように変形する．
G(u, v) =
·
H(u, v) +N(u, v) F(u, v)
¸
F(u, v), (2.7)
F(u, v) = G(u, v)
H(u, v) + Γ(u, v). (2.8)
*2この表現方法であると，行列同士の除算になり正確に定義することができないため，本来は，
F(u, v) = G(u, v)H∗(u, v)
|H(u, v)|2
と記述するべきであるが，本論文中では理解のしやすさを考慮し，式2.5のような記述法を用いる．
2.3 ブラインド・デコンボリューション 9
ここで，
Γ(u, v) = N(u, v)
F(u, v), (2.9)
である．Γというノイズの項を考慮に入れることにより，式2.6と式2.8の違いが大きく 出てきている分，ノイズの効果も同時に考えなくてはならなくなってくる．ノイズ効果の 項としてはベイズ理論を用いた統計的な分布を仮定し，劣化画像から求められたものを 使うのが広く行われている手法となっている．光学系の情報が得られる場合においては，
ウィーナーフィルターが最も効果的かつ簡単な手法のひとつである．
しかしながら，インバースフィルター・ウィーナーフィルターどちらにしても事前に光 学系の情報または劣化関数の情報が必要となってくる．一般的に撮像光学系を事前に知る ことは困難であり，たとえ光学系の情報が手元に合ったとしても，温度変化による空気の 揺らぎ等により光学系が少しでも変化してしまうと上記のようなデコンボリューション フィルターはそのままの形で用いることが不可能になってしまうという欠点もある．
そこで考えられたのがブラインド・デコンボリューション法である．
2.3 ブラインド・デコンボリューション
ブラインド・デコンボリューション法とは，式2.3に示されている中で，劣化画像g(x, y) の情報のみから物体を回復させようと言う方法である．式の形を見ればわかるとおり，い わゆる不良設定問題であり，簡単に解くことは不可能である．そこで必要になってくるの が様々な最適化法であるが，こちらの紹介は次の章で行う．図2.1にブラインド・デコン ボリューション法の大まかなイメージを示した．
本節では，ブラインド・デコンボリューションが何故必要になってくるのかを述べる．
まず，ブラインド・デコンボリューションの効果的な箇所としてあげられるのが，劣化画 像の情報とアプリオリな情報のみから物体の回復が行えるという点である．一般的に撮影 された劣化画像情報というものは，PSFの情報や，劣化した系の情報を直接知ることが困 難であるため，それらの情報が必要でないブラインド・デコンボリューション法が如何に
Object
PSF
Degraded image Convolution
Blind deconvolution
図2.1 画像のコンボリューションとブラインド・デコンボリューションの関係．
効果的な手法であるかが伺える．アプリオリな情報として必要なものは単純なもので，
1. 画像を構成している成分は強度分布に依るものであるので，負値を持たない．
2. 物体・PSFは有限の空間内に存在する．
という二点のみである．すなわち，必要になる情報は劣化画像のみとなり，他の情報が一 切不必要であることがわかる．言い換えると，極簡単なレンズと撮像素子だけの光学系は もちろん，ダブレットで構成されている単純な天体望遠鏡から複雑なレンズ系を組み込ん でいる一眼レフカメラ，実験室で撮影されたCCDの画像から何気なく撮影されたスナッ プショットまでを同じアルゴリズムを用いて画像回復処理を行うことが可能であることが ブラインド・デコンボリューションの優れたところである．
一見，情報が少なすぎて不可能であると思われるが，劣化画像が物体とPSFのコンボ リューションで表すことが出来るのであれば，ゼロ・シートの考え方を用いることにより 解が唯一の組として存在することをLaneとBatesが数学的に検証・証明している[5, 8]．
2.4 まとめ 11
Laneらはz変換*3した空間内で2次元の行列が唯一の形で因数分解されるという数学的 事実を用いてデコンボリューションを成功させた．
Laneらによってコンボリューションによって合成された劣化画像が唯一の物体とPSF の組に復元できることが示されているので，ブラインド・デコンボリューションの有効性 が示されたと言うことになる．
2.4 まとめ
基本的な画像の表現手法とフィルター手法を挙げた．
フィルター手法としては，物体空間におけるフィルタリング・周波数空間におけるフィ ルタリング，コンボリューションフィルターとデコンボリューションフィルターがあり，
各々場合に応じて用いられる事を述べた．
またデコンボリューションは劣化関数が既知である場合に非常に有用な手法である事を 確かめた．デコンボリューション法の一種にブラインド・デコンボリューション法があ り，劣化関数PSFが未知である時に用いられる，劣化画像情報とアプリオリな情報から 得られる拘束条件から回復物体を求める手法である．
*3ベクトルを多項式で表す方法の一つである．画像である2次元の行列は2変数の多項式に変換される．
例えば，n×nピクセルのサイズを持つ画像は，2元n2次方程式として表される．
13
第 3 章
最適化法
この章ではブラインド・デコンボリューションの最適化法についていくつか記述する．
3.1 最適化法とは
巡回セールスマン問題(Traveling salesman problem: TSP)と呼ばれるNP困難な問 題がある．この問題は，n都市が存在し，どの2都市間の距離も定義されているとき，あ る都市からスタートして全ての都市を周り終えるまでに移動する距離を最小にする，とい う問題である．実際に全ての場合を列挙して解くことも不可能ではないが，都市の数が増 えるに従って実時間で解くことが困難になってくる問題である．さらに，「全ての場合を 列挙する」と言うことは明らかに解にはなり得ない場合の経路も考える事になってきて，
コストは膨大なものとなる．TSPにおいて厳密な答えを求めようと思えば，ある種のア ルゴリズムを用いて求めることは可能である．しかしながら，厳密な解ではなくとも経路 がなるべく少なくなるようにする解を求めたいときや，時間的コストをかけられないと き，もしくは実時間内で解く事が不可能であるときには，別のアルゴリズムが必要となっ てくる．
そこで用いられるのが最適化法と呼ばれるアルゴリズムである．言い換えると，厳密な 解を解く必要が無い，もしくは厳密な解を求めるのが困難である時に用いられる手法であ
り，いわゆるヒューリスティックアルゴリズムと呼ばれるものである．例えば，一元方程 式の解を求める際に使われるニュートン法なども最適化アルゴリズムの一つと言える．こ こで，いくつか最適化アルゴリズムの例を挙げていく．
3.1.1 最急降下法
Steepest descent method
評価関数の傾きを求め，変数を変化させることにより一番評価関数の値が小さくなる方 向，すなわち評価関数の勾配(grad)が一番小さくなる変位を与えることにより，評価関 数を減少させていく方法．ある地点にボールをおいて転がし，ボールが止まったところを 最小値と見る手法．計算におけるコストが関数の勾配を求めることのみであるので，解を 得るまでの時間が非常に短い．一方で，単純に勾配の最小値だけを取ることになるので極 値の周辺からシミュレーションを始めてしまうと必ず極小値に陥ってしまうため，局所解 に陥る可能性が非常に高い．
3.1.2 山登り法
Hill climbing method : HC
山登りをするときに自分の周囲で常に一番高くなる方向へ進む事をモデル化した手法．現 在の解の近傍のから評価関数が一番小さくなるところを次の解とする方法．局所探索法の 最も単純なものとして知られる．こちらの手法に関しても，極値において必ず収束してし まうため局所解に陥る可能性が高い．
3.1.3 共役勾配法
Conjugate gradient method : CG[9, 10]
最急降下法を改良した手法．単純にポテンシャルが小さくなる方向ではなく，現在までの 修正ベクトルと共役になる方向へ変数を変化させる手法．最急降下法よりも計算の効率が
3.1 最適化法とは 15
高く，連立一次方程式の解法として良く使用されるもの．正確な解に収束するためにはあ る程度の前処理を必要とするものがあり，前処理付き共役勾配法と呼ばれる．解が存在す るときには確実にベクトルの次元回の計算を繰り返すことにより解に収束することが出 来る．
3.1.4 最尤法
Maximum likelihood estimation : MLE[11]
最尤推定法とも呼ばれる．ベイズ理論に乗っ取り，”最も尤もらしい値”を，与えられた データが従う確率分布の母数として求める手法．20世紀初期の頃に統計学者ロナルド・
フィッシャーにより考案された．元々統計学の考えを基にしているため，上記に挙げたア ルゴリズムと違い正確な答えを得る事には決して向いているアルゴリズムではないが，よ り複雑な系を考える必要がある時には非常に有効なアルゴリズムである．非常に古いアル ゴリズムでありながら，今なお画像処理の分野では非常に良く用いられている優れた手法 である．
3.1.5 遺伝アルゴリズム
Genetic algorithm : GA[12, 13]
自然界の動植物の遺伝子を解の候補と見立てて，遺伝子がより良い状況へと進化するのに 模倣しているアルゴリズムで，求めているものの大まかな関数を知るためには非常に高速 なアルゴリズム．解の候補として，固体を複数個用意し，適応度の高い固体を優先的に選 択，交差，突然変異の操作を繰り返すことにより解を探索する．選択・交差により遺伝子 の情報を改良していくが，選択・交差を続けると全ての遺伝子の情報が似たような情報と なってしまい，局所解に陥ってしまう．そこで，遺伝子に突然変異を起こすことにより，
局所解に陥る可能性を低くしている．比較的高速で局所解に陥りにくいアルゴリズムであ り，進化アルゴリズムの根幹を為すアルゴリズムとして広く研究が行われている．
3.1.6 ニューラルネットワーク
Neural network : NN[13, 14]
生物の脳機能に見られる特性をシミュレーションによって表現することを目指した数学モ デルで，シナプスの結合によりネットワークを形成した神経細胞が学習によってシナプス の結合強度を変化させる様子をモデル化した物である．ニューラルネットワークは大きく 分けて2つの手法があり，教師あり学習と教師なし学習がある．パターン認識などの目的 とするものが事前にわかっている場合は教師あり学習によりシナプスとニューロンが形成 される．一方でデータの分類やデータマイニングには教師なし学習が用いられる．計算量 は比較的少なく，良好な解を得られる事が多いため今日では様々なニューラルネットワー クの手法が確立されている．盛んに研究がされ始めたのは1980年代後半と最近のアルゴ リズムだと思われがちではあるが，比較的歴史は古く1960年代から研究されていた痕跡 も残っている．
また，手法としては教師の有り・無しを別として大きく3つに分けられる．
・フィードフォワードニューラルネットワーク
一番初期に考案されたニューラルネットワーク手法で，入力層→中間層→出力層と言った 様に単方向への刺激が与えられるニューラルネットワークであり，画像認識や認証の分野 において広く用いられている．自己組織化マップ[15, 16]やパーセプトロン[17]がこの 手法に含まれる．
・フィードバックニューラルネットワーク
フィードフォワードと違い双方向への刺激が存在するニューラルネットワーク．全ての ノードが結合しているものを全結合フィードバックニューラルネットワークと呼ぶ．ホッ プフィールド型ニューラルネットワーク[18]が代表的なものであり，画像回復手法に用い られることが多い．
3.2 ブラインド・デコンボリューションの最適化法 17
・確率的ニューラルネット
モンテカルロ法[19]などのような確率的な刺激を与えたニューラルネットワーク．下記 に述べる焼き鈍し法もその1つと言える．ボルツマンマシン[20]がその代表例．
3.1.7 焼き鈍し法
Simulated annealing algorithm : SA[21]
金属を加工する際に，熱した後で徐々に冷やすことにより結晶を成長させ，中の不純物を 取り除いたり，結晶構造を整然なものにして欠陥を減らす作業のことを焼き鈍しという．
この成長過程をモデリングした物がSA法である．解を求めるための繰り返し計算の中で 温度パラメーター T を導入し，変数のグローバルな動きを可能とした，局所解に陥る状 況を作らないアルゴリズム．最初に T を高く設定しておくことにより局所解から抜け出 す事を容易にする．そして徐々にT を下げて行くことにより，解に収束していく事にな る．具体的な手法としては次の節で実際に挙げるが，上記NNの中の考え方であるボルツ マンマシンや，メトロポリス・モンテカルロ法の考え方に基づいたアルゴリズムである．
SA法がその性質から非常に時間的なコストが高いにも関わらず画像処理や光学と言った 研究分野だけではなく，より広い研究分野において応用されている理由は，温度パラメー ターの減少速度を無限小，メトロポリス・モンテカルロ課程を繰り返す回数を無限大にす ることにより正確に厳密解にたどり着くことが証明されているからであり，これらのパラ メーターを緩和することによるエラーの増幅も他の手法と比べて小さいためである．
3.2 ブラインド・デコンボリューションの最適化法
さて，実際にアルゴリズムをいくつか挙げてきたが，中からブラインド・デコンボリュー ションに実際に適用したものの中から，第４章以降のシミュレーション・実験において実 際に用いているアルゴリズムについて紹介する．
3.2.1 フーリエ反復法 (AD アルゴリズム )
フーリエ反復法は位相回復法[22]の一つとして良く知られる手法である．位相回復手 法における代表例は，エラーリダクション法や，ハイブリッドインプットアウトプット法 などがあり，これらの手法は物体空間と周波数空間でそれぞれ補正を行っていくという方 法である．
Satisfy function constraints
Satisfy Fourier constraints
g’
g Fourier transform |G|eiϕ
|G’ |eiϕ Inverse
Fourier transform
図3.1 位相回復におけるエラーリダクション法．物空間と周波数空間におけるそれぞ れの拘束条件を別々にかけることにより，弱位相物体の位相を求める手法．強度情報を 物空間，位相情報を周波数空間においてそれぞれ拘束条件を与えることにより位相を回 復する．
例としてエラーリダクション法のブロック図を図3.1に示す．推定像gをフーリエ変換 し，得られたGの強度情報へサポート外領域についての拘束条件を加え，G0に更新する．
その上でG0を逆フーリエ変換することによりフーリエ空間で拘束条件を与えた物体空間 での像を得ることが出来る．得られた推定像は負値を含むため，負値をなくすor軽減す る拘束条件を物体空間で与え，次の推定像gを得る．そして次のイタレーションへと移る 作業を繰り返すことにより，Gにおける正しい位相φを得るという手法である．
3.2 ブラインド・デコンボリューションの最適化法 19
フーリエ反復法をブラインド・デコンボリューションへ取り入れたのがAyersとDainty である[23, 24]．AyersとDaintyはフーリエ反復法においての物体空間での非負拘束条 件のかけやすさ，フーリエ空間におけるデコンボリューションの容易さに着目し，ブライ ンド・デコンボリューションへの応用を行った．
Satisfy non-negative
constraint for h
h’
h
Fourier transform
Inverse Fourier transform
Satisfy non-negative
constraint for f F’ =G/H
H’ =G/F Fourier transform Inverse Fourier transform
f’
f Feedforward
図3.2 AyersとDaintyによって提唱されたフーリエ反復法を用いたブラインド・デ コンボリューション法(AD法)．物体f とPSFhの非負拘束条件を物空間で別々にか けることにより物体およびPSFを求める手法．
まず，入力された劣化像gに対し，適当なPSFの初期推定像h0を入力する．h0はフー リエ変換され，式2.5により物体のフーリエ像F0を得る．F0は逆フーリエ変換され，物 体空間での推定物体f0が求められる．ここで得られたf0は本来物体像が持つはずのない 負値を情報として持っているため，負値を減らすor無くすような拘束条件をかけること により，負値が減少したor存在しない推定像f を得る．hに関しても同じような処理を 施し，フーリエ変換，デコンボリューション，逆フーリエ変換，拘束条件を適用と繰り返 すことにより，推定PSF hを得る．この一連の操作を繰り返すのがADアルゴリズムと 呼ばれている手法である．途中に存在するフィードフォワードパラメーターは，f および hの補正が前のイタレーションにおける関数とあまりに大きくかわらなくするようにする
ための補正値であり，F0とF，H0とHをそれぞれある割合で混合するためのパラメー ターである．
説明を見てわかるとおり，ADアルゴリズムはフーリエ変換と逆フーリエ変換，フーリ エ空間内での単純な割り算，そして極簡単な拘束条件を適用すると言う非常に単純な計算 の繰り返しであるので，その計算コストは低く，非常に高速で解を得られるアルゴリズム になっている．その反面，解の収束性は保証されているものではないので，解の信頼性に 関しては高いとは言えない．しかしながら，その高速性は他の多々あるブラインド・デコ ンボリューションのアルゴリズムの中では群を抜くものになっており，広く使用されてい るアルゴリズムでもある．
本手法は2人の頭文字をとって一般的にADアルゴリズムと呼ばれている．
また，フーリエ反復法を用いたブラインド・デコンボリューション法は他にも研究され ており，先ほど例にだしたエラーリダクション法とハイブリッドインプットアウトプット 法を用い，画像の強度分布とフーリエ空間内での位相を同時に扱う様な違う観点から用い たブラインド・デコンボリューション法も存在する[25]．
3.2.2 ゼロシート法
ゼロシート法[5, 8, 26]とは，z変換を基にしたブラインド・デコンボリューション法 である．他の手法が逆問題として最適化法を用いて近似解を求めるのに対し，ゼロシート 法は唯一確実な解を求める手法として知られている．
z変換[27]とは，信号処理に用いられる変換法の1つであり，f(x, y)を画像情報とし たときに
F(u, v) = X∞
m=0
X∞
n=0
f(xm, yn)u−mv−n, (3.1)
とする変換である．ここで(xm, yn)は(x, y)を離散化表現したものである．形を見てわ かるとおり，x, yのサンプリング間隔をtとしたときx=xm=mt, y=yn=ntとなる
3.2 ブラインド・デコンボリューションの最適化法 21
ため，u=eiξt, v =eiηtと置換する事によりt→ 0としたときにフーリエ変換そのもの の式となる．
さて，画像の性質として，サポート領域が有限(N ×N)である事と画像情報が2次元 であるが必要となってくる．このとき，画像のz変換は
F(u, v) = XN
x=1
XN
y=1
f(x, y)uxvy, (3.2)
と書くことが出来る．このとき劣化像gのz変換Gは，
G(u, v) =F(u, v)·H(u, v), (3.3)
と表される．ここで2変数の多項式が実数体上において因数分解出来るときには唯一の2 つの多項式の積に分離することが出来ると言う数学的性質を用いてブラインド・デコンボ リューションを行うのがゼロシート法である．実際の過程としてはG(u, v) = 0になる点 を4次元空間内でプロットしていき，プロットした曲面がなめらかな 2つの閉曲面とな るように分離をしていく．4次元空間を用いると言うことで計算が非常に複雑になり，ま た物体のサポート領域が広がるに従って指数関数的に考えなくてはいけない変数が増加し てしまうために計算コストが非常に高くなってしまう弱点がある．さらに，ノイズが乗っ てしまうと本来なめらかである閉曲面同士の交わっている部分においてなめらかでは無く なってしまうために分離が難しくなってしまうと言う短所もある．ただし，それをさしお いても正確な解を得られるという点から，ゼロシート以上のブラインド・デコンボリュー ション法は存在しないと言っても良い．
また，位相回復の分野へゼロシート法を応用する研究もなされている[28]．
3.2.3 焼き鈍し法 (SA 法 )
前節で述べたSA法をブラインド・デコンボリューションに適用する[29]．まずSA法 の説明で述べられていたメトロポリス・モンテカルロ法について説明をする．
モンテカルロ法[19]とは，物質中の中性子の運動を測定するためにジョン・フォン・ノ イマンにより考案された手法であり，数値計算する段階において乱数を用いて行う手法で ある．例えば，ある領域(Region of interest : ROI)の面積を求めたいときにシンプソン 法や台形近似，三角近似などを良く行う．これに対してモンテカルロ法では，ROIを丸ご と含んでしまうような面積S である領域を準備し，その中に無数の点を乱数によりn点 打点する．打点された中から，ROIに含まれた点の数mを測定する．nが十分に大きい ときには，乱数が一様であるならば確率的にROIの面積はmS/nになるというのがモン テカルロ法による面積の求め方である．感覚的にもわかるとおり，nが大きくなるほど測 定精度は向上する．
一方メトロポリス法[30]とは，モンテカルロ法によって得られた結果を受け入れる際の 確率を考慮する手法である．系のエネルギーをEとし，モンテカルロ法によりE がdE だけ変化するとしたときに，
dE ≤0, (3.4)
である(エネルギーが減少した)状態であればモンテカルロシミュレーションによる数値 の変化を100%の確率で受け入る．もし，
dE >0, (3.5)
である(エネルギーが増加した)時は，
p= exp µ
− dE kBT
¶
, (3.6)
と言う確率に従いモンテカルロシミュレーションの数値の変化を受け入れるような手法を 言う．ここで，T は系の温度，kB はボルツマン定数を表す．また，ここで現れた受け入 れ確率にボルツマン分布を用いている事から，一連の流れをボルツマンマシンと呼ぶ．例 えば，ホップフィールド型ニューラルネットワークにボルツマンマシンを組み込むことに より，学習がスムーズに行くことが知られている．
ボルツマンマシンにおいてdE <0における受け入れ確率pは温度で左右されることに なるが，最初に系のエネルギーと温度を高く設定しておき，徐々に温度を下げることによ
3.2 ブラインド・デコンボリューションの最適化法 23
り金属における結晶をきれいに並べ不純物を取り除く過程に見立てた数値解析法をシミュ レーテッドアニーリング法(焼き鈍し法)と呼ぶ．
ここで，SA法をブラインド・デコンボリューションに適用する[29]ことを考えてみる．
以下にブロック図を示す．
䊝䊮䊁䉦䊦䊨ᴺ䈮䉋䉍
fࠍᄌൻ
g’ =f㧖h E=||g’ 㨺g||
䊜䊃䊨䊘䊥䉴ᴺ䈮䉋䉍
fࠍᦝᣂ
䊝䊮䊁䉦䊦䊨ᴺ䈮䉋䉍
hࠍᄌൻ
g’ =f㧖h E=||g’ 㨺g||
䊜䊃䊨䊘䊥䉴ᴺ䈮䉋䉍
hࠍᦝᣂ
䊗䊦䉿䊙䊮䊙䉲䊮䈱࿁ᢙ䈏 ⷙቯ࿁ᢙ䈮㆐䈚䈢䋿
᷷ᐲᦝᣂ࿁ᢙ䈏 ⷙቯ࿁ᢙ䈮㆐䈚䈢䋿
㫆㫉
䉣䊈䊦䉩䊷୯䈏 චಽ䈮ਅ䈏䈦䈢䋿
᷷ᐲᦝᣂ
ജ䋧ᓳర⚳ੌ
no
no
yes
yes
図3.3 焼き鈍し法を用いたブラインド・デコンボリューション法．Eは最適化の評価 関数である．図の中では単純なノルムとなっているが，系のエネルギーと増減が同じに なり得るものであればどんな形でもかまわない．
まず，初期予想物体と初期予想PSFを用いてg0をコンボリューションにより作成し，
エネルギーの初期値をE =kg0−gkとして，画像復元を開始する．初期予想物体f に対 してモンテカルロシミュレーションを行うことによりf の関数を少し変化させる．具体
的には，fの乱数によってピクセルを抽出する．抽出されたピクセルの値を乱数により少 し変化させる．このとき，変化量も温度関数依存にすることにより，温度パラメーターが 高い時点に収束速度を上げることが可能である．次に，変化したf と，前のイタレーショ ンから求められているhをコンボリューションすることにより，現段階での予想劣化像 g0，さらにそれを基にエネルギーEを求める．現エネルギー値 Eと前段階のエネルギー 値から，エネルギーの差dEを求め，それを基にメトロポリス法に従いf の更新をする．
PSFhに対しても同様の作業を繰り返す．
hの更新が終了したら，ボルツマンマシンの回数が同一温度の状態で規定回数繰り返さ れたかどうかを判定し，繰り返し回数が足りないようであれば温度を変えずにもう一度f の更新から繰り返す．ボルツマンマシン過程を繰り返した回数が十分であるのならば，次 に温度の更新回数およびエネルギー値の確認を行う．温度の更新回数が規定回数に達して いなかったり，エネルギー値が終了判定エネルギー値よりも高かった場合には，温度更新 を行った上でボルツマンマシン過程に戻る．温度の更新回数が規定回数に達するか，エネ ルギー値が十分小さいと見なされたときには，解析を終了し結果を出力する．
以上がSA法を用いたブラインド・デコンボリューションの手順となる．
上記ではf，hを更新する際にランダムにピクセルを抽出して行うと記述したが，解析 の初期のうちはピクセルの抽出はせずに全てのピクセルに対してボルツマンマシン過程を 繰り返した方が収束の速度は上がる．
ADアルゴリズムと比べ，１ピクセルごとに作業を行う必要があるため非常に解析に時 間がかかるが１ピクセルごとに少量ずつ変化を繰り返して最適化を行っているので安定し た収束性と高精度な推定を得ることができる．
3.2.4 ハイブリッド AD/SA 法
そこで，上記に挙げた二つのアルゴリズム，AD法とSA法をハイブリッドしたアルゴ リズムを考える．ADアルゴリズムは解の収束性が保証されていない一方で，非常に高速
3.3 シミュレーション 25
に近似解を得ることが出来ることから，物体の大体の形を得るために計算の初期に導入し ている．一方で，SA法を用いるのは，大体の物体の形を得ることが出来た後，より正確 な解を得るために用いている．これは前節においても説明したが，SA法は解の収束性が パラメーターによりある程度保証されているためである．
この手法は，SA法の高速にある程度の復元を得られる利点とSA法のより精度の高い 復元を得られる利点を併せ持ったアルゴリズムである．手順としては，ADアルゴリズム を最初に劣化画像に適用し，まずは大体の物体とPSFの関数を推定する．その後，SA法 の初期予想としてADアルゴリズムで得られた物体とPSFを代入することにより，高速 かつ安定した収束性を得ることの出来るアルゴリズムを考えることが出来る．
本論文では4章以降ではブラインド・デコンボリューション法として，ハイブリッド
AD/SA法を用いることとする．
3.2.5 その他のアルゴリズム
他のアルゴリズムの例としては，現在MATLABのImage processing toolboxでも採 用されている方法である最尤法[31, 32]，ウェーブレット変換を用いたもの[33, 34]，ホッ プフィールドニューラルネットワーク[35, 36, 37]，遺伝アルゴリズム[38, 39]，ハイブ
リッドGA/SA[40]，遺伝アルゴリズムを改良した免疫アルゴリズムよる最適化[41]など，
多岐にわたる研究が活発になされている．最近ではイタレーションのない最適化法[42]
も考案されているが，こちらは解析時間はほぼ単純なフィルター処理のみなので非常に高 速ではあるが，得られた回復像には擬像や負値が多く含まれていることもあり，これから のさらなる研究を望まれる分野である．
3.3 シミュレーション
ここで実際にブラインド・デコンボリューション法を用いて画像を回復する．前章に挙 げられたうち，ホップフィールドニューラルネットワークを基にしたボルツマンマシンを
用いたブラインド・デコンボリューション法を例としてシミュレーション結果を示す．
3.3.1 原理
ホップフィールドニューラルネットワーク(HNN)は相互結合型のニューラルネット ワークであり，ユニットの更新によりネットワークが平衡状態に達するアルゴリズムで ある．
iニューロンからjニューロンへの結合定数をTij とすると，Tij =Tji 6= 0を満たす ネットワークである．iニューロンの出力は他のニューロンからの出力νj の総和とバイ アス入力Iiから，k+ 1回目のイタレーションの出力νi(k+ 1)は，
input(i) = Xn
i
Tjiνj(k) +Ii, (3.7)
νi(k+ 1) =
1 (input(i)>0) νi(k) (input(i) = 0) 0 (input(i)<0)
, (3.8)
となる．ここでnはニューロンの数とする．HNNの各状態におけるエネルギーは，
E=−1 2
Xn
i
Xn
j
Tijνiνj − Xn
i
Iiνi, (3.9)
により表現される．
劣化像g，物体f をベクトル表示し，PSFを畳み込み行列Hにより表現したとき，劣 化像を基準とした現在の推定像・PSFのエネルギーは以下の式で表すことが出来る．
E = 1
2kHf −gk2. (3.10)
物体のサポート領域をN ×N として式3.10を計算すると，
E= 1 2
N2
X
l=1
gl−
N2
X
m=1
hl,mfm
2
, (3.11)
となる．ただし，hl,iは物体fiが劣化像gl に与えるインパルス応答とする．ここで fi=
Xn
k=1
νi,k, (3.12)
3.3 シミュレーション 27
Convolution
図3.4 ブラインド・デコンボリューションのシミュレーションに用いる画像．左側の 2つをコンボリューションすることにより右側の劣化像を作成し，求められた劣化像か ら左側の2つの画像を得ることを目的とする．
と表されることを考えると，式3.9と式3.12を比較することにより，
Tij =−X
l
hl,ihl,j, (3.13)
Ii=X
l
glhl,i, (3.14)
とすれば良いことがわかる．
HNNでは基本的に発火するかしないかだけで考えられてしまうので，出力として νi(k+ 1) = 1
1 + exp(−input(i)), (3.15)
のシグモイド関数を用いてこの値を画素の値として出力する．また，HNNではエネル ギー値が減少する方へしか更新は受け入れられないため，局所解に陥る可能性が出てきて しまう．そこで，更新時にはメトロポリス法を用いてある程度のエネルギー上昇を受け入 れるようにする．物体の推定が終わったらPSFの推定へ移る．物体とPSFの推定を何 回か繰り返すことによりシミュレーションを行う．
図3.5 ボルツマンマシンを用いて行ったブラインド・デコンボリューション法のシ ミュレーション結果．図3.4の劣化像情報から，2つのコンボリューションの要素を求 めた．
図3.6 ボルツマンマシンを用いて行ったブラインド・デコンボリューション法のシ ミュレーション結果．図3.4の劣化像に15%の加算ガウシアンノイズを乗せた劣化像 から，2つのコンボリューションの要素を求めた．
3.3.2 結果
シミュレーションに用いた物体，PSFを図3.4に示す．ボルツマンマシンを用いて行っ たシミュレーションの結果が図3.5である．また，15%のガウシアンノイズを乗せた劣化 像から得られた結果を図3.6に示す．ノイズが乗っているため，回復像にもノイズが乗っ てしまっているが，元の図形がくっきりと見えるのがわかる．
3.4 まとめ 29
3.4 まとめ
一般的な不良設定問題の最適化法から画像処理における最適化法のうち代表的なものを 紹介した．画像回復アルゴリズムに用いられる最適化法からいくつか例をあげ，ブライン ド・デコンボリューション法への応用として一般的に用いられているアルゴリズムについ て，その手法と考察を第2節においてまとめた．また第3節では，実際のブラインド・デ コンボリューション法として第2節で例として挙げたボルツマンマシンの手法を用いてシ ミュレーションを行った．
第3節の結果から非常に複雑な不良設定問題であるブラインド・デコンボリューション 法を用いた劣化画像回復の可能性と，その有効性を実証した．
31
第 4 章
適応マスク手法
4.1 従来手法のブラインド・デコンボリューションの問題点
前章では様々な最適化法とブラインド・デコンボリューションにおける代表的な最適化 法を挙げ，多くの参考文献を挙げた．しかし，これらの文献で用いられている劣化画像に 関して一つ重大な欠点が残されているのである．実際に撮影された画像として多くの論文 で挙げているのは天体画像である．元々の研究で天体画像のスペックル画像の画像復元を 目指していたのでこれに関しては致し方ないことであると思われる．次に多いのが暗室の 中で撮影された画像である．前章のシミュレーションを行った画像については周りが黒で 埋められている画像である．
ここに共通している欠点が何であるかというと，周りからの光の写り込みの影響をほと んど考えなくても良い状況下であると言うことである．シミュレーションを行っている 研究に関しても同様で，前もって撮影された画像に対してPSFを仮定してコンボリュー ションを行い作成された劣化像を用いて解析を試みている．こちらに関しても画像の縁の 部分は何の処理を施すこともなく，基の画像からにじみ出ている光をそのままの状況で残 し，サポートの外側は真っ暗な状況を意識することなく想定している．しかしながら，一 般的にこのような撮影像が存在するかというと，天体画像や特殊な画像以外にはほとんど 無いと言っても過言ではない．
そこで我々がブラインド・デコンボリューションを行う際に考慮しなければ行けない課 題は，周りからの写り込みのある劣化画像を回復する事の出来る処理と言うことになる．
例えば，画像を分割したときに各々の画像を回復する事を考えてみる．
従来，そのような研究が全くされていないわけではなく，例えば画像を分割してそれぞ れを並行してニューラルネットワークにかけることにより画像の復元をしている研究[43]
等がある．ここに挙げた参考論文を実際に見てみると，とてもではないがうまく画像が復 元出来ているとは言い難く，分割した画像の縁部分を全く考慮に入れていないため，復元 画像に非常に多くの擬像が現れてしまっている．また，画像をトランケートすることに より限られた周波数領域におけるブラインド・デコンボリューションを行っている研究
[44, 45]もある．こちらの研究では，セグメント化を行いお互いに隣同士のセグメントに
与える影響を考え非常に良い結果が得られているが，セグメント化したにもかかわらずそ の一番の利点である計算コストはあまり変わらない結果となっている．
このように，トランケートされた劣化画像に関する画像復元法は必要な技術にも関わら ずあまり研究がなされておらず，解決法がほとんど無い状態になっている．また，逆に言 うとこの研究分野が解決することにより，画像処理技術の様々な面において応用をするこ とが出来，画像処理技術の発展には今後欠かせない問題になってくるとも考えられる．
4.2 トランケートが画像に及ぼす影響
そこで，本論文では，周りからの写り込みの影響を考えたブラインド・デコンボリュー ション法を提案する．実際には，物体とPSFのコンボリューションにより作成された劣 化画像をトランケートすることにより，周りのピクセルからPSFによって写り込みの影 響が大きい劣化画像セグメントを抽出し，抽出された劣化画像を回復することにより計算 機シミュレーションを行う．また，CCDカメラにより撮影されたテストチャート画像か らトランケートすることによりセグメントを抽出し，抽出されたセグメントからPSFを 求めることにより物体全体を復元する実験を行う．
4.2 トランケートが画像に及ぼす影響 33
4.2.1 写り込み
実際にトランケートが画像に及ぼす影響を挙げていく．まず第一点目が周りの物体から の光の写り込みである．
光の写り込みの様子を図4.1に図示した．まず，物体に関して考える．左図の黒く塗り つぶされた範囲がトランケートされた画像領域(ROI)，その周りの白い領域がセグメント に隣接するROI外の領域である．次に，劣化画像について考えると，ROIとROI外の 領域が別々に劣化する訳ではなく，同時に劣化していることは式2.3によりわかる．右図 でもわかるとおり，白い部分と黒い部分が劣化により混ざってしまっている．このとき，
元々黒く塗りつぶされた領域に重なってきているグレーの領域が外からの光の写り込みに よる影響の部分である．
一般的に撮影された画像に対しては，必ず縁の部分にこのような汚染が存在するはずで あり，デコンボリューションを行う際には決して無視する事が出来ない効果を及ぼしてい
Trancated region (ROI) Neighboring pixels of ROI Object
Degrading
Contamination
from neighboring pixels Degraded image
図4.1 PSFによる劣化が原因で起こるROI周辺のピクセルからROIへの光の写り 込みによる影響．図中の白い領域からPSFによる劣化により，黒い領域(ROI)へ光 が写り込んでいる(グレーの領域)．
る．従来提案されているフィルター処理やデコンボリューションでは，この”写り込み領 域”を考慮に入れられていないものがほとんどであり，それ故に特に画像の縁部分での劣 化が良く見られるのである．
もちろん，劣化画像をトランケートやセグメンテーション化する際には，図からわかる ようにそこには多分の「余計な情報」が含まれていて，この余計な情報を除去できない限 りセグメント内の劣化画像のみからのデコンボリューションによる画像復元は困難である ことがわかる．
4.2.2 にじみ出し
先ほどの写り込みでは「周囲からの余計な情報」が問題であった．一方，逆に考えると
「周囲への情報の拡散」も避けられない問題であり，考慮に入れる必要がある．
図の見方は先ほどと同じである．ROIからの情報の拡散が見て取れるであろう．
こちらの情報に関しては前記した周辺ピクセルからの余分な情報の写り込みの影響ほど
Trancated region (ROI) Neighboring pixels of ROI Object
Degrading
Leak to neighboring pixels Degraded image
図4.2 ROIから周辺ピクセルへの情報のにじみ出し．図4.1とは逆に，今度はROI(白 い領域)から周辺のピクセル(黒い領域)への情報の漏れ(グレーになっている部分)が 多く存在している．
4.3 適応マスク法 35
大きな影響を及ぼすわけではないが，やはり復元画像の縁部分に関してはうまく処理して やらないと行けない部分である．こちらに関しては，物体のサポート領域を狭めてやるこ とによりその影響を軽減させることが出来る．
先にも述べたとおり今日発表されている研究成果のほとんどが天体画像や実験室内で周 りをなるべく暗い状態にして実験されているものがほとんどである．このような画像に対 しては従来の手法を何の前処理をすることなく適用しても周りからの光の写り込みが極端 に少ないためにシミュレーションと同様に画像復元をすることが可能となっている．ま た，上記二つの情報による汚染・拡散を考慮に入れないとトランケートされた画像のデコ ンボリューションはうまくいかないことは，参考文献[43]に載せられている復元画像を見 ればわかるうえ，ここで重要になってくる点は，ごく普通に撮影された画像は全てが一般 的に撮影の過程においてトランケートされているという点である．本論文においても，こ の章の最後の節において，実際に情報の汚染・拡散を考慮に入れていないときの復元画像 と適応マスクにより特に情報の汚染を軽減した時の復元画像を比較する．
4.3 適応マスク法
前節で挙げられた二つの大きな劣化画像の復元における問題要因を軽減させる方法を考 える．
4.3.1 窓処理と適応マスク
トランケートされた信号の処理系統として，窓処理[46]というものが存在する．窓処理 とは，トランケートされた信号に関してダイナミックレンジと周波数特性を欲しいデータ に合わせて変化させるような一種のマスキング処理の事である．通常，窓関数は一次元の デジタル信号処理に用いられることが多く，信号の用途によりハミング窓やハニング窓と 言った様々な窓関数が適用される．
