ノンローカル PCA に基づく画像デノイジング *

ノンローカル _PCA に基づく画像デノイジング _*

山内啓大朗

^†

田中 正行

^†

奥富 正敏

^†

Image Denoising with Non-local Principal Component Analysis

^∗

Keitaro YAMAUCHI

^†

, Masayuki TANAKA

^†

, and Masatoshi OKUTOMI

^†

あらまし ディジタルカメラで暗いシーンなどを撮影した際に生じたノイズは，画質を低下させ，画像認識処 理の精度低下をまねく．このため，ノイズを取り除く画像デノイジングに関する研究が数多く行われてきた．近 年，数ピクセル角の四角形パッチを処理単位としてデノイジングを行う，パッチベース手法が注目されている．

更に，自然画像の自己相似性という性質に着目し，劣化画像の中に含まれる類似パッチの情報を利用してデノイ ジングを行うノンローカル手法が高い成果を挙げている．しかし，従来のノンローカル手法は発見的で複雑な処 理を用いており，なぜそれらが強力なのかという議論が十分に行われてこなかった．本研究の目的は，ノンロー カル手法に共通する仮定を明確にし，その仮定に基づいて新しい高性能なノンローカル手法を直接導出すること である．また本論文では，高性能なデノイジング処理の実現のため，パッチ間の高精度な類似度評価，類似パッ チの探索範囲，繰り返しウィーナーフィルタを提案する．提案するノンローカルPCAは，仮定から単純に導出 され理解も簡単でありながら，グレー画像では従来の高性能な手法と同程度のデノイジング性能が得られた．更 に，カラー画像では従来法よりも高性能であることが確認された．

キーワード 画像処理，画像デノイジング，主成分分析，ノンローカル手法

1.

^{ま え が き}

ディジタルカメラで暗いシーンなどを撮影した際に 生じたノイズは，画質を低下させ，画像認識処理の精 度低下をまねく．このため，ノイズを取り除く画像デ ノイジングに関する研究が数多く行われてきた．

近年，数ピクセル角の四角形パッチを処理単位とし てデノイジングを行う，パッチベース手法が注目され ている．パッチベース手法は大きく三つのステップか らなる．

(1)

ノイズを含んだ画像からのパッチ生成，

(2)

それぞれのパッチごとのデノイジング，

(3)

デノイ ジングされたパッチからの画像再構成，である．パッ チベース手法は，パッチごとのデノイジングの方法 により，データベース手法，ローカル手法，及びノン ローカル手法に分けられる．自然画像データベースを 用いた最ゆう推定から事前情報を学習して，劣化画像 の復元に用いるパッチベース手法を，本論文ではデー タベース手法と呼ぶ．

Fields of Experts

（

FoE

）モデ

†東京工業大学大学院理工学研究科，東京都

Department of Mechanical and Control Engineering, Tokyo Institute of Technology, Tokyo, 152–8550 Japan

*本論文は学生論文特集秀逸論文である．

ルによる自然画像の事前確率モデルは，データベー スに基づく手法である

[1], [2]

．その事前確率とノイズ モデルとを組み合わせた最大事後確率（

Maximum a posteriori: MAP

）推定により，デノイジングが行わ れる．

Zoran

らが提案した自然画像パッチの事前確率 モデルも，データベース手法の一つである

[3]

．

大規模なデータベースの代わりに劣化画像中の近接 パッチを利用してパッチごとのデノイジングを行う手 法を，本論文ではローカル手法と呼ぶ．田中らが提案 したマルコフ確率場の局所適応的学習法

[4]

は，ロー カル手法の一つである．田中らの方法は，モデルパラ メータの最ゆう推定のために，近傍のパッチをあたか も学習データであるかのように用いている．

Muresan

ら

[5]

，

Deledalle

ら

[6]

，

Shang

ら

[7]

が提案した適応 的な

PCA

によるデノイジングは，近傍のパッチを利 用して主成分分析を行っているため，ローカル手法に 分類される．

三つ目のノンローカル手法は，自然画像の自己相似 性を利用する手法である．自然画像の自己相似性とは，

画像の中に互いに類似するパッチが存在するという性 質である．ノンローカル手法では，ノイズを含んだ画 像中からよく似たパッチを集め，集めたパッチの情報

をもとにパッチごとのデノイジングを行う．

Buades

らは，パッチ間の類似度に基づいた重み付けを行うノ ンローカルミーンズ（

Non-Local Means: NLM

）フィ ルタ

[8]

を提案した．これは，画像中の互いに類似し たパッチの中心画素を類似度に応じた重みで重み付け 平均するというシンプルかつ強力なフィルタである．

Dabov

らは，類似したパッチの情報を利用する

NLM

フィルタの考え方を応用して，

Block Matching and 3D

（

BM3D

）法を提案した

[9]

．

BM3D

法は，名前の とおり大きく二つのステップからなる．まずブロック マッチングでは，類似したパッチが画像中から集め られる．次に

3D

フィルタリングでは，類似したパッ チが三次元に積み上げられ，三次元直交変換領域に おいて同時にデノイジング（

Collaborative filtering

） される．

Mairal

らは，スパースコーディングとノン ローカル手法を組み合わせた新しい画像復元モデルを 提案した

[10]

．彼らの

Learned Simultaneous Sparce Coding

（

LSSC

）法では，スパースコーディングのた めの基底を画像から学習し，画像中の類似したパッチ が同じ基底要素の線型結合で表されるように，特殊な 行列ノルムの最小化問題を解く．

BM3D

法と

LSSC

法は，現在最も優れたデノイジング手法として知られ ている．

しかし，

BM3D

法や

LSSC

法は，発見的であった り直感的に処理の効果を理解するのが困難であり，ノ ンローカル手法がなぜそれほど強力なのかという議論 は十分に行われていなかった．

本論文の目的は，ノンローカル手法に共通する二つ の仮定を明らかにし，その仮定に基づく新しいデノイ ジング手法を提案することである．その二つの仮定 とは，

(1)

類似するパッチは共通の支配的構造をもつ，

(2)

支配的構造はノイズを含まない信号である，とい うものである．本論文では，これら二つの仮定から支 配的な構造を推定するため，ノンローカル

PCA

を提 案する．ノンローカル

PCA

は，

BM3D

法や

LSSC

法 と比較して理解が簡単であり，類似するパッチの支配 的構造を直接的に推定しているという特徴がある．更 に本論文では，ノンローカル

PCA

に基づく高性能な デノイジングの実現のため，パッチ間の高精度な類似 度評価，類似パッチの探索範囲，繰り返しウィーナー フィルタを提案する．

なお，本論文では，ノイズは原画像に対して加法的 に影響し，各画素独立同分布な正規分布に従うものと 仮定する．画像中の

k

番目の画素に着目すると，劣化

画像が生成される過程は次のように表現される．

y

_k

= x

_k

+ n

_k

, n

_k^i.i.d.

∼ G(0, σ

_n²

) (1)

ここで，^i.

∼

^i.d.は各画素のノイズが独立同分布から生成 されることを，

G(μ, σ

²

)

は平均

μ

，分散

σ

²の正規分 布を，それぞれ表す．

σ

nはノイズ強度を表すパラメー タであり，本論文ではこれをノイズレベルと呼ぶこと にする．

2.

^{ノンローカル}

PCA

^の定式化

2. 1

分散最大化による主成分分析の定式化 ここでは，従来の分散最大化に基づく

PCA

を簡単 に述べる．まず，画像からスライディングウィンドウ の形式でパッチを生成する．生成されたパッチ内の画 素値を縦に並べたベクトルを考える．このベクトルは，

パッチ内の画素数を

M

とすれば，

M

次元ベクトルと して表され，画像中の全てのパッチを

{y

i

}

^N_i=1とする．

このとき，ある単位方向ベクトル

u

の方向に射影され たパッチの分散は次のように与えられる．

U (u) = 1 N

N

i=1

_u

^T

_(y

_i

_{− µ)}

²

= u

^T

Σu , (2)

ここで，

N

はパッチの数，

µ

は全パッチの平均である．

Σ

は全パッチの共分散行列であり，次のように定義さ れる．

Σ = 1 N

N

i=1

( y

i

− µ )( y

i

− µ )

^T

. (3)

分散を最大化する方向ベクトル

u

^{は，共分散行列}

Σ

の最大固有値に対応する固有ベクトルであり，第一主 成分と呼ばれている．固有値の大きなものから順に第 一，第二主成分と，データの次元と同じ第

M

主成分 まで決定される．

2. 2

ノンローカル

PCA

の定式化

本節では，既存のノンローカル手法に共通する仮定 を明かにし，そこから直接新しいノンローカル手法を 導出する．

パッチベース手法において，劣化画像中のパッチは，

原画像中のパッチとノイズパッチとの和として表さ れる．

y

k

= x

k

+ n

k

(4)

ここで，

y

k

, x

k

, n

k

∈ R

^M はそれぞれ劣化画像中の

パッチ，原画像中のパッチ，ノイズパッチの列ベクトル 表現であり，

M

はパッチ内の画素数である．パッチの ベクトル表現は，グレー画像のみならず

RGB

カラー 画像のような多バンド画像であっても同様に利用可能 である．つまり，グレー画像のパッチの場合は，パッ チ中の画素をラスタスキャン順に縦に並べたベクトル として表現される．

RGB

カラー画像のパッチの場合 は，各チャネルのベクトル表現を更に縦に並べた列ベ クトルで表現される．本論文では一般性を失うことな く，多バンド画像をベクトルで表現することにする．

劣化画像のパッチ

y

kから原画像のパッチ

x

kとノ イズ

n

kを分離する問題は不良設定問題であり，原画 像のパッチに関する事前情報が必要である．ノンロー カルパッチベース手法に対して，本論文では次の二つ を仮定する：

（

1

） 画像中のよく似たパッチの支配的な構造は同 じである．

（

2

） その支配的な構造とは，ノイズを含まない信 号である．

これら二つの仮定は

BM3D

法

[9]

，

LSSC

法

[10]

と いったノンローカル手法に共通するものである．例え ば

BM3D

法は，類似パッチを三次元状に積み上げて周 波数領域で処理を行っている．この処理は，類似した パッチが共通の周波数成分から作られることを意図し たものである．また

LSSC

法は，画像から学習したス パース基底を用い，類似パッチが共通の成分から作ら れるように最適化処理をしている．しかし，文献

[10]

では，上記の仮定は明示的に述べられていない．

本論文では類似パッチの支配的な構造を，より直接 的に導出する．本論文では，支配的な構造とは，その 成分とデータとの内積の分散を最大化するものである と考える．この考えは，

PCA

の分散最大化の定式化 と同じである．

はじめに，注目しているパッチ

y

kとよく似たパッ チを集める．次に，集めたパッチの支配的な構造を従 来の

PCA

と同様の考え方で推定する．本論文の仮定 に基づき，支配的構造を推定することは，すなわちノ イズを含まない信号成分を推定することであると考え られる．

定式化のため，よく似たパッチを集めることを，注 目しているパッチ

y

kとの類似度に応じた重みにより 表現する．従来の

PCA

と同様の方法で，方向ベクト ル

u

に射影されたデータの分散

U

k

( u )

は次のように 与えられる．

U

_k

( u ) = 1 S

_k

N

i=1

w( y

i

, y

k

) _u

^T

( y

i

− µ

k

)

²

(5)

= u

^T

Σ

k

u , (6)

ここで，

Σ

k

= 1 S

_k

N

i=1

w( y

i

, y

k

)( y

i

− µ

k

)( y

i

− µ

k

)

^T

, (7) µ

k

= 1

S

_k

N

i=1

w( y

i

, y

k

) y

i

, (8)

S

k

=

N

i=1

w( y

i

, y

k

) . (9)

である．

重み付けを行う関数

w( y

i

, y

k

)

は，

y

iと

y

kとが類 似している場合は大きな値をとり，類似していない場 合は小さな値をとるものとする．本論文ではこのよ うな関数を，類似度重み関数と呼ぶ．類似度重み関 数として，例えば，二つのパッチの

Sum of Squared Difference

（

SSD

）がしきい値以上であれば

0

，その 他の場合は

1

をとる関数が考えられる．

従来の

PCA

と同様の考え方により，現在のパッチ

y

kの支配的な構造は，式

(5)

の分散を最大化するこ とによって推定される．これは，式

(7)

で表される重 み付き共分散行列

Σ

kの固有ベクトルを，固有値が 大きい順に計算することに等しい．このプロセスを，

ノンローカル

PCA

（

Non-local principal component analysis: NLPCA

）と呼ぶことにする．

3.

ノンローカル

PCA

に基づく画像デノ イジング

本章では，ノンローカル

PCA

に基づき画像デノイ ジングを行う場合に必要となる類似度重み，類似パッ チの探索範囲及びウィーナーフィルタに基づくデノイ ジングについて述べる．

3. 1

類似パッチの探索と類似度重み

文献

[8], [11], [12]

では，類似度重み関数として，以 下の式のような

SSD

に基づくガウス関数が用いられ ている．

w(y

i

, y

k

) = exp

− y

i

− y

k

²2

2Mσ

_n²

, (10)

しかし，一般にノイズを含んだパッチ間

SSD y

i

−y

k

²2

には誤差が含まれている．真のパッチ間

SSD

との関 係は次の式により表される．

y

i

− y

k

²2

= x

i

− x

k

²2

+ 2

M (x

i

− x

k

)

^T

(n

i

− n

k

) + 2σ

²_n

M

n

i

− n

k

²2

2σ

²_n

(11)

ここで，右辺第二項のベクトル間の内積は，平均

0

・ 分散

2σ

_n²

x

i

− x

k

²2の正規分布に従い，右辺第三項 の第二因数は自由度

M

の

χ

²分布に従う．このことか ら，ノイズレベル

σ

_nが大きくなるにつれて，ノイズ を含んだパッチ間

SSD

の期待誤差や分散は大きくな る．これは，本来類似しているパッチが類似していな いと判断されたり，逆に本来類似していないパッチが 類似していると判断されてしまう可能性があることを 示している．

この現象を定性的に見るために，パッチに対する

k

最近傍探査（

k-Nearest Neighbor Search: k-NNS

） の実験を行う．パッチに対する

k-NNS

とは，クエリ となるパッチに対して

SSD

が最も小さくなるパッチ を画像中から

k

個見つける問題である．図

1

に示すの は，

k-NNS

の結果である．図

1 (a)

のように原画像を 用いて

k-NNS

を行った場合，類似したパッチがエッジ にそって検出されていることが分かる．一方，図

1 (b)

のように劣化画像を用いて

k-NNS

を行った場合，ノ イズの影響で本来類似していないはずのパッチが検出 されてしまっている．このことから，劣化画像を直接 類似度評価に用いることは好ましくないことが分かる．

類似度評価を正確に行うために，ノイズを含んだパッ チに対して簡便なデノイジング（プレフィルタ）を施す 方法が提案されている．

Dabov

らが提案した

BM3D

法では，

DCT

変換に基づく

Hard-thresholding

によ りプレフィルタを実現している

[9]

．

Mairal

らの

LSSC

法

[10]

では，類似度評価を行う前に，従来のスパー スコーティングに基づくデノイジングを施している．

Tasdizen [13]

と

Orchard

ら

[14]

の

SVD

による方法 では，画像全体のパッチの

PCA

により得られた主成 分のみを利用して類似度評価を行っている．河田ら は，自然画像データベースの

PCA

により得られた

KL

（

Karhunen-Lo` eve

）基底を用いた

Hard-thresholding

を提案している

[15]

．

本論文では，入力画像から生成されるパッチ

{y

k

}

から求められる

KL

基底を用いた

Hard-thresholding

を提案する．

KL

基底は，式

(12)

の行列

Σ

yの固有ベ

(a)原画像 (b)劣化画像 (c)プレフィルタ xi−xk²₂ yi−yk²₂ x^prefil_i −x^prefil_k ²₂ 図1 プレフィルタの定性的評価のためのk最近傍探査の

結果．赤い正方形はクエリパッチ，青い正方形は検 出された最近傍パッチである．劣化画像を利用した 場合は，最近傍探査がノイズの影響を強く受けてい ることが確認される．プレフィルタ画像を利用した 場合，ノイズの影響が小さくなり，原画像を利用し た場合の結果と近い結果が得られている．

Fig. 1 Results ofk-NNS. The red squares indicate target patch for which similar patches are searched and the blue ones indicate the de- tected similar patches.

クトルとして求められる．

Σ

y

=

k

y

k

y

^Tk

(12)

プレフィルタを適用されたパッチ

x ˆ

^prefil_k ^は式

(13)

の ように表される．

x ˆ

^prefil_k

= V Γ(V

^T

y

k

, γ) , (13)

ここで，

V

^は各列が

Σ

yの固有ベクトルであるような 行列を，

Γ( a, γ)

は，

a

の要素のうち絶対値が

γ

より 小さなものを

0

にする関数を，それぞれ表す．提案す るプレフィルタは，大規模なデータベースが必要ない ため，従来法よりも簡便で扱いやすい．

プレフィルタの定性的な評価のため，

k-NN

の実験 を行った結果を，図

1 (c)

に示す．劣化画像を用いた 場合と比較して，プレフィルタを用いた方が原画像の

k-NN

の結果と近い結果が得られている．

また，定量的な評価のため，パッチ間

SSD

の推定 精度を評価した．

lena

画像中の全てのパッチペアを 利用し，真の

SSD

に対する推定

SSD

の精度を比較し た．

SSD

の推定手法として，次の四つを比較する．

D

^noisy_i,k

= y

i

− y

k

²2

M ,

図 2 SSDの推定精度の比較．横軸は原画像パッチ間 のSSD，縦軸は推定されたSSDである．D^noisy_i,k , D_i,k^mul,D_i,k^add,D^prefil_i,k のRMSEも併せて示してい る．ここで，左のグラフはノイズレベルを10とし た場合，右のグラフはノイズレベルを50とした場 合の結果を，それぞれ示している．

Fig. 2 Distribution of SSD values. The horizontal axis is the true SSD and the vertical axis is the estimated SSD. RMSE values ofD^noisy_i,k , D^muli,k,D^addi,k,D_i,k^prefilare shown in each figure, where the noise level is set 10 for the left graph and 50 for the right graph, respectively.

D

^mul_i,k

= y

i

− y

k

²2

Mσ

²_n

, D

^add_i,k

= y

i

− y

k

²2

M − 2σ

²_n

, D

^prefil_i,k

= x ˆ

_i^prefil

− x ˆ

^prefil_k

²2

M .

ここで，

D

^noisy_i,k はノイズを含むパッチ間の

SSD

を，

D

^mul_i,k は

D

^noisy_i,k をノイズレベルで正規化した

SSD

を，

D

^add_i,k は文献

[9]

で導出されたノイズを考慮した

SSD

を，

D

_i,k^prefilはプレフィルタを適用したパッチ間の

SSD

を，それぞれ表す．なお，

D

^mul_i,k は，

NLM

フィルタな どで利用されているパッチ間の類似度評価と関連が強 いと考えられる

[8]

．図

2

では，横軸に真の

SSD

の 値，縦軸に推定された

SSD

の値を取り，プロットし ている．なお，図

2

左はノイズレベルが

10

の場合，

右はノイズレベルが

50

の場合のプロットを，それぞ れ示してる．分布が斜め

45

度に沿って密であるほど，

SSD

の推定精度が高いことを示している．真の

SSD

に対する推定

SSD

の

RMSE

も，図

2

に示し，最も

RMSE

が低いものを赤で示している．これらの結果に より，プレフィルタを用いた

SSD

推定が最も高精度 であることが分かる．また，

D

_i,k^mulは，ノイズレベル で正規化していることから，他の

SSD

推定手法と比 較して小さな値が推定されていることも確認される．

本論文で用いる類似度重み関数は，プレフィルタを 利用して次のように表せる．

w( y

i

, y

k

) = exp

− ˆ x

^prefil_i

− x ˆ

^prefil_k

²2

2 · 12.75

²

· M

, (14)

ここで，

12.75

は，ピークシグナル

255

の

5%

であり，

文献

[16]

においてパッチ間の類似非類似の基準に利用 されている値である．

3. 2

適応的な探索範囲

計算コストの削減のため，多くのノンローカル手法 では，類似パッチの探索範囲を対象パッチの周囲に限 定している．加えて，多くの方法では探索範囲の大き さを固定している．しかし，一般に検出される類似 パッチの数はパッチにより異なっているため，パッチ ごとに最適な探索範囲が異なることが予想される．

一般に，画像のエッジ領域のパッチに対しては周囲 に類似パッチが少ないため，広い探索範囲が望ましい．

一方で，エッジやテクスチャのない平たんなパッチに 対しては，周囲に類似パッチが多く存在しているため，

狭い探索範囲が望ましい．広い探索範囲を用いた場合，

ノイズに由来する構造が類似度評価に大きな影響を与 え，その構造を残すようなデノイジングが行われる．

よって，平たんなパッチに対しては広い探索範囲を用 いるべきではない．

Zontak

らは，パッチの複雑さに応じて適応的に探

索範囲を決定する方法を提案している

[17]

．彼らは，

パッチの平均こう配強度

¯ g

_kと合計類似度重み

S

_k（類 似パッチの数に相当する），及び探索範囲

w

の間の関 係を，自然画像データベースから定式化している．し かし，この方法には，必ずしも望んだ量の合計類似度 重み

S

_kが得られないという問題がある．その理由は，

ノイズを含んだ状態でパッチの平均こう配強度

g ¯

_kを 推定しなければならないことと，パッチの平均こう配 強度

¯ g

kと合計類似度重み

S

kとの間のモデル化に誤差 があることである．

この問題を回避するため，合計の類似度重み

S

_kの 直接評価を，探索範囲の決定に利用することを提案す る．それは以下のようにして行う．対象とするパッチ を中心に

R × R

の範囲を設定し，この範囲内のパッチ を利用し類似度重み合計

S

_kを算出する．ここで，類 似度重み合計がしきい値

τ

を超えていなければ，設定 した範囲

R × R

を広げ，広げられた範囲内のパッチ を利用して類似度重み合計を再度，計算する．このよ うな処理を類似度重み合計が，しきい値

τ

を超える まで繰り返し，しきい値を超えた時点で類似パッチの 探索を打ちきり，対象とするパッチのデノイジングを

行う．

PCA

がベクトルの次元以上のデータ点を必要と することを考慮し，本論文ではしきい値として，経験 的にパッチサイズ

τ = M

を用いることにした．なお，

探索範囲を最大の画像全体としても，類似度重みの合 計がしきい値を超えない場合も想定されるが，その場 合は探索範囲を画像全体として処理を行う．このよう に，類似度重みの合計がしきい値を超えないパッチに 対してはデノイズの効果が十分得られない可能性が あり，これはノンローカル手法共通の限界である．し かしながら，多くの自然画像では画像内に十分な類似 パッチが存在し実用上問題となることは少ないと考え られる．また，しきい値の最適化は今後の課題である．

3. 3

ノンローカル

PCA

に基づくウィーナーフィ ルタ

本節では，ノンローカル

PCA

に基づいてデノイ ジングを行う方法を提案する．ウィーナーフィルタ はノイズ除去フィルタとして信号処理の分野で広く 利用されている．画像デノイジング手法においても ウィーナーフィルタを用いた様々な手法が知られてい る

[5], [9], [12], [18]

．通常，ウィーナーフィルタは周波 数領域における処理として用いられている．しかし，

本来のウィーナーフィルタは期待二乗誤差を最小化す る線形フィルタであるため，どのような直交変換領域 に対しても適用可能である．ここでは，

NL-PCA

で求 めた共分散行列

Σ

^{から得られる}

KL

変換領域に対し て処理を行うウィーナーフィルタを提案する．

KL

展開における

番目の係数に対するウィーナー フィルタは，次のように表せる．

X ˆ

_k

= E[X

_k²

]

E[X

_k²

] + σ

_n²

Y

_k

, (15)

ここで，

X ˆ

_kは

番目の係数に対するフィルタ結果を，

X

_kと

Y

_kはそれぞれ原画像パッチと劣化画像パッチの

番目の係数を，それぞれ表す．ウィーナーフィルタを 利用するためには原画像パッチのエネルギー

E[X

_k²

]

が必要である．

PCA

は，信号の広がりが大きい固有 ベクトルとともに，そのエネルギーを固有値として推 定するものである．よって固有値には，原画像のエネ ルギーに関する情報が含まれているはずである．しか し，共分散行列はノイズを含んだパッチから計算され るため，その固有値は真の信号エネルギーにノイズの エネルギーが加わったものであると考えられる．つま り，共分散行列

Σ

^の固有値

λ

_kは，信号強度

E[X

_k²

]

とノイズを用いて次のように近似される．

λ

_k

E[X

_k²

] + σ

_n²

, (16)

この近似を式

(15)

に代入しフィルタの係数が負とな らないような関数を導入すると，以下の式を得る．

X ˆ

_k

= ρ

λ

_k

− ασ

²_n

λ

_k

Y

_k

, (17)

ここで，

α

はデノイジングの度合を決定するパラメー タであり，関数

ρ

は以下のように定義されている．

ρ(x) =

0 (x ≤ 0)

x (x > 0) . (18) 3. 4

繰り返しウィーナーフィルタ

前章で述べたウィーナーフィルタによっても高いデ ノイジング効果が得られるが，デノイジング処理の繰 返しによって，更に性能を高めることができる．田中 らは，事前情報更新による繰返しの枠組みを提案して いる

[4]

．劣化画像と比べて，何らかの復元を行った画 像には，原画像に関する情報がより多く含まれている．

事前情報更新は，この復元画像を利用して事前情報を 更新し，劣化画像の復元を再度試みる方法である．事 前情報は更新されるたびに高精度になっていくため，

結果として劣化画像の復元も徐々に改善されていくと 予想できる．

提案法でも，この事前情報更新による繰返しを採用 することにする．本研究では，平均と共分散行列が，

事前情報に相当する．これらを復元画像を利用して計 算し，劣化画像パッチの復元に利用する．

まず，

NLPCA

の平均

µ

kと共分散行列

Σ

kの更新 は次のように行われる．

µ

⁽_k^t+1)

= 1 S

_k

N_k

i=1

w( ˆ x

⁽_i^t)

, x ˆ

_k^(t)

) ˆ x

⁽_k^t)

, (19)

Σ

^(t+1)_k

= 1 S

_k

N_k

i=1

w( ˆ x

^(t)_i

, x ˆ

^(t)_k

) ×

( ˆ x

⁽_i^t)

− µ

⁽_k^t+1)

)( ˆ x

⁽_i^t)

− µ

⁽_k^t+1)

)

^T

. (20)

2

回目以降のウィーナーフィルタでは，平均と共分散 行列は復元画像から更新される．このため，共分散行 列の固有値

λ

_kは，信号強度

E[X

²

]

とみなせる．よっ て，

2

回目以降のウィーナーフィルタでは，次の式に よって

KL

展開の係数を推定する．

X ˆ

_k

= λ

_k

λ

_k

+ σ

²_n

Y

_k

, (21)

512×512

512×512

256×256

512×512 256×256

図3 デノイジング実験のためのシミュレーション画像 Fig. 3 Benchmark images used for image denoising.

4.

^{実 験 結 果}

本章では，提案法を評価するために，ノイズレベル

σ

_nが既知の加法的白色ガウスノイズを人工的に加え た画像を用いて，デノイジング実験を行う．図

3

に実 験に利用したテスト画像を示す．なお，テスト画像の サイズを図中に示す．

定量的な画質評価のため，

Peak Signal-to-Noise Ra- tio

（

PSNR

）を利用した．

PSNR

が高いほど原画像と の誤差が小さく，デノイジング効果が高い．全ての実 験において，提案法のパッチサイズを

M = 6 × 6

と 固定した．また，プレフィルタにおけるパッチサイズ も同様の

M = 6 × 6

とした．なお，パッチサイズに ついては経験的に設定した．デノイジングの度合を決 定する

α

は，

σ

_nの値によって最適値が異なる．よっ て，

PSNR

が最高になる

α

を，あらかじめテスト用 の画像を用いて実験的に求めておくこととする．具体 的には，あるノイズレベル

σ

_nのノイズを含むテスト 用の画像，それぞれに対して，

α

を

0.5

から

6.0

まで

0.5

刻みで，デノイズ処理を行う．最も高くなる

α

を 算出し，その平均値をノイズレベル

σ

_nに対する

α

の 値とした．なお，ノイズレベルは，

5, 10, 20, 30, 50, 70, 100

に対して，テスト用の画像から実験的に

α

を 算出し，例えばノイズレベルが

15

など，実験的に算 出していないノイズレベルに対しては，実験的に算出 されている

α

をスプライン補間することにしている．

4. 1

プレフィルタ，探索範囲，繰り返しウィーナー フィルタの有効性検証

まず，本論文で提案したプレフィルタ，適応的な探

表1 類似度重み関数の違いによるPSNRの比較．最も 優れた値を太字で示している．

Table 1 PSNR comparison for the similarity mea- sure functions. The best results are shown in bold.

σn conv. pro.

10 35.69 35.91 20 32.87 32.98 30 30.96 31.14 50 28.46 28.72 100 24.64 25.78

表2 探索範囲の違いによるPSNRの比較．最も優れた 値を太字で示している．

Table 2 PSNR comparison for search range. The best results are shown in bold.

σn fixed [17] pro.

10 35.33 35.60 35.91 20 31.68 32.54 32.98 30 29.79 30.59 31.14 50 26.98 28.02 28.72 100 24.95 24.99 25.78

図4 ウィーナーフィルタの各繰返しにおけるPSNR Fig. 4 PSNR for each iteration of Wiener filter.

索範囲，及び繰り返しウィーナーフィルタの有効性を 検証する．それぞれの要素について，一つひとつ置き 換えながら実験を行うこととする．実験には

lena

画 像を利用した．

類似度重み関数として，従来の式

(10)

と提案する式

(14)

とを比較した．表

1

に

PSNR

の値を示す．ここ で，

conv.

は従来法を，

pro.

は提案法を表す．探索範囲 として，

21 × 21

ピクセルの固定探索範囲と，

Zontak

らによる適応的探索範囲

[17]

と，提案する探索範囲を 比較した．表

2

に

PSNR

の値を示す．これら二つの 結果から，提案する類似度重み関数と適応的探索範囲 の有効性が確認できる．

繰り返しウィーナーフィルタの評価のため，図

4

に 各繰返しにおける

PSNR

の値を示す．提案法は少な い繰返し回数で高い

PSNR

に収束している．この結 果から，

2

回の繰返しで十分であると考え，以後の実

表3 グレー画像に対するPSNRの比較．ここでは，BM3D [9]，LSSC [10]，EPLL [3]

と提案するNLPCA (pro.)を比較している．最も優れた結果を太字で示している．

Table 3 PSNR for gray-scale images by different denoising methods, where BM3D [9], LSSC [10], EPLL [3] and proposed NLPCA (pro.) are compared. The best results are shown in bold.

σn lena barbara average of 13

[9] [10] [3] pro. [9] [10] [3] pro. [9] [10] [3] pro.

10 35.91 35.79 35.60 35.91 34.99 34.99 33.63 35.06 34.26 34.29 33.89 34.22 20 33.03 32.88 32.66 32.98 31.73 31.61 29.81 31.71 30.96 30.99 30.55 30.87 30 31.22 31.13 30.88 31.14 29.76 29.66 27.63 29.62 29.12 29.04 28.66 28.93 50 28.71 28.80 28.50 28.72 27.20 27.05 24.84 26.94 26.48 26.67 26.28 26.52 100 25.49 25.78 25.52 25.78 23.50 23.66 22.23 23.28 23.35 23.41 23.17 23.28

表4 カラー画像に対するCBM3D [9]とNLPCA (pro.)のPSNRの比較．最も優れ た結果を太字で示している．

Table 4 PSNR for color images by CBM3D [9] and proposed NLPCA (pro.). The best results are shown in bold.

σn lena house peppers f16 baboon average

[9] pro. [9] pro. [9] pro. [9] pro. [9] pro. [9] pro.

10 35.22 35.56 36.24 36.21 33.70 34.15 36.72 37.06 30.60 31.35 34.50 34.87 20 33.02 33.25 33.86 33.54 31.79 31.97 33.79 34.11 26.98 27.63 31.89 32.10 30 31.59 31.71 32.42 32.14 30.59 30.76 31.97 32.21 25.16 25.49 30.35 30.46 50 29.74 29.70 30.08 30.17 28.70 29.14 29.50 29.80 23.15 22.98 28.23 28.36 100 26.55 26.75 26.01 26.46 25.48 26.11 25.77 26.17 20.60 20.32 24.88 25.16

Ground-truth Noisyσn= 50 BM3D LSSC EPLL NLPCA

図5 グレーのlena画像に対する処理結果の比較 Fig. 5 Comparison of denoising results for gray-scalelena.

験の繰返し回数を

2

回とする．

4. 2

従来法との比較

次に，デノイジング実験に頻繁に用いられる

13

枚 のグレー画像と

5

枚のカラー画像を利用して，従来法 との比較を行った．グレー画像のためのデノイジング には

BM3D [9]

，

LSSC [10]

，

EPLL [3]

を比較し，カ ラー画像のためのデノイジングには

CBM3D [9]

と比 較した^（注1）．

PSNR

による比較を表

3

と表

4

に示す．

グレー画像に関しては，平均的に

LSSC

の

PSNR

がわずかに高いことが分かるが，それ以外の三つの手 法は同程度の性能を有している．一方，カラー画像に 関しては，提案する

NLPCA

は，最も優れた手法とし て知られる

CBM3D

よりも高い

PSNR

を実現してい る．図

5

と図

6

に，

lena

画像に対する処理結果の例 を示す．提案法は，他の手法と比べて女性の肌の部分

のアーチファクトが少なく，見た目にも良好な結果が 得られていることが分かる．カラー画像においても，

CBM3D

法と比べて提案法の方が色ずれなどの不自然

なアーチファクトが少ない．このように，

PSNR

の値 ほぼ同じであっても，手法ごとに復元画像に特徴があ り，提案法により特に自然な復元結果が得られること が分かる．

以上の結果から，提案法はノンローカル手法に共通 する仮定から直接導かれたシンプルな手法でありなが ら，従来法と同程度以上のデノイジング効果が得られ，

カラー画像デノイジングにおいては従来法よりも高い 平均

PSNR

を得られることが確認された．

（注1）：カラー画像に対するLSSC及びEPLLは公表されていないの で，本論文ではカラー画像に対するデノイジングとして知られている

CBM3Dのみとの比較を行った

Ground-truth Noisyσn= 50 CBM3D NLPCA 図6 カラーのlena画像に対する処理結果の比較

Fig. 6 Comparison of denoising results for colorlena.

提案素法は，カラー画像に適用した場合，従来手法 よりも特に効果的であることが確認された．

CBM3D

では

RGB

色空間から輝度と色成分を表す色空間に いったん変換し，輝度のみを利用し，類似度を評価し，

変換された色空間のチャネルごと独立にデノイズが行 われている．一方，提案手法では

RGB

画像に対して，

グレー画像と比較して

3

倍の次元のデータであると考 え，

RGB

を同時に考慮して，類似度評価及びウィー ナーフィルタを適用している．この違いが，提案手法 がカラー画像において効果的である要因の一つである と考えられる．

5.

^{む す び}

本論文では，近年の強力なデノイジング手法がパッ チベースなノンローカル手法に分類されることを示 し，それらに共通する二つの仮定を明らかにした．次 に，それに基づいて新たなノンローカル手法を提案し た．また，類似度評価を高精度に行う方法や，繰り返 しウィーナーフィルタによるデノイジング手法を提案 した．提案法により，既存の高性能な手法と同程度の デノイジング効果を得るとともに，カラー画像に対し ては従来法よりも高性能であることを確認した．この ことは，本論文で明らかにしたノンローカル手法に共 通の仮定の妥当性と，

NLPCA

の有効性を示すもので ある．今後の課題は，デノイジング処理の高速化であ る．

Matlab

で実装した提案手法を，インテル製

Core i7

（

2.80 [GHz]

）を搭載した計算機を用いて，グレー の

lena

画像（

512 × 512

ピクセル）に対して適用する と，およそ

40

分程度の時間がかかる．類似度評価に 多くの計算時間がかかっているため，近似最近傍探査 アルゴリズム

[19]

を用いた高速化などが，対策として 考えられる．

文 献

[1] S. Roth and M.J. Black, “Fields of Experts: A frame- work for leaning image priors,” International Jour- nal of Computer Vision (IJCV), vol.82, pp.205–229, 2009.

[2] Y. Weiss and W.T. Freeman, “What makes a good model of natural images?,” IEEE Conference on Computer Vision and Pattern Recognition (CVPR), pp.1–8, 2007.

[3] D. Zoran and Y. Weiss, “From learning models of natural image patches to whole image restoration,”

IEEE International Conference on Computer Vision (ICCV), pp.479–486, 2011.

[4] 田中正行，奥富正敏，“非均質なパッチベースMRFの ための局所適応的学習，”信学論（D），vol.J92-D, no.8, pp.1084–1093, Aug. 2009.

[5] D.D. Muresan and T.W. Parks, “Adaptive princi- pal components and image denoising,” IEEE In- ternational Conference on Image Processing (ICIP), pp.101–104, 2004.

[6] C.-A. Deledalle, J. Salmon, and A. Dalalyan, “Im- age denoising with patch based PCA: Local versus global,” British Machine Vision Conference (BMVC), pp.1–10, 2011.

[7] L. Zhang, W. Dong, D. Zhang, and G. Shi, “Two- stage image denoising by principal component anal- ysis with local pixel grouping,” Pattern Recognit., vol.43, no.4, pp.1531–1549, 2010.

[8] A. Buades, B. Coll, and J.-M. Morel, “A non-local algorithm for image denoising,” IEEE Conference on Computer Vision and Pattern Recognition (CVPR), pp.60–65, 2005.

[9] K. Dabov, A. Foi, V. Katkovnik, and K. Egiazarian,

“Image denoising by sparse 3D transform-domain col- laborative filtering,” IEEE Trans. Image Process., vol.16, no.8 pp.2080–2095, 2007.

[10] J. Mairal, F. Bach, J. Ponce, G. Sapiro, and A. Zisserman, “Non-local sparse models for im- age restoration,” IEEE International Conference on Computer Vision (ICCV) IEEE, pp.2272–2279, 2009.

[11] 山内啓大朗，田中正行，奥富正敏，“ノンローカルPCA

によるブラインドデノイジング，”画像の認識・理解シンポ ジウム(MIRU2011)，pp.432–439, 2011.

[12] P. Chatterjee and P. Milanfar, “Patch-based locally optimal denoising,” IEEE International Conference on Image Processing (ICIP), pp.2553–2556, Sept.

2011.

[13] T. Tasdizen, “Principal components for non-local means image denoising,” IEEE International Con- ference on Image Processing (ICIP), pp.1728–1731, 2008.

[14] J. Orchard, M. Ebrahimi, and A. Wong, “Efficient nonlocal-means denoising using the SVD,” IEEE In- ternational Conference on Image Processing (ICIP), pp.1732–1735, 2008.

[15] 河田諭志，五十川賢造，松本信幸，“自然画像の主成分分 析を利用したnon-local meansによるノイズ除去，”第16 回画像センシングシンポジウム(SSII)，pp.1–6, 2010.

[16] P. Chatterjee and P. Milanfar, “Is denoising dead?,”

IEEE Trans. Image Process., vol.19, no.4, pp.895–

911, April 2010.

[17] M. Zontak and M. Irani, “Internal statistics of a sin- gle natural image,” IEEE Conference on Computer Vision and Pattern Recognition (CVPR), pp.977–

984, June 2011.

[18] J. Portilla, V. Strela, M.J. Wainwright, and E.P.

Simoncelli, “Image denoising using scale mixture of Gaussians in the wavelet domain,” IEEE Trans. Im- age Process., vol.12, no.11, pp.1338–1351, 2003.

[19] C. Barnes, E. Shechtman, D.B. Goldman, and A.

Finkelstein, “The generalized PatchMatch correspon- dence algorithm,” IEEE Europian Conference on Computer Vision (ECCV), pp.1–14, 2010.

（平成24年6月4日受付，9月28日再受付）

山内啓大朗

2010東工大・工・制御システム卒．同年 同大大学院理工学研究科機械制御システム 専攻修士課程入学，現在に至る．

田中 正行 （正員）

1998東工大・工・制御システム卒．2000 同大大学院理工学研究科制御工学専攻修士 課程了．2003同大学院理工学研究科機械 制御システム専攻博士課程了．同年アジレ ントテクノロジー（株）入社．2004東京 工業大学大学院理工学研究科機械制御シス テム専攻研究員．2008同大学大学院理工学研究科機械制御シ ステム専攻准教授．画像処理の研究に従事．工博．IEEE会員

奥富 正敏 （正員）

1981東大・工・計数卒．1983東工大大 学院理工学研究科制御工学専攻修士課程 了．同年キヤノン（株）入社．1987〜1990 カーネギーメロン大学コンピュータサイエ ンス学科客員研究員．1994東京工業大学 大学院情報理工学研究科情報環境学専攻助 教授．2002同大大学院理工学研究科機械制御システム専攻教 授．コンピュータビジョン，画像処理，画像計測に関する研究 に従事．工博．情報処理学会，計測自動制御学会，画像電子学 会，IEEE各会員．