カーネル回帰に基づくカラー画像補間

全文

(1)情報処理学会研究報告 IPSJ SIG Technical Report. Vol.2009-CVIM-168 No.20 2009/9/1. . . カーネル回帰に基づくカラー画像補間田中正行，奥富正敏東京工業大学大学院理工学研究科機械制御システム専攻東京都目黒区大岡山 2-12-1. [email protected], [email protected]. 概要. 近年，適応的カーネルを利用したカーネル回帰法が，デノイズおよび画像補間の分野で注目され. ている．しかしながら，従来のカーネル回帰法は，主にグレイ画像に対する手法であり，カラー画像に対しては，チャネル毎に独立にカーネル回帰法が適用されている．そこで，本論文では，チャネル間の相関を利用した回帰関数モデルを提案する．また，従来手法では，カーネル関数は画像のテクスチャに適応的に設計されていた．しかしながら，特に不規則サンプリングされたデータを補間する場合，データ密度が画素位置により異なるため，カーネル関数の大きさを適応的に設計する必要がある．そのため，本論文では，カーネル関数の大きさを関数回帰の安定性に基づき適応的に設計する方法を提案する．さらに，入力データと補間画像データを融合し，繰り返し処理を行う方法も提案する．提案手法と従来の適応的カーネルを利用したカーネル回帰法と比較し，提案手法の有効性を確認した．. Color Image Interpolation using Kernel Regression Masayuki TANAKA and Masatoshi OKUTOMI Graduate School of Science and Engineering, Tokyo Institute of Technology, 2-12-1, O-okayama, Meguro-ku, Tokyo, 152-8550, Japan [email protected], [email protected] Abstract. A kernel regression with adaptive kernel is known as a powerful tool in a low-level. vision which includes denoising and image interpolation. For color images, the kernel regression for a gray image is independently applied to each color channel, because the kernel regression has been developed for the gray image. In this paper, we propose a color kernel regression whose regression function is modeled using color correlations. For the interpolation, the size of kernel function should be large for sparse data region and small for dense data region. Therefore, we also propose a kernel design algorithm based on the stability of the regression. We experimentally show that the proposed color kernel regression outperforms existing kernel regressions.. 1. ⓒ2009 Information Processing Society of Japan.

(2) 情報処理学会研究報告 IPSJ SIG Technical Report. Vol.2009-CVIM-168 No.20 2009/9/1. Quadratic polynomial. Observed data. 1. まえがき. 画像補間の研究は古くから研究されており，様々な分野に応用されている．画像補間の応用分野として，超解像処理 [16, 19]，画像拡大や，イメージインペインティング [2]，カラーデモザイキング [7, 13] などが知られている．例えば，Komatsu らは [11]，複数の低解像度画像の位置合わせを行い，位置合わせされた画素データを不規則にサンプリングされたデータとして，Landweber 法 [12] を利用し，画像補間による超解像処理を提案している．また，Landweber 法のかわりに， Gerchberg-Papoulis 法 [5, 15] を利用した超解像処理も提案されている [3]．画像補間としては，バイキュービック法 [10] やスプライン法 [9] が古くから利用されている．近年，カーネル回帰法 [18] が画像補間やデノイズ手法として，注目されている．後述するデモザイキング処理を除き，画像補間は，グレイ画像に対する処理がほとんどである．カラー画像を補間する場合は，基本的にチャネル毎独立に処理が行われている．RGB 色空間から，YCrCb 色空間へ変換する場合もあるが，その場合においても， YCrCb 色空間でチャネル毎に独立に処理が行われている．これは，画素値データが空間的に不規則な位置でサンプリングされていると仮定されているものの，サンプル点においては全ての色チャネルの画素値が得られていると仮定されているためである．ところで，単板の撮像素子を利用して，カラー画像を撮影する場合，一般的にカラーフィルタアレイが利用される．このようなカラーフィルタアレイを利用した単板式撮像素子から出力されるデータは，生データと呼ばれ，サンプル位置は規則的ではあるものの，サンプル点においては一つの色チャネルの画素値しか得られていない．このようなベイヤーデータから，フルカラー画像を推定するデモザイキング処理の研究の歴史は長く [13, 7]，デモザイキング処理も一種の画像補間と考えられる．デモザイキング処理においては，チャネル間の相関が積極的に利用されている．最も有名なカラーフィルタアレイはベイヤー配列であり [1]，デモザイキング処理は，ベイヤー配列に特化した手法がほとんどである．近年では，ベイヤー配列に変わるカラーフィルタアレイの研究も報告されており [8, 14]，一般的なカラーフィルタアレイに対するデモザイキング処理，すなわち画像補間手法の開発が期待されている．また，同様に，生データから，直接高解像度カラー画像を再構成する超解像処理においても，チャネル間の相関を利用した拘束が利用されている [6, 4]．以上の背景をふまえ，本論文では，カーネル回帰法を拡張し，空間的に不規則にサンプリングされており，かつ各サンプリング点において全ての色チャネルの画素値データが得られているとは限らない状況から，カラー画像を補間する方法を提案する．. 2. Intensity. 2.0 1.5. Constant polynomial. 1.0 0.5. Kernel function 0.0. -3. -2. -1. 0. 1. 2. 3. x. Fig. 1: カーネル回帰法の概念図カーネル回帰法とは，推定したい画素位置周辺のデータに，重み付き局所最小二乗法を適用し，画素値を推定する方法である．重みを表す関数はカーネル関数と呼ばれ，画素毎に適応的に設計する手法が提案されている [18]．従来のカーネル回帰法では，回帰関数がチャネル毎に独立にモデル化されていた．そこで，まず，本論文では，チャネル間の相関を考慮した回帰関数モデルを提案する．また，従来の適応的カーネル関数の設計では [18]，テクスチャに適応したカーネル関数の設計方法が提案されているものの，データ密度についてはそれほど重要視されていない．しかしながら，特に画像補間の場合，データ密度の低い領域では回帰関数のパラメータ推定が不安定，もしくは不可能になってしまう問題がある．そのため，本論文では，関数回帰の安定性に基づいて，カーネル関数の大きさを設計する方法を提案する．関数回帰の安定性を直接評価しているため，カーネル関数の大きさが最適に設計されることが期待される．さらに，入力データと補間画像データを融合しながら，繰り返し処理を行う方法を提案する．従来のカーネル回帰法と比較しながら，提案手法の有効性を実験的に確認する．. 2. カーネル回帰法概要. カーネル回帰法は，画素値を推定したい画素位置周辺の局所的なデータに基づき，画素値を推定する方法である．具体的には，まず，注目画素位置からの距離に基づく重みを設定する．ついで，設定した重みに基づき，重み付き最小二乗法により，関数回帰を行う．このようにして得られた回帰関数から，画素値を推定する方法である．この一連の処理を全ての画素に対して繰り返し行うことにより，カーネル回帰法による画像補間が行われる．不規則な画素位置 xi = (ui , vi )T でサンプリングされた画素値 zi のデータの集合 {xi , zi } が与えられたとき，任意の位置 x の画素値を推定することを考える．このとき，カーネル回帰法による画素値推定は式 (1) のように定式化される．. zˆ(x). ˆ = f (x; θ(x)). (1). ⓒ2009 Information Processing Society of Japan.

(3) 情報処理学会研究報告 IPSJ SIG Technical Report. Vol.2009-CVIM-168 No.20 2009/9/1. ただし，. ˆ θ(x). =. arg min θ. . Irregularly sampled data. k(xi − x)[zi − f (xi − x; θ)]2. Initial interpolation with non-adaptive kernel. i. (2). Adaptive kernel. Kernel regression. Interpolated. estimation with image である．ここで，k(x) はカーネル関数を，f (x; θ) は using gradients adaptive kernel 回帰関数モデルを，θ は回帰関数を表すパラメータを，それぞれ表す．回帰関数モデルには，様々なモデルが適用可能で Fig. 2: 従来の適応的カーネル回帰法の処理概要あるが，本論文では，多項式モデルを利用することにする．式 (2) からわかるように，カーネル関数は，り，式 (4) のカーネル関数を画素毎に設計すること重み付最小二乗法の重みとして利用されている．注は，すなわち画素毎にガウス関数の共分散行列 Cx 目画素位置に近いほど大きな重みを設定するようなとカーネル関数の大きさを表すパラメータ µx を設カーネル関数が利用される．多くの場合，ガウス関計することになる．数がカーネル関数として利用されており，本論文に Takeda らは，画像の微分に基づき，式 (5) のようおいてもガウス関数を利用することにする．に共分散行列を設計する方法を提案している [18]．図 1 は，カーネル回帰法により，x = 0 の位置の画素値を推定する場合の概念図である．図中，黒丸 ⎛ zu (xj )zu (xj ) zu (xj )zv (xj ) が観測データを表し，四角が 0 次多項式 (定数)，三 ⎜ ∈Nx xj ∈Nx 角が 2 次多項式を回帰関数モデルに利用した場合の C−1 = 1 ⎜ xj x |Nx | ⎝ zu (xj )zv (xj ) zv (xj )zv (xj ) 推定値を，それぞれ表している．. xj ∈Nx. 2.1. ⎟ ⎟ ⎠. xj ∈Nx. 適応的カーネル回帰法 [18]. (5). 古典的なカーネル回帰法では，式 (2) に示すようにカーネル関数は画像の位置によらない関数が利用されていた．しかしながら，平坦な領域では大きなカーネル関数を，テクスチャが豊富な領域では小さいカーネル関数を，またエッジ部分ではエッジに沿ったカーネル関数を，利用することでより高精度に画素値を推定できることが期待される．なお，大きなカーネル関数とは，注目領域から離れてもそれほど，減衰せず，広い範囲のデータを考慮することになるカーネル関数を意味する．小さなカーネル関数は，逆に狭い範囲のデータのみを考慮することになるカーネル関数である． Takeda らは，画像の画素値勾配を利用して，カーネル関数を画素毎に適応的に設計する方法を提案している [18]．本節では，Takeda らの手法の概要を説明する．適応的カーネル関数を利用した回帰関数のパラメータ推定は式 (3) のように定式化される． ˆ kx (xi − x)[zi − f (xi − x; θ)]2 θ(x) = arg min θ. ⎞. i. (3) ここで，kx (xi − x) は画素位置 x に依存する適応的カーネル関数であり，式 (4) のように定義されている． (xi − x)T C−1 x (xi − x) kx (xi − x) = exp − 2h2 µ2x (4) ここで，Cx は画素位置 x に対するガウス関数の共分散行列を，h は画像全体のカーネル関数の大きさを表すパラメータを，µx は画素位置毎カーネル関数の大きさを表すパラメータを，それぞれ表す．つま. 3. ここで，zu は水平方向の画素値微分を，zv は垂直方向の画素値微分を，Nx は画素位置 x の周辺画素の画素位置の集合を，|Nx | は集合 Nx の要素数を，それぞれ表す．また，Takeda らは，文献 [17] に従い，式 (6) のようにカーネル関数の大きさを表すパラメータ µx を設計している．. ⎡ ⎤. 1. ¯ j )⎦ log k(x exp ⎣. |Nx | xj ∈Nx

(4) (6) µx = ¯ k(x) ここで，. ¯ k(x). =. 1 kxj (xj − x) |Nx |. (7). xj ∈Nx. である．なお，式 (4) のパラメータ h は，画像全体の滑らかさを制御する調整パラメータである．式 (5) の共分散行列を利用することにより，平坦な領域ではカーネル関数が大きく，テクスチャが豊富な領域ではカーネル関数が小さく，また，エッジ部分ではエッジの方向に沿ったカーネル関数が，設計可能であることが報告されている [18]．ところで，式 (5) に基づき，共分散行列を推定するためには，画素値微分を計算する必要がある．また，式 (6) に基づき，画素位置毎のカーネル関数の大きさを設計するためには，カーネル関数が利用されている．そのため，実際には図 2 に示すように，初期画像補間処理を利用して，繰り返し処理を利用することになる．図中の破線矢印は初回の処理を表しており，2 回目以降は実線矢印の処理となる．初期画. ⓒ2009 Information Processing Society of Japan.

(5) 情報処理学会研究報告 IPSJ SIG Technical Report. Vol.2009-CVIM-168 No.20 2009/9/1. 像補間処理においては，µx = 1 かつ，方向性のないガウス関数がカーネル関数として利用される．なお，文献 [18] には，デノイズ処理に関する繰り返し処理方法が述べられているが，画像補間処理に対しては明示的に繰り返し処理方法が述べられていない．しかしながら，本論文では，図 2 の繰り返し処理を文献 [18] の方法と考えることにする．. このように表現されたデータを利用して，回帰関数の係数を表すベクトル θ は式 (11) のコスト関数を最小化することにより，推定される．. Ex (θ) = T kx (xi − x) [zi − R Qi θ] diag(mi ) [zi − R Qi θ] i. (11). 3 3.1. 提案カラーカーネル回帰. ここで，. Qi. 色相関を考慮した回帰関数モデル. カラー画像に対するカーネル回帰法は，チャネル毎に独立に処理が行われていた．本論文では，YCrCb 色空間における多項式モデルを利用することにより，各画素の色情報を同時に推定する方法を提案する．自然画像の輝度成分は高周波成分を多く含んでいるものの，色差成分はそれほど高周波成分を含んでいないことが知られている．提案手法では，回帰関数のモデル化に，YCrCb 色空間における多項式モデルを利用する．輝度成分に対しては高次の多項式を，色差成分には低次の多項式を，それぞれ利用して回帰関数をモデル化する．このように回帰関数をモデル化することにより，輝度成分は先鋭に，色差成分は滑らかに画像補間が行われ，結果としノイズを低減しつつ先鋭な画像が得られることが期待される．本論文では，式 (8) のように輝度成分を 2 次多項式で，色差成分を定数 (0 次多項式) でモデル化する． ⎛ ⎞ Y(u, v) ⎜ ⎟ (8) ⎝ Cr(u, v) ⎠ = Q(u, v) θ. Cb(u, v) ここで，. ⎛. u2. uv 0 0. ⎜ Q(u, v) = ⎝ 0 0. v2 0 0. u v 0 0 0 0. ⎞ 1 0 0 ⎟ 0 1 0 ⎠ (9) 0 0 1. であり，θ は多項式の各係数を表す 8 次元ベクトルである．また，画素位置 x を (u, v)T で表している．回帰関数の係数を表すベクトル θ をカーネル回帰法により推定することを考える．そのため，まず，式 (10) に示すように，画素値と対応する画素値マスクにより，不規則にサンプリングされたデータを表現する． ⎛ ⎛ r ⎞ ⎞ ri mi ⎜ ⎜ g ⎟ ⎟ zi = ⎝ gi ⎠ , mi = ⎝ mi ⎠ (10). bi. mbi. ここで，(ri , gi , bi )T は i 番目のデータの各色チャネ g ルの画素値を，(mri , mi , mbi ) は i 番目の各色チャネルの画素値マスクを，それぞれ表す．なお，画素値マスクは，対応するチャネルの画素値がサンプルされていれば 1 が，サンプルされていなければ 0 が，それぞれ設定されているものとする．. = Q(ui − u, vi − v). (12). であり，R は YCrCb 色空間から RGB 色空間へ変換する 3 × 3 の変換行列を，diag(mi ) は mi の要素を対角要素とする対角行列を，それぞれ表す．式 (11) のコスト関数を θ について微分し，整理すると式 (13) のような θ に関する連立方程式が得られる． T T kx (xi − x)Qi R diag(mi )RQi θ = i. . kx (xi − x)QTi RT diag(mi )zi. i. (13) 式 (13) の解を，式 (8) に代入することで，回帰関数が得られ，注目画素の YCrCb の情報が同時に推定される．. 3.2. 関数回帰の安定性に基づくカーネル関数の大きさ設計. 注目画素周辺のデータ密度が低い場合，大きなカーネル関数を用いなければ，画素値を推定することはできない．これは，関数回帰が不安定になることに起因している．関数回帰が不安定であるとは，すなわち，式 (13) の連立方程式が不安定であることを意味する．カーネル関数の大きさが大きければ，関数回帰は安定に行われるが，補間画像はぼけてしまう．一方，カーネル関数の大きさが小さければ，先鋭に画像補間されることが期待されるが，実際には関数回帰が不安定になり，画像補間が行えなくなってしまう．そこで，本論文では，式 (13) の連立方程式の安定性に着目し，カーネル関数の大きさを設計する方法を提案する．連立方程式の安定性の指標として，係数行列の最小固有値を利用することにする．式 (14) のように，式 (13) の連立方程式の係数行列は，カーネル関数の大きさを表すパラメータ µx の関数として表される． A(µx ) = kx (xi − x; µx )QTi RT diag(mi )RQi i. (14) なお，提案手法では，画像全体に対するカーネル関数の大きさを表すパラメータ h は 1 とする．パラメー. 4. ⓒ2009 Information Processing Society of Japan.

(6) 情報処理学会研究報告 IPSJ SIG Technical Report. Horizontal kernel. Vol.2009-CVIM-168 No.20 2009/9/1. Irregularly sampled data. Data. Initial interpolation with non-adaptive kernel Adaptive kernel estimation using gradients. Vertical kernel. Fig. 3: カーネル関数の大きさとデータ密度の関係; ×は注目画素位置を，●はデータのサンプル位置を，表す．タ µx が小さい場合，カーネル関数の大きさが小さく，十分な数のデータを利用することができない．その結果，係数行列 A(µx ) が不安定になってしまい，注目画素位置の画素値を推定することができなくなる．提案手法では，係数行列 A(µx ) の最小固有値が設定値と等しくなるように，数値的にパラメータ µx を設計する．このようにパラメータ µx を設計することにより，関数回帰が可能な範囲で，カーネル関数の大きさを小さく設定できる．カーネル関数の大きさが小さく，かつ関数回帰が安定に行われることから，提案手法によって，先鋭に画像補間が行われることが期待される．また，従来の適応的カーネルの設計方法と異なり，処理毎に画像全体に対するカーネル関数の大きさを表すパラメータ h をユーザが設定する必要がないことも，提案手法の利点の一つである．図 3 にカーネル関数の大きさとデータ密度の関係を模式的に示す．例えば，水平方向に広がったカーネル関数では，十分な数のデータが利用できる．一方，垂直方向に広がったカーネル関数では，カーネル関数の大きさは等しいが，十分なデータが利用できず，結果として，関数回帰が不安定になる．このように，適応的カーネル関数に方向性があるため，単純にデータ密度を利用して，カーネル関数の大きさを設計することができない．そのため，提案手法では，係数行列の最小固有値に基づき，カーネル関数の大きさを設計している．. 3.3. Data fusion. Kernel regression with adaptive kernel. Interpolated image. Fig. 4: 提案カーネル回帰法の処理概要づき，次回の繰り返し処理のためのカーネル関数が適応的に設計される．また，入力データと補間画像データを融合して，カーネル回帰法に利用する．式 (10) の画素値マスクは，画素値データの信頼性を表しているとも考えられる．3.1 節では，画素値マスクは，0 か 1 の二値で考えていたが，より一般的に，信頼性を表す実数値に拡張して考えられる．このように拡張された画素値マスクの考え方を利用して，提案手法において，入力データと補間画像データは，式 (15) のように融合される． ⎛ mr ri +εˆri ⎞ ⎛ r ⎞ i mi + ε mri +ε g ⎜ mi gi +εˆgi ⎟ ⎟ g ⎟ , mi = ⎜ g zi = ⎜ ⎝ mi + ε ⎠ (15) ⎝ m ⎠ i +ε mbi bi +εˆ bi mbi + ε b mi +ε. ここで，ε は補間画像の信頼性を表すパラメータを， (ˆ ri , gˆi , ˆbi )T は補間画像の i 番目の画素値を，それぞれ表す．なお，パラメータ ε = 0 の場合は，補間画像データを融合しない繰り返し処理に対応する．図 4 に提案のカーネル回帰法の概要を示す．図 2 の従来のカーネル回帰法 [18] と比べて，図 4 の提案手法では，関数回帰の安定性に基づくカーネル関数の大きさの最適化と補間画像データの融合が加えられていることがわかる．また，図 4 ではあらわれていないが，従来手法と異なり，提案手法では回帰関数モデルにチャネル間の相関を利用し，YCrCb 色空間でモデル化を行っている．. 4. データ融合を利用した繰り返し処理. Kernel size optimization. 実験. まず，色相関を考慮した回帰関数モデルと関数回帰の安定性に基づくカーネル関数の大きさの設計の効果を確認する．原画像から，チャネル毎独立に，不規則な画素位置にデータをサンプリングしたデータを作成した．標準的な Lena 画像を元に，平均データ密度が，0.1, 0.2 および 0.3 になるように 3 種類のデータを作成した．生成したデータの一部を図 6-(a) に示す．ここで，回帰関数のモデルの表記方法を定義する．回帰関数のモデルは大きく分けて，RGB 色空間で定義されたモデルと YCrCb 色空間で定義されたモデルがある．また，回帰関数モデルは多項式によりモデル化している．そこで，色空間と多項式の次数により，回帰関数のモデルを表すことにする．例えば， RGB-222 とは，RGB 色空間で回帰関数がモデル化. 図 2 に示す繰り返し処理を考えた場合，2 回目以降の繰り返し処理は，補間画像に対してカーネル回帰法が適用される．つまり，図 2 に示す繰り返し処理では，初回の処理は画像補間処理であるものの，2 回目以降の処理は実質的にデノイズ処理が行われている．さらに，初回の処理を考えた場合，カーネル回帰法に利用されるカーネル関数は方向性のないガウス関数であり，適応的カーネル関数は利用されない．このような繰り返し手法は，特に画像補間を考えた場合，あまり合理的な方法であるとは考えられない．そこで，本論文では，図 4 に示すように，入力データと補間画像データを融合し，次の繰り返しで利用する方法を提案する．提案手法では，補間画像に基. 5. ⓒ2009 Information Processing Society of Japan.

(7) 情報処理学会研究報告 IPSJ SIG Technical Report. Vol.2009-CVIM-168 No.20 2009/9/1. 表 1: PSNR 比較；文献 [18] の手法は RGB-000(Ada) と RGB-222(Ada) に，提案手法は YCrCb-200(AdaPro) に，それぞれ対応する． Data density. 0.1. 0.2. 0.3. NonAda. Ada. AdaPro. NonAda. Ada. AdaPro. NonAda. Ada. AdaPro. RGB-000 RGB-222 YCrCb-000 YCrCb-222. 27.38 11.73 25.71 10.85. 26.86 13.16 23.88 24.39. 27.01 25.05 27.28 27.57. 29.66 26.23 28.17 26.46. 29.37 26.85 26.63 27.08. 29.11 28.84 29.24 29.75. 30.54 28.51 28.39 28.51. 30.54 27.32 26.72 27.19. 30.40 31.18 30.37 31.31. YCrCb-200. 26.03. 25.01. 28.78. 28.22. 26.85. 31.07. 28.35. 26.92. 32.54. 32.5. 29.5. 32.0. 29.0 ε=0.0 ε=0.1 ε=1.0 Denoise. 28.5 28.0. 34.0. ε=0.0 ε=0.1 ε=1.0 Denoise. 31.5. 5. 10 Iteration. 15. (a) Data density is 0.1. 20. 33.0 32.5. 31.0. 32.0. 30.5 0. ε=0.0 ε=0.1 ε=1.0 Denoise. 33.5. PSNR [dB]. 30.0. PSNR [dB]. PSNR [dB]. Kernel size. 0. 5. 10 Iteration. 15. (b) Data density is 0.2. 20. 0. 5. 10 Iteration. 15. 20. (c) Data density is 0.3. Fig. 5: 繰り返し処理の比較．ここで，回帰関数モデルは YCrCb-200(Adaptive) を利用した．されており，各チャネル 2 次多項式でモデル化していることを表す．また，YCrCb-200 は，YCrCb 色空間で回帰関数がモデル化されており，輝度 Y に対しては 2 次多項式，色差 Cr と Cb に対しては、定数 (0 次多項式) でモデル化していることを表す．カーネル関数の大きさの設計方法に対しては，画素毎にカーネル関数の大きさを変更しない方法を NonAda，式 (6) に従いカーネル関数の大きさを画素毎に設計する方法 [18] を Ada, 提案手法による設計方法を AdaPro と，それぞれ表記することにする．この表記によれば，Takeda らの手法 [18] は RGB-000(Ada) と RGB222(Ada) に，提案手法は YCrCb-200(AdaPro) に，それぞれ対応する．色空間と多項式の次数および，カーネル関数の大きさの設計法に関する組合せに対して，回帰関数モデルを作成し，画像補間処理を行った．処理結果と原画像の PSNR(Peak Signal to Noise Ratio) の比較を表 1 に示す．表中で，それぞれのデータ密度に対しても，最も高い PSNR を太字で示している．なお，NonAda と Ada については，画像全体のカーネル関数の大きさを表すパラメータ h をいくつか設定し，最も高い PSNR を示す結果を利用した．提案手法である AdaPro では，最小固有値の設定値を 0.001 とした．また，繰り返し処理については 3 回の固定回数として，図 2 に基づく，従来の繰り返し処理を行っている．まず，表 1 より，提案手法である YCrCb200(AdaPro) の結果がデータ密度によらず，最も高い PSNR を示していることが確認される．また，提案手法のカーネル関数の大きさ設計方法は，大きな次数の多項式モデルに対して，特に有効であるこ. とが確認される．これは，多項式の次数が大きい場合，推定すべきパラメータの数が多くなり，その結果として，関数回帰が不安定になりやすいことが原因であると考えられる．一方，Takeda らのカーネル関数の大きさの設計方法である Ada は，NonAda とほとんどかわらないか，むしろ PSNR が劣化する場合がある．次に，提案の繰り返し処理の効果について確認する．表 1 で最も PSNR が高かった，YCrCb200(AdaPro) を利用して，繰り返し処理の効果を比較した．繰り返し処理毎の PSNR を比較した結果を図 5 に示す．ここでは，式 (15) の ε の値を，0.0, 0.1 および 1.0 に設定し，データ密度毎に計算を行った．図 2 に基づく繰り返し処理についても同様の計算を行った．なお，ε = 0.0 が補間画像データとの融合を行わない従来の繰り返し処理に対応する．また，図 2 に基づく繰り返し処理はデノイズ処理と考えられるので，図中凡例では Denoise と示している．図 5 より，入力データと補間画像データを融合し，繰り返し処理を行う提案手法が，入力データ密度によらず，従来の繰り返し処理 (Denoise) およびデータ融合を行わない繰り返し処理 (ε = 0.0) よりも常に高い PSNR を示していることが確認される．従来の繰り返し処理では，繰り返し回数を増加させると PSNR が低下する場合もあるが，提案の繰り返し処理では繰り返し回数を増加させるにつれて，PSNR が高くなっている．また，ε = 0.1 の結果が，ε = 1.0 よりも，高い PSNR を示している．パラメータ ε は，補間画像データの信頼性に対応し，ε = 1.0 は入力データと補間画像データを同程度に信頼することを意味する．補間画像データは，入力データよりも，信頼性が低いため，ε = 0.1 の結果が，ε = 1.0 よりも，. 6. ⓒ2009 Information Processing Society of Japan.

(8) 情報処理学会研究報告 IPSJ SIG Technical Report. Vol.2009-CVIM-168 No.20 2009/9/1. 高い PSNR を示すと考えられる．また，図 2 に基づく繰り返し処理は繰り返し回数が増加するにつれて， PSNR が劣化する場合もある．これは，図 2 に基づく繰り返し処理は，基本的にデノイズ処理を繰り返していることに対応し，デノイズ処理を繰り返すことにより過度に滑らかにしていることが原因であると考えられる．図 6 に，文献 [18] の手法と提案手法の処理結果の比較を示す．この図から，文献 [18] の手法では過度に滑らかに補間されているのに対して，提案手法では先鋭に補間画像が得られていることが確認される．. 5. むすび. 本論文では，カラー画像の補間を考えた新しいカーネル回帰法を提案した．提案手法は，チャネル間の相関を利用した回帰関数のモデル化，関数回帰の安定性に基づくカーネル関数の大きさの適応的設計および，入力画像データと補間画像データを融合した繰り返し処理を特徴としている．不規則にサンプリングされたデータから補間画像を作成し，提案手法の有効性を確認した．いくつかの条件を組み合わせて比較したところ，チャネル間の相関を利用すること，カーネル関数の大きさを適応的に設計することおよびデータ融合による繰り返し処理が，それぞれ有効であることを確認した．また，従来のカーネル回帰法と比較して，提案手法の補間結果は高い PSNR を示すことを実験的に示した．. [6] T. Gotoh and M. Okutomi. Direct super-resolution and registration using raw CFA images. IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR), Vol. 2, pp. 600– 607, 2004. [7] BK Gunturk, J. Glotzbach, Y. Altunbasak, RW Schafer, and RM Mersereau. Demosaicking: color filter array interpolation. IEEE Signal Processing Magazine, Vol. 22, No. 1, pp. 44–54, 2005. [8] K. Hirakawa and PJ Wolfe. Spatio-Spectral Color Filter Array Design for Optimal Image Recovery. IEEE Transactions on Image Processing, Vol. 17, No. 10, pp. 1876–1890, 2008. [9] H. Hou and H. Andrews. Cubic splines for image interpolation and digital filtering. IEEE Transactions on Acoustics, Speech and Signal Processing, Vol. 26, No. 6, pp. 508–517, 1978. [10] R. Keys. Cubic convolution interpolation for digital image processing. IEEE Transactions on Acoustics, Speech and Signal Processing, Vol. 29, No. 6, pp. 1153–1160, 1981. [11] T. Komatsu, K. Aizawa, T. Igarashi, and T. Saito. Signal-processing based method for acquiring very high resolutionimages with multiple cameras and its theoretical analysis. IEE Proceedings I Communications, Speech and Vision, Vol. 140, No. 1, pp. 19–24, 1993. [12] L. Landweber. An iterative formula for Fredholm integral equation of the first kind. American Journal of Mathematics, Vol. 73, pp. 615–624, 1951. [13] X. Li, B. Gunturk, and L. Zhang. Image demosaicing: A systematic survey. Visual Communications and Image Processing 2008.. 謝辞本研究の一部は，独立行政法人新エネルギー・産業技術総合開発機構の大学発事業創出実用化研究開発事業によるものである．齋藤章史氏と岡崎豊氏の研究協力に感謝いたします．. [14] R. Lukac and KN Plataniotis. Color filter arrays: Design and performance analysis. IEEE Transactions on Consumer Electronics, Vol. 51, No. 4, pp. 1260–1267, 2005. [15] A. Papoulis. A new algorithm in spectral analysis and band-limited extrapolation. IEEE Transactions on Circuits and Systems, Vol. 22, No. 9, pp. 735–742, 1975.. 参考文献 [1] B.E. Bayer. Color imaging array, 1976.. [16] S.C. Park, M.K. Park, and M.G. Kang. Superresolution image reconstruction: a technical overview. IEEE signal processing magazine, Vol. 20, No. 3, pp. 21–36, 2003.. [2] M. Bertalmio, G. Sapiro, V. Caselles, and C. Ballester. Image inpainting. In Proceedings of the 27th annual conference on Computer graphics and interactive techniques, pp. 417–424, 2000.. [17] BW Silverman. Density estimation for statistics and data analysis. 1986.. [3] P. Chatterjee, S. Mukherjee, S. Chaudhuri, and G. Seetharaman. Application Of Papoulis Gerchberg Method In Image Super-Resolution and Inpainting. The Computer Journal, 2007.. [18] H. Takeda, S. Farsiu, and P. Milanfar. Kernel Regression for Image Processing and Reconstruction. IEEE Transactions on Image Processing, Vol. 16, No. 2, pp. 349–366, 2007.. [4] S. Farsiu, M. Elad, and P Milanfar. Multiframe demosaicing and super-resolution of color images. IEEE Transactions on Image Processing, Vol. 15, No. 1, pp. 141–159, 2006.. [19] 田中正行, 奥富正敏. 画素数の壁を打ち破る：複数画像からの超解像技術. 映像情報メディア学会誌, Vol. 62, No. 3, pp. 337–342, 2008.. [5] RW Gerchberg. Super-resolution through error energy reduction. Journal of Modern Optics, Vol. 21, No. 9, pp. 709–720, 1974.. 7. ⓒ2009 Information Processing Society of Japan.

(9) 情報処理学会研究報告 IPSJ SIG Technical Report. Data density is 0.1. Vol.2009-CVIM-168 No.20 2009/9/1. Data density is 0.2 (a) 不規則サンプリングされた入力画像. Data density is 0.3. Data density is 0.1 (26.86[dB]) Data density is 0.2 (29.37[dB]) Data density is 0.3 (30.54[dB]) (b) RGB-000(Ada) のカーネル回帰法による補間処理結果 (文献 [18]). Data density is 0.1 (29.73[dB]) Data density is 0.2 (32.03[dB]) Data density is 0.3 (33.45[dB]) (c) YCrCb-200(AdaPro) のカーネル回帰法による補間処理結果 (提案手法) Fig. 6: 補間処理結果比較. 8. ⓒ2009 Information Processing Society of Japan.

(10)