テクスチャの幾何学的変換と類似パターン位置を考慮したエネルギー最小化による画像修復

全文

(1)「画像の認識・理解シンポジウム」年月. テクスチャの幾何学的変換と類似パターン位置を考慮したエネルギー最小化による画像修復宮本. 龍Ý. 河合. 紀彦Ý. 山澤. 一誠ÝÝ. 佐藤智和Ý. 横矢直和Ý. 奈良先端科学技術大学院大学情報科学研究科〒奈良県生駒市高山町福岡工業大学情報工学部情報工学科〒福岡県福岡市東区和白東 .

(2)

(3)

(4)

(5) ! あらまし本稿では，写真についた傷など画像内の不要な部分を取り除き，その欠損領域を自動的に修復する新たな手法を提案する．従来，パターン類似度.

(6) に基づくエネルギー関数を用いて欠損を. 修復する手法が提案されている．しかし，画像内のテクスチャパターンに限りがあるため，違和感のない修復に必要なパターンが画像内に存在しないことが多い．そこで，本研究ではテクスチャの明度と幾何学的な変換を考慮したエネルギー関数を新たに定義し，画像内で近接するパターン間の相対的な位置関係を利用し，エネルギーを最小化する．これにより，パターンの不足による不自然なテクスチャの生成を抑制し，また幾何学的変換の許容による計算コストの増加を抑止する．実験では，様々な画像に対して欠損領域の修復を行い，アンケート評価により従来手法と比較することで提案手法の有効性を示す．キーワード画像修復，画像補間，エネルギー最小化，幾何学的変換る手法 ∼ と，テクスチャの輝度値をパターン類似. はじめに. 度の指標として用いる手法 ∼ がある．. インターネットの普及に伴い，個人が日常的に撮影し. 特徴空間を用いる手法として，東海林らは，フーリエ. た写真や映像をホームページやブログに掲載することが. 空間を用いて欠損修復する手法を提案した．また，天. 一般的に行われている．このような目的で，過去に撮影. 野らは，一般的な周波数ベクトルよりも画像特有の特. 済みのアナログ写真をスキャナなどで電子化する際，ア. 徴量を用いた方が良好な結果が得られるとの考えから，. ナログ写真の物理的な損傷（キズ，よごれ等）によりそ. データ領域から学習サンプルとして複数のウインドウを. のままでの利用が難しい場合がある．また，デジタル写. 切り出すことにより固有空間を構成し，生成された固有. 真や映像においては，利用意図に沿わない物体などが. ベクトルを結合することで欠損領域の補間を行う . 写っているため，そのままでは利用しづらい場合も起こ. 法および法を改良した法を提案し. りうる．このような問題に対して，写真についた傷や意. た．この手法では，自己相関性の高い画像に対して，欠. 図せず写りこんでしまった物体などの画像内の不要部分. 損領域内に細かいテクスチャを再現し違和感の少ない修. を取り除き，取り除かれた領域（以下，欠損領域）を自. 復を行うことができる．しかし，欠損領域を含む一つの. 動的に違和感なく修復することで画像の利用価値を高め. ウインドウ内に必ず欠損領域以外の領域を含まなければ. る画像修復に関する研究が盛んに行われている．. ならないという原理的な制約から，一つのウインドウに. これら画像修復の手法は，欠損領域周辺の画素の輝度値を利用する手法と欠損領域以外の領域全体以下，デー. 収まらないような大きな欠損領域を持つ画像に対しては適用が難しい．. タ領域の情報を利用する手法に大別できる．前者のア. テクスチャの輝度値をパターン類似度の指標として用. プローチとして，輝度値の連続性を考慮して欠損領域の. いる手法として，らは，データ領域から欠損領. 周りから輝度値を滑らかに補間する手法が古くから用い. 域の境界のテクスチャパターンと類似する部分を探索し，. られてきた ∼．これらの手法は，画素の輝度値を欠. 最も類似したテクスチャを逐次的に欠損領域に合成する. 損領域の境界から内側へ徐々に伝播させることで，写真. 手法を提案した．この手法では，欠損領域が大きい場. に付いた引っかき傷のような細い領域に対しては良好な. 合にも細かいテクスチャを生成できるが，テクスチャを. 修復画像を得ることができる．しかし，大きな領域を修. 欠損領域の境界から内側に逐次的に合成するというアプ. 復した場合には細かいテクスチャが表現できず，不鮮明. ローチを採るため，最終的に生成される画像の品質がテ. な画像が生成されるという問題がある．このような問題. クスチャの合成順に大きく依存し，不連続なテクスチャ. を解決するために，後者のアプローチを用いた手法が近. が生じやすいという問題がある．これに対して，エッジ. 年盛んに研究されている．このような手法には，画像か. 部分のつながりをあらかじめ自動的に指定することでこ. ら得られる特徴空間上の距離を類似度の指標として用い. の問題を回避する手法 !" も提案されている．しか. IS3-35 : 1096.

(7) し，テクスチャが複雑な場合には，修復に有効なエッジ. 1枚の画像を入力. を正しく推定することが難しい．これに対して，テクスチャの合成順に依存せずに，欠. (a)対象領域（欠損領域）の指定. 損領域全体に対して最適な画像を生成する，全体最適化による修復手法が提案されている．# $% らは，欠損領域とデータ領域間のパターン類似度. (b)欠損領域の境界付近の画素に対する類似パターン位置の探索. を用いて画像. の尤もらしさに基づくエネルギー関数を定義し，これを. (c)欠損領域の初期値の設定. 欠損領域全体に対して最小化することで画像を修復する手法 & を提案した．しかし，データ領域のテクスチャ. (d-I)欠損領域内の各画素に対する類似パターン位置の探索. をそのまま用いて修復するため，欠損領域に適した類似物体がデータ領域に存在したとしても類似物体の明度や. (d-II)欠損領域内の画素値の更新. 見え方の変化がある場合はその変化に対応できず，不自いいえ. エネルギーが収束したか. 然なテクスチャが生成される場合がある．そのため，近年，データ領域のテクスチャを光学的，幾何学的に拡張. はい. し，修復に利用できるテクスチャパターンの種類を増や. 1枚の画像を出力. すことで，より多くの画像に対して違和感のない修復が試みられている．' ( らは，テクスチャの明度変化を. 図. 処理の流れ. 考慮したエネルギー関数を用いることで，欠損領域の周辺で同一物体の明度に差がある場合でも，自然な明度変化を持つテクスチャを生成する手法 ) を提案した．ま. 上で手動により指定し，指定した領域の境界付近の画素に対する類似パターンの位置を探索する +．次に，. た，* らは，テクスチャの回転を考慮したエネルギー. 何らかの方法を用いて欠損領域に初期値となる画素値を. 関数を用いることで，円状の物体の一部が欠損している. 与え，エネルギーを最小化するよう欠損領域内の各. 場合でも，自然な幾何学的構造を持つテクスチャを生成. 画素に対する類似パターン位置の探索

(8) ,- と画素値の. する手法を提案した．しかし，これまで同一画像内. 更新

(9) ,-- を繰り返すことで，欠損領域の修復を行う．. におけるテクスチャパターンの明度変化と幾何学的な変. 以下では，まず従来から用いられてきたパターン類似度. 換の両方を考慮した手法は存在しておらず，また幾何学. に基づくエネルギー関数の定義について概説し，次. 的な変換にも限りがあった．そのため，修復に必要なパ. に，今回提案するエネルギー関数とその最小化手法につ. ターンの不足により，修復画像において明度や幾何学的. いて述べる．. な構造の不自然な変化が表れ違和感が生じる場合がある．また，これらの手法では画像全体に対して類似パターン. パターン類似度によるエネルギー関数の定義. の探索を行うため，計算コストが大きく，かつ不適切なパターンの対応を招くことがあり，修復画像がぼけてし. 本節では，# $% らが提案したパターン類似度. . に基づくエネルギー関数について概説する．パターン類. まう場合がある．本稿では，テクスチャの全体最適化による手法 &" ). 似度を用いた画像修復手法では，図 & に示すように，画. を基礎とし，データ領域と欠損領域の間の明度変化と幾. 像をユーザが指定した欠損領域 . を含む領域 .¼ と，画. 何学的な変換を許容したパターン類似度によるエネル. 像内の .¼ 以外のデータ領域 / に分け，領域 .¼ 内の画像. ギー関数を新たに定義する．また，エネルギー関数の最. の尤もらしさをデータ領域 / 内の画像パターンを用いて. 小化において，画像内で近接するパターン間の幾何学的. 定義する．ここでは，画像内において一定サイズの正方. 変換を考慮した相対的な位置関係を利用した探索を用い. ウインドウ. る．明度変化と幾何学的な変換を許容したパターン類似. 中心画素の集合を .¼ とし，欠損領域の尤もらしさに基. 度を用いることで，修復に必要なパターンの不足により. 内に一部でも . が含まれるウインドウの. づくエネルギーを，領域 .¼ 内の画素 Ü とデータ領域 /. 生じるテクスチャの明度と幾何学的な構造の不自然な変. 内の画素 Ü 周辺のパターン類似度. 化を抑止する．また，画像内で近接するパターン間の位. として以下のように定義する．. 置関係を利用した探索範囲の限定により，計算コストを削減し，かつ不適切なパターンの対応付けによるぼけの発生を抑制する．. . . 0. Ü. Ü Ü Ü . . 提案手法の処理の流れを図に示す．本研究では，まず写真上の傷や不要な物といった修復したい領域を画像. は重み Ü. . . ¾. ¼. Ü Ü 0. エネルギー最小化による画像修復. の重み付き総和. Ô¾. Ü 1 Ô Ü. . 1 Ô. &. ここで， Ü は画素 Ü の画素値を表す．また，ここで. IS3-35 : 1097. として，領域 .¼ . では各画素の値が固定.

(10) 定数に限定する．データ領域. ウインドウ.

(11) Ü Ü のとき ÜÜ 0

(12) Ü Ü 0 1 のとき 1

(13) Ü Ü 1 のとき . Ü Ü. 0. . ウインドウ.

(14) . 欠損領域. 画像上の各領域.

(15) Ü Ü. . Ü. 0 を，領域 . では境界に近いほど画素値の信頼度が高くなるため Ü 0 は . の境界から画素 Ü までの最短距離，は正の定数を用いる．# $% らの手法 & では，定義したエネルギー関数を最小化する欠損領域内の画素値 Ü とそれに対値となるため. . . 応する類似パターン位置. . . Ü. を算出することで，欠損領. 0. テクスチャの明度変化と幾何学的変換を許容したエネルギー関数の拡張. 本研究では，式による欠損領域の尤もらしさに基. . づくエネルギー関数. . を，明度変化と幾何学的変換. を考慮して拡張する．具体的には，画像パターンの幾何学的な変換を許容するために座標変換行列を導入する．また，明度変化を許容するために ) で提案された輝度補正係数を利用することで，エネルギーを新たに次のように定義する．. 0. Ü Ü Ü ÌÜ Ü ¼. Ü. ¾. ¼. . ). . Ü Ü ÌÜ Ü は明度変化と幾何学的な変 ¼. ここで，. . . 換を許容したパターン類似度であり，以下のように定義する．. Ü Ü ÌÜ Ü Ü 1 Ô Ü Ü Ü 0 ¼. . . . . Ô¾. . . . 1 ÌÜ Ü Ô. . Ü. Õ¾ Ü 1 Õ. Õ¾. . . 1 Õ. 幾何学的な変換として，被写体の対称性を利用するためにミラーリングを，カメラでの撮影時における透視投影効果等により生じるスケールの変化に対応するためにスケーリングを許容する．具体的には，座標変換行列. ÌÜ Ü. . を以下のように定義する．. 域を修復する．. . . ただし，. 図. . ÌÜ Ü 0. . !. . !. . . . . 0 とする．提案するエネルギー関数のパラメータは，欠損領域 . 内の画素値 Ü ，領域 .¼ の画素に対応するデータ領域内の画素の位置 Ü ，及びテクスチャの幾何学的変換パラメータである．次節で，エネルギーを最小化するパラメータの算出方法について述べる．ただし，. . . . . エネルギーの最小化による画素値の更新本研究では，2

(16) 3 4%5 67 の枠組みを用いて式 ) で定義したエネルギーを最小化する．具体的には，. . 類似パターンの位置を固定した時，輝度補正係数. の変. 化が欠損領域内の画素値の変化に対して微小であると仮定すると，エネルギー. を欠損領域 . 内の各画素で独. 立に扱えることに着目し，.

(17) ,-. . . 領域 .¼ 内の各画素に対する類似パターン位置の. 探索.

(18) ,-- 欠損領域 . 内の画素値の並列的な更新をエネルギーが収束するまで繰り返すことで，画像全体. ただし， Ü Ü はデータ領域のテクスチャの明度変化を許容するための輝度補正係数，ÌÜ Ü はデータ領域のテク. のエネルギーを最小化する．しかし，テクスチャの幾何. スチャの幾何学的変換を許容するための座標変換行列を. 大きく，また様々な幾何学的変換を施したテクスチャの. . 合が起こりうる．そこで，本研究では，欠損領域の周辺. 表す．以下，輝度補正係数 Ü Ü と座標変換行列 ÌÜ Ü について詳述する．. 輝度補正係数 Ü Ü は，Ü Ü それぞれの画素の周辺の平均輝度値の比を用いて算出する．これにより，データ. 学的変換を許容した類似パターンの探索は計算コストが組み合わせにより，不自然なテクスチャが生成される場に存在するパターンに類似したデータ領域内のパターンと，その近傍に存在するパターンの相対的な位置関係を，. 領域のテクスチャの明度を欠損領域のテクスチャの明度. 欠損領域内に再現するよう，類似パターンの探索範囲お. に合わせる．ただし，実際の画像において比較的大きな. よびテクスチャの変換パラメータを限定することで，高. 明度変化を定数倍の変化として近似すると，違和感のあ. 速化及び不自然なテクスチャの生成の抑制を図る．具体. る画像が生成されやすいことから，式に示す一定範囲内 . 0 Ü Ü 0 1 ，ただしは ! の . 的には，処理

(19) ,-，

(20) ,-- の前処理として，処理 + で，図 & のデータ領域 / のうち領域 .¼ と接する画素の集合. IS3-35 : 1098.

(21) 最類似ウインドウ. 図. 最類似ウインドウ. 領域内の画素に対する類似パターン位置の探索. 図. 欠損領域内の各画素に対する類似パターン位置の探索. 領域を図 ) に示すよう 8 とし，領域 8 内の画素に対する類似パターン位置の探索と幾何学的な変換のパラメータの算出を行い，かつ領域 .¼ 内の画素と領域 8 内の画素との対応関係を決めておき，これらの情報を処理

(22) ,- で利用する．以下では，処理 +，

(23) ,-，

(24) ,-- の詳細に最類似ウインドウ. ついて順に述べる．. ¾º ¿º ½. 領域 8 内の画素に対する類似パターン位置の探索. 処理 + では，処理

(25) ,- における領域 .¼ 内の各画素. 図. に対する類似パターン位置の探索範囲と幾何学的変換パラメータを限定するための前処理を行う．ここでは，図 ). に示すように，領域 .¼ 内の Ü と画像上の距離が最も近. 9 として対応付ける．次に，画素い領域 8 内の画素を Ü. 9Ü Ü ÌÜ Ü が最小となるパターン Ü 0 Ü ，及び座標変換行列 ÌÜ Ü 0 ÌÜ Ü 位置 9. Ü9. ¼. に対して. . . . . . を算出する．具体的には，データ領域 / 内の全画素を対象に，幾何学的変換パラメータ. . . を離散的に変え. を算出し，が最小となる位置および Ü ，ÌÜ Ü とする．幾何学的変換パラメータを 9 ながら. ¾º ¿º ¾. ¼. ¼. . 領域 .¼ 内の各画素に対する類似パターン位置の探索. 処理

(26) ,- では，欠損領域内の全画素値を固定し，領域. . 内の画素 Ü に対応する類似パターン位置を，処理 + において求めた領域 8 内の画素に対する類似パターン位置 ¼. とテクスチャの変換パラメータを利用して探索する．ここ. 9 の位置関係，算出されたでは，図に示すように，Ü と Ü. . Ü9. . の類似パターン位置 9 Ü と座標変換行列 ÌÜ Ü をそれぞれ利用し，位置 9 Ü ÌÜ Ü 9Ü Ü を中心とし，一辺が. Ü. . . は正の定数. 9 の正方形 Ü. を画素 Ü に対する類似パターン位置の探索範囲とする．. . この範囲内において，座標変換行列 ÌÜ Ü を用いた ¼ Ü Ü ÌÜ Ü が最小となる Ü 0 Ü を求. . . める．このように，予め求めた領域 8 内の画素に対する. 類似パターン位置と座標変換行列を利用することで，幾何学的変換を考慮したテクスチャの連続性を保存し，かつ計算コストを削減する．. ¾º ¿º ¿. 欠損領域 . 内の画素値に対する並列的な更新. 処理

(27) ,-- では，処理

(28) ,- で更新された類似パター. ンの位置を利用し，式 ) で定義したエネルギー. を最. エネルギー算出における画素の関係. . 小化するよう，欠損領域 . 内の画素値 Ü を画素並列に更新する．以下では，パターンの組を固定した場合の. . 画素値 Ü の算出手法について詳述する．ここではま. を，欠損領域内の各画素での要素エネ Ü に分解する．図に示すように，更新対象. ず，エネルギールギー. となる画素の位置を Ü ，Ü を中心とするウインドウ. 内の任意の点を Ü 1 Ô Ô . とする．このとき，画素. Ü 1 Ô を中心とするパターンに対する類似パターンの位置は Ü 1 Ô であり，この類似パターン上において Ü と対応する画素の位置は Ü 1 Ô ÌÜ Ô Ü Ô Ô となる．ここで，注目画素 Ü に関係するの要素エネルギー Ü は，Ü と Ü 1 Ô ÌÜ Ô Ü Ô Ô の画素値の関係，それぞれの画素の周りの平均輝度値，. Ü. . と Ü 位置の関係から算出でき，以下のように表す. ことができる．. Ü 0. Ô¾. Ü Ô Ü . . Ü Ô Ü Ô Ü 1Ô ÌÜ Ô Ü Ô Ô このとき，欠損領域全体のエネルギー. . と各画素での要. Ü の関係は，以下のように表せる． Ü 1 . 素エネルギー. 0. Ü. ¾. は，領域 . . 内にある画素に関するエネルギーであ ¼. り，処理

(29) ,-- では類似パターン位置が固定されている. ため定数として扱える．ここで，要素エネルギー. IS3-35 : 1099. Ü .

(30) を欠損領域内のある画素の画素値 Ü で偏微分すれば，エネルギーを最小化する Ü の必要条件は次式で表せる． Ü ! Ü 0 Ü Ü 0 ! このとき，画素値 Ü の変化に対する輝度値補正係数. の変化は微小であると仮定し， Ü Ü 0 !Ü . Ü とおけば， Ü Ü 0 ! 0 となり，式 ! はの変数は Ü であるため，. ¾. . . ¼. 以下のように表せる．. 0 Ü 0 ! Ü Ü . &. . . 従って，式，& より，を最小化する画素 Ü は. 以下のように算出できる．. Ü 0 0Ü. Ô¾. Ì Ô. . ¾. Ô. 領域は，原画像の一部を塗りつぶすことにより手動で与え図中の赤い領域，欠損領域の初期値は欠損領域の境界画素の輝度値の平均値とした．粗密法による処理では，データ領域のサンプル数が全画素数の @以上となる最小のスケールから開始し，元のサイズの画像に対してはウインドウサイズをからまでウインドウの辺の長さを & 画素ずつ減少させた．また，収束判定は，反復におけるエネルギーの減少幅がエネルギーの大きさの !=!@以下となる場合とした．なお，提案手法における幾何学的変換は，水平方向と垂直方向のミラーリングと，アスペクト比固定のスケーリングとした．ただし，スケーリングについては，処理中のウインドウの辺の長さを画素ずつ増減させたパターンを処理中のウインドウサイズにスケーリングして例：ウインドウサイズがの時は，，)) のパターンをにスケーリングして対応した．. 提案手法による画像修復の具体例本節では，提案手法による画像修復の具体例として図. . ). 1Ô. 中の画像の修復過程を示す．図に各スケール，ウインドウサイズにおける画像処理時のエネルギーの変化と反復回数の関係を示す．なお，各スケール，ウインド. なお，式 ) は式を前提とした近似解であるが，. ウサイズでの初期エネルギーをに正規化している．図. 束するため，エネルギーが収束するにつれて良い近似解. に減少していることが確認できる．また，原寸スケール. Ü が収束するに従って輝度値の補正係数の値も収となる．. から，式による近似を用いてもエネルギーは単調でウインドウサイズがのときの，エネルギーの推移. また，処理全体を通して効率的に大域最適解に近い解. と画像修復過程を図に示す．図から，初期画像の左. を得るために，粗密法による処理も行う．具体的には，. 上部に違和感のあるテクスチャが存在していたが反復処. あらかじめ画像ピラミッドを作成しておき，一定サイズ. 理により，空が再現され違和感の少ない画像が生成され. のウインドウを用いて上位層から下位層へ順次エネル. ていることが確認できる．. ギー最小化処理を行う．その際，上位層の結果を下位層. . の初期値として投影することで良い初期値を与え，処理の高速化と局所解の回避を行う．また，元のサイズの画像に対しては，ウインドウサイズを順次小さくしながらエネルギー最小化処理を行うことで，細部までテクスチャを再現する．. 実. 被験者による主観的評価実験と考察. 本節では，テクスチャの逐次的合成による代表的な修復手法である. らの手法，全体最適化による. 修復手法である # $% らの手法 &，# $% らの手法を明度変化を考慮して拡張した ' ( らの手法 )，提案手法それぞれを用いた修復画像に対して ) 名の被験. 験. 者 &! 代前半の男女による評価実験を行った．被験者. 様々な特徴を持つ !! 枚の画像 &!!&!! 画素を対象とした画像修復実験を通じて，提案手法の有効性を明らかにする．ここではまず，提案手法による画像修復. には，アンケート評価のためのウェブページにアクセスしてもらい，ウェブページ上に並べられた !! 枚の入力画像に対する !! 枚の修復画像に対して段階の点数評. の具体例を示し，提案手法のふるまいと効果を説明す. 価を行ってもらった．修復結果の採点ページ上では，. る．また，!! 枚全ての修復結果に対するアンケート評. 種類の手法により修復した結果画像を入力画像ごとにラ. 価に基づく被験者実験を行うことで，提案手法の有効性. ンダムな順序で並べた．また，修復画像を個人のホーム. を判定する．アンケート評価の結果をもとに，提案手法表. による修復結果と従来手法による修復結果を比較し，統計的に有意な差があると認められた画像について考察する．なお，本実験では，. ウインドウサイズ. :;< )=&2>? メモ. リ;2 を用いて修復処理を行い，エネルギー関数の各. 本実験での各種パラメータの設定. 輝度補正係数. に関する範囲. 提案手法における探索範囲に用いる係数. 種パラメータは表に示すように設定した．また，欠損. IS3-35 : 1100. 画素の重み. Ü. に用いる定数. . . . .

(31) を得られる手法だと言える．しかし，画像の特徴により 1. 従来手法の方がよい結果を得られる場合もあった．以下では，提案手法と従来手法の間で統計的に有意な差があ. エネルギー. 0.9 0.8. スケール1/8, W 9x9. 0.7. スケール1/2, W 9x9. スケール1/4, W 9x9 スケール1, W 9x9 スケール1, W 7x7. 0.6. ると認められた画像 4∼. について考察する図．. 画像 4 は，提案手法が従来手法に対して有意に優れていると認められ，透視投影効果により画像上部に向かってパターンが徐々に小さくなっている構造をもつ画像である．らの手法では，合成順序の影響からテ. 0.5 0. 2. 4. 6. 8. クスチャの構造が極端に変化しており違和感が生じてい. 10 12 14 16 18 20. る．また，# $% らの手法と ' ( らの手法では，適切. 反復回数. 図. な大きさのテクスチャがデータ領域に存在しないためぼエネルギーと反復回数の関係. けが生じたり，テクスチャの大きさが極端に変化している．これに対して，提案手法ではテクスチャパターンのスケーリングを許容しているので，テクスチャのスケールの大きさが極端に変化することなく欠損領域が修復されているため，評価が高くなったと考えられる．画像は，提案手法が従来手法に対して有意に優れていると認められ，対称性を持つ物体を含む画像である．従来手法では，画像中のテクスチャをそのまま利用する. エネルギー. ため，修復に適切な構造を持つテクスチャが存在せず違和感が生じている．これに対して，提案手法ではテクス. 1.05 1 0.95 0.9 0.85 0.8 0.75. チャパターンのミラーリングを許容しているので，水平方向のミラーリングを利用したテクスチャにより，比較 0. 2. 4. 6. 8. 10. 的違和感の少ない画像が生成できているため，評価が高. 12. くなったと考えられる．. 反復回数. 図. 画像エネルギーの推移と画像修復過程. は，提案手法がどの従来手法に対しても有意. に劣っていると認められた画像である．らの手法では，欠損していた窓のエッジを再現できている．. ページや書籍・雑誌等の写真として利用することを前提として，全く使えない画像を点，十分使える画像を点という回答基準で採点してもらった．各手法により出力された各々!! 枚の修復結果につけられた点数の平均値と各手法が最高点を取った回数を表. & に示す（注 ½）．表 & から，提案手法が最も高い平均点であり，また最高点も最多であることが分かる．また，有意水準を @とした 6 検定により，らの手法と提案手法の間には有意差が， # $% らの手法，' ( らの手法と提案手法の間には有意傾向が見られた．これらより，平均的に提案手法が様々な画像に対して良い結果表. アンケート評価結果. 手法. 平均点. 最高点取得回数.

(32) らの手法らの手法らの手法 . . . 提案手法. # $% らの手法と，' ( らの手法では，窓の部分においてはぼけが生じているが，画像の左中央部付近に存在する水平な白い線状のテクスチャの連続性が保たれている．これらに対して，提案手法では窓の部分と画像の左中央部付近の水平な白い線状のテクスチャどちらも途中で途切れている．提案手法の特徴から，欠損領域の内部になるほど様々な箇所のテクスチャが混ざりやすく，そのため適切なテクスチャが再現されずぼけが生じてしまい，評価が低くなったと考えられる．次に，処理時間の比較を行った．# $% らの手法，. ' ( らの手法，提案手法それぞれの処理時間を表 ) に示す．表 ) から，提案手法は # $% らの手法に対して )∼ 倍程度の処理時間が必要であることが分かる．また，' ( らの手法に対しては !=∼= 倍程度の処理時間が必要である．これは，提案手法において幾何学的な変換としてミラーリングとスケーリングを考慮したこと表画像. （注）：実験に用いた枚の入力，結果画像及びアンケート結果を

(33)

(34)

(35) に示す．（著者の匿名性を考慮して，レンタルサーバを利用しています）. ! "

(36). IS3-35 : 1101. 従来手法と提案手法による処理時間の比較. らら提案手法処理処理分秒分秒分秒分秒分秒分秒分秒分秒分秒分秒分秒分秒分秒分秒分秒.

(37) 欠損を与えた画像. らの手法. !" らの手法 #. $ %& らの手法 . 提案手法 #'. . 画像 !：提案手法が従来手法に対して有意に優れていると認められた画像. 欠損を与えた画像. らの手法. !" らの手法 . $ %& らの手法 ('. 提案手法 . #. 画像 "：提案手法が従来手法に対して有意に優れていると認められた画像. 欠損を与えた画像. らの手法. !" らの手法 ). $ %& らの手法 (. 提案手法 )(. . 画像

(38) ：従来手法が提案手法に対して有意に優れていると認められた画像図. 提案手法と従来手法の間に有意差がある画像とその評価点. で，計算コストが増えたことによる．ただし，従来手法. 化と幾何学的な変換を考慮したエネルギー関数を新たに. では，処理 + が存在しないため，処理

(39) だけに注目. 定義し，これを画像内で近接するパターン間の位置関係. すれば ' ( らの手法とほぼ同等，あるいはそれ以下の. を利用した探索を用いて最小化することで，高品位に欠. 処理時間となっていることから，探索範囲の限定により，. 損領域を修復する手法を提案した．アンケート評価に基. 幾何学的変換による計算コストの増加が抑止されている. づく被験者実験により，透視投影効果や対称性のある画. ことが分かる．処理 + では，欠損領域内の画素と対応. 像に対して，従来手法より有効であることを示した．ま. 付けられた領域 8 内の画素のみの探索を行っているにも. た，画像内で近接するパターン間の位置関係を利用した. 関わらず処理時間の三分の一程度を占めている．これは，. 探索により，幾何学的変換による計算コストの増加を抑. 幾何学的変換パラメータを離散的に変えながらデータ領. 止し，かつ不適切なパターンの対応によるぼけの発生を. 域全体を探索していることによる．そのため，処理 +. 抑制できることを示した．しかし，ウインドウサイズや. において， -AB など，回転やスケール変化に頑健な特. エネルギー関数中での重みなど，経験的に決定したパラ. 徴量を用いて探索することで，計算コストの削減が可能. メータが多く，パラメータの変化により結果画像が大き. になると考えられる．. く異なる場合がある．今後は画像から最適なパラメータ. まとめ. を決定する手法を確立する必要がある．また，繰り返し処理の中でエネルギーが収束してくる段階になると，類. 本稿では，従来から提案されているパターン類似度. 似パターン位置が固定されてくるため，それらの画素の. による画像修復手法を基礎に，テクスチャの明度変. 再探索を省くことで高速化が期待できる．. IS3-35 : 1102.

(40) 謝辞本研究の一部は科学研究費補助金基盤研究 4". C=&)&!!& による．文. 献. 前田浩幸# 高橋健一# 太田正光$ %欠損画像の修復処理の一方式&# 電子情報通信学会論文誌 '# () * +'# ,) # -- . # . / " 0)# 1 2- )# (

(41)

(42) "0 $ %34 3-04#& 5 )6 !

(43) / 23117!58# -- .# 9

(44) : * 2:$ %,)+90; 3-04 <

(45) ; =0; +' = '>;)

(46)

(47) '#& * (;

(48) )+ ;60) 34 7- 00)# () # ,) # -- .# 小川貴弘# 長谷山美紀# 北島秀夫$ %オプティカルフローを用いた静止画像における失われた輝度値の復元&# 電子情報通信学会論文誌 '+33# () * +'+33# ,) # -- . # ! 9$ %! 34 3-04 96:?; " ) 0: @0 / 6:4 /0:) #& * 1 -:6 9))# () # ,) # -- . # 東海林健二$ %テクスチャ画像における欠損部修復の一手法&# 電子情報通信学会論文誌 '# () * +'# ,) # -- . # 天野敏之# 佐藤幸男$ %固有空間法を用いた "5A5 による画像補間&# 電子情報通信学会論文誌 '+33# () *+'+33# ,) # -- . # 天野敏之# 佐藤幸男$ %B"5A5 法を用いた高次元非線形射影による画像補間&# 電子情報通信学会論文誌 '+33# () * +'+33# ,) # -- .# !

(49) # 5 5 C 9)<$ %74) @+ 4 DE60 7)= < F- +" 34 3-04#& 3FFF 9 ) 34 5 )64# () # ,) # -- . # * *

(50) 94$ %3G 6 )G 240

(51) )) 90; '6 -0) < 9) ()04#& 3FFF 9 ) 500 !< /6: 3046# () # ,) # -- . # 9 2:0# ! 3B0 2 2 $ %34 3-0+ 4 " ) 5 )06 20 ;60; F00)#& 5 )6 !

(52) )G )

(53) )-;0 ()# -- . # H # F 2:6:0 / 3 $ %2-6+9

(54) )-0) )G ( )#& 3FFF 9 ) 500 !+ < /6: 3046# () # ,) # -- . # , # 9 20) , H)B)<$ %34 3-04

(55) ) 4 " 4:0

(56) :4 2-0 A)60< )G 90; 30 F=;0)#& 5 )6 56I6+7 2<-); ) 34 ( ) 96:))4<# -- . # 8 D # 8 )# 8 / , 3B)$ %34

(57) )-0)

(58) ) 4 A)6 D 00) )G 7)+ 00 500 #& * ! =6

(59) )-;00) 30+ 46 3040 3G) 0)# () # ,) # -- . # . IS3-35 : 1103.

(60)