エッジの強度と方向に基づく画像内挿手法

成 腰 大 学 理 工 学 研 究 報 告 J,Fac,Sci,Tech.,Sei/keiUniv. Vol.48No.2(2011)pp.23-28

エ ッジの 強 度 と方 向 に基 づ く画 像 内挿 手 法

佐 藤 徹 平*1,村 上 仁 己*2,小 池 淳*2

Interpolation for Images Using Edge's Strength and Orientation

Teppei SATO * 1, Hitomi MURAKAMI * 2 Atsushi KOIKE * 2

ABSTRACT : Super-resolution is recently one of the most attractive research themes in the field of digital image processing. For example, it is used for high-resolution display, visual sensing, and satellite image processing, etc. An image interpolation method using covariance between neighboring pixels, so called New Edge-Directed Interpolation (NEDI), was been proposed. It enables to interpolate pixels quantitatively regardless of edge features. However, in estimation of predictive coefficients and determination of NEDI's local window size, edge features are not made consideration. So, NEDI cannot necessarily satisfy quality of picture. In order to overcome this problem, we propose a new intra-frame super-resolution method that window sizes are adaptively determined depending on edge strengths and orientations. First, we detect edge and its strength in an image, and set NEDI's applicable area and local window size depending on the detected edge strength. If the detected edge strength is intensive, we set local window size small and set applicable area narrow. Using these features, we estimate predictive coefficients, and interpolate pixels. Experimental simulation shows that the proposed method can interpolate pixels more clearly than NEDI for many kinds of edges. We are going to automate setting interpolation parameters and modify interpolation in non-edge area.

Keywords : super-resolution, intra-frame super-resolution, image interpolation, interpolative prediction

(Received September 21,2011) 1.序 論 低解 像 画 像 か ら高 解 像 画 像 を 生 成 す る,い わ ゆ る超 解 像 度 技 術 は,デ ィ ジ タル 画 像 処 理 技 術 の 分 野 の 中 で 現 在 最 も注 目 され て い る技 術 の 一 つ で あ る1'4〕。近 年 で は高 解 像 デ ィス プ レイ や,ヴ ィ ジ ュア ル セ ン シ ン グ,衛 星 画 像 処 理 な どに 適 用 され て い る。 超解 像 度 技 術 は,大 き く分 け て2種 類 の 手 法 が あ る。 1つ め は,1枚 の 高 解 像 度 画 像 を生 成 す るた めに,複 数 枚 の 画 像 を用 い る複 数 フ レー一一ム超 解 像,2つ めは1フ レ ー ム の 入 力 画 像 の み か ら,そ の フレームに対す る高解像 度 画 像 を 生 成 す る フ レー ム 内 超解 像 で あ る。 さ ら に,フ レー ム 内超 解 像 手 法 は 事 前 学 習型 や 自己 合 同 性 を 利 用 す る 手 法 な どに分 類 され る が,我 々 は,よ り適用 条件 や適 用 分 野 が広 くデ ー タ ベ ー ス も必 要 と しな い 手 法 で の超 解 像 を試 み た。 本論 文 で は,周 囲 の 画 素 との 共 分散 を用 い て 画 素 を内 挿 す る 手 法 に 注 目 し,従 来 手 法 よ り もエ ッジ の 特性 を考 慮 した 手 法 を提 案す る。 シ ミ ュ レー シ ョン 実験 を行 い, 1枚 の 画像 の 中 に複 数種 類 の エ ッ ジが含 ま れ て い た 場合, 提 案 手 法 の 有効 性 が認 め られ た た め,そ の 結果 を示 す。 2.研 究 背 景 *1・ 理 工 学 研 究 科 理 工 学 専 攻 修 ± 学 生 *2・ 情 報 科 学 科 教 授(koike@stseikei _.acjp) 超 解 像 度 を 実 現 す る た め の 手 法 の 一 つ に フ レ ー ム 内 の 画 素 間 の 相 関 を 利 用 す る 手 法 が 提 案 さ れ て い る1)。 こ の 手 法(NewEdge-Directedlntelpolation(NEDI))で は,画 像 内 の エ ッ ジ 付 近 に お い て 内 挿 す る 画 素 を 周 囲 と の 位 置 関 係 か ら,画 素 間 の 共 分 散 を 用 い て 予 測 す る 手 法 で あ る 。 共

分 散 を用 い る こ とで,エ ッジ の 特 性 に 関 わ らず 定 量 的 に 画 素 を内挿 す る こ とを 可 能 と して い る。 しか しな が ら,エ ッジ 検 出 に 分 散 を用 い て い る こ とか ら,内 挿 の た め 予 測 係数 や ウ ィ ン ドウサ イ ズ が エ ッジ の 空 間 的 な ス ケ ー ル(強 度)を 考 慮 して い な い た め,必 ず し も満 足 で き る画 像 品 質 を 達 成 して い な い 。 本 論 文 で は,エ ッ ジ部 に お け る空 間 的 な 強 度 を 考 慮 し た フ レー ム 内超 解 像 手 法 を提 案 す る。 画 像 内 にお け るエ ッ ジ部 とそ の 強 度 を検 出 し,そ の エ ッ ジ強 度 に基 づ い て 内 挿 の た め の ウ ィ ン ドウサ イ ズ と共 分 散 に よ る画 素 内 挿 を適 用 させ る範 囲 を変 更 し,よ り画 素 の 内 挿 に必 要 十 分 な 情 報 の み を使 用 し,内 挿 予 測 を行 う。 こ こ で,sは _{分 散 の 値,x。 ,bは座 標(a,b)に お け る画 素 の} 輝 度 を そ れ ぞ れ 示 し て い る。 エ ッ ジ 部 と み な さ れ た 領 域 で は,ま ず 画 素Y2i+1_,2j+1を 以 下 の 式(2)に よ り線 形 補 間 を す る 。     ろ 岨 ・ノ・・一 Σ Σ α・姓 ・均 ・㈹ ・,、・,(・) k=0`=0 こ こ で,α は 内 挿 す る 画 素Y2i+1 ,2j+1か ら見 た,対 角 線 方 向 の4近 傍 の 画 素 の 情 報 を ど の よ うに 重 み 付 け す る か 決 定 す る1×4の マ ト リ ク ス で あ る 。 ベ ク トル αは ,高 解 像 画像 の 共 分 散 を 用 い て,以 下 の 式 (3)で 表 わ さ れ る 。 3.NEDI こ の 手 法 で は,低 解 像 画 像Xi ,jから高 解 像 画 像Y2i,2jを生 成 す る に あ た り,高 解 像 画 像 に お け る 画 素 の 共 分 散 Rκ1,rkと,低 解 像 画 像 に お け る そ れRκ`,残 が,幾 何 学 的 対 称 性 か ら 近 似 で き る と し,内 挿 し た い 画 素 を 低 解 像 画 像 の 共 分 散 か ら 予 測 し 内 挿 す る 。 図1に 内 挿 画 素 と そ の 周 囲 の 画 素 と の 関 係 を 示 す 。NEDIで は 画 素 の 内 挿 に2つ の ス テ ッ プ を 踏 み,lstス テ ッ プ で は,図1に お い て 黒 く 塗 りつ ぶ さ れ て い る 点 を 内 挿 す る 。 ま た,白 い 点 は 低 解 像 画 像 の 画 素 で あ る 。 (2i-2,2L二Z (2i,2j--2) (2i+2,21;2) ; 二z)6 llβ12 'L_{【面2iま ＼ 」㎏i-z21+}3 星L一 一2)く

麟1蜘

_・1 ノ 、1,

"

込iA

)で2馬'2i†2ナ つ 一… 1,21+1) ♪一」罰 土 乙2雌 λ} ・一一一(2毘 け 一一毛 メ ,, Aノ 。・凸 ・・+・ …

融 ン

1ノ讐

ド や 6 d=R-1デ (3) ま た,低 解 像 画 像 にお け る共 分 散π,ヂ は,低 解 像 画像 の 画 素 の輝 度 か ら,以 下 の 式(4)で 表 わ され る。       R=扉 ごTご'e=扉 σTジ (4) こ こ で,y=[γ1...γ κ_γM・]Tは,M×M個 の 画 素 か ら 成 る ロ ー カ ル ウ ィ ン ド ウ 内 の 画 素 の 輝 度 情 報 を 集 約 し た デ ー一一タ ベ ク トル で あ る 。Cは4×M2の デ ー タ マ ト リ ク ス で あ り,k列 目 は γkか ら 見 た 対 角 方 向 の4近 傍 の 画 素 の 輝 度 値 で あ る。 こ う し て 求 め た 低 解 像 画 像 の 共 分 散 と 高 解 像 画 像 の 共 分 散 を 近 似 し,式(4)を 式(3)に 代 入 し,以 下 の 式 (5)を 得 る。 d=(CTの 一1(CT夕) (5) こ の よ うに 求 め た 予 測 係 数 か ら,式(2)を 用 い て 内 挿 す る 画 素 の 値 を 決 定 す る。 2ndス テ ッ プ で は,予 測 係 数 の 算 出 にlstス テ ッ プ で 内 挿 し た 画 素 も用 い て,lstス テ ッ プ と 同 様 に 内 挿 す る 。 図1幾 何 学 的 対 称 性(1stス テ ッ プ) は じめ に 低解 像 画 像Xi,jを,エ ッジ部 とそ うではない部 分 とに 判 別 す る。 式(1)に よ り注 目画 素 とそ の4近 傍 の 画 素 か ら求 め た 分 散 が,あ らか じめ 設 けた 閾 値 を超 え た 場 合 に そ の 注 目画 素 をエ ッジ とみ な す 。 ・-1((・ 、.ザ ・i,j)2+(・i,j-、 一 ・i,j)2

+(・i ,j.、 一 ・i,j)2+(・ 、.、,j-・i、j)2)(・)

1 十 -⋮ 華 盟( 垂 ー ﹁ 危 D'221( Do'2rー ト( 謄 砲 ▼ D32 十 イ.1 ￠ 一  十

茸

l Il II lI ち 一 ら 十 甲 -l l l I l n 一 酉 1, ^ち 十. - --⋮4 - ⋮-⋮ ⋮ ⋮ -I I l II II lI I I I I I . I I I -2 -I l l lー ー . 1--( 01(R ↑ ー ーー 幽 可 一 一 一 一 一 一 一一一 一 一 (21+1,Zj+1) 図2幾 何 学 的対 称 性(2ndス テ ッ プ)

図2に お い て,黒 く 塗 りつ ぶ さ れ て い る 点 が2ndス テ ッ プ で 内 挿 す る 画 素,灰 色 の 画 素 がlstス テ ッ プ で 内 挿 さ れ た 画 素 で あ る 。 エ ッ ジ と判 別 さ れ な か っ た 部 分 で は,α は4つ す べ て の 要 素 に1/4が 代 入 され,lstス テ ッ フ.では 対 角 方 向 の4近 傍 と,2ndス テ ッ フ.では 通 常 の4近 傍1との 間 で バ イ リニ ア 補 間 さ れ る 。 そ の 概 略 を 図3に 示 す 。

＼

/

楽

⋮

⋮

⋮

⋮

'㎜つ ◇

/

 

/＼

◇ (a)lstス テ ツ プ 図3

コ

▲ l l l l l ● l l l l l ▼ ひ ︻

↑

d 占 (b)2ndス テ ッ プ 各 ス テ ッ プで の バ イ リニ ア補 間 この 手 法 で は,検 出 され た エ ッジ の 種 類,強 度,方 向 な どの 特性 に 関 わ らず,画 像 全 体 に 対 して 同 じロー カ ル ウ ィ ン ドウサ イ ズ を用 い て 内 挿 して い るた め,1枚 の 画 像 の 中に複 数 種 類 の エ ッジ が あ っ た 場 合 に,画 素 を内 挿 す る とき に 不 必 要 な 画 素 の 情 報 を用 い て い る場 合 や,反 対 に 必 要 な 画 素 の 情 報 を考 慮 せ ず に 内 挿 す る場 合 が 考 え られ る。 以 下 の 図4に,実 際 に異 な る 閾値 でNEDI処 理 を した 画 像 を 示 す。 (a)閾 値:4 (b)閾 値:10 図4異 な る 閾 値 で のNEDI処 理 上 の 図4(a)で は 数 字 の 部 分 な ど強 い エ ッ ジ部 で は, 下 の 図4(b)よ り も くっ き り内挿 で き て い る こ とが 見 て 取 れ る が,そ の他 の 弱 い エ ッ ジ部 だ と ノイ ズ が 見 え て お り,閾 値 が 高 い 画像 の ほ うが ス ム ー ズ に 内挿 され て い る の が 見 て取 れ る。 また,エ ッジ検 出の 際 に4近 傍 との 共分 散 を 用 い てお り, 低 解 像 画像 にお け る ノイ ズや,人 の 見 た 目で は エ ッジ と判 断 しない よ うな画 素 も,エ ッジ とみ な され て しま う可 能性 が あ る。この た め,内 挿 画素 に ノイ ズや 歪 が 混入 され る可 能 性 が 考 え られ る。 以 下 の 図5に そ の例 を示 す。

ノ

!〆

、

"

レ

(a)入 力 画 像

(b)エ ッジ検 出 画像 の例 図5分 散 に よ る エ ッジ 検 出 図5(b)の エ ッジ検 出画 像 に お い て,白 く表 示 され て い る画 素 が エ ッ ジ と して 検 出 され た 場 所 で あ る。 はっ き りと した エ ッ ジ部 以 外 の,本 来 な め らか に グ ラデ ー シ ョ ン をか け た い よ うな 肌 色 な どの 部 分 に お い て も,エ ッ ジ と見 な され て い る様 子 が 見 て 取 れ る。 こ うして 検 出 され た す べ て の 画 素 に お い て 共 分 散 を用 い た 内 挿 を行 うと, ノイ ズ や 歪 の 原 因 に な るだ けで は な く,処 理 時 間 の 浪 費 の 原 因 に もな る と考 え られ る。 そ して,分 散 を 用 い た エ ッ ジ検 出 に よっ て 検 出 され た 平 坦 部 の 中の エ ッ ジに お い て,NEDIの 計 算 の 途 中で 逆 行 列 を求 め る段 階 に お い て,周 囲 との 差 分 が 少 な い と,予 測 係 数 を 正 し く求 め られ ず,以 下 の 図6に 示 す よ うな, 黒 い 内 挿 エ ラー を 生 じて しま う。 181 届`., ・'㍉

∵

    ,轟 し ● ・ 「」 『●●・ 'rl l・

lp..

鱒 ■ 特 に,閾 値 が 低 い 時(4や6な ど)に は 多 く 見 受 け ら れ る。 これ は,閾 値 が 低 い 方 が,4近 傍 と の 分 散 が 小 さ く て も エ ッ ジ と 見 な され て し ま う場 合 が 多 く,そ の よ う な 場 合,式(3)(5)に お け る 逆 行 列 を 正 し く 求 め ら れ る 可 能 性 が 低 く な る こ と が 原 因 だ と考 え ら れ る 。 4.提 案 手 法 今 回我 々 が 提 案す る手 法 は,NEDIを ベ ー ス に,画 素 の 内挿 時 にそ のエ ッジ特性(強 度)を 利 用 して,エ ッジ付 近 の 内挿 に必 要十 分 な 画 素 の情 報 の み を使 用 す る。そ の結 果, 従 来のNEDI手 法 よ りも精 度 の 高 い 内挿 を 可能 とす る。 ま ず エ ッジ検 出 の 手 法 にCa皿y手 法 を 用 い,分 散 を 用 い た 手 法 よ り も,よ り人 の 見 た 目で判 断 で きる エ ッ ジを 検 出 す る。 実 際 にCannyを 用 い て エ ッジ検 出 を した例 を 図7に 示す 。 そ して,Camy手 法 に お い て 使 用 す る 閾 値 を変 更 す る こ とで,エ ッジ の 強 度 を 同 時 に検 出 し,そ の 強 度 に よ り 内挿 予 測 に お い て用 い る ウ ィ ン ドウサ イ ズ を変 更す る。 エ ッジ の 強 度 が 強 い とき に は ウ ィ ン ドウサ イ ズ を小 さ く し,弱 い 時 に は ウ ィ ン ドウサ イ ズ を大 き くす る。さ らに, エ ッジ が 強 い と きに は 共 分散 に基 づ く内挿 を適 用す る範 囲 も検 出 され た エ ッ ジの位 置 か ら近 い 部分 の み に し,反 対 に 弱 い とき に は広 い範 囲 に す る(図8)。

剛〆

仲

ゴ

卿

〆

無

整

論

、v

..

篠

恒

/

、

,

馴

乃 が 音 I - --﹂

＼

》

＼

ノ/

＼/〕

ノ

ζノ

L, h )、 ρ これ で よ り必 要 十 分 な 画 素 を使 っ た 内挿 が 可 能 とな り, そ れ ぞ れ の エ ッ ジの 特性 に合 っ た 画 素 を 予 測す る こ とが で きる。 ま た,分 散 を用 い た エ ッジ検 出 よ り も,共 分散 を 用 い て 内挿 予 測す る画 素 が極 端 に減 るの で,結 果 的 に 処 理 時 間 の 短縮 の効 果 も得 る。 図6内 挿 エ ラー の 例

ノ 唱DI猫

する範囲 ＼

検 出 され た エ ッ ジ ∼ NEDIの ウ ィ ン ド ウ サ イ ス

/

内挿 す る 画 面 左側 に は,入 力 画像 と,検 出 した エ ッジ と共 分散 を 用 い て 画 素 を 内挿 す る 範 囲 を示 して い る。 そ れ らの 一 部 を拡 大 した もの を 図10に 示す 。 灰 色 の線 が 検 出 した エ ッジ を,そ の 両側 を挟 ん で い る 白い領 域 が,共 分 散 を 使 っ た 内挿 を適 用 させ る 範 囲 を そ れ ぞ れ示 して い る。 (a)強 い エ ッ ジ の 場 合 (b)弱 い エ ッ ジ の 場 合 図8提 案 手 法 の 概 略 図 ま た,閾 値 が 低 い と きに 起 こ りや す か っ た 内挿 エ ラー に つ い て は,共 分 散 を 用 い て 内挿 予 測 をす る手 法 を適 用 す る範 囲 をエ ッ ジ付 近 に 限 定 して い るた め に,平 坦 部 で の エ ラー は ほ とん ど無 い 。 しか し,強 い エ ッ ジ付 近 で 低 い 閾 値 を 用 い て い る範 囲 で は 起 こ り うるエ ラー な の で, 逆 行 列 をIEし く求 め られ な か っ た 場 合 に は,例 外 と して 共 分 散 を使 っ た 予 測 は 用 い ず に,バ イ リニ ア 補 間 をす る こ とで,内 挿 エ ラー を 大 幅 に 減 ら した 。 (a)閾 値:750 (b)閾 値:400 (c)閾 値:200 図10エ ッ ジ 強 度 と 共 分 散 適 用 範 囲 5.実 験 結 果 提 案 手 法 の 有 効 性 を 検 証 す る こ と を 目 的 に 実 画 像 を 用 い た シ ミ ュ レ ー シ ョ ン 実 験 を 行 っ た 。 実 験 に 用 い た 画 像 は,lena。512×512の 解 像 度 のYCbCrの カ ラ ー一一画 像 で,Y成 分(輝 度)の み を 実 験 に 用 い た 。1画 素 は8ビ ッ トで あ る 。 プ ロ グ ラ ム の 作 成 に は 一 部 コ ン ピ ュ ー タ ビ ジ ョ ン ラ イ ブ ラ リOpenCV(Ver.2.0)を 使 用 し た 。 作 成 し た プ ロ グ ラ ム の 実 行 画 面 例 を 図9に 示 す 。 離III膨 図11に,従 来手 法(NEDI)と 提 案 手 法 に よ る内挿 処 理 した 画像 を示 す。 内挿 後 の 画像 の 一 部 を 拡 大 して 表示 させ て い る 。 、 、 (a)従 来 手 法

「

図9プ ログ ラム の実 行 画 面例

参考文献

1)Li,M.TOrchard.`INewEdge-DirectedInterpolation", IEEETrans.onImageProcess血g,10:1521-1527,2001. 2)Wing-ShanTam,Chi-WahKok,Wan-ChiSiu"Modified edge-directedinterpolationforimages",Joumalof ElectronicImagingl9(1),Ol3011(Jan-Mar2010) 3)齊 藤 隆 弘:"サ ン プ リ ン グ 定 理 の 壁 を 打 ち 破 る1枚 の 画 像 か ら の 超 解 像 度 オ ー バ ー サ ン プ リ ン グ",映 像 情 報 メ デ ィ ア 学 会 誌,62,2,pp.181-189(2008) 4)佐 藤 徹 平,村 上 仁 己,小 池 淳,「 エ ッ ジ 特 性 を 考 慮 し た ハ イ ブ リ ッ ド画 像 内 挿 手 法 」_{,FIT2011第10回 情 報} 科 学 技 術 フ ォ ー ラ ム,NoJ-029,2011年9月 (b)提 案 手 法 図11内 挿 画 像 提案 手 法 で は,強 い エ ッジ 部 分 で の 内挿 に は 小 さな ウ ィ ン ドウサ イ ズ を使 用 して お り,エ ッジ 付 近 に お け る ノ イ ズ が 減 少 し,鮮 明 に な っ て い る こ とが 見 て 取 れ る。 ま た 従 来 手 法 と比 べ て,輝 度 の 変化 が緩 や か な グ ラデ ー シ ョン部 分 で は ,よ り自然な変化になってい ることも 確 認 で き る。 これ は,従 来 手 法 で は エ ッジ と して 判 別 さ れ て お り,画 素 間 の 共 分 散 に よ る内挿 を 適 用 して い るた め だ が,提 案 手 法 で は エ ッジ と して判 別 され て お らず, バ イ リニ ア 補 間 を適 用 して い るか らで あ る。 そ の 結 果, 提 案 手 法 の 方 が よ りな め らか に 内 挿 で き た もの と考 え ら れ る。 6.む す び 本 論 文 で は,エ ッジ 部 に お け る空 間 的 な 強 度 を 考 慮 し た フ レー ム 内超 解 像 手 法 を 提 案 した。 画 像 内 にお け るエ ッジ 部 を 検 出 し,そ の エ ッジ 強 度 に 基 づ い て 内 挿 の た め の ウ ィ ン ドウサ イ ズ と予 測係 数 を必 要 に 合 わ せ て 組 み 合 わ せ,内 挿 予 測 を行 っ た。シ ミ ュ レー シ ョ ン実 験 を 行 い, 提 案 手 法 が 従 来 手 法 に 比 べ て,内 挿 画 像 の 品 質 が 改 善 さ れ る こ とを示 した 。 本 内挿 実 験 で は,Canny手 法 に よ る エ ッジ 検 出 の 際 の 閾 値 の 設 定 と内 挿 予 測 の た めの ウ ィ ン ドウサ イ ズ の 設 定 を 画像 毎 に マ ニ ュ ア ル で 行 った 。 今 後 の 予 定 と して は,ウ ィ ン ドウサ イ ズ の 設 定 の た め の 閾値 な どの パ ラメ ー タの 自動 設 定 や,エ ッ ジ方 向 に 基 づ い た 方 向 別 の ウ ィ ン ドウの 設 定 な どを進 め る予 定 で あ る。 ま た,エ ッジ 部 以 外 の 平 坦 部 に お け る内 挿 方 法 に つ い て も,バ イ リニ ア 手 法 以 外 の 手 法 に つ い て の 検 討 も予 定 して い る。