Microsoft PowerPoint - Lec21 [互換モード]

(1)

吉澤信 [email protected], 非常勤講師大妻女子大学社会情報学部

画像情報処理論及び演習II

第9回講義水曜日１限教室6218 情報デザイン専攻

-計算Photography・

Artistic

Stylization-HDR画像、NPR

Shin Yoshizawa: [email protected]

今日の授業内容

1. High Dynamic Range (HDR)画像合成・表示、エッジ保存フィルタの計算Photographyでの応用.

2. Artistic Stylization & Non-Photorealistic Rendering (NPR)

www.riken.jp/brict/Yoshizawa/Lectures/index.html www.riken.jp/brict/Yoshizawa/Lectures/Lec21.pdf

復習：特徴(エッジ・パターン)保存フィルタ

単純な平滑化特徴保存平滑化

Shin Yoshizawa: [email protected] Shin Yoshizawa: [email protected]

復習：High-Dynamic Range(HDR)画像  輝度値が(複数の範囲＆)高階調画像: 複数露光. 輝度値露光 … 8bit 8bit 8bit 8bit

復習：光線追跡(Ray Tracing) Rendering ３次元形状 Raster画像  CGでのRenderingは幾何光学モデルの光線追跡シミュレーション：結果は浮動小数点で高階調. ©CG-ARTS協会

©H. Suzuki (Univ. Tokyo) 階調を識別することができる最小輝度と最大輝度の比率

復習：画像は入力にも出力にも階調の制限がある

©CG-ARTS協会

(2)

復習：トーンマッピング：8bit画像への変換

©G. Qiu et al ICPR’06.

©S. Yoshizawa, CGF 2010.

HDRI合成・表示

入力：複数露光設定による高階調HDR (High Dynamic Range)画像データ 8bit：低階調 8bit：低階調 8bit：低階調出力：合成画像 … ©S. Yoshizawa et al., CGF 2010. HDR画像の合成

復習：応用例：デジタルアート

©中東正之

http://www.flickr.com/groups/hdr/

HDR画像を用いたデジタルアート

復習：限定色表示 ©CG-ARTS協会  限定色表示：出力できる色数＜入力画像の色数.  カラーマップとルックアップテーブル：入力の色とそれを出力する色との対応表. - 均等量子化法. - 頻度法. - ハーフトーニング・ディザ法. ©CG-ARTS協会

復習：ディザ処理  全体の量子化誤差を最小化するよう確率を調整して量子化をランダムに行う事. フルカラー画像限定色(16色) 限定色(16色)＋ディザ処理 ©www21.atwiki.jp ©wikipedia

大域的処理による合成 world world display L L L   1 ©Reinhart et al. ©Alexei Efros . 大域的処理による合成暗部分0.1%の線形補間

(3)

Shin Yoshizawa: [email protected] Low/High-Pathフィルタによる合成 ©Alexei Efros . ガンマ補正や線形補間によるトーンマッピング（圧縮）は細部が潰れる. + + 圧縮 Low-pass:低周波成分 High-pass：高周波成分 Halos!! Boxやガウス関数による Low/High-Pathフィルタを用いた方法ではギプス現象によるアーティファクト.

Input Bilateral Filter Gaussian Filter

Input HDR Signal: eg. 16bit, double, etc.

Bilateral Filtered Signal: Piecewise Linear Low-Frequency.

Detailed High-Frequency Signal.

+

=

Compressed Low-Frequency Signal: eg. 8bit, byte, B/W, etc.

+

Output Compressed HDR Signal.

[DD02]: F. Durand and J. Dorsey, SIGGRAPH’02.

Linear Interpolation

BilateralフィルタによるHDRI合成

Output Compressed HDR Signal.

BilateralフィルタによるHDRI合成2

応用のごく一例：特徴保存→細部の分離

 特徴保存フィルタが細部をよく分離： _D(x)__I(x)__Inew(x) 入力信号理想信号フィルタ後の信号差分信号：D(x) ) (x new I ) (x I Gaussianフィルタの例 Gaussianフィルタの例(理想信号) 細部、ノイズ、テクスチャー、レンジ毎の画像、 … 応用1：ノイズ除去

 ( ) minより白色性加算ガウスノイズの最小化: 2 1 _ 2 _  Ix dx 入力特徴保存フィルタ結果 Gaussianフィルタ結果応用2：テクスチャー強調１

 高域強調フィルタは入力 _Gaussian _特徴保存 ) ( ) ( ) ( path _ High 1k I I x kDx

(4)

応用2：テクスチャー強調２

入力 Gaussian 特徴保存

差分信号：D(x)

入力 Gaussian 特徴保存

応用３：High Dynamic Range画像合成 1

入力

特徴保存 Gaussian

応用３：High Dynamic Range画像合成 2

入力特徴保存 Gaussian 応用４：顕著なエッジ領域抽出１  CV, IP, PRでのエッジモデルは勾配強度が大きな座標値の空間的に連続した集合として定義される →Laplacianがゼロの点集合≒曲率の極値集合.

 DoG: Difference of Gaussian ≒ LoG: Laplacian of Gaussian←Scale Space, Convolution Surfaces.

二つのGaussian LoG DoG DoGとの畳み込み結果

応用４：顕著なエッジ領域抽出２ , 5 . 0   K2 K3 K4 K5  特徴保存フィルタを繰り返し適用後にDoGを適用: 上：入力画像にDoG: 下：特徴保存フィルタ３回適用後にDoG: DoG,K(x,y)g(x,y)gK(x,y)

応用５：Artistic Stylization

入力平滑化画像エッジ画像出力Stylized画像色相Hの多値化& 明度Vの強調 HSV量子化画像 RGB量子化画像 DoG 特徴保存フィルタの繰り返し RGB の多値化ポスター化エッジ抽出

(5)

応用５：Artistic Stylization ２

Flash/No-Flash画像

©E. Eisemann and F. Durand, SIGGRAPH ‘04.  Bilateralフィルタによって細部＆Illuminationを分離. ]. * ] [ [ )] 1 ( * ] [ [ ] ) ( * ] [ [ 1 1 2 1 1 2 1 _F_f _G _G _F _F_f _G _F _F_f _G F f N N     _ _ _ _     

復習：平滑化と差分による周波数分解

=

+

平滑化 Gaussianフィルタと差分を繰り返し適用する事で周波数分解を近似出来る. ：変換：逆変換：掛け算：スケールの正規化ガウス関数. ：入力信号 f * [] F _F1[] G 

→

＋ - ＋ - ＋ - ＋ - ＋

-+

ベースの低周波

Bilateralフィルタによる周波数分解

入力:複数の異なるライト設定による画像 出力：細部強調画像 ]. * ] [ [ )] 1 ( * ] [ [ ] ) ( * ] [ [ 1 1 2 1 1 2 1 _F_f _B _B _F _F_f _B _F _F_f _B F f N N     _ _ _ _  _     Bilateralフィルタの繰り返し適用による周波数成分の分解: トーンマッピングの例と同様にHaloアーティファクトが少ない.

複数入力の一つ細部強調画像アーティストによる絵

Bilateralフィルタによる周波数分解2

非写実的(Non-Photorealistic) Rendering (NPR)

CAD・建築生物・医用アート等

(6)

Artistic Stylization

アーティストの様式を疑似的に再現して実画像を

生成・編集する事: NPR/計算Photographyの分野.

Artistic Stylization2

画材、ストローク等の模倣・シミュレーション.

Artistic Stylization３

領域抽出の応用+エッジ抽出・強調/Texture合成.

Artistic Stylization４

Artistic Stylization５

 エッジ・流れ場の勾配に沿って特徴保存平滑化.

Artistic Stylization６

(7)

復習：ディザ処理

©wikipedia

Original Threshold Random Halftone Bayer

Floyd-Steinberg Jarvis, Judice & Ninke Stucki Burkes

Sierra J 2-row Sierra Sierra Lite Atkinson

 ハーフトーニング (halftoning)：パターンで表す.

誤差拡散法

Stippling

成績について  評価方法： - 出席40%：遅刻は少し減点(0.8倍). - レポート60%： - なので、計算方法は X=(40/15)×遅刻なし出席日数. Y=0.8×(40/15)×遅刻した出席日数. Z=(60/300=1/5)×レポート(4,5,6)の合計点数. 成績＝X+Y+Z. 出席日数＝遅刻なし出席日数＋遅刻した出席日数前期と同じ!