-動画像処理-

(1)

1

吉澤信

[email protected], 非常勤講師

大妻女子大学社会情報学部

画像情報処理論及び演習II

第11回講義水曜日１限教室6218

情報デザイン専攻

-動画像処理-

Video Stylizationその2

Shin Yoshizawa: [email protected]

今日の授業内容

1. Artistic Stylization ⇒ Video Stylization

2.

演習：

1.

量子化画像

2.

量子化ビデオ

3. Artistic Video Stylization

www.riken.jp/brict/Yoshizawa/Lectures/index.html www.riken.jp/brict/Yoshizawa/Lectures/Lec24.pdf

レポート06(1/8〆切).

復習：Artistic Video Stylization

 ２Dの基本フレームワークを3D化してみよう！

エッジ保存平滑化→エッジ抽出→ポスター化(多値化、量子化)→合成.

スタイル化

復習：２Dの基本フレームワーク

入力

平滑化画像エッジ画像

出力Stylized画像色相Hの多値化& 明度Vの強調

HSV量子化画像 RGB量子化画像

Bilateral

DoG

フィルタの繰り返し

RGB の多値化

ポスター化

エッジ抽出

スタイル化ビデオ

入力

平滑化動画

エッジ動画

出力Stylized動画色相Hの多値化

& 明度Vの強調 HSV

量子化動画

RGB量子化動画 DoG

Bilateral フィルタの繰り返し

RGBの多値化ポスター化

エッジ抽出

時空間Bilateralフィルタ

Input Bilateral Filter ) ( ) ( ) ) ( ) ( ( ) ,

(  g I  I g

_

 g

_

  

Z x y

h

x y x y

, ) , ( / ) ( ) , ( ) (

new

^x ^  ^Z ^x ^y ^I ^y ^d ^y  ^Z ^x ^y ^d ^y

I

. )

(

²

2 a r

a

r e

g 

^

Intensity Kernel Spatial Kernel

Temporal Kernel

 単純に時間方

向のガウス関

数を追加する

だけでOK.

(2)

2

復習：ポスター化

 HSV空間の色相(H)で多値化し明度(V)を強調その後RGB毎に多値化を行う.

RGB量子化 HSV量子化

RGB⇔HSV変換

 RGB⇒HSV： 0～1に正規化されたRGBである画素値のRGBの最大をMAX、最小をMINとすると:

- ただし、Hが負ならH = H + 360.

 HSV⇒RGB: mod XはXで割った余り、[X]は整数化.

RGB毎、色相Hの量子化と明度Vの強調

 RGB毎、色相(H)をN個の値に線形変換する：

1. N/最大値を乗算.

2. 整数にする（四捨五入）.

3. 最大値/Nを乗算.

 明度(V)の強調: alphaはパラメータ、

1. 0～1に正規化する.

2. V←20V-10.

3. V←

255 /( 1  exp(   V ))

N

最大値

１６色、強調なし

 : ⁰ ^. ¹ 0 . 2 0 . 3 0 . 4 0 . 5

色相Hの量子化

入力：256³

色２色３色４色

５色６色７色８色

V強調なし、明度・彩度は256段階.

色相Hの量子化

２色３色

４色６色

７色８色

H量子化後にRGBの量子化

入力：256³

色２

³

色３

³

色４

³

色

５

³

色６

³

色７

³

色８

³

色

色相Hは16段階、明度V強調0.5、彩度は256段階.

(3)

3 H量子化後にRGBの量子化

色相Hは 16段階、

明度V 強調0.２

２

³

色３

³

色

４

³

色６

³

色

７

³

色８

³

色

復習：動画像の配列表現

];

][

[ double

];

][

[ int

sx sy st I

sx sy st

k I

j

} }

}

...

] ][

][

[

){

;

; 0 (

){

;

; 0 (

){

;

; 0 (





















k j i I

k sx k k for

j sy j j for

i st i i for

) 0 , 0 , 1 (sx

) 0 , 1 , 1 (sx sy )

0 , 1 , 0 ( sy

３D画像の配列表現

i

) 1 , 1 , 1 (sx sy st )

1 , 1 , 0 ( sy st

) 1 , 0 , 1 (sx st )

1 , 0 , 0 ( st )

0 , 0 , 0 (

量子化の３D拡張

 そのままの拡張は時間変化に弱いので、時間方向の半径を考えて、その半径内(部分画像毎)に量子化を実行する:

 例えばHSV量子化では…

} }

}

...

] ][

][

[

){

;

; 0 (

){

;

; 0 (

){

;

; 0 (





















k j i I

k sx k k for

j sy j j for

i st i i for

} }

}

...

] ][

][

[

){

;

; 0 (

){

;

; 0 ( }

} }

...

] ][

][

[

){

;

; 0 (

){

;

; 0 (

){

;

; (

){

;

; 0 (









































k j i I

k sx k k for

j sy j j for

k j t I

k sx k k for

j sy j j for

t r i t r i t for

i st i i for

t t

Hの多値化＋Vの強調

HSV⇒RGB 単純な３D化

RGB⇒HSV

量子化の３D拡張2

色相Hは16段階、明度V 強調0.５時間半径16

入力：256³

色

量子化の３D拡張3

色相Hは16段階、明度V 強調0.５ RGB各4段階時間半径16

入力：256³

色

量子化の３D拡張4

色相H1色

色相H４色V強調0.2 色相H４色V強調0.2RGB各4段階入力：256³

色

_時間方向

の半径４

(4)

4 量子化の３D拡張５

色相Hは16段階、明度V 強調0.５

RGB各4段階時間半径16

Bilateralフィルタ３回適用後を入力

演習:量子化ビデオ、スタイルビデオ

www.riken.jp/brict/Yoshizawa/Lectures/index.html www.riken.jp/brict/Yoshizawa/Lectures/Lec24.pdf

www.riken.jp/brict/Yoshizawa/Lectures/Ex16.zip

1. スタイルビデオプログラムの作成 .

2. Lec23.pdfの演習が出来れば簡単.



実行例：

./VideoStyle ../LV3_5 ./Test output 10 0.5 3.0 25.0 0.1 3 1 1.0 16 0.4 4

演習:Ex24-2



VideoStyle.cxxを編集し、連番画像のスタイル動画を作成するプログラムを完成せよ.

ヒント１：ファイル内のコメントとStyle.cxxをよく見てみてください. Bilateralフィルタの３次元化はBilateral.hに入っているので編集しなくてもOK. 量子化も答えが関数として書いてあるので、Lec23.pdfのDoGと同じ事をするだけ.



パラメータを色々工夫してスタイリッシュな動画を作成してみましょう.



ヒント２：makeDoGImage()とConv()の中を書いたら、make でコンパイルし実行. 引数は１４個.

演習:Ex24-2

1. 入力フォルダー名

2. 出力フォルダー名 3. 出力ファイル名(.bmpなし) 4. 畳み込みの半径(int) 5. DoGの半径(double) 6. DoGのバンド幅(double)

7. Bilateralフィルタの空間標準偏差(double) 8. Bilateralフィルタの輝度値標準偏差(double) 9. Bilateralフィルタの繰り返し回数(int) 10. 時間方向畳み込み半径(int)

11. Bilateral&DoGの時間標準偏差(double) 12. HSVのHを多値化する数(int)

13. HSV量子化のV強調パラメータ(double) 14. RGBを多値化する数(int)

次回の予定

 次回も動画像処理(12/11,12/18,1/8).

-動画像処理-

1

[email protected], 非常勤講師

画像情報処理論及び演習II