Autumn 2007
Autumn 2007 Prof.M.Nakajima KEIO Univ. Prof.M.Nakajima KEIO Univ. YagamiYagami
09
09
OCTO
BER
OCTO
BER
画像工学
画像工学
2007
2007
年度版
年度版
教室
教室
:
:
14
14
-
-
202
202
Autumn 2007Autumn 2007 Prof.M.Nakajima KEIO Univ. Prof.M.Nakajima KEIO Univ. YagamiYagami
画
像
工
学
画
像
工
学
慶応義塾大学理工学部
教授
慶応義塾大学理工学部
教授
中
島 真 人
中
島 真 人
2
2
2007年度版
Imaging Science and Technology
Autumn 2007
Autumn 2007 Prof.M.Nakajima KEIO Univ. Prof.M.Nakajima KEIO Univ. YagamiYagami
入力
f(x,y)
出力
g(x,y)
SYSTEM
H(u,v)
画像の場合の伝達関数
を‘OTF ’という!
画像の場合の伝達関数
を‘OTF ’という!
ANIMATIONカメラ
(例)
(例)
画像システム
画像システム
としてのカメラ
としてのカメラ
x
y
x
y
(フィルムカメラ、デジタルカメラ、どちらでも OK ) (紙に書かれた文字 ) (フィルム上またはCCD面上の画像 )入力
f(x,y)
出力
g(x,y)
)
,
(
)
,
(
)
,
(
u
v
H
u
v
F
u
v
G
=
SYSTEM
H(u,v)
伝達関数
→
OTF
OTF
(
O
O
ptical
T
T
ransfer
F
F
unction )
2.
2.
画像システム
画像システム
カメラ
(
u
v
)
e
(
)
dudv
G
y
x
g
∞ + xu+yv ∞ − ∞ ∞ −∫ ∫
=
,
)
,
(
FT
)
,
(
u
v
G
g
(
x
,
y
)
(
)
(
)
dudv
e
v
u
H
y
x
h
∞ + xu+yv ∞ − ∞ ∞ −∫ ∫
=
,
)
,
(
インパルス応答 インパルス応答)
,
(
u
v
H
(例)
(例)
画像システム
画像システム
としてのカメラ
としてのカメラ
x
y
x
y
(フィルムカメラ、デジタルカメラ、どちらでも OK ) (紙に書かれた文字 ) (フィルム上またはCCD面上の画像 )Autumn 2007
Autumn 2007 Prof.M.Nakajima KEIO Univ. Prof.M.Nakajima KEIO Univ. YagamiYagami ANIMATION
入力
f(x,y)
出力
g(x,y)
)
,
(
)
,
(
)
,
(
u
v
H
u
v
F
u
v
G
=
SYSTEM
H(u,v)
伝達関数
→
OTF
OTF
(
O
O
ptical
T
T
ransfer
F
F
unction )
カメラで撮影された写真 g(x,y) は、物体 f(x,y) と 伝達関数 H(x,y)のフーリエ逆変
換であるインパルス応答 h(x,y) のコンボリューションによって表される.
言い方を変えると、カメラで撮影された写真は、「
h(x,y)
によってボカされたものに
なっている
!
」と言うことができる.
(例)
(例)
画像システム
画像システム
としてのカメラ
としてのカメラ
2.
2.
画像システム
画像システム
カメラ
FT
)
,
(
u
v
G
g
(
x
,
y
)
x
y
x
y
(フィルムカメラ、デジタルカメラ、どちらでも OK ) (紙に書かれた文字 ) (フィルム上またはCCD面上の画像 ) Autumn 2007Autumn 2007 Prof.M.Nakajima KEIO Univ. Prof.M.Nakajima KEIO Univ. YagamiYagami
δ(x,y)
h(x,y)
画像の場合のインパルス応答(OTFのフーリ逆変換)を、
‘点拡がり関数’
(
PSF: Point Spread Function
PSF: Point Spread Function
) という.
PSF,OTF
PSF,OTFの求め方
の求め方
PSF
OTF
ANIMATION2.
2.
画像システム
画像システム
ピンホール(1画像サイズ)インパルス
PSF
FT
)
,
(
x
y
h
H
(
u
,
v
)
Autumn 2007
Autumn 2007 Prof.M.Nakajima KEIO Univ. Prof.M.Nakajima KEIO Univ. YagamiYagami
時間軸上では
画像空間上では
f(t)
h(t)
)
(
)
(
)
(
t
f
t
h
t
g
=
⊗
f(x,y)
h(x,y)
g
(
x
,
y
)
ANIMATION画像
画像
空間上
空間上
でのコンボリューションとは・・・
でのコンボリューションとは・・・
)
,
(
)
,
(
x
y
h
x
y
f
⊗
=
f (x,y)
h (x,y)
)
,
(
)
,
(
)
,
(
y
x
h
y
x
f
y
x
g
⊗
=
g (x,y)
画像
画像
空間上
空間上
でのコンボリューションとは・・・
でのコンボリューションとは・・・
2.
2.
画像システム
画像システム
Autumn 2007
Autumn 2007 Prof.M.Nakajima KEIO Univ. Prof.M.Nakajima KEIO Univ. YagamiYagami ANIMATION
画像
画像
空間上
空間上
でのコンボリューションとは・・・
でのコンボリューションとは・・・
2.
2.
画像システム
画像システム
F (u,v)
H (u,v)
G
(
u
,
v
)
=
F
(
u
,
v
)
H
(
u
,
v
)
f (x,y)
h (x,y)
g
(
x
,
y
)
=
f
(
x
,
y
)
⊗
h
(
x
,
y
)
FT
FT
FT
Autumn 2007Autumn 2007 Prof.M.Nakajima KEIO Univ. Prof.M.Nakajima KEIO Univ. YagamiYagami
画像
画像
空間上
空間上
でのコンボリューションとは・・・
でのコンボリューションとは・・・
2.
2.
画像システム
画像システム
F (u,v)
H (u,v)
G
(
u
,
v
)
=
F
(
u
,
v
)
H
(
u
,
v
)
f (x,y)
h (x,y)
g
(
x
,
y
)
=
f
(
x
,
y
)
⊗
h
(
x
,
y
)
FT
FT
FT
f (x,y)
h (x,y)
g
(
x
,
y
)
=
f
(
x
,
y
)
⊗
h
(
x
,
y
)
Autumn 2007
Autumn 2007 Prof.M.Nakajima KEIO Univ. Prof.M.Nakajima KEIO Univ. YagamiYagami ANIMATION
画像
画像
空間上
空間上
でのコンボリューションとは・・・
でのコンボリューションとは・・・
F (u,v)
H (u,v)
G
(
u
,
v
)
=
F
(
u
,
v
)
H
(
u
,
v
)
f (x,y)
h (x,y)
g
(
x
,
y
)
=
f
(
x
,
y
)
⊗
h
(
x
,
y
)
FT
FT
FT
F (u,v)
H (u,v)
G
(
u
,
v
)
=
F
(
u
,
v
)
H
(
u
,
v
)
f (x,y)
h (x,y)
g
(
x
,
y
)
=
f
(
x
,
y
)
⊗
h
(
x
,
y
)
FT
FT
FT
画像
画像
空間上
空間上
でのコンボリューションとは・・・
でのコンボリューションとは・・・
2.
2.
画像システム
画像システム
両者の違い、何による?
両者の違い、何による?
両者の違い、何による?
Autumn 2007
Autumn 2007 Prof.M.Nakajima KEIO Univ. Prof.M.Nakajima KEIO Univ. YagamiYagami
[画像のボケ補正]
[画像のボケ補正]
f (x,y)
)
,
(
)
,
(
)
,
(
x
y
f
x
y
h
x
y
g
=
⊗
g(x,y)
)
,
(
)
,
(
)
,
(
u
v
H
u
v
F
u
v
G
=
Convolution 定理
ANIMATIONApplication.1
Application.1
画像システム
画像システム
H
H
(
(
u,v
u,v
)
)
撮影した写真がボケ
撮影した写真がボケ
て
て
しまった。
しまった。
どうしよう?
どうしよう?
2.
2.
画像システム
画像システム
Autumn 2007Autumn 2007 Prof.M.Nakajima KEIO Univ. Prof.M.Nakajima KEIO Univ. YagamiYagami
フーリエ変換して、逆数をとる.
具体的には
具体的には
・
δ (x,y)
h (x,y)
PSF
PSF
g(x,y)
ボケの
ボケの
取れた
取れた
画像
画像
画像システム
画像システム
H
H
(
(
u,v
u,v
)
)
1
1
st
st
step
step
逆フィルタ
逆フィルタ
H
H
-1
-
1
(
(
u,v
u,v
)
)
2
2
nd
nd
step
step
( )
x,
y
f
FT
1
F
H
FH
GH
−
=
⇒
→
~
ANIMATIONf(x,y)
~2.
2.
画像システム
画像システム
Autumn 2007
Autumn 2007 Prof.M.Nakajima KEIO Univ. Prof.M.Nakajima KEIO Univ. YagamiYagami
PSF
原画像
ボケ画像
修正画像
ANIMATION2.
2.
画像システム
画像システム
諸君にも簡単にできるので、自分のパソコンで試して
みてください。
ただ、何も考えないでやると、はじめは全然駄目かも
しれません!
その第一の理由は・・・
その第一の理由は・・・
Autumn 2007
Autumn 2007 Prof.M.Nakajima KEIO Univ. Prof.M.Nakajima KEIO Univ. YagamiYagami
H
H
−
1
=
1
逆フィルタ :
De
De
-
-
convolution Filter
convolution Filter
その第一の理由は・・・
その第一の理由は・・・
G
H
H
G
の計算において、
∞
⇒
0
X
なる計算をしなければなら
ないところが沢山出てくる
のが問題!
ANIMATION2.
2.
画像システム
画像システム
Autumn 2007Autumn 2007 Prof.M.Nakajima KEIO Univ. Prof.M.Nakajima KEIO Univ. YagamiYagami
2.
2.
画像システム
画像システム
そこで、この計算をする場合には、
Γ
+
≅
=
−
2
1
H
H
H
1
H
1/H
適当に選んだ小さ目の定数
適当に選んだ小さ目の定数
これを、
「ウィーナーフィルタ」
「ウィーナーフィルタ」
という
を、用いる.
ANIMATION修正画像
修正画像が、
何かもう一つきれいに
ならない第一の理由は、
この式が用いられている
ところにある.
Autumn 2007
Autumn 2007 Prof.M.Nakajima KEIO Univ. Prof.M.Nakajima KEIO Univ. YagamiYagami
では ...
コピーマシン等の実用機でも、
実際にこの計算を使うことは可能であろうか?
NO!
NO!
実用機では、
実用機では、
Cost
Cost
-
-
performance
performance
が悪く
が悪く
て
て
使えない
使えない
.
.
ANIMATIONDe
De
-
-
convolution
convolution
の
の
実空間処理
実空間処理
De
De
-
-
convolution
convolution
の
の
実空間処理
実空間処理
2.
2.
画像システム
画像システム
Cost-performance
問題とは...
(1) メモリ使用量:
白黒A4原稿の情報量 → 4MB
(2) 処理時間:
コピーマシン等では準実時間処理が必至
周波数空間での処理は
周波数空間での処理は
この部分に時間がかかり過ぎる!
この部分に時間がかかり過ぎる!
スキャン
スキャン
FT
FT
ボケ
ボケ
補正
補正
IFT
IFT
印刷
印刷
g
G
G/H
f
原稿
印刷物
f
どうせ原稿の読み取り
どうせ原稿の読み取り
(スキャン)
(スキャン)
に時間が掛かるのだから、
に時間が掛かるのだから、
その間に
その間に
‘ボケ補正の
‘ボケ補正の
処理
処理
’を行えば良
’を行えば良
い!
い!
逐次的に処理
逐次的に処理
Autumn 2007
Autumn 2007 Prof.M.Nakajima KEIO Univ. Prof.M.Nakajima KEIO Univ. YagamiYagami
原稿
印刷物
ボケとは、原稿上の1点の情報が、印刷物上で
空間的にばら撒かれる現象である.
・
・・・
そこで、
そこで、
原稿を読み取りながら、
原稿を読み取りながら、
だいたい数行ずつ処理
だいたい数行ずつ処理
していくことにする
していくことにする
逐次処理
逐次処理
・
ANIMATION2.
2.
画像システム
画像システム
Autumn 2007Autumn 2007 Prof.M.Nakajima KEIO Univ. Prof.M.Nakajima KEIO Univ. YagamiYagami
逐次処理に適した
De-convolution 演算
実空間 ( x-y
空間
) での処理
)
,
(
)
,
(
)
,
(
x
y
f
x
y
h
x
y
g
=
⊗
これを
これを
外したい!
外したい!
フーリエ変換は、使用しない!
ただし、その考え方は採用する!
フーリエ変換は、使用しない!
ただし、その考え方は採用する!
ANIMATION2.
2.
画像システム
画像システム
∫ ∫
∞
∞
−
∞
∞
−
′
′
−
′
−
′
′
′
=
f
(
x
,
y
)
h
(
x
x
,
y
y
)
d
x
d
y
フーリエ空間(
フーリエ空間(
u
u
-
-
v
v
空間
空間
)で行うように簡単にはいかない.
)で行うように簡単にはいかない.
Autumn 2007
Autumn 2007 Prof.M.Nakajima KEIO Univ. Prof.M.Nakajima KEIO Univ. YagamiYagami
f
F
GH
−1
=
⇔
FT
これを、実空間で考え
これを、実空間で考えてみよう
てみよう!
!
f
h
g
⊗
1
=
H
h
H
h
1
1 ⇔
⇔
で、良いか?
で、良いか?
駄目!!!
駄目!!!
ANIMATION正解は
正解は
...
...
これを使う!
これを使う!
H
h
⇔
ここで、
すなわち、
F
GH
−1
=
2.
2.
画像システム
画像システム
[ ]
H
f
F
g
⊗
F
−1
=
[ ]
h
=
H
F
F
[ ]
−
1
⇔ H
−
1
H
F
F
Autumn 2007
Autumn 2007 Prof.M.Nakajima KEIO Univ. Prof.M.Nakajima KEIO Univ. YagamiYagami
2.
2.
画像システム
画像システム
これを、
De
De
-
-
convolution Window
convolution Window
とも言う.
0
x
δ(x,y)
x
h (x,y)
u
H (u,v)
u
H
-1
(u,v)
ANIMATION1
−
H
−
1
H
のかたち
のかたち
x
F[H
-1
]
F
Autumn 2007Autumn 2007 Prof.M.Nakajima KEIO Univ. Prof.M.Nakajima KEIO Univ. YagamiYagami
具体的な
具体的な
De
De
-
-
convolution Window
convolution Window
の形
の形
-0.1
-0.1
-0.1
-0.1
-0.2
-0.2
-0.2
1.0
-0.2
3×3
1.0
-0.3
-0.3
-0.3
-0.3
-0.2
-0.2
-0.2
-0.2
0.1
0.1
0.1
0.1
5×5
ANIMATION2.
2.
画像システム
画像システム
Autumn 2007
Autumn 2007 Prof.M.Nakajima KEIO Univ. Prof.M.Nakajima KEIO Univ. YagamiYagami
□□□□□□□□□□□□□□□□□□□
□□□□□□□□□□□□□□□□□□
□□□□□□□□□□□□□□□□□
□□□□□□□□□□□□□□□□□
□□□□□□□□□□□□□□□□□
□□□□□□□□□□□□□□□□□□
□□□□□□□□□□□□□□□□□□
□□□□□□□□□□□□□□□□□
De
De
-
-
convolution Window
convolution Window
(
(
ここでは、3×3)を
ここでは、3×3)を
1
1
pixel
pixel
づつ
づつ
移動しながら
移動しながら
畳み込んで
畳み込んで
いく.
いく.
スキャン終了と略同じに
ボケ補正も終了する.
スキャン終了と略同じに
スキャン終了と略同じに
ボケ補正も終了する.
ボケ補正も終了する.
ANIMATIONPixel
Pixel
-0.1
-0.1
-0.1
-0.1
-0.2
-0.2
-0.2
1.0
-0.2
-0.1
-0.1
-0.1
-0.1
-0.2
-0.2
-0.2
1.0
-0.2
DeDe--convolution Windowconvolution Window
(
(3×33×3))