∆Iiは画像の空間的な勾配であり，dui
dt はオプティカルフロー，∂Ii
∂t は画像輝度の瞬間的な 変化率である．
n·sは面の形と照明に依存した項である．シーンへの依存を回避するためにn·sは次 式のように仮定する．
n·s= Z
S(n)
E(m;x;t)n·dm (3.10)
この式ではdtd[n·s] = 0が成り立つ．これは光が一定で面が速く動かない場合成り立つ．
3.2 3 次元シーンフロー
画像上の瞬間の運動を表したオプティカルフローと同様に，シーンフローはシーン内の 全ての点の動きを表すことができる．点xがシーン内を動いているとして，その点をカ メラiでとらえた座標をui とし，カメラが動かないとすると，uiの変化率は次式で表さ れる．
dui
dt = ∂ui
∂x dx
dt (3.11)
これを逆に変換するには，面fの情報が無ければならない．また逆変換をするには時間も 間接的に依存する．この微分式に対し，時間を考慮すると次式が与えられる．
dx
dt = ∂x
∂ui dx
dt +∂x
∂t
¯¯
¯ui
(3.12) この式は3次元空間内の点は以下の2つの要素により構成されていることを示している．
• オプティカルフローを取得し，それを逆ヤコビ行列 ∂x
∂ui を用いてシーンへ投影する こと．
• 光線に沿ってuiに対応するxの瞬間の運動 また∂x
∂t
¯¯
¯ui
の大きさは，光線に沿った面f の奥行きの変化率である．
3.3.1 ブロックマッチング法
ブロックマッチング法(別名：領域ベース法) はテンプレートマッチングを用いてオプ ティカルフローを求める方法である．図3.2に示すように，画像Aのa位置にある画素が 画像Bのどの位置に移動したかを調べる．その際，aの画素を左上とした小領域(N×N) をテンプレートのブロックとし，画像Bのb位置(aと同位置)を左上にして，ある範囲を 探索することになる．オプティカルフローを求めるためは，まず前フレーム(画像A)の
図 3.2: ブロックマッチング法
評価するテンプレートと現フレーム(画像B) の注目ブロックの濃淡パターンがどれほど 合致しているかを計算する．濃淡パターンの合致を決定する方法として絶対値差分和や相 関係数値等を利用することも出来るが，今回は計算コストが小さい残差逐次検定法につい て記載する．
探索画像I 上でN ×Nの画素のテンプレート画像T を動かし, 濃淡パターンの照合を 行うとする. (x, y)は入力画像内におけるテンプレート画像の左上位置を示す. このとき
式(3.13)に示すテンプレート画像と探索画像との残差が最小になる(x, y)の位置を求める
ことにより,探索画像とテンプレート画像との一致を決定する.
R(x, y) =
NX−1
n=0 NX−1
m=0
|I(x+m, y+n)−T(m, n)| (3.13)
計算時間短縮のために, 残差を加算した値がある閾値を超えた場合に計算を終了し，次の 注目領域での計算に移行する措置をとっている．
3.3.2 勾配法
勾配法は，連続する２枚の画像において移動体の特徴を表す画像関数(濃淡分布)の移 動量は微小であるという仮定を基にオプティカルフローを求める手法である．
画像上の画素(x, y)の時刻tにおける画素値をE(x, y, t)とし，時間∆tの間にその画素 が(∆x,∆y)だけ移動したとする．画素(x, y)と(x+ ∆x, y+ ∆y)の画素値は変化しない
と仮定すると，次式が成り立つ．
E(x, y, t) =E(x+ ∆x, y+ ∆y, t+ ∆t) (3.14) 次に，画素値は滑らかに変化していると仮定して微小変化を式で表現する．微小な値を近 似する方法としてテイラー展開を用い，一次近似すると次式になる．
E(x, y, t) =.. E(x, y, t) + ∆x∂E
∂x + ∆y∂E
∂y + ∆t∂E
∂t (3.15)
両辺を∆tで割ると，
∆x
∆t
∂E
∂x + ∆y
∆t
∂E
∂y +∂E
∂t = 0 (3.16)
ここで∆tは限りなく0に近づくと考えると次式を得る．
∂x
∂t
∂E
∂x + ∂y
∂t
∂E
∂y +∂E
∂t = 0 (3.17)
ここで，画素(x, y)におけるオプティカルフローのx成分を∂x∂t = u，y成分を∂y∂t =vと し，画像上の画素値の勾配をEx, Ey，画素値の時間微分をEtとすると，勾配法の拘束条 件(式(3.18))を得ることが出来る．
Exu+Eyv+Et= 0 (3.18)
上式を解くことで，オプティカルフローを推定することが出来るが，推定すべき未知数は u，vの2つであるのに対し，式は一つしか与えられないため，解を一意に決定すること は出来ない．そこでいくつかの仮定を導入することでu，vを決定する手法が提案されて いる．仮定は“ある注目画素の近傍での動きは滑らかである”(ローカル(局所)法)，“物体 内の動きは滑らかに変化する”(グローバル(大域)法)を空間勾配，時間勾配と関係づける ことで取り決める．例えば空間的局所最適化法の一種であるLucas-Kanade法は，“同一 物体の濃淡パターン上の局所領域において，得られるオプティカルフローの拘束方程式は 同一の解を持つ”，と仮定することで(u, v)の値を決定している．詳しい算出法は第3.3.2 章に記載する. しかし，どの拘束条件を用いても，大元にある仮定において時間的，空間 的に滑らかな画像関数の存在を前提としているため，仮定が成り立たない場合にフローの 精度が落ちる．
■ Lucas-Kanade (LK)法
空間的局所最適化法の一種であるLucas-Kanade法は，“同一物体の濃淡パターン上の 局所領域において，得られるオプティカルフローの拘束方程式は同一の解を持つ”，と仮 定することで(u, v)の値を決定する[1]．
これは局所領域においてそのパターンの並び方は変化しないと言うことを指す．例えば 局所領域のサイズを3×3とすると，オプティカルフローの拘束方程式は次のように表す ことが出来る.
Ex1u+Ey1v =−Et1 Ex2u+Ey2v =−Et2
...
Ex9u+Ey9v =−Et9
(3.19)
(u, v)にそれぞれかかる係数をまとめEとする．
E =
Ex1 Ey1 Ex2 Ey2 ... ...
Ex9 Ey9
(3.20)
Eは9×2の行列式となる．同様に，t = (Et1, Et2,· · ·, Et9)T，P = (u, v)T とするとこれ らの式はEP =tとまとめることが出来る．この両辺にEの転置行列をかけると次式が得 られる．
ETEP =ETt (3.21)
これによりETEは2×2の行列，ETtは2×1のベクトルとなる．
" P
ExEx P ExEy PExEy P
EyEy
# "
u v
#
=
" P ExEt PEyEt
#
(3.22)
総和の上限は局所領域のサイズとなる．これは先に入力する必要があるが，式(3.23)より
一意に(u, v)の値を定めることが出来るようになる．
"
u v
#
=
" P
ExEx P ExEy PExEy P
EyEy
#−1" P ExEt PEyEt
#
(3.23)