第 3 章
2 次元オプティカルフローと 3 次元シーン フロー
本論文は，画像中で得られる2次元オプティカルフローを入力とし，3次元シーンフロー の復元を目的とする．本章では，3次元空間中の物体の運動(シーンフロー)とそれを投影 した画像中でのオプティカルフローの間の関係を示す．また，一般的な2次元オプティカ ルフローの推定方法を述べる．
図 3.1: カメラ画像と表面f との関係
で表される．
画像の変化から面上の変化を求めるには逆ヤコビ行列 ∂x
∂ui を推定する必要がある．もし 面の情報が与えられているとすると，逆ヤコビ行列は次の二つの線形式より求められる．
∂ui
∂x
∂x
∂ui =
à 1 0 0 1
!
(3.4) f
∂ui = f
∂x
∂x
∂ui = ∆f ∂x
∂ui = (0 0) (3.5)
3.1.2 照明と表面の光度
時刻tにおける，シーン内の点xを方向mにおいて観測した場合，光束E はE = E(m;x;t)として表される．点(x, y, z)の時刻tにおける光度s=s(x, y, z;t)はベクトル 量であり，半球の表面積分によって与えられる．
s(x, y, z;t) = Z
S(n)
E(m;x, y, z;t)dm (3.6)
ここでS(n) = {m:||m|| = 1 and m·n≤ 0}である．この面がランバートモデルであ
り，反射率がρ =ρ(x;t)であると仮定する．点x= (x, y, z)がカメラiに点uiとして投 影され，その点の輝度がシーンの放射量に比例すると仮定すると，次式が与えられる．
I(ui;t) =−C·ρ(x;t)[n(x;t)·s(x;t)] (3.7) Cはレンズの直径と，レンズと画像面との距離により決定される定数である．
3.1.3 オプティカルフロー
3次元の面上にある点をx(t)とし，その点におけるカメラiでの座標をui(t)とする．3 次元での運動はdx
dt で表され，その点を投影した画像上での運動はdui
dt で表される(オプ ティカルフロー)．点xが面上を移動したとき，その点の輝度値は変わらないため次式が 推定される．
dρ
dt = 0 (3.8)
オプティカルフローの基本的なアルゴリズムは次式である．
dIi
dt = ∆Ii· dui
dt +∂Ii
∂t =−C·ρ(x;t)d
dt[n·s] (3.9)
∆Iiは画像の空間的な勾配であり，dui
dt はオプティカルフロー，∂Ii
∂t は画像輝度の瞬間的な 変化率である．
n·sは面の形と照明に依存した項である．シーンへの依存を回避するためにn·sは次 式のように仮定する．
n·s= Z
S(n)
E(m;x;t)n·dm (3.10)
この式ではdtd[n·s] = 0が成り立つ．これは光が一定で面が速く動かない場合成り立つ．
3.2 3 次元シーンフロー
画像上の瞬間の運動を表したオプティカルフローと同様に，シーンフローはシーン内の 全ての点の動きを表すことができる．点xがシーン内を動いているとして，その点をカ メラiでとらえた座標をui とし，カメラが動かないとすると，uiの変化率は次式で表さ れる．
dui
dt = ∂ui
∂x dx
dt (3.11)
これを逆に変換するには，面fの情報が無ければならない．また逆変換をするには時間も 間接的に依存する．この微分式に対し，時間を考慮すると次式が与えられる．
dx
dt = ∂x
∂ui dx
dt +∂x
∂t
¯¯
¯ui
(3.12) この式は3次元空間内の点は以下の2つの要素により構成されていることを示している．
• オプティカルフローを取得し，それを逆ヤコビ行列 ∂x
∂ui を用いてシーンへ投影する こと．
• 光線に沿ってuiに対応するxの瞬間の運動 また∂x
∂t
¯¯
¯ui
の大きさは，光線に沿った面f の奥行きの変化率である．