平 成27年 度博 士前 期 課程 学 位 論 文
カ メ ラの微 小不規則運 動 を利用 す る3D復 元手 法 の高精 度化 とその性 能 評価
首都 大学 東京 大 学院 シス テム デザ イ ン研 究科 情 報
通信 シス テム学 域
13890523塚 田 翔 太
指 導 教 員 田 川 憲 男 教 授
目 次
第1章 1,1 1.2 1,3
第2章 2.1 2.2
序論
本研 究の背景 本研 究の 目的 本論 文の構成
固視微動 を模擬 したカメラモデルの基礎原理 設 定 した カ メ ラ モ デ ル
‑﹂‑12J
第3章 3.1
ト レモ ア を模 擬 し た オ プ テ ィ カ ル フ ロー
勾 配 方 程 式 の 選 択 的 利 用 法 勾 配 方 程 式 に 基 づ く奥 行 復 元 手 法 3」 」
3.1.2確 率 モ デ ル
4﹂4F⊃
剛体運動 に関す る勾配方程式
3.1.3計 算 ア ル ゴ リ ズ ム
7'ワー71Qノ
3.2エ イ リア ス 現 象 と 高 次 項 に 基 づ く勾 配 方 程 式 の 選 択 的 利 用 法 3.2.1エ イ リア ス 現 象 と 高 次 項 に よ る影 響
第4章 4.1 4.2
3.2.2 3.2.3 3.2.4
最適 な画像 変位 の決 定
閾値 によ る勾配 の選択的利用法
勾配方程 式にお け る高次項 を考慮 した空間微分値 の利 用法 カ メ ラ シ ス テ ム の 実 装
カ メ ラ シ ス テ ム の 構 築 と 実験 カ メ ラ キ ャ リブ レー シ ョン
1戸)=﹂!000011111且凸∠
第5章 奥行 復元の性能評価
5.1実 画像 による奥行復 元の性能評価
111・五丁う白角∠りん
5.1.1 5ユ.2 5.ユ.3 5.工4 5ユ 、5 5.1.6 5ユ.7 5ユ 、8
σ,?の 収 束
画像 ペ ア使用 率 とσρの 関係
σ,?ニ6.13*10‑6で の 復 元 結 果 と 正 解 の 比 較 σ汚233*10← ⊃で の 復 元 結 果 と 正 解 の 比 較 σ,?=9.39*10')で の 復 元 結 果 と 正 解 の 比 較 σ、,を 変 化 さ せ た 場 合 の 復 元 結 果 と 正 解 の 比 較 RMSEに よ る 奥 行 精 度 評 価
画 像 特 徴 点 ご との カ メ ラ 回 転('},'Ω の 使 用 傾 向 5.2奥 行 復 元 の 性 能 評 価 に 対 す る 考 察
8812395034522333345555
⁝11
第6章 結論 謝辞
参考文献 研究業績 付録1 付録2
89023一3556〆066
iii
図 目 次
1.1固 視 微 動 の モ デ ル
稽1∩∠
∩∠∩∠
カ メ ラ 投 影 モ デ ル
2
‑←︻∠つ﹂4占5
り0り0つ﹂つ﹂り0
図2.1を 上 か ら見 た 図
一 次 元方 向 にお け る勾配方程式の概略図
4ム5
エイ リアス現象 が発 生 してい る画像対 での輝度値 の例
7
ユ23456789444444444
λ ノ4の画像変位での画像対にお ける輝度値の例 理想的な勾配方向の例
理 想 的 な 差 ベ ク トル の 大 き さ の 例 カ メ ラ シ ス テ ム
〆07'8Q/
‑⊥ーユー⊥‑⊥
パ ソ コ ン 画 面 上 の カ メ ラ 制 御 用 ソ フ トウ ェ ア カ メ ラ 駆 動 装 置(QT‑ADM2)
手 動 コ ン ト ロ ー ラ ー(QT‑AK) 実 験 環 境
奥行 復元の流れ チ ェ ス ボ ー ドパ ター ン ボ ー ドを 動 か して 撮 影 コ ー ナ ー の 検 出
像法画ぺ大大案験像提像像奥.既
ユ23456789011●⁝.・・●︒4■⊥●55555555555 像プ寺ッ奥マ刀皐翠行奥使の使 112233777222222222
平 行 ス テ レオ に よ る 正 解 奥 行 マ ップ 画 像 ア 使 用 率 を 変 更 した 時 の σ,?
σ.;の き さ を 変 更 し た 時 の σ2
ρ
σ,?の大 き さ に よ る 画 像 ペ ア 使 用 率 の 変 化
断 面 図 に よ る正 解 奥 行 と の 比 較 マ ップ 画 像 ペ ア 使 用 率83%時 の 奥 行 マ ッ プ 断 面 図 に よ る 正 解 奥 行 との 比 較 マ ッ プ 画 像 ペ ア 使 用 率71%時 の 奥 行 マ ッ プ
断 面 図 に よ る 正 解 奥 行 との 比 較 マ ッ プ
0011233445533333333333
vi
5.12画 像 ペ ア 使 用 率64%時 の 奥 行 マ ップ 5.13断 面 図 に よ る 正 解 奥 行 と の 比 較 マ ップ 5.14画 像 ペ ア 使 用 率48%時 の 奥 行 マ ップ 5ユ5断 面 図 に よ る 正 解 奥 行 と の 比 較 マ ップ 5.16画 像 ペ ア 使 用 率32%時 の 奥 行 マ ッ プ 5.17断 面 図 に よ る 正 解 奥 行 と の 比 較 マ ップ 5.18既 提 案 法 の 奥 行 マ ッ プ
5ユ9 断面図 による正解奥行 との比較 マ ップ 5.20画 像 ペ ア 使 用 率83%時 の 奥 行 マ ッ プ 5.2ユ 断 面 図 に よ る 正 解 奥 行 との 比 較 マ ッ プ 5.22画 像 ペ ア 使 用 率76%時 の 奥 行 マ ッ プ 5.23断 面 図 に よ る 正 解 奥 行 との 比 較 マ ッ プ 5.24画 像 ペ ア 使 用 率68%時 の 奥 行 マ ッ プ 5.25断 面 図 に よ る 正 解 奥 行 との 比 較 マ ッ プ 5.26画 像 ペ ア 使 用 率49%時 の 奥 行 マ ッ プ 5.27断 面 図 に よ る 正 解 奥 行 との 比 較 マ ッ プ 5.28画 像 ペ ア 使 用 率31%時 の 奥 行 マ ッ プ 5.29断 面 図 に よ る 正 解 奥 行 との 比 較 マ ッ プ 5.30画 像 ペ ア 使 用 率80%時 の 奥 行 マ ッ プ 5.31
5.32
断面図 による正解 奥行 との比較 マ ップ 画 像 ペ ア 使 用 率74%時 の 奥 行 マ ッ プ 5.33断 面 図 に よ る 正 解 奥 行 との 比 較 マ ッ プ 5.34
5.35 5.36
画 像 ペ ア 使 用 率56%時 の 奥 行 マ ッ プ 断面図 による正解奥行 との比較マ ップ 画 像 ペ ア 使 用 率37%時 の 奥 行 マ ッ プ 5.37断 面 図 に よ る 正 解 奥 行 と の 比 較 マ ッ プ 5.38
5.39
画 像 ペ ア 使 用 率25%時 の 奥 行 マ ッ プ 断 面 図 に よ る 正 解 奥 行 と の 比 較 マ ップ
66778899001122334455667788993333333344444444444444444444
V
5.40 5.41
σ、,=1.0*10‑1時 の 奥 行 マ ッ プ
断 面 図 に よ る 奥 行 マ ッ プ
5.42σ 、'=1.0*10‑4時 の 奥 行 マ ッ プ
5.43断 面 図 に よ る 奥 行 マ ッ プ
5.44σ 、'=1.0*10‑6時 の 奥 行 マ ッ プ
5.45断 面 図 に よ る 奥 行 マ ッ プ
5.46正 解 奥 行 に 対 す る 実 験 に よ る 復 元 奥 行 のRMSE 5.47カ メ ラ 回 転(11、,.ill,)の 分 布 と 特 徴 点 ご と の 使 用 傾 向
00ユー223355555555
1.1.本 研 究 の 背 景 1
第1章 序論
1.1本 研 究 の 背 景
近 年,ロ ボ ッ トの 「眼 」 を 作 る コ ン ピ ュ ー タ ビ ジ ョ ン 技 術 の 進 展 が 著 しい.そ の 中, 三 次 元 形 状 復 元 の 分 野 で は,多 数 の 視 点 か ら撮 像 され た 画 像 を 用 い,三 角 測 量 の 原 理 で 対 象 の 奥 行 を 計 算 す る ス テ レ オ 立 体 視[1]が 主 流 と な っ て き て い る.ス テ レ オ 立 体 視 で は 比 較 的 大 き な 視 差 が 得 ら れ る こ と か ら,奥 行 復 元 精 度 が 高 い 反 面,視 点 の 変 化 に よ る 隠 蔽(オ ク ル ー ジ ョ ン)や 見 え 方 の 変 化 が 生 じや す く,そ の 解 決 の た め に 数 多 く の 研 究 が 行 わ れ て い る.そ こ で 本 研 究 で は,ス テ レ オ 立 体 視 と比 較 して 上 記 問 題 の 生
じ に く い 単 眼 で の 運 動 立 体 視 に よ る 奥 行 復 元 手 法 に 着 目 し た.
運 動 立 体 視 で は,画 像 上 で 密 な 奥 行 を 低 計 算 量 で 復 元 す る た め に,輝 度 値 の 時 空 間 微 分 値 を 用 い る 解 析 的 な 手 法(勾 配 法)が 注 目 され て き た.勾 配 法 で は 連 続 す る 二 枚 の 画 像 間 の 運 動 視 差 が 小 さ い 必 要 が あ り,ゆ え に 一 般 に 復 元 精 度 が 低 い.そ こ で,各
画 素 に 対 応 す る 奥 行 の 情 報 を 増 加 させ る こ と で,復 元 精 度 の 向 上 が 期 待 で き る.一 方 で,人 間 の 視 覚 シ ス テ ム は,固 視 微 動 と 呼 ば れ る 無 意 識 の 不 規 則 眼 球 運 動 を 有 す る[2], [3」.網 膜 上 の 視 細 胞 は,変 化 す る 光 に 対 して の み 感 度 を 持 つ た め,継 続 的 に 像 を 得 る た
め に は 固 視 微 動 は 必 須 で あ る.固 視 微 動 は,確 率 共 鳴 と呼 ば れ る 現 象 の 一 例 と解 釈 さ れ る.こ れ は,外 的 に 加 え られ た ノイ ズ が 逆 に 微 弱 信 号 の 強 調 を 可 能 に す る 非 線 形 現 象 を 指 し,神 経 系 ダ イ ナ ミ ク ス に お い て 古 くか ら知 られ る 現 象 で あ る.こ の 固 視 微 動 を 模 擬 す る カ メ ラ 運 動 に よ っ て 得 られ る 複 数 の 画 像 を 入 力 とす る こ と で,各 画 素 に お け る 復 元 に 多 数 の 迎 続 画 像 ペ ア を 利 用 可 能 と な る.
1.2本 研 究 の 目 的
固 視 微 動 は,図1.1に 示 す よ うに あ る 方 向 に 徐 々 に 変 位 す る ド リ フ ト成 分 と 瞬 間 的 に 大 き く動 く サ ッ ケ ー ド成 分 に 加 え,小 刻 み な 近 傍 運 動 で あ る ト レモ ア 成 分 か ら な る.
追 跡 処 理 な し に 同 一 点 の 奥 行 情 報 を 得 る こ とが で き る こ と か ら,本 研 究 で は ト レモ ア
成 分 に 着 目す る.こ れ を 模 擬 す る カ メ ラ 運 動 と して,視 軸 上 で レ ン ズ 中 心 か ら 後 方 に
回 転 中 心 を お く 微 小 不 規 則 回 転 を採 用 す る.こ れ は,眼 球 運 動 そ の も の に 対 応 し,陰 に
2 第1章 序論
レ ン ズ 中 心 の 並 進 運 動 が 生 じ,運 動 立 体 視 が 可 能 と な る .我 々 の 研 究室 で は この よ う な カ メ ラ 運 動 に よ っ て 得 られ る,連 続 した 複 数 の 画 像 ペ ア を観 測 と し,そ れ に 対 す る 勾 配 法 を 一 括 し て 処 理 す る 方 法[9],[12】,[13】 を 提 案 して い る.た だ し,勾 配 法 を 適 応 す る際,複 数 の 画 像 ペ ア を 共 通 の 奥 行 復 元 に 利 用 す る た め に,オ プ テ ィカ ル フ ロ ー を 陽 に 検 出 し な い 直 接 法 の 枠 組 み を採 用 し て い る[4],[5],[6],[7】,[8】.勾 配 法 で 定 義 さ れ る 勾 配 方 程 式 と は,運 動 前 後 で の 画 像 ペ ア で の 輝 度 値 不 変 性 を 一 次 近 似 した も の で あ り, 輝 度 値 の 時 間 差 分 値 と 空 間 微 分 値 に 関 す る制 約 式 と な る.勾 配 法 の 精 度 は,こ の 一 次 近 似 の 当 て は ま り の 程 度 に 大 き く依 存 す る.特 に 輝 度 値 の 空 間 的 な 波 長 に 対 して 画 像 変 位 が 大 き い 場 合 は,エ イ リ ア ス 現 象 に よ る 大 き な 復 元 誤 差 が 懸 念 され る.本 手 法 で は,各 画 素 あ た り複 数 の 画 像 ペ ア を 利 用 で き る こ と か ら,勾 配 法 の 精 度 向 上 の た め の 一 っ の 工 夫 と して
,近 似 誤 差 が 大 き な 勾 配 方 程 式,し た が っ て そ の よ う な 観 測 は 奥 行 復 元 に 利 用 し な い と い う方 策 が 考 え られ る.
そ こ で 本 研 究 で は,上 述 の 近 似 誤 差 を 見 積 も る 量 を 提 案 し,そ れ に 基 づ く 勾 配 方 程 式 の 選 択 的 利 用 に よ っ て,奥 行 復 元 精 度 の 向 上 を 試 み る.加 え て,精 密 回 転 ス テ ー ジ
を 計 算 機 で 制 御 す る カ メ ラ シ ス テ ム を 構 築 し,カ メ ラ キ ャ リ ブ レー シ ョ ン[10]を 含 め た 実 験 環 境 の 整 備 を 行 う.こ の シ ス テ ム を 用 い て 提 案 手 法 を 評 価 し,今 後 の 研 究 に 繋 が る 情 報 を 獲 得 す る こ と を 目的 とす る.
nlicrosaccadc
図1.1固 視 微 動 の モ デ ル
1.3.本 論 文 の 構 成 3
1.3本 論 文 の 構 成
第1章,序 論
近 年 の コ ン ピ ュ ー タ ビ ジ ョ ン の 技 術 に つ い て 述 べ,人 間 の 視 覚 系 で あ る 固 視 微 動 と 呼 ば れ る 不 規 則 な 眼 球 運 動 に つ い て 説 明 し,固 視 微 動 を 用 い た カ メ ラ 運 動 の 従 来 研 究 に お け る 有 用 性 を 説 明 し,本 研 究 の 目的 を 示 す.
第2章:固 視 微 動 を 模 擬 し た カ メ ラ モ デ ル の 基 礎 原 理
動画像か らの三次元形状復 元の基本原理 を説明 した後,ト レモ アを模 擬 したカメラモ デル とそれ に基づ く勾配法 による奥行 き復元 について述べ る.
第3章:勾 配 方 程 式 の 選 択 的 利 用 法
勾配方程 式を利用 した奥行復 元手法の概 要 を説明 した後, 案 した,勾 配方程式の選択的利用法 を詳述す る.
これ に新 たな工夫 として提
第4章,カ メ ラ シ ス テ ム の 構 築 と実 験
カメラシステ ムによって撮影 され た,実 画像 を用 いた実験 を通 して,提 案手法 の有効 性 を評価す る.
第5章,奥 行 復 元 の 性 能 評 価
カ メ ラ シ ス テ ム に よ っ て 撮 影 され た,実 画 像 を 用 い た 実 験 を 通 して,提 案 手 法 の 有 効 性 を評 価 す る,
第6章1結 論
本研究で得 られた成 果を整理す るとともに, 今 後 の 課 題 を 述 べ る.
4 第2章 固視微動 を模擬 したカメ ラモデルの基礎原 理
第2章 固視 微 動 を模擬 した カ メ ラモ デル の基礎 原 理
2.1設 定 し た カ メ ラ モ デ ル
本 研 究 に 関 し て は,画 像 投 影 モ デ ル と して 透 視 投 影 モ デ ル を 想 定 す る[10].カ メ ラ を (X,y,Z)の ワー ル ド座 標 系 に 固 定 し,図2.1に あ る よ う に レ ン ズ 中 心0を 原 点,視 軸 を Z軸 とす る.カ メ ラ焦 点 距 離/を1と し,画 像 平 面 をZ=‑1と して い る.そ し て 対 象 物 体 上 の 点 を 表 す3次 元 ベ ク トルX=[X,y,Z】Tが,同 次 座 標 ベ ク トル と して 画 像 平 面 上 の 点(x,ア,‑1)Tに 投 影 され る とす る.
f=1と した とき
(.N'.1●)
=( .Y/Z.〉"
Z
1 ',
Z
図2.1カ メ ラ 投 影 モ デ ル
2.1.ト レ モ ア を 模 擬 し た カ メ ラ モ デ ル と オ プ テ ィ カ ル フ ロ ー 5
2.2 ト レモ ア を 模 擬 した オ プ テ ィ カ ル フ ロー
固 視 微 動 の 中 の ト レ モ ア を 模 擬 す る カ メ ラ 運 動 に つ い て 説 明 す る.図2.1に 示 す よ う にfi=[ll .r,u>,,Zl、]T,i=[i,,r>,,r,]Tは 並 進 及 び 回 転 速 度 ベ ク トル で あ る.こ の と き 画 像 面 上 の 点(x,y,f)Tに お け る オ プ テ ィ カ ル フ ロ ー ラ=臥,v
.1,]'「 は 次 式 を 満 足 す る.
つ
v、=rp .r‑(1+x‑)耽,+処 一(ux‑xu,)d
(2.1)Vy=(1+ア
つ』)(,一^購 一xr:一(μ,つ2u、)d
(2.2)dは 奥 行 きZの 逆 数 で あ り,画 像 上 の 各 画 素 に お け る未 知 数 で,(i,il)は 画 像 全 体 に 対 す る 未 知 数 で あ る.人 間 の 眼 球 運 動 で は,図2.2に 示 す よ うに カ メ ラ の 回 転 中 心 が 光 軸 に 沿 っ て レン ズ
中 心 の 後 方Zoに 位 置 す る.こ の 回 転 が 引 き 起 こす レン ズ 中 心 で の 回 転 速 度 ベ ク トル は 回 転 中 心 周 りの 回 転 速 度 ベ ク トル と同 じ成 分 で表 現 す る こ とが で き る.
奥 行:zニ1̀1 焦 点 距 離:∫=‑1 回転 中 心 距雌:夙
回 転:r
z 一
瑠
画
レ
阜/
〆 ズン
面
1)∠ 1● 、
x∠ 、
k 、
ノ
'
lliz。
レZ中
ン
'1♪
ズ
K
中
Ψ Ψ 'じ
、対 象 物 体
γ
図2.2図2.1を 横 か ら 見 た 図
6 第2章 基礎原理
・ 方
,こ の 回 転 中 心 の ず れ に よ っ て 発 生 す る レ ン ズ 中 心 の 並 進 運 動 は,そ の 並 進 運 動 ベ ク ト ル をtiと す る と,X及 びy軸 周 り の 回 転 速 度 ベ ク トルi=レ
,,rs]Tを 用 い て,'iiを 以 下 の 式 で 表 す こ と が で き る.
亜 一 潤 一 制 (2.3)
こ の 並 進 速 度 ベ ク トル 亜を 用 い る と,本 研 究 の 画 像 平 面 に お け る オ プ テ ィ カ ル フ ロ ー ラ二 臥,v .、,]Tは 次 式 の よ うに 定 式 化 で き る.
v .v=ay7r.r‑(1+x2)':"‑Z。 そμ ≡vニ ー':,Z。d
(2.4)つ
Vy=(1+ア つ な 一 η 〃1,+Z,r,,d≡ 垢 一'二rZod (2.5)
この カ メ ラ運 動 モ デ ル は,直 接 的 な 並 進 運 動 が 不 要 で あ り,ま た カ メ ラ 回 転 は 不 規 則 で 微 小 な も の を想 定 して い る た め,カ メ ラ制 御 が 容 易 と な る.加 え て,こ の 回 転 は フ レー ム の 数 だ け 存 在
し,こ の 値 を正 確 に 知 る こ とは シ ス テ ム を繁 雑 にす る の で,本 手 法 で は これ も推 定 す る こ と と
す る.一 方 で,実 カ メ ラ に お け るZoは 一 般 的 に奥 行 の 相 対 値 と して求 ま る.絶 対 量 を 知 りた い
場 合 は,奥 行 が 既 知 の 形 状 が 必 要 とな る.ま た,こ の よ うな 形 状 を 求 め る場 合 は 平 行 ス テ レオ
[10]等 で 奥 行 を 計 測 す る 方 法 が 考 え られ る.平 行 ス テ レオ を 行 う際 に,ピ クセ ル 単 位 の 焦 点 距
離/を 用 い る の で,事 前 に カ メ ラ キ ャ リブ レー シ ョ ン を行 う必 要 が あ る.
3.1.勾 配 方 程 式 に 基 づ く 奥 行 復 元 手 法 7
第3章 勾配 方程 式の選 択 的利 用法
3.1勾 配 方 程 式 に 基 づ く 奥 行 復 元 手 法 3.1.1剛 体 運 動 に 関 す る 勾 配 方 程 式
画像上の輝度値 を プ(エ,)∀)で表す と,運 動前後での輝 度値 不変性 の一次近似式(勾 配 方程式〉は,1次 元 に限れ ば図3.1の よ うに解釈 され次式 のよ うに与 えられ る.た だ し,輝 度値の運動 前後での不 変性 を厳密 に考慮 す るな らば,物 体の光反射 特性 は完 全な拡散反 射であ り,物 体 と光源が固定 された状況でカメラが運動 してい ると考え る必要があ る,
輝 度 値 画像 前
画像 後
図3.1一 次 元 方 向 に お け る 勾 配 方 程 式 の 概 略 図
f,=一 云vx一 ノ 詑 ア (3」)
こ こ で,fi'f X,fYは そ れ ぞ れll寺間 及 び 空 間 の 偏 導 関 数 で あ る.本 研 究 で は 差 分 頻 度 を 高 め
る た め に,fx,fvを5タ ッ プ 差 分 に よ っ て 求 め る.5タ ッ プ 差 分 と は[‑0.108415‑0.280353
0.00,2803530.108415」 を フ ィ ル タ ー 係 数 と す る 畳 み 込 み で あ り,画 像 の 横 方 向 に 施 せ ば
8第3章 勾 配 方 程 式 の 選 択 的 利 用 法 frが,縦 方 向 に 施 せ ばfvが 求 め られ る.式(3.1)に 式(2.4),(2.5)を 代 入 す る と,今 回 の カ メ ラ 運 動 に 対 す る 剛 体 運 動 を 表 現 す る 勾 配 方 程 式 は
f,一 一(堀+かP‑(一 鵜+f'.つz。d
≡ 一!「‑f"d (3.2)
と表 す こ と が で き る.dを 計 算 す る 際,精 度 を 上 げ る よ う複 数 の 画 像 ペ ア を 用 い る が, 計 算 の 効 率 を 上 げ る た め に,式(3.2)の よ うにdを 共 通 の 未 知 数 と して 定 式 化 す る こ と で, 複 数 の 画 像 ペ ア に 対 して 一 括 し た 計 算 が 可 能 と な る.
ガ,ノレ 五 の 全 て は 観 測 量 で あ る た め,誤 差 を 含 む 一 方 で,方 程 式 そ の も の に 近 似 誤 差 が 存 在 し,こ れ が 多 く を 占 め る こ とか ら,こ れ らの 誤 差 を 統 計 し て ズ に の み 誤 差 が 含 ま れ る も の と して 扱 う.全 て の 観 測 量 に 基 づ い てi,i,dを 決 定 す る こ と に な る.ま た,
云,五 は 上 記 の 差 分 に よ り誤 差 が 少 な い た め,ズ の 観 測 誤 差 と方 程 式 の 誤 差 を統 計 して ズ の
誤 差 を 考 え る必 要 が あ る.
3.1.勾 配 方 程 式 に 基 づ く 奥 行 復 元 手 法 9
3.1.2確 率 モ デ ル
使 用 す る フ レ ー ム 総 数 をM,画 素 数 を ノVと す る.ft('の,.1 ...N,J.1..M,7(1≧LM,d('1.L洲 を確 率 変 数 と し て 扱 う.ま ず,観 測 量f,('」)に 加 わ る 誤 差 を0,分 散 σ,1の 正 規 分 布 に 従 う も の
と す る と 汚 〔 切 の 条 件 付 き 確 率 密 度 関 数 は 次 式 で 表 さ れ る.
P(f,(t'"1d̀'),アω,σ3)=毒 ×叫(糊1詰 鯉 ア}
(3.3)
次 に,眼 球 の 回 転 速 度rω に お い て,本 研 究 で は 固 視 微 動 の ド リフ ト成 分 は 無 視 す る こ とか ら,各 軸 の 成 分 は 独 立 で あ る と し,平 均0の 次 式 の 正 規 分 布 に 従 う も の とす る.
P(アω1σ1)‑2討 劇(3・4)
以 上 の モ デ ル よ り ⑤={σ あ σハ を 未 知 の パ ラ メ ー タ とす る と,{ズ(り)},{ア ω}の 同 時 確 率 は 次 式 で 与 え られ る.
P({f,(り)},{ア ω}10)
げ ぜ
一 Σ ΣP(f ,("J)14ω,7ω,σ3)ΣP(7ω1σb
t=1ノ=1ノ 司
1(f,(t'J)+fr(t.J}+fit(t・ ノ)d('))2
⑳一珊 叫 2σ3 劇
(3.5)こ こ で,本 研 究 で は 不 規 則 な 微 小 同 転 運 動rω に よ り振 動 す る 複 数 の フ レー ム を 利 用 す る こ と か ら,各 画 素 位 置 で 得 られ るd(')は 純 粋 に そ の 位 置 に 対 応 す る 値 で は な く,画 像 上 で の 振 れ 幅 に 相 当 す る近 傍 領 域 の 平 均 的 な 値 と な る.す な わ ち,結 果 的 に4ω は 周 囲 と相 関 を 持 っ も の と して 得 られ る.こ の 相 関 の 空 間 的 広 が りは 奥 行 き の 深 さ に も 依 存 す る も の で あ
り,本 来 な らば 相 関 に 関 す る 変 数 を 持 ち 得 な け れ ば な ら な い の だ が,今 回 は 簡 単 の た め 次
式 の よ うに 扱 う.
10 第3章 勾配方程式 の選択 的利 用法
P(∂1σ3)一(歳 叫 矧
(3.6)
こ こ で,dはd(')を 成 分 と す るN次 元 ベ ク トル で あ り,共 分 散 行 列 をcriL‑1と す る .L は 自 由 端 境 界 条 件 を満 足 す る2次 元 ラ プ ラ シ ア ン演 算 子 で あ る.こ の モ デ ル に よ り,空 間 的 に 滑 ら か な 奥 行 き マ ップ が 得 られ る こ と に な る.本 研 究 で は,分 散 σ3は 奥 行 き の 滑 ら か さ を 制 御 す る 既 知 の 量 と して 扱 う.以 上 の 全 て の 確 率 モ デ ル に 基 づ き,入 力 画 像 か ら,
{σ3,σハ を 最 尤 推 定[14],d{')とrω をMAP推 定 に よ り決 定 す る こ と が で き る.
3.1.勾 配 方 程 式 に 基 づ く 奥 行 復 元 手 法 11
3.1.3計 算 ア ル ゴ リ ズ ム
本 研 究 で は 効 率 的 で 安 定 な 計 算 の た め にOSL‑MAP(OneStepLate‑MaxAPosteriori)‑
EMア ル ゴ リズ ム[11]を 採 用 す る.EMア ル ゴ リズ ム とは 観 測 さ れ て い な い 未 知 確 率 変 数 を 観 測 量(事 前 分 布)に 加 え て 想 定 し た と き に,両 者(完 全 デ ー タ)が 観 測 さ れ れ ば 問 題 が 解 き や す く な る場 合 に 有 効 な 推 定 手 段 で あ り,そ の 未 知 確 率 変 数 の 事 後 分 布 と パ ラ メ ー タ の 最 尤 推 定 量 を 同 時 に 得 る こ と の で き る反 復 手 法 で あ る .ま た,EMア ル ゴ リズ ム の 拡 張 で あ るMAP‑EMア ル ゴ リズ ム で は,得 られ た 事 後 分 布 を 最 大 化 す る 際 に,パ ラ メ ー タ に 事 前 確 率 を 導 入 して ,MAP推 定 に よ っ て 決 定 す る.各 反 復 で は 以 下 の ス テ ップ を
実 行 す る.
1.E‑stepで は,g関 数 と 呼 ば れ る パ ラ メ ー タ 更 新 の た め の 評 価 関 数 を 導 出 す る.
2.M‑stepで は,g関 数 を 最 大 化 す る よ う に パ ラ メ ー タ を 更 新 す る.
上 記 の2ス テ ッ プ を 収 束 す る ま で 交 互 に 繰 り 返 す.
本 研 究 に お い て は,上 記 の ア ル ゴ リ ズ ム を 実 行 す る に あ た り,⑤={d,σ,1,σ ハ を 未 知 の パ ラ メ ー タ と す る と,⑨ をp((E)1f,(t・i))に 基 づ くMAP推 定 量 と し て 決 定 す る こ と が で き る.加 え て,ρ ω は 先 ほ ど 推 定 し た パ ラ メ ー タ6を 利 用 し,p({'・ ω}1{f,('の},6)に 基 づ く MAP推 定 旦 と し て 得 る こ と が で き る.こ の2段 階 のMAP推 定 に よ り最'終 的 な 奥 行dを 推
定 す る こ と に な る.た だ し,o',;,σ,1に は 事 前 知 識 を 定 義 し て い な い の で,形 式 的 に は 一 様 分
な
布 を仮 定 す る こ と に な る.ま た,上 述 の ・は推 定 量 を意 味 す る.以 下 で はEMの ス キ ー ム に つ い て 詳 述 す る.
EMス キ ー ム で は,{ガM.ア ω}を 完 全 デ ー タ,ア ω を 欠 損 デ ー タ,0を 未 知 量 と し て 扱 い,E‑stepとM‑stepを 収 束 す る ま で 交 互 に 反 復 す る.
Estepで は,完 全 デ ー タ の 対 数 尤 度 関 数 に 対 し,f'(tJ)を 観 測 し た と き の 条 件 付 き 期 待 値 操 作 を,前 の 反 復 に お い て 得 られ て い るMAP推 定 値0を 固 定 して 施 す.得 ら れ る 関 数 は 通 常,g関 数 と 呼 ば れ る.g関 数 を 以 下 に 示 す.
9(0,0)≡E[lnp({ft(',」)},{F(・1)}10)1ガ(切,⑤)] (3.7)
12 第3章 勾配 方程 式の選択的利用法
続 い て のM‑stepで あ る が,特 にMAP・EMア ル ゴ リ ズ ム に お い て は,本 来 のEMア ル ゴ リ ズ ム の 枠 組 み で は パ ラ メ ー タ と し て 扱 う変 数 ,つ ま り本 研 究 に お け る0の 事 前 確 率 の 対 数 を と っ た も の を,上 述 のg関 数 に 加 え 合 わ せ て ,そ の 関 数 を0に 関 し て 最 大 化 し て,G)の 更 新 を 行 う.前 節 で の 確 率 モ デ ル を 用 い る こ とで,M‑stepで 最 小 化 す べ き 評 価 関 数 は,事 後 確 率p({rω}1{f,("ノ)},0)を 具 体 的 に 記 述 す る こ と に よ っ て,次 式 の よ う に 書 き 下 す こ とが で き る.
P({アω}1{f,{i」)}・(E))=2(誓1告誓 罫 器lo)(3・8)
式(3.3),(3.5),(3.8)か らp({r(J)}lU(t」 》},0)は 次 式 と な る.
納1{ノ;('の},0)下 泰 ×艦 碑 一艀 岬 口巧P)}(3・9)
卯=〔 ま シ 轡 刀+÷ ・ ア(3 .1・)
lv(t,J)=〔 つfl'").v(')ア(t)+f,("J)(1+ア ω 』)つ 一fft.」)(1+X̀')̀)一 瀦 ・ ノ)X(')
.y(t)〕+z・ ∂〔馴
≡ 貢)8・ ノ)+Zo♂')脅y・ ノ)(3・11)
式(3.9)に 式(3.6)を 加 え,対 数 を と っ た も の を 式(3.12)に 示 す.
lc(・)ニ ー 響lnσ3‑Mlnσ1
‑ 2≒ 薯{シ 叫2〔 オw・'・ ノ ・Tノ;・t・ ノ ・ 〕F・ ・)+t{〔 書 即 〕 刈}
‑ 2≒ 薯tr碑 ・ ・)望
(3.12)
3.1.勾 配 方 程 式 に 基 づ く 奥 行 復 元 手 法 13
E回 ≡考 ・L壱 ぢ ・)か ・)w(・J)
σ ρ'=ノ
(3.13)
Eト ノ ・T刈 ≡lil・ ・‑2y・+櫨 ハ (3.14)
上 記 の2式 に よ る 期 待 値 操 作 に よ り,式(3.12)か ら次 式 のg関 数 が 導 か れ る.
̲1
2cr,?
1 2σ1
岨 つ つ
e(0)=‑21nσ ・;‑M且nσ;
薯{1.1f,('ti)2+2〔 躯 贈+t{〔 書幽 〕 司}
薯t娯 寡 (3.15)
M‑stepで は,式(3.15)を 最 大 に す る よ う ⑤ を 更 新 す る.定 数 項 を 省 略 す る と 式(3.15) は 以 下 の よ う に 書 き 直 す こ と が で き る.
9(・)一 一11{Ylnσ,i一爾 一2≒ 戸({∂})一 叢 δ一畿 ゴ (3.16)
こ れ に よ り σ,,と σ,に 関 し て は,次 に よ う に 更 新 式 を 得 ら れ る.
σ1=ズ({」})σ1一 δ 2ル∫
濯 (3.17)
tiに 関 し て は,式(3.15)の 最 終 項 の 各4ω に 関 す る 偏 導 関 数 が,近 傍dの 関 数 と な る
の で,dの 更 新 に は 連 立 方 程 式 を 解 く 必 要 が あ る.こ れ を 避 け る た め,本 研 究 で は,
One‑Step‑Late(OSL)テ ク ニ ッ ク を 適 用 す る.
14 第3章 勾配方程式の選択的利用法
これ は,近 傍 のdは 得 られ て い る 値 を 固 定 した 定 数 とみ な し,偏 導 関 数 を0と お い た 方 程 式 を 各 ゴω の み の 方 程 式 と 考 え て 解 く方 法 で あ る.解 は 次 式 の よ う に 得 られ,こ れ を 更 新 式 とす る.
am一 訂 ∂か 一σ塗1碑+t・(B('v)Ro)](3.18)
σ3Z。 Σt・(A・ …,・Ae})+6‑,1 σ 景Z♂ Σt・(・1(t+Ll}]i}①)+∂3
ノ=1ノ=1
式(3.18)に お け る4ω は,ガ ω の4近 傍 系 の4ω を 除 い た 算 術 平 均 を 示 す.こ こ で,σ ,1も現 在 の 値 に 固 定 し て お り,こ う し て 得 ら れ た 更 新 式dを 式(3.17)に 代 入 す る こ と で σ,?の 更 新 が 行 わ れ る.ま た オ〔 ω,β 〔"ノ}は,以 下 の よ う に 定 義 さ れ る,
At'・')≡朔 ・'IT嘲・'1(3 .19)
B・,.、)≡ 面8"〕T謝 耐 ノ'Tw6"')(3.2・)
2
3.2.エ イ リア ス 現 象 と 高 次 項 に 基 づ く勾 配 方 程 式 の 選 択 的 利 用 法 15
3.2エ イ リア ス 現 象 と高 次 項 に 基 づ く勾 配 方 程 式 の 選 択 的 利 用 法
3.2.1エ イ リア ス 現 象 と高 次 項 に よ る影 響
我 々 の 研 究 室 で は,2章 で 述 べ た カ メ ラ運 動 を採 用 し,勾 配 方 程 式 に 基 づ く3.1で の 手 法 を提 案 して い る.勾 配 方 程 式 と は,3.1.1で 詳 述 した よ うに 運 動 前 後 で の 輝 度 値 不 変性 を 一 次 近 似 した も の で あ り,観 測 量 で あ る輝 度 値 の 空 間 差 分 値 とオ プ テ ィ カ ル フ ロー に 関 す る 制 約 式 とな る.勾 配 法 の 精 度 は,こ の 一 次 近 似 の 当 て は ま り の 程 度 に 大 き く 依 存 す る.し か し,厳 密 に は 高 次 項 に よ る 誤 差 が 存 在 し,そ れ が 固 有 の 問 題 と して 精 度 に 影 響 し て い る.一 方 で,画 像 変 位 に よ る 奥 行 復 元 の 原 理 的 な 問 題 と し て エ イ リ ア ス 現 象 に よ る 大 き な 復 元 誤 差 が 懸 念 さ れ る.逆 に 画 像 変 位 が 小 さ い 場 合 は 、 信 号 対 雑 音 比 の 低 下 に よ っ て 復 元 値 が ノ イ ズ に 隠 れ て し ま う可 能 性 も あ る.こ の2つ の 現 象 は 画 像 変 位 に よ る 問 題 で あ る の で,勾 配 法 と は 関 係 が な い,し か し,勾 配 法 は,こ の エ イ リ ア ス 現 象 を 含 め 高 次 項 の 存 在 に 問 題 が あ る.既 提 案 法 で は,こ の よ うな 勾 配 方 程 式 の 性 質 を 考 慮 に 入 れ て お らず,十 分 な 奥 行 き 復 元 精 度 が 得 られ て い な か っ た.本 研 究 で は,各 画 素 あ た り複 数 の 画 像 ペ ア を 利 用 で き る こ とか ら,勾 配 法 の 精 度 向 上 の た め の 一 つ の 工 夫 と して,近 似 誤 差 が 大 き な 勾 配 方 程 式,し た が っ て そ の よ う な 観 測 は 奥 行 復 元 に 利 用 しな い とい う方 策 を 検 討 す る.
本 研 究 で は,勾 配 方 程 式 の 性 質 を 踏 ま え て 画 像 の 動 き を 制 限 し 、 そ の うえ で 、 上 述
の 近 似 誤 差 を 見 積 も る 量 を 提 案 し,そ れ に 基 づ く 勾 配 方 程 式 の 選 択 的 利 用 に よ っ て,
奥 行 復 元 精 度 の 向 上 を 図 る 手 法 を 提 案 す る.加 え て,精 密 回 転 ス テ ー ジ を 計 算 機 で 制
御 す る 実 カ メ ラ シ ス テ ム を 構 築 し,撮 影 した 実 画 像 を 利 用 し た 評 価 を 行 う.本 章 で は,
提 案 手 法 に つ い て 詳 述 す る.
16 第3章 勾配 方程式の選択的利用法
3.2.2最 適 な 画 像 変 位 の 決 定
先 に述 べた よ うに,既 提案 法で はエ イ リアス現象 に よる影響 を無視 して いた.エ イ リア ス現象 とは,異 なる連続信 号が標本化 によって区別で きな くな ることをい い,折 り 返 し雑音 とも呼 ばれ る.ま た,信 号対雑音比の低 下による問題 も存在す る.信 号 対雑 音 比(SN比)と は,雑 音 に対す る送信信 号の割合の ことをいい,低 下す る と雑音 の割 合が 信号 の大 半 を占め るた めに信号 の取得が 困難 に なる.輝 度 値 の空 間的 な波長 に対 して 画像変位が大 きい場 合は,エ イ リアス現象に よる大 きな復元誤差が生 じる.逆 に画像変 位 が小 さい場合 はSN比 の低 下によって復元精度 が下が る.そ のため、上記の2つ を回 避 する ことが望ま しい.SN比 の低 下に関 しては,複 数 の連続す る画像ペア を用 いて,
空間差 分値 オ の情報 量 を増 やす こ とで回避可能 となる.こ こで,以 下 にエイ リアス現 象 が起 きてい る場合,連 続 す る画像 対それぞれ の一次方向 にお ける輝 度値 の波長 を図 3.2に 示す.
1,5
⊥
O.5
幽o
・o.5
一1
一上5
＼/＼/＼ メ ζ真 謡雛/へ
八 ＼/搬 錐煮 ＼/
・ ヤ ・4》 ・8/ヤ ・4v・ 宕7
＼ ノ＼ ノ ＼ ノ＼ ノ
護 長(h)
図3.2エ イ リア ス 現 象 が 発 生 して い る 画 像 対 にお け る 輝 度 値 の 例
以 上 の 図 は,青 い 波 に 対 し,赤 い 波 が 真 の 画 像 変 位 分 動 い て い る もの で あ り,画 像 変 位 が λ/2を 超 え た 場 合 そ の 超 過 分,エ イ リア ス に よ り誤 っ た 画 像 変 位 が 検 出 され て しま う こ と を 表
して い る.
3.2.エ イ リア ス 現 象 と高 次 項 に 基 づ く 勾 配 方 程 式 の 選 択 的 利 用 法 17
以 上 を 考 慮 し,輝 度 値 の 空 間 的 な 波 長 に 対 す るN2の 画 像 変 位 よ り も小 さ く,一 様 な 差 分 を 多 く取 れ る画 像 変 位 を設 定 す る こ とで,問 題 を解 決 す る た め の 最 適 な 画 像 変 位 を決 定 で き る.
本 研 究 で は以 上 を 考 慮 した,輝 度 値 の 空 間 的 な 波 長 に対 す る λ/4の 画 像 変 位 を最 適 値 と して 得 た.ま た,画 像 変 位 が フ)4の 場 合 で の 一 次 方 向 に お け る輝 度 値 の 例 を 図3.4に 示 す.
1.5
1
O.5
む埋凹
・O.5
一⊥
一1.5
//一Y画 嘉
//
＼N4 ＼⑭/
四 ＼ 庫＼
/1.
ノ ＼ 人
一
1.2
綾 長 α}
図3.3λ/4の 画 像 変 位 で の 画 像 対 に お け る 輝 度 値 の 例
以 上 の 図 は,青 い 波 に 対 し,赤 い 波 が真 の画 像 変 位 で あ る λ/4分 動 い て い る も の で あ り,エ
イ リア ス が発 生 して い な い こ とを 表 して い る.
18 第3章 勾配方程式 の選択的利用法
3.2.3閾 値 に よ る 勾 配 の 選 択 的 利 用 法
3.2.2で 説 明 した,適 切 な 画 像 変 位 の 議 論 に 基 づ き,輝 度 勾 配 ベ ク トル(云 ,fv)の 選 定に よ っ て も精 度 向 上 が 望 め る.画 素 あ た り複 数 の 画 像 ペ ア を 利 用 で き る こ と か ら,近 似 誤 差 が 大 き な 勾 配 方 程 式,す な わ ち,勾 配 方 程 式 の 高 次 項 が 多 い 部 分 は 奥 行 復 元 の 過 程 か ら 除 く と い う方 策 が 考 え られ る か ら で あ る.本 研 究 で は,カ メ ラ 運 動 に よ っ て 得 られ た ル1 枚 の 連 続 した 画 像 ペ ア の うち,各 画 像 ペ ア2枚 分 の 空 間 微 分 値 か ら 各 画 素 位 置 の 輝 度 勾 配 ベ ク トル(云, .な)の内積,つ ま り空間 勾配 の向き を求 め,そ れ が 大 き く異 な る場 合 は 高 次項 が 多 く な り近 似 誤 差 を 生 む と類 推 す る.連 続 す るM枚 の 画 像 の うち,隣 り合 う画 像 ペ ア そ れ ぞ れ の 空 間 微 分 値 を(f.o .Sf.1,fv。..A,f‑、)・ も う一 一方 を(Li..A,,̀tl,1..M)とす る と 内 積 は 以 下 の 式 で 表 現 で き る.
五 。 」Sf一且f.,1...,f+布 講,.1/iv且JSt
COSθ=(3.21)
爲 ル1+L?o..Af.i× 端w+f,?i..Af
例 え ば,空 間 勾 配 の 向 き が 負 に な っ た場 合 はgoo以 上 と な り勾 配 が 大 き く 異 な る た め, そ の よ うな 画 素 の 勾 配 方 程 式 は選 択 しな い とで き る.こ の よ うな部 分 は,主 に 図3.2,図3.3
で 同 じ位 置 で の 波 同 士 の 角 度 が90。 以 上 の 部 分 の こ と を 指 す.ま た,図3.4は 空 間 勾 配 の 向 き が,正 負 で ど の よ うに な る の か を 図 示 した も の で,2つ の ベ ク トル が 平 行 に 近 け れ ば 理 想 的 で,離 れ る ほ ど 高 次 項 が 増 加 し近 似 誤 差 を 生 む こ と を 示 し て い る.こ う し た 理 由 か ら,閾 値 に よ る 勾 配 方 程 式 の 取 捨 選 択 が 必 要 不 可 欠 と な る.本 研 究 で は,空 間 勾 配 の 向 き に 対 し,正 の 場 合 は 勾 配 方 程 式 を 使 用 し,負 の 場 合 は 向 き に 対 す る 閾 値 を 用 い て 除
く とす る.
○
(fX2,fy2)
(fX1,fy1)
0
(fx2,fy2)
×図3.4理 想 的 な 勾 配 方 向 の 例
3.2.エ イ リア ス 現 象 と 高 次 項 に 基 づ く勾 配 方 程 式 の 選 択 的 利 用 法 19
こ こ で 注 意 し な け れ ば な ら な い 点 が あ る.上 記 の 式(3.21)が 画 像 ペ ア の 勾 配 の 向 き の み に しか 考 慮 され て い な い 点 で あ る.こ れ は,向 き に よ る 判 定 が 相 対 的 な も の で しか な い た め,空 間 勾 配 の 差 ベ ク トル の 大 き さ に 着 目 し絶 対 的 な 判 定 を 行 う必 要 が あ る こ と を 意 味 す る.そ の た め,次 点 と し て 式(3.2Dで 利 用 で き る と 判 断 され た 空 間 勾 配 に 対 し,勾 配 の 差 ベ ク トル の 大 き さ と,そ0)基 準 と な る ベ ク トル の 大 き さ 双 方 の 比 を 採 用 す る必 要 が あ る
(図3.5参 照).
理 由 と して,勾 配 の 差 ベ ク トル は,次 節 で 説 明 す る 勾 配 方 程 式 の 二 次 項 の 成 分 で あ り, こ の 値 が 大 き い と 勾 配 方 程 式 の 誤 差 量 が 増 え て し ま う.言 い 換 え れ ば,二 次 項 は 一 次 項 に 対 す る 雑 音 で も あ る の で,SN比 が 増 加 す る こ と に な る.そ こ で 基 準 とな る ベ ク トル に 対 す る 差 ベ ク トル の 比 が 小 さ な も の を 見 る こ と で,よ り誤 差 の 少 な い 勾 配 を 選 定 で き る と い う こ と に な る.さ ら に,こ の 勾 配 が オ プ テ ィ カ ル フ ロ ー に 対 し て 垂 直 に 近 い ほ ど, 差 ベ ク トル の 大 き さ に 関 わ らず 誤 差 を 低 減 で き る.以 上 の 条 件 か ら 考 え た 判 定 基 準 をJと す る と,オ プ テ ィ カ ル フ ロー(Vr,ゆ,基 準 と な る ベ ク トル(五 αム ィ.pゐOM.1),も う一 方 の ベ ク トル(f .,1...M,fyl.M)を用 い て 以 下 の 式 で 表 現 で きる.本 研 究 で は,全 画 素 で の 空 間 勾 配 の 大 き さ の 平 均 を 算 出 し,そ れ を 閾 値 とす る.こ の 閾 値 よ り 」が 小 さ い 場 合 は 勾 配 方 程
式 に 利 用 し,大 き い 場 合 は 除 く とす る.
J= 1(五̲‑f.i、1)Vx+(f,。 胴 一 五1、 、)v,1 21fr。 iSt.1Vx+五̲㌧1
(3.22)
以 上 の よ う な,向 き と大 き さ を 考 慮 した2段 階 で の 空 間 勾 配 の 決 定 法 に よ り,閾 値 に よ っ て 選 択 的 に,利 用 す る 勾 配 方 程 式 を 決 め る こ と が で き る.
○
差 が小さい
(fx2.fy2)
基準のベクトル
(fxl.fy1)
×
呵
(fx2.f》2)
0
基準のベクトル
(fx1.fy1)
図3.5理 想 的 な 差 ベ ク トル の 大 き さ の 例
20 第3章 勾配方程式 の選択 的利用 法
3.2.4勾 配 方 程 式 に お け る 高 次 項 を 考 慮 し た 空 間 微 分 値 の 利 用 法
本研 究での勾配方程 式は1次 項のみだ としているが,厳 密 には高次項 も存在す る.高 次 項 は1次 項 に対 し割 合が少 な く,雑 音 として扱 うこ とが妥 当であ る.逆 に,高 次項 が大 き い場 合 は近似 誤差 の原 因 とな るので,基 本 的に高次項 が小 さい場 合のみ 有効 とな る.ま た 前節で 内積 の判 定に よ り,誤 差 の大きい画像ペ アが除かれ,非 線形項 が小 さくなってお り2 次項が一次導 関数 の よ うに近似 可能 と考 えられ るので,2次 項のみ に着 目した場合 を考 える.
この2次 項 は,カ メ ラ運動 に よって得 られたM枚 の連続画 像ペ ア同士の空間微 分値の ズ レ と考 え られ るので,差 分 を取 るこ とによ り求 め られ る.以 下に導 出過 程 を示 す.上 記の式 (3.1)で扱 われ た空間微 分値 を採用 しX方 向,ア 方向にその差分 を取 る と以 下の式 で表 現で き
る.
f.,。...,、t.1‑.乙1..,w=んv,+f...vA'(3・23)
f"・.,14‑1一 五1,Vfニ んv・+f,vv).(3
.24)
こ の 式(3.23)にv .,を,式(3.24)にvvを か け,2つ の 式 の 和 を 取 る と 以 下 の よ う に な る.
(云 ・.V‑1‑L,A,)V .r+(.1,.。,lt.1‑f,,i,1f)V .1,
つ つ
=ズ Ψv・v。+ズ"v汁 云,,壁,+んv;(3.25)
式(3.25)が 勾 配 方 程 式 の2次 項 と な り,こ れ を 考 慮 した 勾 配 方 程 式 は 以 下 の 式 と な る.
f,ニ ーf.vvx‑fl,,Vy
‑(んV呈+2五
。v毘,+ん ゆ (3.26)
式(3.26)を 元 に 云,f」.を2次 項 を 考 慮 し た 数 値 に 更 新 す る 式 を 以 下 に 示 す.更 新 し た も の
を 、 奪0 ̲^1̲1,」F沁.。A1̲1と す る.
3f .,O...M.1‑L且.M1『
,oAl...1=(3.27)2
尺̲=2Zf[og・:1L:f‑4!,,E!,・o‑・"f‑ifiv(3・28)
以 上 よ り,2次 項 を 考 慮 し た 数 値 を 勾 配 方 程 式 に 用 い る こ と で,よ り実 際 的 な 時 間 差 分 値
を 求 め る こ と が で き る.こ れ は,実 画 像 か ら求 め られ る 空 間 差 分 値 に ノ イ ズ が 含 ま れ て い
る こ と を 利 用 し,空 間 差 分 値 の 誤 差 を 求 め る こ とで 評 価 が 可 能 と な る.
4.1.カ メ ラ シ ス テ ム の 構 築 と 実 験 21
第4章 カ メ ラ シ ス テ ム の 実 装
4.1 カ メ ラ シ ス テ ム の 構 築 と実 験
我 々 研 究 室 で は,従 来 か ら 固 視微 動 を 模 擬 した カ メ ラ 運 動 に 基 づ く 奥 行 復 元 に,勾 配 法 を 用 い た シ ミ ュ レー シ ョ ン を 重 ね,様 々 な 改 良 を 行 っ て き た.し か し,実 画 像 を 利 用 した 評 価 は 今 ま で 行 な わ れ て お ら ず,今 後 に 向 け 実 際 的 な 実 験 が 必 要 不 可 欠 と な っ て い る.そ
こ で 我 々 は,図2.1の カ メ ラ 写 像 形 を ハ ー ドウ ェ ア で 実 装 し た カ メ ラ を 用 い て 実 画 像 に 対 す る 奥 行 復 元 実 験 を 行 う.実 際 に 実 装 し た カ メ ラ シ ス テ ム を 図4.1,カ メ ラ を 動 作 させ る た め の パ ソ コ ン 画 面 の 制 御 ソ フ トウ ェ ア を 図4.2に 示 す.
;,,
移 鼻1
'3・ … 膨
轟 ●
,lt一
甘
t5Tt、
、.こ鵡1∵ 焦縦 鵡 襯 ワ・
⊂ま コ ●畷
{:回 呪 ∵
窯 ∵,・
㌧ 噌8見 夢b祠・●3峯Pり 雷,
図4.1カ メ ラ シ ス テ ム 図4.2パ ソ コ ン 画 面 上 の カ メ ラ 制 御 用 ソ フ ト ウ ェ ア
22 第4章 カ メ ラシス テム の実装
こ の カ メ ラ シ ス テ ム は,ハ ー ドウ ェ ア を 中 央 精 機(株)に,ソ フ トウ ェ ア をMITANI
CORPOLATION(株)に 発 注 し た,オ ー ダ ー メ イ ド型 ハ ー ドウ ェ ア カ メ ラ シ ス テ ム で あ る.
X軸 周 りの 横 回 転 ス テ ー ジ,y軸 周 りの 縦 回 転 ス テ ー ジ の 二 つ を 連 動 した 二 次 元 回 転 が 可 能 で あ る.ま た,視 軸 周 り の 回 転 は,奥 行 復 元 に 不 要 な た め 今 回 の 設 計 で は 採 用 して い な い.カ メ ラ の 性 能 に 関 して は 以 下 の 通 りで あ る.
一 焦 点 距 離:5(mm .)
一 画 素 セ ン サ ー:200万(1200×1600(pix .)) 一可 動 域:x軸360。 ,y軸 一10。〜+10。
一 駆 動 最 小 単 位1(pulse)
x軸:1(pulse)=0.01(rad.) y軸:1(pulse)=0.00067(rad.)
一 撮 影 画 像 の 種 類:8 ,12ビ ッ ト グ レ イ ス ケ ー ル 画 像 一 画 像 フ ォ ー マ ッ ト:tiffT ,raw
上 記 の 性 能 に 加 え,シ ャ ッ タ ー ス ピー ドや ゲ イ ン 値 の 操 作 に よ る 撮 影 明 度 の 調 節 の 他, 平 行 ス テ レ オ 視 等 も 可 能 と な っ て い る.次 に カ メ ラ の 動 作 に つ い て 説 明 す る.図4.1に1軸, 2軸 と あ る が,そ れ ぞ れX軸 周 りの 回 転 角 度,y軸 周 りの 回 転 角 度 を 入 力 す る 部 分 で あ り,
こ の 数 値 に よ っ て,カ メ ラ の 回 転 角 度 が 決 ま る.こ の 数 値 は,テ キ ス トフ ァ イ ル で 複 数 の 回 転 角 度 を 読 み 込 む こ と も 可 能 で あ る.図4.3の 装 置(QT‑ADM2)は カ メ ラ と 計 算 機 を 同 期 し な が ら操 作 す る た め の も の で,角 度 を 入 力 す る こ と で 自動 的 に カ メ ラ が 動 作 す る 仕 組 み に な っ て い る.ま た,図4.4の コ ン トロー ラ ー(QT‑AK)を 利 用 す る こ とで 駆 動 最 小 単 位 で あ る1pulseで の 手 動 操 作 が 可 能 で あ る.
図4.3カ メ ラ駆 動 装 置(QT‑ADM2)
v
コ ロ ロ 0'0
一
図4.4手 動 コ ン ト ロ ー ラ ー(QT‑AK)
4.1.カ メ ラ シ ス テ ム の 構 築 と 実 験 23
実 際 に 実 験 を 行 う場 合 の 準 備 と し て,図2.1の カ メ ラ モ デ ル を 元 に,水 平 な 台 に 対 象 物 と カ メ ラ を 配 置 し(図4.5参 照),そ れ ぞ れ の 位 置 関 係 を あ ら か じ め 測 定 す る 必 要 が あ る.
そ の 後,上 述 の 動 作 方 法 の 通 り に 角 度 を 入 力 し,指 定 回 数 カ メ ラ を 動 か す こ とで 画 像 を 複 数 枚 撮 影 す る こ と が で き る.な お,画 像 撮 影 時 の 形 式 は そ の 後 の 数 値 計 算 に よ る 処 理 の 事 を 考 え,生 デ ー タ と し て 扱 え るRAW形 式 を 選 択 した.
e
じ び る
・駕蒸擬 程
ぴ あ の ゆ し
灘 愚=弥.,二
・hWik'・"一"
図4.5実 験 環 境
最 後 に,次 章 で 数 値 評 価 を 行 う に 当 た っ て,こ こ ま で の 奥 行 復 元 過 程 を 図4.6に 示 す.
実験 の流れ
机の上 にカメラシステムと対象物 を置き,カメラを駆 動させなが ら
複数 枚の画像を採取.
畢
複 数 の 画 像 ヘ ア に 対 し, で 一 括 処 理(提 案 手 法)
EMア ルゴリズムによる 反 復泌 ξバうメータを惟定 奥 行 復 元
図4.6奥 行 復 元 の 流 れ
24 第4章 カ メ ラ シ ス テ ム の 実 装
4.2 カ メ ラ キ ャ リ ブ レー シ ョ ン
4.2.1キ ャ リ ブ レ ー シ ョ ン の 原 理
こ こ ま で カ メ ラ の シ ス テ ム と動 作 に つ い て 説 明 し て き た が ,実 際 に画 像 を取 得 す る 際 に は,よ り正 確 な 画 像 を 取 得 す る た め に,事 前 に カ メ ラ キ ャ リブ レー シ ョ ン を 行 う必 要 が あ る.本 研 究 で 行 うカ メ ラ キ ャ リブ レー シ ョ ン は 有 名 なZhangの 方 法 [15]を 利 用 す る.特 徴 と し て,キ ャ リブ レー シ ョ ン を 行 うた め の 画 像 を 取 得 す る 際 に 制 限 な く撮 影 で き る 利 点 が あ る.カ メ ラ キ ャ リブ レー シ ョ ン と は,主 に カ メ ラ の 内 部 特 性(内 部 パ ラ メ ー タ)と 外 部 特 性(外 部 パ ラ メ ー タ)を 求 め る こ と を 言 う.
内 部 パ ラ メ ー タ と は 以 下 の 式 で 表 され,x軸 方 向 の ピ クセ ル 単位 の 焦 点 距 離f .',y 軸 方 向 の ピ クセ ル 単 位 の 焦 点 距 離fh,光 軸 の 中 心Xo,Yoで 表 され る3×3行 列Aで あ り, 画 像 の 補 正 に利 用 され る.本 研 究 で は,画 像 の 画 素 輝 度 値 を メ イ ン で 扱 うた め,内 部 パ ラ メ ー タ を 中 心 に導 出 過 程 を 説 明 し,外 部 パ ラ メー タ に つ い て は 省 略 す る .ま た, カ メ ラ の 同 転 をR=[r。,鞠,r 。]T,並 進 をtと す る.
κアー 001
〇五〇
ゐ00ー
=A
(4.1)
画 像 上 の 点m=[x,ア]τ と 三 次 元 空 間 上 の 点M=[X,Y.Z]7の そ れ ぞ れ の 同 次 座 標 面=[x,y,1]T,1硫=[X,y,Z,1]1'と す る と,MとMを 画 像 平 面 上 に 投 影 した 而 に つ い て,次 式 の 関 連 式 で 表 せ る.
∫而=A[Rt1M(4.2) こ こ で,sは ス ケ ー ル で あ る.
次 に,ワ ー ル ド座 標 に お い て,三 次 元 モ デ ル の あ る 位 置 をZ=0と 設 定 す る こ と で, 式(4.2)を 次 式 の よ う に 簡 単 化 で き る.
咽 (4.3)
以 上 か らM=[X,y]7',M=[X.γ 」]Tと 変 更 で き る.
4.2.カ メ ラ キ ャ リ ブ レ ー シ ョ ン 25
三 次 元 点Mを 変 更 した こ とで,画 像 上 の 点 缶 と 同 じ次 元 な っ た た め,3×3の ホ モ グ ラ フ ィー 行 列Hを 用 い て,次 式 の 関 連 式 で 表 せ る.
5而=HM (4.4)
H=A[r、r).t] (4.5)
こ こ で,モ デ ル 平 面 の 画 像 か ら ホ モ グ ラ フ ィ ー 行 列H=[h,h2h,]を 推 定 す る [10].推 定 に は 最 尤 推 定[14]を 用 い,画 像 上 の 点 而tに 発 生 す る画 像 上 の ノイ ズ を 平 均 0と した と き の 共 分 散 行 列 をAmtと す る と,推 定 の た め に最 小 化 す べ き 式 は 次 式 とな
る.(iは 対 応 点 の 数)
Σ(m、 一 命,)TA…‑1(m,一 命,)
' A
こ の と き,th、 に 対 し て,対 応 す るM、 は 次 式 の 関 連 式 で 表 せ る.
(4.6)
ーMM
﹃ア つらhh腿ーM
眺=
・m
(4.7)
簡 単 の た め にA,。,=σ21と す る と,最 小 化 す べ き 式 は,次 式 の よ う に な る.
Σllmt‑th,ll2
'
(4.8)
こ の 場 合,非 線 形 最 小 化 問 題 と な る た め,Levenberg‑Marquardt法(以 降LM法) [16]を 用 い る.式(4.7)と 式(4.8)か ら,式(4.4),式(4.5)を 書 き 換 え る と,次 の 方 程 式 で 表 せ る.
亀惜:副 圏 一 ・ 働
上 記 の 式 に 対 しLM法 を 用 い て 解 く こ と で,Hの 推 定 が 完 了 す る.ま た,M7'の
行 列 の 列 数 は9あ る た め,最 低5個 の 平 面 上 の 点 対 応 が 必 要 とな る.
26 第4章 カ メ ラ シ ス テ ム の 実 装
以 上 の 過 程 か ら 求 め た ホ モ グ ラ フ ィ ー 行 列Hと 内 部 パ ラ メ ー タAに は,r.,ryが 既 知 と い う 条 件 の 下,以 下 の2つ の 制 約 式 が 成 り 立 っ.
h1τA‑7'A"ih、=O
h,'A一 τA‑lh、 ニh/A一 アA‑1h2
(4.10) (4.11) 上 記 の 式 が 意 味 す る こ とは,HとAが お 互 い に 正 規 直 交 で あ る こ と を 示 して お り,内 部 パ ラ メ ー タ に 対 し2つ の 制 約 を 課 す こ と が で き る.2の み の 制 約 で あ る 理 由 と し
て ホ モ グ ラ フ ィー 行 列Hの 自 由 度8に 対 し,回 転R=[rx,馬,r。]τ の 自 由 度3,並 進t の 自由 度3の 外 部 パ ラ メ ー タ が 含 ま れ て お り,残 りの 自 由 度 が2だ か らで あ る .
以 上 の 条 件 か ら,実 際 に 内 部 パ ラ メ ー タAを 算 出 して い く.使 用 す る 方 法 は 線 形 法 で,ま ず 内 部 パ ラ メー タAを 用 い てBに 変 形 す る.そ の 関 係 式 は 次 式 で 表 され る.
ー
333 つ つりBBB
つ齢つ餉つ﹂ つ つ BBB
うるつ BBBー
=
‑﹁AイA
=B
(4.12)
ホ モ グ ラ フ ィ ー 行 列Hを 推 定 し た 時 と 同 様 に,Bに 対 し て も 最 尤 推 定[14】 を 行 い, 解 を 推 定 す る.求 め たBの 値 か ら 式(4.12)よ り,4つ の 内 部 パ ラ メ ー タfì.,.fh,x。,.y。
を 特 定 す る こ と が で き る.
以 上 の 方 法 か ら求 め た 内 部 パ ラ メ ー タ は,相 対 的 な もの で あ る た め,絶 対 距 離 と し て は 物 理 的 な 意 味 を な さな い.よ っ て これ も非 線 形 最 小 化 問 題 と して 推 定 す る.画 像 上 の 点 而 、に 対 し,独 立 で 一 様 な 分 布 を 持 つ ノイ ズ を 想 定 し,以 下 の 式 を 最 小 化 す る こ
とで 推 定 を行 う.
ぬ
Σ Σllm,,‑ni(A,R,・tt,M,)ll(4・13)
'=1ノ=1
muは,実 際 に 観 測 し た と き の,1枚 目 の 画 像 で の ノ点 目 の 部 分 で あ り,
命(A,R,,t,,Mノ)は,キ ャ リブ レ ー シ ョ ン 法 でMノ か ら 推 定 し た 画 像 上 の 点 を 表 し て
い る.式(4.13)の 最 小 化 の 際 もLM法 を 用 い て 最 適 化 を 行 う こ と で,よ り 正 し い 内
部 パ ラ メ ー タ を 推 定 す る こ と が で き る.
4.2.カ メ ラ キ ャ リ ブ レ ー シ ョ ン 27
4.2.2キ ャ リ ブ レ ー シ ョ ン の 手 順
キ ャ リブ レ ー シ ョン を 行 う準 備 と して,ま ず,図4.7の よ う な 白 黒 の チ ェ ス ボ ー ドパ タ ー ン を 用 意 す る .次 に 図4.8の よ うに,そ の ボー ドの 向 きや 位 置 を変 え な が ら複 数 回 撮 影 を行 う(白 黒 の コ ー ナ ー が 全 て 画 面 内 に 入 る よ う に ・保 存 形 式 はTIF).ラ ン ダ ム に で き る だ け 多 く撮 影 して も キ ャ リブ レー シ ョ ン は 可 能 だ が,動 か し方 に よ っ て も 求 め られ る 焦 点 距 離 の 精 度 が あ が るパ タ ー ン が 存 在 す る の で,[17]を 参 考 に して み て も 良 い.
図4.7チ ェ ス ボ ー ドパ タ ー ン 図4.8ボ ー ドを 動 か し て 撮 影
撮 影 した 画 像1枚1枚 に 対 し,輝 度 値 の 変 化 が 激 しい コ ー ナ ー を 特 徴 点 と し て 抽 出 す る.
図4.7の 場 合,画 像1枚 の お け る 特 徴 点 の 数 は8×6=48と
﹁ーーー﹂な る.
{一 一 一一 一一一一 鴨 嘲 ■ 剛 嗣 闇 ■ ■ 「
