成 膜 大 学 理 工 学 研 究 報 告 J,Fac,Sci,Tech.,Sei/keiUniv. Vol.49No.2(2012)pp.21-26
ズ ー ム カ メ ラ の 動 的 パ ラ メ ー タ 推 定 の た め のSIFTとSURFの
性 能 比 較
須 田 新*1,村 上 仁 己*2,小 池 淳*3,三 功 浩 嗣*4,内 藤 整*4
Performance
Comparison
between SIFT and SURF for
Dynamic Camera Calibration Method of Zoom Camera
Arata SUDA *1, Hitomi MURAKAMI * 2, Atsushi KOIKE * 3, Hiroshi SANKOH * 4 and Sei NAITO * 4
ABSTRACT : We introduce the parameter estimates when using non-fixed camera. Various methods have
been proposed as a free viewpoint video synthesis techniques, although camera parameter(projective
relation) is assumed that the space between the camera and shoot the target is known, that was restriction
that it can't move the imaging camera. We propose a way that we need camera fixed in position but we can
change the angle of it by using the function of pan tilt, and zooming and focusing the camera. The
following is our proposition of how to detailed studies on the feature points matching process between
frames using the non-fixed camera.
Keywords : Free Viewpoint, SIFT, SURF, Matching feature points
(Received
September 21, 2012)
1.は じ め に 近 年,従 来 の テ レビ よ り更 に 臨 場感 を 得 る こ とが 可 能 で あ る新 た な テ レ ビ とい うもの が 注 目され て い る。 そ れ に は3Dテ レビ,超 高 精 細 テ レ ビ,自 由視 点 テ レ ビが あ る。 特 に 自由視 点 テ レビで は,視 聴者 が任 意 に 選 択 す る視 点 に あ わ せ て3次 元 空 間 を表 示 させ,よ りイ ン タ ラ クテ ィ ブ な感 覚 を想 起 させ る こ とが 可 能 に な る。 自 由視 点 テ レビで は,複 数 台 の カ メ ラで 撮 影 され た 実 写 の 多 視 点 映 像 を 元 に,撮 影 対 象 の3次 元 モ デ リン グ を 行 う。 そ うす る こ とに よ り単 純 に カ メ ラ映 像 を 切 り替 え るだ けで な く,カ メ ラ を配 置 不 可 能 な 視 点 も含 め,3次 元 空 間 中 の 任 意 視 点 へ の 映 像 を 再 現 ・表 示 す る こ とが 可 能 に な る[1]∼[5]。これ に よ り人 と人 との 間 を 通 過 す る事 の で き る 「ウォー ク スル ー 一とい っ た こ とが 可 能 に な る。 従 来 の研 究 と して 大 空 間 を対 象 に,カ メ ラの 強 校 正 を 前 提 とせ ず,画 像 情 報 の み を用 い て任 意 視 点 映 像 を合 成 *1理 工 学 研 究 科 情 報 科 学 専 攻 *2 ・理 工 学 部 情 報 科 学 科 *3理 工 学 部 情 報 科 学 科(k oike@st.seikei.acjp) *4株 式 会 社 iKDDI研 究 所 す る手 法 が 存 在 す る[6]。 しか しな が ら,各 撮 影 カ メ ラ は 固 定 され て お り,画 角 内 に 撮影 対象 又 は フ ィール ド全 体 を含 め て い る こ とを 前 提 と して い た た め,人 物等 の被 写 体領 域 の解 像 度 が 不 十 分 で あ る とい う問題 が あ っ た。 ま た,通 常 は非 固 定 の カ メ ラ で撮 影 され る サ ッカ ー 等 の ス ポ ー ツ 中継 映像 で は,カ メ ラを 動 か して しま う。 そ の た め,カ メ ラパ ラメ ー タ が変 化 して しま い 撮影 映像 か ら 被 写体 の3次 元 位 置 の検 出 を行 うこ とが で き な い とい っ た 問題 が あ っ た。 故 に,既 存 の 映像 を適 用 す る こ とが 出 来 な い とい う課 題 が あ っ た。 上記 の課 題 を踏 ま え,本 論 文 で は,カ メ ラ本 体 の3次 元 位 置 は 固 定 の ま ま,パ ン ・チル ト及 び ズ ー ム ・フ ォ ー カ ス値 の変 更 を 伴 う非 固 定 ズ ー ム カ メ ラへ の応 用 を 目指 し,動 的 に変 化 す る カ メ ラパ ラ メー一一タ を推 定 す る方 式[6] の 精度 向 上 を 目標 と しフ レー ム 間 の特 徴 点 マ ッチ ン グ処 理 に 関 す る よ り詳細 な検 討 を 実施 す る。 本稿 の構 成 を 以 下 に示 す。2章 で は 従 来 手 法 の流 れ, と問題 点 の 考察 を行 う。3章 で は 本研 究 の 提案 手 法 に つ い て の 説 明 を行 う。4章 で は 本研 究 で 行 っ た 実 験 の 結果 と考察 を行 う。5章 で は,本 稿 の ま とめ と今 後 の課 題 に っ い て 述 べ る。2.従 来 手 法 従 来 手 法 で は,コ ー ト競 技 を 対 象 に,世 界 座 標 が 既 知 で あ る フ ィー ル ドライ ン情 報 を 用 い て,フ ィー ル ド平 面 と撮影 カ メ ラ間 の カ メ ラパ ラメ ー タ(平 面射 影 行 列)を, フ レー ム 間 の 特 徴 点 マ ッチ ン グに 基 づ き 動 的 に推 定 す る 手 法 に注 目す る。 当該 手 法 のSIFT及 びSURF特 徴 量 を 用 い た性 能 評 価 を実 施 す る こ とで,両 者 の 特 性 を明 らか に した[7]。従 来 手 法 の 平 面 射 影 行 列 の 推 定 処 理 手 順 は 以 下 の 通 りで あ る。 (1)初 期 フ レ ー ム(フ レー ム0)の 平 面 射 影 行 列 を 計 算 (2)フ レ ー一一ムtと フ レ ー一一ムt-1間 で 対 応 点 候 補 を 抽 出 (t=1か ら 開 始 す る (3)フ レ ー ムtの 平 面 射 影 行 列 を 計 算 (4)t=t+1と し,ス テ ッ プ(2)へ (t=Tの 時 処 理 を 終 了) ス テ ッ プ(1)で は,フ ィ ー一一ル ド上 の ラ イ ン の 交 点 な ど, 予 め3次 元 座 標 が 既 知 の 特 徴 点 を 元 に,フ ィ ー一一ル ド平 面 上 の 座 標(U,V)と,初 期 フ レー ム で の 画 素(UO,VO)を 式(i) の よ うに 対 応 付 け る 平 面 射 影 行 列Hoを 推 定 す る。 s(鋭,γ,1)=Ho(Uo,Vo,1)_(i) ス テ ッ プ(2)で は,フ レー一一ムtと フ レ ー一一ムt-1間 で,SIFT 特 徴 量 を 使 用 す る 。 ス テ ッ プ(3)で は,抽 出 さ れ た 対 応 点 を 使 用 し,平 面 射 影 行 列Htの 推 定 を 行 う。 フ レ ー一一ムtで 抽 出 さ れ た 特 徴 点 の 世 界 座 標 は,フ レ ー ムt-1に お け る対 応 点 の 画 素 座 標, 及 び 平 面 射 影 行 列Ht-1を 用 い て,式(if)の 通 り計 算 す る こ と が 可 能 で あ る。 ス テ ッ プ(4)で は,t=t+1と し,ス テ ッ プ2へ 戻 る と い っ た 作 業 をt=Tと な る ま で 行 う。 2.1平 面 射 影 行 列 上 記 手 法 ス テ ッ プ(1)と ス テ ッ プ(3)で 平 面 射 影 行 列 を 使 用 し た 。 平 面 射 影 行 列 と は,3次 元 空 間 の あ る 平 面 か ら別 の 平 面 へ 投 影 を 行 う と い っ た も の で あ る。 実 験 で は サ ッ カ ー の 映 像 を 使 用 し て い る た め,今 回 に お い て は フ ィ ー ル ド平 面 か ら,撮 影 カ メ ラ 映 像 へ の 投 影 と い う こ と に な る 。(図1) 2.2SIFT特 徴 量 ス テ ッ プ(2)で 使 用 し た 対 応 点 候 補 の 抽 出 方 法 と し て ま ずSIFT特 徴 量 の 説 明 を 行 う[8][9]。SIFT(Scale-lnvariant FeatureTransfo㎜)は,特 徴 点 を 取 得 す る 部 分 と 特 徴 量 を 取 得 す る部 分 に 分 け る こ と が で き る。 こ のSIFT特 徴 量 は 照 明 の 変 化 や 回 転,拡 大 縮 小,移 動 に 不 変 と い っ た 性 質 を 持 っ て い る。SIFT特 徴 量 使 用 時 に 抽 出 さ れ る デ ー一一タ の 中 身 と し て は,特 徴 点 の 位 置,輝 度 勾 配 の 方 向,ス ケ ー ル,128次 元 の 特 徴 量 が 取 得 さ れ る 。 こ の128次 元 の 特 徴 量 は 特 徴 点 の 周 囲 を16(4*4)ブ ロ ッ ク に 分 割 し,各 ブ ロ ッ ク に 対 し て8方 向 の 勾 配 ヒ ス ト グ ラ ム を 作 成 す る。 結 果 と し て128(=4*4*8)の 特 徴 ベ ク トル が 作 成 さ れ る。 (図2)' L 泥 → ＼ 瓠
撫
7 ＼k 亨4「 T『＼
〆＼ 、 「 細 1 ■手 メ駅、 ↓ ∠ ＼ 司づ
Jr4」 L箱 1 〆 ↓ ↓ メ r 1ψ 、 1 で ㌔ ↓ ㍉L刃 '■＼
メ う 万 ノ7一 サ ▼/
築
hb、 →♪ 〆
⇒
図2SIFT特 徴 量・'(U('),V('),・)-H・ 一・(tuEL'、,唱,・)・ ・(ii)
＼
一
一
農
﹂
σ
イ
」」 、 鴨t ・ 「 `、
'⊇設_踊 盃 r l』 一 一 詫 渓 、＼
＼ 畠『へ
{ 図1フ ィー ル ド平 面 か ら撮 影 力 メ ラ映 像 へ の 投 影成 践 大 学 理 工 学 研 究 報 告 Vol.49No.2(2012.12) 2.3SURF特 徴 量 SURF(SpeededUpRobustFeatures)は,SIFTと 同 じ よ う に 照 明 の 変 化 や 回 転,拡 大 縮 小,移 動 に 不 変 と い っ た 性 質 を 持 っ て い る[10]。SURF特 徴 量 を 使 用 した 時 に 抽 出 さ れ る デ ー タ の 中 身 と し て,特 徴 点 の 位 置,輝 度 勾 配 の 方 向,ス ケ ー一一ル,64次 元 の 特 徴 量 が 取 得 され る 。 こ の64 次 元 の 特 徴 量 は,特 徴 点 の 周 囲 を16(4*4)ブ ロ ッ ク に 分 割 し,各 ブ ロ ッ ク に 対 し て4方 向 の 値 を 作 成 す る 。 結 果 と し て64(=4*4*4)の 特 徴 ベ ク トル が 作 成 さ れ る 。(図3) 3.提 案 手 法 図3SURF特 徴 量 本研 究 で は,従 来 手法 で説 明 した ス テ ップ(2)とス テ ッ プ(3)の 間 に 特 徴 点候 補 の 抽 出 を 行 っ た 場 合 のSIFT特 徴 量 とSURF特 徴 量 の比 較 を行 っ た。 本研 究 の 特 徴 点候 補 の 絞 込 み を フ ィー ル ド平 面 内 で 行 う。 理 由 と して は,SIFT特 徴 量 とSURF特 徴 量 を取 得 後 に 特 徴 点 マ ッチ ン グを行 う。 そ の 際,必 要 な 特 徴 点 は フ ィー ル ド平 面 で あ る。 フ ィー ル ド平 面 以 外 の 部 分 の 特 徴 点 を 取 得 す る と,特 徴 点 マ ッチ ン グ を行 う際 にマ ッチ ン グが 正 し く行 わ れ な い とい っ た 問 題 が 生 じ る。 他 に も, フ ィー ル ド平 面 以 外 の 部 分 の 特 徴 点 マ ッチ ン グを 行 うと カ メ ラ とは 逆 方 向 に 動 い て い る観 客 な ど不 要 な マ ッチ ン グ も行 な っ て しま う。 す る と,カ メ ラパ ラメ ー タ 推 定 に は 必 要 で な い 部 分 の マ ッチ ン グ も行 な っ て し まい,推 定 した カ メ ラパ ラメ ー タ に 差 が 生 じて しま うた めで あ る。 実 行 ス テ ップ は 以 下 に 示 す 。 (1)初 期 フ レー ム(フ レー一一ム0)の 平 面 射 影 行 列 を 計 算 (2)フ レー一一ムtと フ レ ー ムt-1か ん で 対 応 点 候 補 を 抽 出 (t=1か ら 開 始 す る (3)フ ィ ー一一ル ド平 面 上 の 特 徴 点 候 補 の み を 流 出 (4)フ レー一一ムtの 平 面 射 影 行 列 を 計 算 (5)t=t+1と し,ス テ ッ プ(2)へ (t=Tの 時 処 理 を 終 了) 4.実 験 本 論 文 の 検 討 を 行 う 目 的 で 非 固 定 ズ ー ム カ メ ラ 映 像 を 対 象 に 実 験 を 行 っ た 。 実 験 で は サ ッカ ー の 映 像 を 使 用 した 。2次 元 フ ィ ー ル ドの 大 き さ(図4)は ゴ ー ル が 面 し て い る 部 分 を 横 と し て 考 え 縦52.5(m),横34(m)と し た 。 映 像 は サ ッ カ ー フ ィ ー ル ドを 対 象 に 特 定 の 選 手,又 は ボ ー ル を 追 跡 す る よ うに 撮 影 し た 映 像 を,各 フ レ ー ム ご と に 分 割 し 画 像 と し た 。画 像 の 解 像 度 は 縦1280画 素,横 720画 素 と し た 。 (図5) フ ィ ー ル ド座 標 は 初 期 フ レ ー ム 画 像 に 表 示 され て い る 点 (0,0),(12.42,0),(12.42,2.75),(2158,2.75),(21.58,0)の5 つ の 点 に 注 目 し,撮 影 画 像 の 画 素 座 標 で 初 期 フ レ ー ム の パ ラ メ ー タ 推 定(平 面 射 影 行 列)を 行 っ た 。 ら う
一
一
2765518018055276 図4サ ッ カー 寸 法 図 と注 目点1_ 1』 、
「
看 (1)初 期 フ レV-一ムず
葺 魯 ξ 聾 躍 盤 響 図5ズ ー ム カ メ ラ映 像1
窟f 、 唱 ぜ (2)フ レv-一ム30 一 逃 、延
}
禽 当 証_ ,階＼
一
4.1定 性 評 価 図5の 映像 を対 象 に,SIFT特 徴 量 及 びSURF特 徴 量 の 性 能 比 較 を行 っ た。 ま ず,定 性 評 価 を行 っ た 。 特 徴 点 を フ ィー一一一ル ド内 に 絞 り込 む た め に,図4の 寸 法 を利 用 した。 抽 出 した 特 徴 点 を 平 面射 影行 列 で 計 算 し,図4の 寸 法 内 に あ る もの に 絞 込 み を行 っ た 。 特 徴 点 を 表 した 例 を図6 と し,各 特 徴 量 に よ り推 定 され た 平 面 射影 行 列 に よ り, フ ィー ル ドライ ン上 に 推 定 され た フ ィー ル ドライ ンを 投 上記 手順 を行 う際 の世 界座 標 が既 知 の 画像 の 特徴 点 と は,図4で 示 した5つ の 注 目点 に 対応 す る 画 素 を示 して い る。 定 量評 価 の結 果 は 表1に 示 す。 表1の 結 果 を グラ フに した もの を 図8で 示 す。 表1,図8か らSURF特 徴量を使用 した場 合で も従来手法で使 用 されていた,S正 丁特徴 量 と同程度 の推定精度が得 られ るこ と を確 認 した。 表1定 量 評 価 比 較 5フ レ ー ム 10フ レ ー ム 15フ レ ー ム 20フ レ ー ム 25フ レー ム 30フ レー ム 35フ レー ムSIFT特 徴 量
0.209323 0.267817 0.209917 0.346667 0.573256 0.90655 1.209435SURF特
徴 量
α208565 0.275068 0」97221 0.32893 0.598717 0.878171 0938258 (単位:m) 影 した 結果 を 図7に 示 す 。 図7よ り,各 特 徴 量 を 用 い た 場 合 で 推 定 精 度 に大 きな 差 は な い こ とが確 認 で き た 。 4.2定 量 評 価 次 に,本 評価 映 像 に 対 して の 定 量 評 価 を行 った 。 評 価 手 順 に つ い て は 下 記 に 示 す 。 1 2 3. 4. 世 界座 標 が 既 知 の 画 像 上 の 特 徴 点 を 選 択 す る。 上 記 特 徴 点 の2次 元 画 素 座標 を 取 得 す る。 (本稿 で は ペ イ ン トソ フ トを使 用) 画 素座 標 を平 面 射影 行 列 に よ り2次 元 世 界 座 標 に 射 影 す る。 射 影 され た 世 界 座標 と既 知 の 世 界 座標 の ユ ー ク リッ ド距 離 を 算 出 す る。 {m) 1.4 12 1 O.8 O.6 0.4 O.2 0 051015202S30 十SIFT 十SURF 35{フ レ ーム 番 号} 図8定 量 評 価 結 果成 践 大 学 理 工 学 研 究 報 告 Vol.49No.2(2012.12) 量 、ぎ テ ワ 釜 マ -『 一 a1 (1)SURF特 徴 量 ξ 多 5 図6フ ィー ル ド内特 徴 点 絞 り込 み 後 一『' 、議
雌
＼
-月
い ゲ (2)SIFT特 徴 量 / 蛋 蚕 雪 1 艮 雷 ■1
Pt 「 て茸
(1)SURF特 徴 量ー
一「1 1_ 15フ レー ム の 推 定 精 度ギ
/ ー 蛋 璽 「 一 (2)SIFT特 徴 量 -■ギ
π
」一∼
雷 置 量 ﹂ ■ 置 雷 ■ 「 (1)SURF特 徴 量 25フ レ ー一一一ム の 推 定 精 度 i 誕 釜 ■ 躍 6 璽 「 (2)SIFT特 徴 量 ' で 夕 で / / 〆 ! ' (1)SURF特 徴 量 監 璽 雇 己 響 / ! ノ 35フ レー一一ム 目 の 推 定 精 度 図7各 フ レー ム の 推 定 精 度 -./ (2)SIFT特 徴 量 監 置 ■ 冨 ■ 猛5.ま と め と 今 後 の 課 題 本 稿 で は,ズ ー ム カ メ ラ の 動 的 パ ラ メ ー タ 推 定 時 の SIFT及 びSURF特 徴 量 の よ り詳 細 な検 討 を 行 っ た。 定性 評 価 の映 像 か らSIFT特 徴 量 とSURF特 徴 量 に推 定精 度 に 大 きな 差 が な い こ とが確 認 で き た 。 定 量 評 価 の 結 果 か ら は,SIFT特 徴 量 とSURF特 徴 量 で 同等 な推 定 精 度 を確 保 す る こ と を確認 した 。 今 後 の 課 題 と して,撮 影 対 象 が 動 きの 遅 い 人 間 か ら動 きの 速 い ボ ー ル に 映 る こ とに よ りカ メ ラの 動 きが 速 くな っ た 場 合,特 徴 点 マ ッチ ン グ が正 し く行 われ な い た め に, カ メ ラパ ラメ ー タの 推 定 が 正 し く行 わ れ な か った 。 この 課 題 を基 に,カ メ ラの 動 きが 速 くな っ た 場 合 の カ メ ラパ ラメ ー タ推 定 の 手 法 に つ い て の 検 討 を行 う予 定 で あ る。 [8]藤 吉 弘 亘"Gradientベ ー ス の 特 徴 抽 出:SIFTと HOG(チ ュ ー一一ト リ ア ル)"情 報 処 理 学 会 研 究 報 告. CVIM,[コ ン ピ ュ ー一一タ ビ ジ ョ ン と イ メ ー一一ジ メ デ ィ ア] 2007(87),211-224, [9]藤 吉 弘 亘"画 像 局 所 特 徴 量SIFTと 最 近 の ア プ ロ ー チ" 人 工 知 能 学 会 誌25(6),753-760,2010 [10]森 田 裕 之,木 村 真 一"SURF特 徴 量 に よ るVSLAM フ ロ ン トエ ン ドの 高 速 化" ロ ボ テ ィ ク ス ・メ カ ト ロ ニ ク ス 講 演 会 講 演 概 要 集 2009,IAI-Fl2(1)-IAI-Fl2(4)
