幾何制約を用いた被写体形状・テクスチャの球面展開に基づく3次元物体認識
6
0
0
全文
(2) Vol.2012-CG-149 No.13 Vol.2012-CVIM-184 No.13 2012/12/4. 情報処理学会研究報告 IPSJ SIG Technical Report. 図 2. 本処理の概要図を示す.まず被写体を包含する球面に被写体形状を投影し,その後投影 球面を展開する.そして,求めた展開画像と全 DB 画像から特徴点を検出し,展開画像 の特徴点と DB 画像の特徴点をマッチングする.マッチング時の投票スコアに基づき, 展開画像に類似する順に DB 画像をソートし,これを認識結果とする.なお,展開時に 展開画像の各画素に対して,展開前の 3 次元座標値(図中 P2D と P3D )を紐づけて保 存しておき,3 次元座標も利用してマッチングをする. . 画像から取得される特徴量では相違がある.また,その相. マッチング手法を提案する.提案手法は特徴量に基づき対. 違度合も被写体の形状や姿勢に依存し各特徴点で異なるた. 応付けられた仮想視点群統合画像(3 次元座標が既知)と. め,取り除くことが難しい.つまり,本フレームワークに. 学習画像間の暫定特徴点ペアから主要な幾何関係を求め,. おいては,各特徴点の特徴量表現の信頼度が低いため, 「比. この幾何的な整合性に基づき特徴点ペアを補正し,補正結. 較する画像間で特徴ベクトル間距離が最近傍である特徴点. 果の特徴点ペア間で比較をする.これにより被写体のマク. のペアが, (多くの場合)被写体上で同一箇所から抽出され. ロな特徴に基づきペアリングされた,被写体上の同一箇所. た特徴点である」という仮定に基づく通常の特徴点マッチ. から抽出されたと考えられる特徴点間で特徴量に基づくミ. ング手法 [7] をそのまま適用すると認識率が低下する.そ. クロな比較をすることが出来る.そしてマクロの特徴であ. のため,いかに上記特徴量変化の影響を受けないように仮. る被写体の形状およびミクロの特徴である被写体の局所的. 想視点群統合画像と DB 画像を比較するかが肝心である.. なテクスチャの類似性の双方を比較することで,これまで. 本課題に対し,我々はこれまで,単点のみならず周囲点. 特徴量歪みにより劣化していたマッチング精度を向上さ. の特徴量類似度を考慮することで,特徴点間の誤対応によ. せる.. る認識精度への影響を削減するスコア算出手法を検討し. 本稿の構成は以下の通りである.2 章で幾何制約を用い. た [6].しかし誤対応の影響は依然として残存し,部分的に. た被写体形状・テクスチャの球面展開に基づく 3 次元物体. 類似するテクスチャを含む DB 画像が存在すると,そのよ. 認識手法を説明する.3 章では実験結果について述べ,4. うな DB 画像に票が多く投じられてしまい,認識精度が落. 章で本稿をまとめる.. ちるという問題があった.このような問題を解決するため には,特徴点の配置関係に基づいた,よりマクロな比較を 行う必要がある.特徴点の配置関係に基づいたマクロな比. 2. 提案手法 2.1 全体フレームワーク. 較を行う手法には近年,2D 画像上の幾何関係を用いる手. 提案手法の処理の流れを図 1(B),図 2 に示す.提案手法. 法 [8][9][10] や,特徴点間でグラフを構築してグラフの編集. では,学習画像は被写体を任意方向から撮影した 1 枚若し. 距離からマッチングをする手法が検討されている [11][12].. くは少数の画像を想定する.対して,クエリは被写体を撮. ただし,上記の手法では画像の撮影角度以外の理由に基づ. 影した動画を入力する.そして入力した動画像から被写体. く種々の特徴点配置の違いも吸収してしまうため,大量画. 形状を 3 次元推定 [13] した結果を介すことで認識精度の向. 像を認識対象 DB とするような,個々の物体の微小な違い. 上を目指す.なお,被写体形状推定は既存手法を用いるも. を厳密に評価することが求められる物体認識では,誤認識. のとし本稿では説明を省く.以降,被写体のテクスチャ付. の原因となる.. き 3 次元モデルは既知として説明する.. そこで我々は少数かつ任意撮影角度の学習画像を用いる 被写体認識技術の高精度化に向け,画像の撮影角度の違い. 2.2 3 次元物体の 1 枚画像表現. に伴う特徴点配置の違いのみを吸収し,個々の物体の形状. 提案手法では,最初に被写体のテクスチャ付き 3 次元モ. 差に基づく特徴点配置の違いに対し,ペナルティを課す. デルを球面投影及び球面展開することにより,1 枚の仮想. c 2012 Information Processing Society of Japan ⃝. 2.
(3) Vol.2012-CG-149 No.13 Vol.2012-CVIM-184 No.13 2012/12/4. 情報処理学会研究報告 IPSJ SIG Technical Report 2. 3 7. 1 4. 2’ 1’. 3’. 10. 10’. 5 4’ 6. 図 4 図 3. 6’. 9. 8. 5’. 7’ 9’ 8’. 特徴点ペアの幾何関係に基づく再対応付けイメージ図.(左) 特徴量によって求められた暫定特徴点ペアの中で幾何的整合. 3 次元ユークリッド空間内の点の球座標表示.. 性が保たれる特徴点ペア(1∼6)を赤色で示す.(右)左図の. 視点群統合画像を生成する.まず被写体 3 次元モデルの重 心を中心位置とし,かつ被写体 3 次元モデルを包含する半. 赤色特徴点の対応関係から求めた幾何関係を満たすよう茶色 の特徴点を投影し,投影結果をもとに対応付け直されたペアを 青色(7∼10)で示す.. 径 r の球を設定する.続いて,図 3 に示す通り,球の中心 で直交する任意の 2 軸を回転軸として設定し,各軸に対し. 変換式に基づき,特徴点ペアを対応付け直す.そして対応. て被写体 3 次元モデル上の点 (xorig. , yorig. , zorig. ) と偏角. 付け直された特徴点ペア間で,上記幾何関係に対する適応. をそれぞれ ϑ, φ とおく.この時 3 次元モデル上の点を球. 度,およびテクスチャ類似度に基づき全 3 次元モデル上 3. 面投影した座標 (x, y, z) は,. 次元点分スコアを算出し,DB 画像に投票を行う.以下に. (x, y, z) = √. r x2orig.. +. 2 yorig.. +. 2 zorig.. (xorig. , yorig. , zorig. ),(1). 各処理手順を詳述する.. 2.3.1 3D 点と 2D 点の幾何関係の算出 幾何関係は仮想視点群統合画像の 3 次元点と学習画. となる.また,直交座標と球座標間の変換は,以下の式に. 像の 2 次元点間で PnP(Perspective-n point)問題を解. よって成り立つ. √ r x2 + y 2 + z 2 ϑ = ϑx,y,z φ φx,y. く [14][15][16] ことによって算出する.提案手法においては. . ロバスト推定法である RANSAC(Random Sample Con-. . (2). 3 次元特徴点と DB 画像の 2 次元特徴点の主要な幾何関係. .. を求める.. なお,ϑx,y,z , φx,y は下記の式を満たす. cos ϑx,y,z = √ 2 z 2 2. cos φx,y = √. x +y +z x , x2 +y 2. sin φx,y. = √. (i) 仮想視点群統合画像および DB 画像から,特徴点を検 出する.. (ii) 各特徴点において特徴量を抽出し,特徴ベクトル間距. y x2 +y 2. (0 ≤ ϑx,y,z ≤ π, 0 ≤ φx,y ≤ 2π).. 離が相互に最小となる特徴点ペアから暫定特徴点ペア. (3). このとき,上記被写体 3 次元モデルの投影点である. (x, y, z) が展開される仮想視点群統合画像上の 2 次元座標 (X, Y ) は,以下の式によって求められる. { X=ϑ Y =φ. sensus)によりはずれ値を除去し,仮想視点群統合画像の. を生成する.. (iii) (ii) で求めた特徴点ペアからランダムに 6 組以上を選 択し,暫定の射影変換式を算出する.. (iv) (iii) で算出した変換式に基づき 3 次元モデル上の 3 次 元座標群を DB 画像に投影し,再投影誤差を求める.. (4). .. なお,マッチング処理で利用するため,仮想視点群統合 画像上の各 2 次元座標 (X, Y ) に展開処理前の被写体 3 次 元モデル上の 3 次元座標値 (xorig. , yorig. , zorig. ) を紐づけ て保存しておく.. (v) (iii) および (iv) を複数回繰り返し,再投影誤差が最小 となる射影変換式を求める.. 2.3.2 特徴点ペアの再対応付けと,幾何適応度・テクス チャ類似度に基づく投票. 2.3.1 節で求めた射影変換式に基づき,幾何関係を満たし かつ特徴量ベクトル間距離が近い特徴点ペアを再対応付け する(図 4 参照).暫定特徴点ペアでは,特徴ベクトル間. 2.3 幾何制約付きマッチング. 距離が第 1 近傍である特徴点のみで対応付けを行っていた. ここではまず仮想視点群統合画像上の特徴点と,DB 画. が,幾何関係に基づき第 n 近傍(n > 1)の特徴点も含め. 像上の特徴点を,特徴量に基づき相互にとって特徴量ベク. て特徴点を対応付けし直し,その幾何適応度と,各特徴点. トル間距離が最小となる特徴点ペアを暫定的に対応付け. の特徴ベクトル間距離に基づき算出したテクスチャ類似度. る.そして各特徴点について 2.2 節で仮想視点群統合画像. を比較する.. 生成時に保存した 3 次元モデル上の 3 次元座標値と,DB. (a) 仮想視点群統合画像上の特徴点群の 3 次元座標を 2.3.1. 画像上から取得した特徴点の 2 次元座標の対応関係から, 幾何的整合性が保たれるペアを算出する.このときの射影. c 2012 Information Processing Society of Japan ⃝. 節で算出した射影変換式に基づき DB 画像に投影する.. (b) 投影点を中心として,DB 画像上の 2 次元空間距離が. 3.
(4) Vol.2012-CG-149 No.13 Vol.2012-CVIM-184 No.13 2012/12/4. 情報処理学会研究報告 IPSJ SIG Technical Report. 予め設定した閾値範囲内に存在する特徴点の中で,幾. (A). 何関係と特徴ベクトル間距離に基づき仮想視点群統合 画像特徴点と DB 画像の特徴点の再対応付けを行う.. (c) 対応づいた i 番目の特徴点ペア Si の DB 画像上 2 次元 空間距離 di ,およびその特徴ベクトル間距離 Di に基 づき下記式によりスコアを算出する.なお,of f set1 および of f set2 はスコア値の発散を防ぐために設定し た定数である.. 1 1 Score(Si ) = × di + of f set1 Di + of f set2 ,. (B) (5). (d) (b) および (c) を仮想視点群統合画像の特徴点数分繰 り返し実施し,DB 画像の総スコアを求める. すべての DB 画像に対して総スコアを求め,DB 画像名 を総スコアが降順になるよう並べたものを,認識結果と する.. 3. 実験 本手法の有効性を確認するため実験を行った.なお,基 本アルゴリズム原理確認のため,動画像から被写体の 3 次 元情報を推定するのでは無く,被写体の 3 次元情報とし て公開されている 3 次元モデルデータ KIT ObjectModels. 図 5. 仮想視点群統合画像(A)と学習画像(B)から抽出された特. Web Database[17] を用いた.各 3 次元モデルデータをク. 徴点間で特徴量に基づき算出した暫定特徴点ペアを示す.各特. エリとした際の学習画像は,上記公開 HP 内のプレビュー. 徴点の横に記載された番号は暫定特徴点ペア番号を示す.特徴. 画像(1 枚)を用い,認識対象 DB は各 3 次元モデルデー. 量のみによって算出された暫定特徴点ペアは,その多くが誤対. タのプレビュー画像(=学習画像)群とした.. 3.1 実験 1 提案手法は特徴点マッチング手法を適用するにあたり,. 応であることがわかる. . これより提案手法によって,特徴点間の特徴量による対応 付けが改善したことが分かる.. 幾何関係に基づき被写体上で同一箇所から抽出された特徴 点間で特徴点ペアの対応付けを行い,その特徴点ペア間で. 3.2 実験 2. 特徴量を比較することを目指した.実験 1 では,提案手法. 実験 2 では,実験 1 で確認した特徴点の対応付けの改善. の幾何制約が特徴点対応付けの改善に対して有効であるか. が,認識精度向上に対して有効であったか確認するため,. 目視で確認することを目的として,幾何制約付きマッチン. 提案手法を複数物体に対して適用した際の,DB 画像中の. グ(2.3 節)記載の各処理結果を描画した.. 被写体の学習画像順位を認識結果として確認した.. 図 5 に,仮想視点群統合画像から抽出された特徴点と学. これまで検討した「単点のみならず周囲点の特徴量類似. 習画像から抽出された特徴点の特徴ベクトル間距離に基づ. 度を考慮することで,特徴点間の誤対応による認識精度へ. き構築された暫定特徴点ペアを示す.図 5 によれば,特徴. の影響を削減するスコア算出手法 [6](以降「周囲点利用の. 点ペアの多くが,被写体上の異なる箇所間で抽出された特. 特徴量マッチング」と呼ぶ)」の学習画像順位と比較した. 徴点間でペアリングされていることが分かる.. 際に,提案手法が有効であった物体と,有効でなかった物. 図 6 に,提案手法で求めた幾何関係を満たしている特徴. 体の例を図 8, 9 に示す.周囲点利用の特徴量マッチングで. 点ペアのみを描画した結果を示す.図 6 によれば,算出さ. は,図 8(左) (中央)のように同一テクスチャ異形物体は. れた幾何関係を満たす特徴点ペアが,被写体上の同一箇所. スコアに差がつかず認識順位が落ちていたが,提案手法で. から抽出されていることがわかる.. は,形状を考慮することで認識順位を向上させることが出. 図 7 に,仮想視点群統合画像から抽出したすべての特徴. 来ることが分かった.また図 8(右)のように同一形状の. 点を,算出した幾何関係に基づき学習画像に再投影した結. 物体が DB 中に存在しても,テクスチャの類似する物体が. 果を示す.図 7 によれば,算出した幾何関係に基づき仮想. 少ない際,認識精度が高いことがわかった.. 視点群統合画像の特徴点が投影された学習画像上の位置 は,その多くが被写体上の近接箇所であることが分かる.. c 2012 Information Processing Society of Japan ⃝. また,最終的なスコア結果において,幾何的な観点でス コア値の分散を大きくすることが出来た.特に被写体に対. 4.
(5) Vol.2012-CG-149 No.13 Vol.2012-CVIM-184 No.13 2012/12/4. 情報処理学会研究報告 IPSJ SIG Technical Report. (a). (I). (b). (II). 図 6 暫定特徴点ペアから算出した幾何関係を満たす特徴点ペア.仮 想視点群統合画像(a)と学習画像(b)のそれぞれにおいて, 幾何関係に基づき抽出された特徴点ペアが,被写体上の同一箇 所から抽出されたものであることがわかる.. 図 7 算出した幾何関係に基づき,仮想視点群統合画像(I)から抽 出した特徴点を学習画像(II)に再投影した結果を示す(描画 は 150 点のみ) .主要な幾何関係に基づき仮想視点群統合画像 (I)の特徴点が投影された学習画像(II)上の位置は,その多 くが被写体上の近接箇所であることが分かる. . して全く形状の異なる物体の DB 画像については,幾何変 換式が求まらないためその後の投票処理を打ち切ることが 出来た. ただし図 9 に示すように,同形の物体が DB の中に多く. まで特徴量類似度のみの評価では判別が難しかった類似テ. 存在する場合には,再対応付けられた特徴点間の幾何的適. クスチャを有す異形物体の投票結果スコアの差異化に成功. 応度が高く,有効に働かなかった.これは,テクスチャの. した.. 類似度をスコア値に反映させる際に,現状のスコア算出方. ただし,テクスチャの違いに対するペナルティが弱く,. 式ではテクスチャの違いに対するペナルティが弱いことが. DB 中に同形物体が多く存在すると,認識精度がよくなかっ. 理由として考えられる.. た.また,周囲点利用の特徴量マッチングはクエリの仮想. 4. おわりに. 視点群統合画像と DB 画像 120 枚との比較を平均約 1 秒 で行ったのに対し,提案手法は平均約 48 秒を要した.膨. 我々は提案する少数学習画像による 3 次元物体認識フ. 大な Web 画像を認識対象 DB とする被写体認識技術のリ. レームワークの被写体 3 次元物体モデルの球面展開画像. アルタイム処理実現をめざし,処理速度の向上も課題であ. (仮想視点群統合画像) と予め DB に保存された少数の学. る.今後は上述したテクスチャの違いに対する有効なペナ. 習画像のマッチングにおいて,仮想視点群統合画像上の幾. ルティ設定およびマッチング時間の削減に向け,周囲点利. 何歪みに起因する特徴点の誤対応の影響をどのように軽減. 用の特徴量マッチングで算出された上位の学習画像のみに. するかが課題であった.この課題に対し,特徴量によって. 対象を絞り込み,その対象に対してのみ提案手法を実施す. 暫定的に対応付けられた仮想視点群統合画像から得られる. る等,改良方式を検討したいと考えている.. 特徴点の 3D 座標と DB 画像から得られる特徴点の 2D 座. また,統合予定の動画像からの 3 次元形状推定技術は,. 標の主要な幾何関係を求め,本幾何関係に基づき特徴点を. 共に取得する 3 次元情報が被写体の特徴点座標およびテク. 対応付け直し,補正後の特徴点ペア間でマッチングする手. スチャであり,今回使用した公開データと同様の情報が取. 法を提案した.マッチングの際には幾何適応度およびテク. 得可能である.統合による実環境下での検証も今後の課題. スチャ類似度に基づくスコアを投票する.これによりこれ. である.. c 2012 Information Processing Society of Japan ⃝. 5.
(6) Vol.2012-CG-149 No.13 Vol.2012-CVIM-184 No.13 2012/12/4. 情報処理学会研究報告 IPSJ SIG Technical Report. [10]. [11]. [12]. 図 8. 提案手法が有効であった物体の例. (左) (中央)のように同一. [13]. テクスチャ異形物体は以前提案の周囲点利用の特徴量マッチ ング [6] ではスコアに差がつかず認識順位が落ちていたが,提. [14]. 案手法では,形状を考慮することで認識順位を向上させること が出来た.また(右)のように,同一の形状の物体が多く DB 中に存在する比較的簡易な形状においても,テクスチャが特殊. [15]. である場合は本稿提案の手法が有効であることを確認した.. [16]. [17]. 図 9. 2010, vol.4, pp.2150-2161, Nov.2010. J. Kim, and K. Grauman,“Asymmetric Region-to-Image Matching for Comparing Images with Generic Object Categories”, CVPR2010, pp.2344-2351. M. Cho, and K. M. Lee, ”Progressive Graph Matching: Making a Move of Graphs via Probabilistic Voting”, Proc. CVPR2012, Jun.2012. 堀貴博, 岩橋直人, 中野幹生, 有木康雄, ”3 次元特徴量を 用いた構造表現による一般物体認識”, FIT2011, 第 3 分 冊, H-013, pp.1, Sept.2011. J. Shimamura, M. Morimoto, and H. Koike. ”Robust vSLAM for dynamic scenes.” MVA2011, pp.344-347, Jun.2011. 出口光一郎, ”射影幾何学による PnP カメラ補正問題の統 一的解法”, 報処理学会コンピュータビジョン’90 ビジョン と環境理解シンポジュウム論文集 90, 41-50, 1990. F. Moreno-Noguer, V. Lepetit, and P. Fua , ”EPnP: Accurate Non-Iterative O(n) Solution to the PnP Problem.”, International Journal of Computer Vision archive, vol.81(2), pp.155-166, Feb.2009. 大江統子, 佐藤智和, 横矢直和, ”画像特徴点によるランド マークデータベースに基づくカメラ位置・姿勢推定”, 画 像の認識・理解シンポジウム(MIRU2005), 2005 年 7 月. ”KIT ObjectModels Web Database”, http://i61p109.itec.uni-karlsruhe.de/ObjectModelsWebUI.. 提案手法が有効でなかった物体の例.このように同形の物体 が DB の中に多く存在する場合には,再対応付けられた特徴 点間の幾何的適応度がいずれも高く,有効に働かなかった.. 参考文献 [1]. [2]. [3]. [4]. [5]. [6]. [7]. [8]. [9]. 村瀬洋, シェリーナイヤー, ”2 次元照合による 3 次元 物体認識-パラメトリック固有空間法”, 信学論 (D-II), vol.J77-D-II, no.11, pp.2179-2187, Nov.1994. 望 戸 雄 史, 渡 辺 義 浩, 小 室 孝, 石 川 正 俊, ”AnalysisSynthesis 法を用いた 3 次元物体姿勢推定法の GPU に よる実装”, SSII2010, IS4-17, Jun.2010. S. Savarese and L. Fei-Fei. ”View synthesis for recognizing unseen poses of object classes.” ECCV2008, vol.5304/2008, pp.602-615, Oct.2008. H. Su, M. Sun, L. Fei-Fei, and S. Savarese. ”Learning a dense multi-view representation for detection, viewpoint classification and synthesis of object categories.”, ICCV2009, pp.213-220, Sept.2009. 薮下浩子, 島村潤, 森本正志, 小池秀樹, ”被写体形状の球 面展開に基づく 3 次元物体認識”, 電子情報通信学会大会 講演論文集, p.156, 2011 年 3 月. 薮下浩子, 島村潤, 森本正志, ”被写体形状・テクスチャの 球面展開に基づく 3 次元物体認識”, 信学技報, vol. 111, no. 379, PRMU2011-153, pp. 73-78, 2012 年 1 月. O. Boiman, E. Shechtman, and M. Irani. ”In defence of nearest-neighbor based image classification.” CVPR2008, pp.1-8, Jun.2008. 高田圭佑, 山崎和博, 笠井航, 長谷川修, ”Voting 処理とア ピアランス想起による実環境下の三次元物体認識”, 画像 電子学会誌 40(2), 314-323, 2011 年 3 月. M. Klinkigt, and K. Kise, ”From Local Features to Global Shape Constraints: Heterogeneous Matching Scheme for Recognizing Objects under Serious Background Clutter”, Asian Conference on Computer Vision. c 2012 Information Processing Society of Japan ⃝. 6.
(7)
図
関連したドキュメント
3 次元的な線量評価が重要であるが 1) ,現在 X 線フィ ルム 2) を用いた 2 次元計測が主流であり,3 次元的評
この論文の構成は次のようになっている。第2章では銅酸化物超伝導体に対する今までの研
振動流中および一様 流中に没水 した小口径の直立 円柱周辺の3次 元流体場 に関する数値解析 を行った.円 柱高 さの違いに よる流況および底面せん断力
先に述べたように、このような実体の概念の 捉え方、および物体の持つ第一次性質、第二次
事業概要 フェリーでECO体験スクール ●目 的
図 21 のように 3 種類の立体異性体が存在する。まずジアステレオマー(幾何異 性体)である cis 体と trans 体があるが、上下の cis
現状では、3次元CAD等を利用して機器配置設計・配 管設計を行い、床面のコンクリート打設時期までにファ
「光」について様々紹介や体験ができる展示物を制作しました。2018