射影幾何学に基づく計測行列補間を用いた因子分解法

全文

(1)コンピュータビジョンと 135−15 イメージメディア（２００２．１１．８）. 射影幾何学に基づく計測行列補間を用いた因子分解法上島重治. 斎藤英雄. 時系列画像からの対象物の３次元形状復元手法の１つに因子分解法がある．因子分解法は線形射影モデルに基づいて，カメラの運動と対象物の形状を同時に復元する手法であり，その解は安定であるという利点を持つ．しかし，時系列画像の最初のフレームで抽出された特徴点のうち，最後のフレームまで追跡できたものしか復元できないため，対象物を構成する特徴点の一部しか復元できないという問題点がある．そこで，我々が提案する手法では，追跡に失敗，または途中から出現した特徴点について，それらが見えないフレームでの投影位置を射影復元によって推定する．これにより，対象物を構成する特徴点の全フレームにおける追跡情報を獲得し，それに対して因子分解法を適用することにより，対象物を構成する全ての特徴点を一括して復元することを可能にする．合成画像と実画像を用いて実験を行い，本手法の有効性を検討する．. で対象物を撮影した時系列画像を入力とした，対象物の. はじめに. 次元形状の復元手法が盛んに研究されている．. 時系列画像からの剛体モデリング技術は，仮想現実システムにおいて必要不可欠である．もし，撮影した対象物の. 次元情報の抽出において，では，カメラの運動を計算し. 次. てから，物体上の特徴点のカメラ中心からの距離を. 元モデルが自動的に作られるシステムがあれば有用. 求めることにより，形状を推定する．しかし，フレー. である．特に，一般ユーザーでも簡単に. 次元形状. ム間の動きが小さいと，運動を平行移動あるいは回. 復元を行えるように，市販のハンディビデオカメラ. 転によって特定するのは困難である．故に，解として得られた距離は数値的に不安定になり，形状の推. 慶応義塾大学理工学部情報工学科. 定精度が悪くなる．逆にフレームレートを下げると，フレーム間の動きが大きくなるので，特徴点の対応. −95−.

(2) 付けが困難になる．. た特徴点のうち，すべてのフレームで追跡できた特は，カ. 徴点のみを用いて，各フレームのカメラの位置・姿. メラモデルに正射影を仮定することにより，運動・形. 勢情報を獲得する．そして，追跡に失敗した特徴点. 状について線形となるように定式化し，運動と形状. の失敗フレームを除いた追跡情報から，その特徴点. を同時に，かつ安定に復元する手法を提案した. の３次元情報を算出し，この. それらの問題に対して，. と. ．. しかし，因子分解法には２つの大きな問題点がある．. 次元情報と先に求め. たカメラの位置・姿勢情報を用いて，失敗フレーム. つ目の問題点は，カメラモデルに正射影を仮定し. での特徴点の投影位置を推定する方法である．しか. ているため運動・形状の復元結果に，実際のカメラ. し，この方法で得られる投影位置の推定値は，実際. モデルである中心射影との誤差が生じることである．. のカメラモデルである中心射影によるものではなく，. この問題に対して，様々なアプローチから改善策が. 因子分解法のカメラモデルにより投影されたものに. 研究されている．定式化の線形性を保ちながら，中. なってしまう．つまり，原理的に誤差を含んだ推定. 心射影に対する近似精度がより高い弱中心射影，擬. 値となる．そこで，この問題を擬似中心射影の特性. 似中心射影モデル. を用いて改善した方法も提案されている. を利用する因子分解法，反復に. よって中心射影モデルに近づける因子分解法. 等. の研究がある．. ．. 本稿では，上記に述べた因子分解法における２つの問題点のうち，２つ目の問題点を解決するための. つ目の問題点は，因子分解法では時系列画像の最. 手法を提案する．従来は，この２つ目の問題により，. 初のフレーム上で抽出された特徴点のうち，その後. 対象物を全周囲から取り囲むようにカメラを動かし. の全てのフレームにおいて追跡できた特徴点しか. て撮影した画像列から因子分解法により対象物の３. 次元復元できないことである．勿論，途中のフレー. 次元形状復元を行うためには，画像列をブロック化. ムから現れる特徴点も復元できないことも問題であ. して各ブロック毎に因子分解法で部分形状を復元し. る．実際の時系列画像では，最初のフレームに対象. たのちに統合する等の方法を取らない限り，対象物. 物の形状を表すのに十分な特徴点が存在することは. 全体の形状を復元することができなかった．本稿で. まれである．もし，あったとしても途中のフレーム. 提案する手法では，特徴点の追跡に失敗したフレー. で照明条件，オクルージョン，フレームアウトなどに. ムにおける特徴点の投影位置を，射影復元を用いて. より追跡に失敗し，先の条件を満たすことは困難で. 推定する. ある．この問題に対しても，多くの研究がされてい. 行列を完全に補間し，対象物の形状を一回の因子分. る．時系列画像を複数の短い時系列画像ブロック. 解法の適用により復元することを可能にしている．. に分解後，因子分解法により各ブロックでカメラの. 章で詳しく述べるが，射影復元結果は射影的な不定. 次元形状を算出し，その結. 性ユークリッドにおける長さや角度のみでなく平行. 位置・姿勢，対象物の. 果を統合する逐次型因子分解法. ことにより，因子分解法における計測. がよく知られて. 性も保たれないが残るが，その画像への投影結果は. いる．しかし，各ブロックにおける復元結果に誤差. 中心射影と同じであるという利点を持つため，我々. があるにも関わらず，統合処理が順方向に行われて. の提案手法によって推定された追跡に失敗した特徴. いくために，誤差が蓄積するという問題が残る．ま. 点の失敗フレームでの投影位置は中心射影によるも. た，今得られている特徴点の追跡情報に一番適する. のと理論上同じになる．実際に，章で合成画像と. モデルを主成分分析のアプローチから算出する方法. 実画像を用いて実験を行い，本手法の有効性を検討. もある. する．. ．. 以上の手法では，あるフレームでの特徴点の投影位置がわからないままの追跡情報に対して因子分解. 因子分解法. 法を適用している．これらの手法とは別のアプローチで，あるフレームで見えない特徴点について，そのフレームでの投影位置を推定してから因子分解法を適用する手法があり．それは，すでに. 本章では，. と. 子分解法について述べる．. と. によって提案されている．その手法は追跡し. −96−. により提案された因.

(3) が得られる．実際には，特異値分解を用いてなされた. 因子分解法の概要. 行列の分解は一意ではないので，次式を満たすの線形変換行列. を算出する必要がある．. 因子分解法は時系列画像においてシーン中の特徴点を順次追跡した結果に対して，特異値分解を用いてカメラの位置・姿勢と対象物の形状を同時に復元する手法である．因子分解法は，カメラモデルとして正射影を仮定している．ワールド座標系は特徴点群の重心を原点とし，カメラの姿勢を. ，，. る．番目の特徴点の３次元位置を. としたとき，. 特徴点. の. このとき，. フレームでの座標を個の特徴点を. ここで，カメラの姿勢行列単位ベクトル. ，. はカメラの向きを表す. の並びであるので次式にあげる. つの条件を満たす．. とす. とする．. フレームにわたって. 追跡した結果から，次式で表される計測行列. を定. 義する．. これを拘束条件として，行列式よりカメラの姿勢行列. を推定することで. および対象の形状行列. を一意に求めることができる. 射影変換と射影復元多視点画像からはカメラ間の位置と姿勢の情報，および対象物の形状に関する情報が得られる．このの各要素から行の平均値を差し引いた行列. と対象物の形状行. 次式のようにカメラの姿勢行列列. は. うち，カメラ間の位置と姿勢の情報はエピポーラ幾何として求まる．もう. つの情報である対象物の形. 状情報を得る射影復元について述べる．多視点画像. の内積によって表すことができる．. から得られる対象物の形状情報は，それらのカメラの内部パラメータ，外部パラメータが既知かどうかこの. から. と. を分離できれば，. から任意. によって異なる．両方とも既知の場合は，次元形. のフレームでのカメラの姿勢が，から特徴点の３. 状を不定性なく復元することができるが，我々が提. 次元座標が得られる．. 案する手法では，ユーザーへの簡易性を重視していることもあり，これらに関して両方とも未知である. 因子分解法のアルゴリズム因子分解法では，. から. と. ことを想定している．. を分離するため. 射影変換. に特異値分解を用いる．特異値分解は数値計算的に安定な特性を有しており，ここに因子分解法が安定である要因がある．. まず射影復元の理解のために，次元の射影変換について述べる．次元の射影変換は斉次座標を用いて次のように表せる．. ここで，. と. は直交行列，. は対角行列である．. の対角要素は特異値と呼ばれ，降順に並んでいる．式から特異値が. の階数は高々. であり．番目以降の. になることがわかる．故に，. ここで，. は任意の. 行列である．. 射影変換のもとでは長さや角度のみでなく平行性. 式は. も保たれない．次元形状を復元した結果が，このようなとなる．そこで，. ，. とおけば，. 次元射影変換の不定性を持つとき，その復. 元を射影復元と呼ぶ．. 一つの分解. −97−.

(4) カメラ等で撮影した時系列画像である．因子分解法. 射影復元. によってこの対象物の. 次元形状を一括して復元す. るために，全周の特徴点追跡情報を持つ計測行列を射影復元の計算方法について述べる．カメラの内部，外部パラメータの両方が未知でも，つの視点における画像から射影的な不定性を残して形状復元することができることを述べた．射影復元の計算方法は多数研究されているが. ，我々の提案手法で. は，安定度の高い特異値分解による算出方法を使う．枚の画像基底画像列. ，. 間の. 行. があらかじめわかっていることを前提条件と行列の算出方法については研究. する．. の趣旨ではないので省略する．わかると，次式より第. 行列が. 基底画像. のエピポール. 作成する．まず，得られた. つの長い時系列画像を. 複数フレームの重複を持たせて，複数の短い時系列画像に分解する．この分解後の短い時系列画像. つ. のことを我々は「ブロック」と呼ぶことにする．次に各ブロックの最初のフレームで特徴点抽出を行い，ブロックを通して特徴点追跡を行う．追跡中に照明条件，オクルージョン，フレームアウトによって追跡に失敗する特徴点が存在する．それらの特徴点の追跡失敗フレームでの座標を推定する．この推定作業を「ブロック内計測行列補間」と呼ぶ．このままでは，各ブロックにおける特徴点追跡情報が得られた. を求めることができる．. に過ぎないので，一括した因子分解法の適用ができない．そこで，次に重複フレームを共有するブロックを統合するために，重複していないフレームでの. このとき，枚の基底画像がつくる射影空間からそ，. れぞれの基底画像への射影行列. は次のように. 表せる．. 各特徴点の座標を推定する．この作業を「ブロック間計測行列補間」と呼ぶ．以上の作業により，全周の特徴点追跡情報を持つ計測行列が完成するので，因子分解法を適用し，対象物の. 次元形状復元を行う．. 次の章から各処理の詳細について述べていくが，実. ここで，. 際の実験を例にとり説明する．である．射影復元したい点. と，. 像でのその点の座標. ブロック化と特徴点抽出・追跡. 枚の基底画には. 次の関係が成り立つ．. ブロック化と特徴点抽出・追跡について述べる．これらを本手法の前処理として位置付け，現在は人間によってインタラクティブに行っている．将来的にはこの作業も自動化する予定である．入力画像列. ここで，. を射影行列. の番目の行ベクトルであ. るとすると，. は合成画像列であり，図. に示す対象物床に置かれ. た格子模様の箱を中心に周囲からて撮影した. 度にわたっ. フレームの時系列画像である．これ. を複数の重複フレームを持たせた短い時系列画像にである．. 式から，射影復元結果である. 算出するには，. を. に対し特異値分解を用いて，一番. 値の小さい特異値に対応する固有ベクトルを算出する．得られた固有ベクトルが. である．. 分解するわけだが，このとき，次の. つの条件を満. たすように分解する．新しい特徴点が複数個出現したフレームをそのブロックの最初のフレームとし，それらの特徴点のうち，ある程度の個数が追跡可能な範囲を. つのブ. ロックとする．ある程度という曖昧な表現を用いた. 提案手法. が，ブロック内計測行列のときに射影復元，射影行. 本章では，我々が提案する手法の詳細について述. 列算出を最小自乗誤差法を用いて行うため，その算. べる．入力は対象物剛体を市販のハンディビデオ. 出精度に影響が無い程度が望ましい．実際の実験で. −98−.

(5) 図図. は. 撮影対象物. ブロック．図の中の数字は各ブロックの. 開始・終了フレーム. 点程が残るようにブロック化した．. らの情報を利用して条件に適した. つ目の条件は重複フレームについてだが，この. 枚を選定する等. の方法を考えている．. 重複フレームが先程の条件同様に，後のブロック間. 基底画像が選出されたら，. 章で説明した方法に. 計測行列補間における射影行列算出に影響するため，. より，枚の画像間で対応がとれている全ての特徴. ある程度のカメラ方向の角度変化があることが望ま. 点を射影復元する．そして，この. しい．実際の実験では，. つくる射影空間からフレーム. フレームとったので，. 度の角度変化があることになる. ために，射影行列. これらの条件を考慮して，実験では図. に示すよ. つのブロックに分けた．対象物の形状による. うに. が，経験的に多くの物体が. つのブロックで条件を. レーム. 枚の基底画像が. への投影関係を知る. を算出する．射影復元され，フ. にも存在する点のうち，番目の点を，. のフレーム. での座標を. と表すと，. は次の関. 係より算出できる．. 満たすことがわかった．次に特徴点抽出・追跡であるが，各ブロックの最初のフレームで特徴点抽出を行い，ブロック内で追. ここで，はスケールファクターである．の射影復. 跡を行う．. 元結果に対し，算出された射影行列の. を用いて，. ｌ. での座標を算出する．この作業を全ての追跡に. 失敗した特徴点に対して行い，ブロックの最初のフ. ブロック内計測行列補間. レームで抽出された特徴点の失われた追跡情報を補各ブロックでの特徴点追跡情報を得たら，次に追. 間する．. 跡に失敗した特徴点の失敗フレームでの座標推定を行う．推定は追跡に失敗した点を射影復元し，復元. ブロック間計測行列補間. されている射影空間と追跡に失敗したフレームとを結びつけることによって行う．ある特徴点レーム. 基底画像となるこの. の射影復元の. 枚の画像を選出する．このとき，. 枚の画像では. の追跡に成功していなければ. ならない．また，射影復元の精度を考えるとめて. では失われた追跡情報が補間された計測行列が作成. で追跡失敗した場合を例に説明する．. まず，ブロック内のフレームから. できるが，まだ因子分解法を一括で適用することはできない．あるブロックの特徴点の他のブロックに含まれるフレームでの座標を推定する必要がある．その作業はブロック間の重複フレームを利用して，. も含. 枚の画像に対応精度が高い特徴点が多くあり，. カメラの向いている方向がより異なる. ブロック内計測行列補間処理により，ブロック毎. がフ. 枚が望まし. ブロック内計測行列補間で述べた座標推定方法と基本的に同じ手順で行われる．例として，重複フレー. い．実際の実験ではブロックの最初のフレームと. ムを共有するブロック. フレーム後のフレームを選んでいる．この. る．推定したい特徴点を持つブロックが. 枚の画. 像選定の自動化は重要であり，これからの課題とす. の場合について考え. 定したいフレームを含むブロックが，. る．信用性がやや低くても，カメラの位置・姿勢を復元できる手法を用いて，多少の誤差を含んだそれ. と. で，推. とする．今，. ともにブロック内計測行列補間は終了し，ブ. ロック内での特徴点追跡情報は完全に得られている．しかし，つの大きな計測行列にまとめるためには，. −99−.

(6) は. と共有しないフレームでの追跡情報が必要. であるし，同様に，. も. と共有しないフレーム. での追跡情報が必要である．そのためには，重複フレームから. 枚の基底画像を選び，射影復元，射影行. ロックの「推定」データを用いる．前に述べたように，実際に多くの対象物において，ブロック程度で全周をカバーできると予想されるので，推定誤差が蓄積し，非常に大きくなる可能性. 列算出，座標推定の順に作業を行えば良い．しかし，. は少ない．そのため，この「推定」データを「追跡」. このとき重要なのが，射影復元のために必要な基底. データに入れ替える方法で十分満足できる結果にな. にあ. る．もし，推定誤差が大きくなる場合は，連続する. の特徴点の基底画像間での点対応を用. いくつかのブロック毎にブロック間計測行列補間を. 画像に対する射影行列たるは，. 章の説明だと. ，. いて算出しなければならない．これは，推定したい. 行い，同一点の統合処理もその都度行う必要がある．. フレームへの射影行列を求めるには，そのフレーム. 以上の処理により，得られた計測行列に対して因. と射影復元結果との間の対応がわかっていなければ. 子分解法を適用し，対象物の. 次元形状を復元する．. ならないからである．このようにして得られた基底画像に対する射影行列を用いて，復元し，その結果から. の特徴点を射影. 追跡に失敗した点（本実験では箱の映ってる面の. への射影行列をそれぞれ算出する．これにより，の特徴点を今，得られた射影空間中に射影復元すれば，. 実験および考察. と共有しないフレーム全て. に含まれる推定したいフレームでの追跡情報. 裏側の点）が本手法によって正しく追跡できているか確かめるために，. により作成された図. が補間できる．以上の作業によって，全フレームに. に示す合成画像列を使った実験を行った．章で述. わたる特徴点追跡情報をもつ計測行列が作成される．. べたように，ブロック化，特徴点抽出・追跡は人間によってインタラクティブに行った．ブロックは図に示したように. 同一特徴点の統合. つ飛ばしで選んだ．つに分けたブロックの. 点を得られた計測行列に因子分解法を適用すると，複数のブロックに. つの特徴点が同時に存在する場合，. つに分け，特徴点は各格子の交. 最初のフレームでは必ず箱の. 面が見えており，終. わりのフレームでは最初のフレームに映っていた. 存在するブロック数個だけ点が復元されてしまう．. 面のうち，面が残っている．映っていない. この特徴点の追跡データを統合することによって，. 特徴点が途中のフレームで追跡失敗という状況を想. 復元された重複点の削除と，復元精度の向上を計る．. 定した．つまり，どのブロックとも最初のフレーム. 重複点の確認は一度，得られた計測行列に因子分解法を適用し，次元距離における任意の閾値処理によって行う．計測行列上の追跡情報は，「追跡によるデータ」と「推定によるデータ」の. つに分けら. 上からに. 面の. 点の特徴点を抽出し，最後のフレームまで. 点が追跡失敗していることになる．図. は，ブロック内で追跡に失敗した特徴点の失. 敗フレームでの座標推定結果である．●が正しい投. れる．我々は前者が特徴点画像座標の「真値」であ. 影位置で，○が推定結果である．図. ると想定する．故に，なるべく，その特徴点の追跡. 計測行列補間による座標推定結果である．本来なら. データが「追跡によるデータ」で構成されるように. 特徴点毎に. データを統合していく．あるブロックでは追跡デー. るが，実験では計算量削減のために，各ブロックの. タが「推定」によるものだが，他のブロックでは「追. 最初のフレームと. 跡」によるものならば，「推定」の方を排除して「追. では最初のフレームで見つかった. 跡」のデータを入れる．また，複数ブロックで「追. べてが見えているを基底画像として，追跡に失敗. 跡」できていた場合は平均をとる．すべてのブロッ. した特徴点のそのフレームでの座標を推定した．図. クで「推定」の場合，実際にそのフレームを含むブロックの「推定」データを用いる．そのフレームが. ，図. 枚の基底画像を選出しなおす必要があ. 離れたフレーム. フレーム点の特徴点す. ともに，正しい投影位置と推定投影位置は良. く一致しており，その推定誤差は画像上で. 重複フレームで２つのブロックに含まれる場合は，ブロックの最初のフレームがそのフレームに近いブ. はブロック間. ∼. 程に留まっている．本手法では，枚の基底画像の選び方によって結果は特徴点毎に変わる．これ. −100−.

(7) 図. 入力時系列画像．. 図. 図. フレー. フレーム目. ム目，. 図. ブロック内での座標推定結果. 図. ブロック間での座標推定結果. 形状復元結果．. 特徴点追跡情報の得られている方向数の違いによる復元精度の違い．. 正面から，. フレーム，. 斜め上から. フレーム，. フレーム. 図. 入力時系列画像．. フレーム目，. からの課題でもあるが，基底画像. フレーム目. 枚の選び方を工. 図. 形状復元結果．. 対してブロック. で行う. 正面から，. 斜め上から. 段階である．. 夫することによって推定結果が大きく改善される可. 本手法によって，実際には特徴点が撮影されない. 能性が見られる．また，経験的にわかったことであ. 方向の画像にもその投影位置が得られるため，多方. るが，対象物を周囲から撮影した場合，実験と同様. 向からの特徴点追跡情報が得られる．特徴点が追跡. に. ブロックに分けることによって，全周を復元で. された画像の方向数が多いと，因子分解法により復. きる．このとき，誤差が蓄積する方向にブロック間. 元される形状の誤差が減少すると考えられる．この. 計測行列補間を行うのは最高で. ことを示すために，本実験で使った合成画像列とは. でいうとブロック. 段階である．実験. によって，まず，ブロック. と. のブロック間計測行列補間を行い，次にその結果に. 別に，中心射影による影響が大きい合成画像列を利用して実験を行った．例えば，箱の. −101−. 面を復元しよ.

(8) うとした場合，追跡情報の推定を行わない因子分解. 点の座標推定精度の向上について，さらなる検討を. フレーム本実験の合成画像列を用いると. 行い，平行して因子分解法関係の従来法との数値的. 法では. 面の特徴点全部が追跡できるのが. フレーム程. だったに因子分解法を適用する．本手法ではブロック内計測行列補間を行うことにより. な比較，因子分解法以外の. 次元モデリング技術と. の比較を行う．. フレームに. なり，ブロック間計測行列まで行うと. フレーム. 参考文献. は，各フレーム数. に因子分解法を適用できる．図. に因子分解法を適用したときの箱の上の面を復元したものである．. フレームの時は，点列がひし形に. なっているが，. フレームになると正しい形であ. る正方形に近くなる．つまり，多方向からの特徴点追跡情報によって，正射影による誤差までも緩和できることがわかる．入力画像列を複数のブロックに分割し，それぞれに因子分解法を適用することにより部分形状を復元し，それらを統合するような手法では，各ブロックにおける誤差は大きく，さらにそれが統合により蓄積されるので大きな問題となるが，本手法では入力画像列全体から一つの計測行列を作成し，一回の因子分解法で形状を復元するので，誤差の小さな形状復元が実現できることがわかる．つの計測行列補間処理によって得られた全方向からの特徴点追跡情報を持つ. つの計測行列に対し，. 因子分解法を適用した結果が図形状が. である．対象物の. 次元点によって復元されている．. 実画像による実験も行った．対象物格子模様の箱を周囲からハンディビデオカメラで撮影した図に示す時系列画像に対し，本手法を適用した結果，得られた. 次元形状復元結果が図. である．. まとめ本稿では，射影幾何学に基づいた計測行列補間により，全方向からの特徴点追跡情報をもつ. つの計. 測行列を作成し，それに因子分解法を適用することにより，撮影対象を一括して. 次元復元する手法を. 提案した．本手法により，因子分解法における特徴点追跡情報の欠損時の問題点を克服し，従来法では，復元不可能，または歪みが大きかった. 次元復元結. 果を改善できる可能性を見つけることができた．今回作成したシステムでは未だ人手に頼っている. 黄英傑坂本拓之西田広文. ところがあり，これを自動化することによって，真. の３次元情報抽出. に一般ユーザーにとって簡易な自動. 株式会社リコー研究開発本部. 次元モデリン. グ技術を確立する予定である．追跡に失敗した特徴. −102−. 多視点画像から.

(9)