パラパースペクティブ投影に基づく因子分解法を用いた 物体の形状復元と誤差の評価
（平成10年11月21日 原稿受付）
設計生産工学専攻 有 田 哲 志
制御工学教室石 川 聖 二
Shape Recovery of an Object by Factorization Based on Paraperspective Projection and Evaluation of the Recovery Errors
by Satoshi ARITA Seiji ISHIKAWA
SYNOPS豆S
Facto亘zation is a n◎vel technique for r㏄ove亘ng 3−D shape of an object， since it does not employ
camera parameters for obtaining the 3−D shape． In this paper， the factorization technique based
◎n恒raperspect輌veρrolecti◎n iS desc亘bed and輌ts recovαy e縦ors are compared exρe亘mentally with the factodzation technique based皿orthographic prolection． The experiment employs solids for the recovery and shape recovery errors， camera motion errors are discussed as well as scaling effects and the砿mber◎f輌mages requ輌red fonhe rec◎ve茎y．
と呼ばれる現象や，対象物体が画像面に対し平行移動し
1．序 論
た場合に，若干回転したように見える，位置効果等が表 3次元形状の復元は，物体の計測やCGのオブジェク 現できない。そこで本研究では，従来の正射影モデルの
ト生成，動画像を用いた3次元動作解析（4）等，幅広い分 考え方を拡張し，中心射影に近い投影モデルとして，para 野での利用が期待できる。しかし従来の種々の復元手法 perspective projection（3）（以下，パラパースペクティ は，カメラの位置等カメラパラメータの情報をあらかじ ブ投影と呼ぶ）による因子分解法を用いる。この手法は，
め必要とする，測定できる物体の大きさが限られる，機 正射影モデルが持つ線形性を保存しつつ，スケール効果 器自体が高価である等の問題が存在し，使い難い。そこ と位置効果を記述できる投影法である。本研究では，パ で本研究では，カメラの位置や姿勢，対象物体の形状な ラパースペクティブ投影による因子分解法を用いて，物 どについての知識を必要とせず，画像系列上の位置デー 体の3次元形状の復元を行い，復元精度について検討す タのみから形状復元を行うことのできる，因子分解法ω硲 る。
を用いた3次元物体の形状復元を行う。本法は，カメラ
とコンビ＿タのみあれば復元が実行できるので，コス 2・因子分解法
ト面でも優れている。 2．1計測行列
正射影モデルによる因子分解法は，対象物体が前後に カメラから取り込んだF枚の画像に対し，物体の角な 並進した場合，投影像の大きさが変化するスケール効果 どの顕著な特徴点を1画像につきP点抽出する。それを
1枚目から順に行い，その動きを追跡する。特徴点ヵの 第∫フレームの画像上での座標を（卿ρ，ッァρ）とし，以
下の行列Wを定義する。 H）Φ。由e血cal
X11 … XlP
w＝きどL二ニー已
ylI ylP
yF1 yFP
（1）
Wは，上半分にκ座標を，下半分にy座標を保持してい る2F×Pの行列である。各列は1個の特徴点の動きの
追跡結果に，各行は1枚の画像内の全特徴点の座標に対 図一2 2次元でのパラパースペクティブ投影モデル 応する。
次に，Wの各行ごとの平均値
Hypo由edcal
@ image plI㎜ge plane
〈瓦∫，sρ一c〉
1ρ｛ ρ
匡
c 〈 シc＿
兎∫
Focal leng由
∫
World o亘gin
η＝ﾅ・y・＝去妄 （2）2・2・くラパースペクティブ投影によ僻酬
図一1のように座標系を定義する。特徴点ヵの世界 を求め，Wの各要素から行の平均値を引いた計測行列初 座標系に対する3次元座標を，8ρ＝［sρ∬， sρy， sρ2］τと を作る。 する。次に，同じ座標系から見たカメラの位置を ∫と し，カメラの姿勢を」∫＝［2プτ， 2ゾ〃， 2ゾ2］㌘蕗＝［抗，
う x！1： XIP 方 ，方。］㌘傷＝［為〉，毎〃，為・z］Tで表す。傷はカメラ
W＝w一丘．0…1】＝三L二．竺竺
yl yll ° y1P
yF yF1 yFP
の光軸に沿って，斯，ルは画像面のκ，y座標に沿って
（3） 定義する。
パラパースペクティブ投影は，図一2に示すように，
中心射影を近似するために物体の重心τを通り画像面に 平行な仮想平面を作り，各特徴点をその仮想平面上に投 計測行列Wの要素は， 影する。その際，カメラから物体の重心に向かう直線と 〜 〜 平行になるように投影する。
x功＝x功一x∫ ・ y肋＝y功一y∫ （4）
次に，その特徴点を画像面に中心射影し，画像面上で である。計測行列Wは，各特徴点の位置をその重心に対 の各特徴点の座標を得る。
する相対位置で表したものである。因子分解法ではこの 簡単のため，焦点距離を1とする。ここで世界座標の
計測行列Wから形状の復元を行う。 原点に物体の重心を取ると，￠ニ0となる。よって，特 徴点ヵの∫フレーム目のκ座標幼ρ，およびy座標芳ρは a1 次の様に書ける。
」∫．
一 ∫紬 丘∫
・． ㌔一÷｛［ジ尋砕一砺｝
1・ 弓F膓争小∋ ⑤
Focal World z∫はカメラから重心までの奥行きで，
length origin
z∫＝−」ヒ1τ∫ （6）
図一1 座標系の定義
となる。ここで， Fの対角行列，γはP×Pの直交行列である。
ここで，Σの対角要素は，
㌦＝一警・㌦乎 （7） @ φ≧砺≧一隅≧・ （1θ
疏｝一ジw，4w（8）慧三鷲ζ驚㌔三驚舗1鷺藍
之・ z∫ 3×P行列γ・・を用いて，次のように分解できる．
とおくと，式⑤を以下のように書き換えることができる。
W＝σΣ V τ （17）
・バ砕，＋㌦，y㌍η｝・ ＋・∬ （9）
ここで，
さらに，世界座標の原点を重心にとっているので， ． 、
〃＝ぴ，5「＝Σ㌢ ｛1⑳ ア
Σ・．＝o ㈹ とおくことで，
ρ＝1
塀＝〜口 ㈲ となる。よって，
のように分解できる。
弓ξ眠艇硫（刀）2．4拘束条件
同様に砺アも， 上記のように，特異値分解を用いることにより，計測
へ ヘゾ ベ へ
膳 ⑫ 叉漂籔驚雀1㍊欝：鴎㌻
の関係が成り立つ。故に式④より， から物体形状を復元できるとは限らない。
＿ T そこで，任意の3x3の正則行列￠を用いて，
κ功＝x功一x∫＝κ肋一㌦＝ 2∫5μ
⑬ ． ＾
㌔＝y功一y∈y允づガ＝η：3方 〃＝M￠，5＝ρ一15 ⑳
となり，これを行列で書くと， とする。ここで，
沈r 砺＝（Mρ）（ρづ8）＝M（ρρ一 ）仁㎡＝W ⑳ となり，式（1φを満たす。Mの要素塒，陽は，式⑳より，
ア
エ砺樗輻…司 ㈲ 疏｝一疏rρ， 簿￠ o》
： と表せる・ここで・勒・とπ・は・式（8）で与えられるた
め，
のように，計測行列Wは2つの行列の積に分解できる。
二膿㌻㍑護熟二驚㌶○慧：ζご 1岡仁ちアw2＝1＋≦
z∫
z∫
ができる。 2 ㈱ llη‖仁」㌃一c㎡ぺ＝1＋；；
2．3 特異値分解（5） 写
之ゾ
MとSを得るために，計測行列Wを式64のように分
解する必要がある。そこで，行列の特異値分解を用いて と計算でき，これから
Wを分解すると，
w＝促y・ ⑮ 1尋製鴇〕 ②・
と分解できる。Uは2 F×2Fの直交行列，Σは2F×2
が導ける。また，式⑧より， Xが求まる。ここで，行列Xは実対称行列であるので，
刷一輌膓一噛τ」・τ一ユr＝竿。9二㌶竺行肌3×3の直交行列Lを用い国
z∫ z∫ z∫
が得られる。ここで，式⑳より，、／。多を代入すると X謝∬ 00
嘱一駒去〔顧121；〕㈱illl騨：鷺露㌔巖
となる。しかし，式㈱，㈱の式は同次方程式であり，M＝
°
という条件を付け加える。 なお，分解した行列をガとする。この行列を用いて式04）
式⑳より， をさらに変形すると，
1剛2＝禽：ρρ・疏，，llη｝ll2＝元：ρρ・θ，㈱ X＝醐り∬＝↓醐（鵬＝↓醐μγ㈹
となる。ここで，
となるので，これを，式㈱，㈱，閻に代入すると，それ
ぞれ Lλ ＝ρ 0の
とおくと，式㈹は，
響謬警1÷〕 ⑳ x＝ρぴ 。、
…・一
砲。・疏… ・1） 運動と物体の形状カミ復元できる・
と書き換え猟この3つの式が正則行列ρを決定する 3・結果と考察
拘束条件となる。 3．1パラパースペクティブ投影と正射影の比較 3．1．1 立方体の作成
2・5 正則行列ρの決定 パラパースペクティブ投影を用いた因子分解法の効果 2・4節で得られた拘束条件の解を用い・ を検証するため，正射影を用いた因子分解との比較を行
x＝硬撰／ づ藻ll灘i竃1議i難
体を3次元空間上に作成し，それを復元した。各辺の長 とおき・式⑳に代入して展開するとF個の式が得られる・ さを2とし，立方体の頂点8点の座標を特徴点とした。
同様に蹴繊こも代入し展開すると・それぞれF個 ただし，特徴点を中心射影で投影し，（艀ρ・タアρ）とし と1個の式ができる・これら2F＋1個の連立方程式を・ ている。この実験では，立方体とカメラとの距離を徐々 ベクトルェニ［αbc4ε∫］τを用いて表すと，次の に離しながら，カメラを回転させ，投影画像データを作 ように書ける。 成した。
カメラを第1フレームから5度ずつ回転させ，最終フ Aピ＝b （33）
レームまでに25度回転させた。それに伴い，カメラと物 ただし，Aは（2 F＋1）x6の行列， bは（2 F＋1）×1 体との距離寄も少しずつ大きくした。2アとその増加量を の行列である。この連立方程式を解くと，式働より行列 変化させて9回の実験（a〜i）を行った。各フレーム
および各実験における2ノの値を表一1に示す。 変化が見られなかった。
第1フレームから最終フレームまでの6枚を一組とし， さらに，2枚の画像からの復元において，2台のカメ 9組復元した。なお，一組あたりのフレーム数はF＝6 ラの位置関係による誤差の変化を調べた。5台のカメラ で，特徴点数は、P＝8である。 を約15度ずつ間隔を取り配置する。この5台のカメラか ら任意の2台を選び，その画像をもとに復元し，誤差を 3．1．2形状における比較 計算した。その結果を図一6に示す。グラフの横軸の1＋
まず，形状についての比較を行う。復元した立方体の 5と記述しているのは，1台目と5台目を選択した場合 各辺の長さについて誤差を計算しその平均を求めた。こ の復元誤差ということである。4台目と5台目などのよ れを各組について計算し，パラパースペクティブ投影と うに，隣接しているカメラを選択している場合に誤差が 正射影の両方について実験を行った結果のグラフを図一 多くなる。逆に，1台目と5台目を選択した場合はカメ 3に示す。図に示されるように，パラパースペクティブ ラ間隔が80度近くあるため，誤差が小さくなるという結 投影による復元は正射影による復元に比べ誤差が小さい 果が得られた。
事が確認できた。
表一1 物体とカメラの距離4の値 3．1．3回転における比較
カメラの回転運動に関しては，各フレーム毎のカメラ の回転角度を求あ，真の値と比較する。実際の角度と復 元データの回転角度との差を取り，この差の第1フレー
ムから最終フレームまでの平均を求める。これを各組に 蹴の変化分 対して行い，パラパースペクティブ投影と正射影につい
て比較した結果を図一4に示す。図から正射影と比べ，
かなり精度が向上しているのが分かる。距離が近いとあ
るら まり変わらないが，距離が離れるに従い非常に小さくな 40
り，誤差は1度以下まで減少する。 邑35 §3・
巴25 3．2実データを用いた3次元形状復元 量20 の パラパースペクティブ投影を用いて形状復元を行う場 15 む 合，計測行列Wの値を縮小する必要がある。 5 なぜなら，前述のように計測行列Wの値は各特徴点の o
座離であるたぬ解搬縞けれ醜標働・大きくな ゜ 5°D。p、認，、F，am：5° 2°°
る。それに対し焦点距離を1としているため，カメラと ゜ 恥O「th◎9「a画c ⇒←Para歪ec細e 物体の距離に対する復元物体の大きさが大きくなり，力 図一3 形状復元誤差
メラが物体の中に存在するようなことになったり，復元
しても誤差が大きく，また復元できないこともある。そ 35 こで，計測行列Wの値を一様に小さくすることで物体を 3 縮小する。 τ％
秘 計測行列Wの値を縮小する割合によって，誤差に変化 旦，
き 一 が見られたため，縮小割合を変化させて得た復元誤差を 貞 き1・5 図一5に示す。グラフより分かるように縮小すればする る 日・
ほど誤差は小さくなる。これは，物体を小さくすること
でカメラと物体の距離を離したことと同じ効果が得られ 05 たためである。 o
む ロむ ユ エ ヨ また，特徴点を取得する画像の枚数を変化させて復元 D。pthml証，am，
したところ，2枚からでも復元できたが誤差がやや大き 一◆o戯・群・幽・＋p繊躍§p。噺。
かった。3枚以上の画像を用いた場合，誤差はほとんど 図一4 カメラの回転運動に関する復元娯差
とカメーの
a b c d e f h 1
回転角度 р?@e
4．0 10
@11，会■●肩 15．・．
P7 ∀ ∀ ●
豹瓢kニム第2フレーム
ｼラジ＝云 ｼラじ＝工 抱 ｼラじ＝云廿
6．0 9◎・ ． ．顯
@13．．・．．
必◆●ゲ牢●
@抱・坊 ． ● ■●
@21 20
@23曙⊇ウ彙頃・
@26． ■
@32 50
@55与亭■ロ咋∋
@60
@65・．．
@70． ・ … s
@75
100 ． 、 ●
P10．暗否．，●
P20 ・ ・ ．
総 糾 ｫ40
万 か ． ■ ■ ●
@23 ． ． ． ・ 万 万
Q ・ ・ ． ． ・ ●■ ■
@ m
． ・ 牢 ．・ ・び＄守s ・… 吾 ． ・ ・ 牢 ・ ◎参㎏・●● 俗ひで■●牢
麺6ラじ＝云 6．5 7．5 11 15 25．… wσ@35 150・… R00タ・●●稔皇● ，宿●● 雰●
@ 25 距離の変化分 2．5 2．5 3．0 5．0 10 15 25 50 100
：
●▲φ、
噌 、
ﾓ、、、
e： ℃・・⇔・一一一．＿●．，＿。一一．．＿．＿．＿．．．．s 1
毒
？●●
@、 、
●百・巳．・・◆・ 一ロ聯ロ・呑跡牢西汲
4s
も 恒・
貞25
§・・
窃 B ｜1 ；
実験で復元した物体の原画像と復元結果を，それぞれ 写真一1，図一7に示す。F＝5とし，特徴点として箱 の頂点を13点抽出した。各辺の誤差の平均値は0．0243
（2．43％）であった。
4．結 論
本論文では，パラパースペクティブ投影に基づく因子 ゜ 1／2〜°° 1／「°°° 1／7洲 Ul°°°° 分解法を用いた，多視点画像計測による物体の3次元形 ReductlOll
状復元法とその精度について述べた。本手法は2枚以上 図一5 Wの値の縮小による形状復元誤差 の画像があれば復元が可能であり，データの採取も容易 なため有効な復元法である。本法は，ある程度の距離を 取ってデータを取得すること，カメラ間の間隔（視差）
を大きくとることで，画像枚数を増やすことなく，精度 〕r
8 25
め 1｛｝
°錫，M 1．、録，無，匁、為，缶、1μ い る特徴点の消失などの問題があり，これらの解決が今後 Select F「ame の課題である。
図一6 視差による形状復元誤差 本論文は平成9年度九州工業大学工学部設計生産工学 科制御コース卒業論文（6）による。
参考文献
（1）金出武雄，コンラッド ポールマン，森田俊彦： 因子分解法 による物体形状とカメラ運動の復元 ，電子情報通信学会論文 誌，VolJ 76−D−H， No．8， PP．1947−1505（1993）．
（2）金出武雄，森田俊彦： 画像系列からの三次元形状と運動の復 元 ，電 月 言学会誌 Vol．8q No．5 pp．479487（1997）．
（3）C．J． Poelman， T． kanade ： A paraper−spective factorization method for shape and motion recovery ， 1EEEτ斑η＆Pα〃θ物、4ηαLル允τん」ηZ以， Vol．19， No．3，
pp．206−218 （1997）．
（4）野原功： 多視点画像計測による3次元物体の形状復元 ，九州 工業大学卒業論文（1997）．
（5）ストラング： 線形代数とその応用 ，産業図書（1978）．
（6）有田哲志： 多視点画像計測による3次元物体の形状復元一透 写真一1 原画像 視投影の近似モデルによる復元 ・九州工業大学卒業論文（1998）・
003 ． ，・／ ・＼ ぺ 0．02 ，．， 、、、 ＼．
0．01 ／ ！一 ＼、 ＼ ＼瓦 0， 〆 ・ ，／一 ＼ ＼＼
−001 ，， ＼ 、、 ＼
姫 ，． ：＼ ジ＜ ＼．、、＼
℃侃@ ：、 ＼：二、… ・ ＼＼、
002 〆 ・、
一 ・ ，一 、、、 0．02
図一7 復元結果
