PSO を用いた 3 次元面検出による未知物体の検出
3D Plane Detection for Unknown Objects Detection
Applying Particle Swarm Optimization
○牧野 慎一郎
1，増田 寛之
2，林 憲玉
1○Shinichiro Makino
1, Hiroyuki Masuta
2, Hun-Ok Lim
11
神奈川大学
1Kanagawa University
2
富山県立大学
2Toyama Prefectural University
Abstract: This paper describes a 3D plane detection method for an intelligent robot to detect unknown objects based
on an information of 3D range sensor. Previously, various methods have been proposed to perceive unknown environments. However, previous unknown object detection methods have problems which are high computational costs and low-accuracy for small object detection. In order to solve these problems, we propose an online processable unknown object detection method based on 3D plane detection. The proposed method consists of a simple plane detection that applies particle swarm optimization (PSO) with region growing (RG) and an integrated object plane detection. The proposed simple plane detection is focused on to detect small planes and to reduce computational costs. To improve the accuracy of plane detection, we apply PSO and RG. Furthermore, an integrated object plane detection focuses on the stability of the detecting plane. Through experiments of object detection, we show that the computational costs are reduced drastically for real time operations. Furthermore, we show the improvement of small plane detection accuracy.
１. はじめに
近年，ロボットの知能化が進み，人が生活する身 近な場所で家事や片づけなどの作業を行う様々なロ ボットの研究・開発がなされている[1]．工場などの 限定された環境とは異なり，身近な環境においてロ ボットは作業に必要な情報全てを事前に得られると は限らない．そのような未知情報の多い環境であっ てもロボットは柔軟に環境を認識し，自律的に作業 を行うことが望まれる[2]． 現在のロボットは外界認識のために高度なセンサ を持つことが可能になった．それにより，ロボット は膨大な環境情報を得ることができる反面，不必要 な情報も同時に得ることになる．ロボットが柔軟な 環境認識を行うためには膨大な情報の中から，作業 に必要な対象物に関する情報を効率よく抽出する必 要がある． 作業対象の物体を検出するために，3 次元形状テ ンプレートマッチングや特徴量による物体認識 [3]-[8]など多くの手法が提案されている．これらの手法 は予め登録された特定の物体を精度よく検出するこ とが可能である．一方，学習や人の手による物体情 報の事前登録が必要であるため，既知の物体しか検 出ができない．また，正確な検出結果を得るために 多くの計算時間を要する．しかし，物の入れ替わり が多く環境が動的に変化する家庭で動作するロボッ トにとって，未知の物体をリアルタイムに検出する 事が必要である． 以上を踏まえ，本研究ではロボットが家庭などで 机の上を片付けるタスクを想定し，事前情報が利用 できない状況下においても実時間処理が可能な未知 物体の検出を目的としている．本研究では，これま でに面検出に基づく物体検出に取り組んできた[9] が，小さな面が欠損してしまう問題があった．本報 告では，小さな面を安定的にかつリアルタイムに検 出 す る た め に 粒 子 群 最 適 化 (Particle Swarm Optimization: PSO)を適用する．２
. 環境計測および片づけロボット
2.1. 3 次元距離画像センサ 環境計測のためのセンサとして，3 次元距離画像 センサ(Swiss Ranger: SR-3000)を使用する．SR-3000 は，TOF(Time-of-Flight)方式の距離センサで，解像度 は176×144[pixel]であり，全体で 25344 方向の膨大な 図1 SR-3000 で計測したスナップショット距離情報と輝度情報を一度に計測できる．図 1 に SR-3000 で計測したスナップショットを示す．図 1 左は輝度画像、図1 右は 3 次元距離情報であり，机 に置かれた紙コップを計測した結果を示している． 一度に多くの情報を取得できる一方，物体の境界 付近ではフィルタにより滑らかに接続されていたり， 本来見えない点に対して補完がされたりしている． 物体を検出する際にはこの不完全な情報も取得して しまうことを考慮する必要がある． 2.2. 片づけロボットシステム 図 2 に片付け作業を行うロボットシステムの構 成を示す．本片付けロボットシステム[10]は，インタ ラクションロボット，片付けに必要な環境情報を管 理している空間知サーバ，移動ロボット台車上にロ ボットアームを備えた片付けロボットから構成され る．片付けロボットは，全方位移動ロボットを組み 込んだ台車の上に6 軸のロボットアームを設置して いる． 3 次元距離画像センサは作業範囲がセンサの画角 に収まるようロボットアーム左側に固定する．
３.PSO を用いた未知物体面検出
3.1. PSO を用いた面検出のための候補点探索 物体を検出するための手がかりとして，本研究で は平面に着目した．物体を面の集合であるととらえ ることで，既知・未知を問わず物体を検出する事が できる． しかし，従来手法である RANSAC 等の手法を用 いて3 次元面検出を行う場合，計算負荷が増加し， 実時間で物体を検出することが困難である[11][12]． そこで，全体の計測情報のうち計測したい物体に絞 って面の検出をすることができれば，最小限の計算 コストで必要な面を検出できると考える．そこで， 面検出の候補点を PSO によって探索する手法を提 案する[13]． PSO による面検出候補点の探索手順を以下に説明 する．図3(a)~(d)には各探索過程における粒子の状態 を示す．まず，N 元探索空間 S 上に，式(1)によって 特徴づけられる位置ベクトル xn と速度ベクトル vn を持つ粒子を分布する． S pbest pbest pbest t v v v t x x x t mN m m n mN m m mn mN m m mn ) , , , ( ) ( ) , , , ( ) ( ) , , , ( ) ( 2 1 2 1 2 1 pbest v x (1) 図 3(a)に表示される空間上に散布された点群が粒 子群である．本研究では計測点が2 次元の画像のよ うにピクセルで表現されるため，探索空間S の次元 N は高さと幅の 2 次元としている．pbestmはm 番目 の粒子のこれまでの最良値をあたる粒子位置を表す． 続いて，式(2) に示す適合度関数によって粒子の適 合度を決定する． ) 0 )) ( ( 1 ( * 1 )) ( ( 1 1 t f t f mn N mn n mn n x x x fbp (2) ) otherwise ( 0 ) plane detect can particle th if ( 1 m fbpn =(xfpb1, xfpb2, .., xfpbN)は 1 サイクル前の面検出に よって検出された物体面の重心位置ベクトルを表す． また，はm 番目の粒子位置から面を検出した時に， 物体面を見つけることができれば1 となり，見つけ ることができなければ0 の値を持つ．したがって， 面のある位置に近く，面を見つけることのできる粒 (a) 粒子の散布 (b) 粒子の評価 (c) 粒子の更新 (d) 突然変異の粒子 図3 粒子の移動する様子 図2 片づけロボットシステムの全体構成子が高い適合度をもつ．図 3(b)に示す赤い点が適合 度の高い粒子である． 次に各粒子は適合度を基準に位置ベクトルと速度 ベクトルを更新する．更新は式(3)，(4)に従う． )) ( ( * *( () ()) * *() * ) ( 2 2 1 1 t rand c t t rand c t w t t mn mn mn mn mn x lbestx pbest v v (3) ) ( ) ( ) (t t mn t mn t t mn x v x (4) w と c1，c2 はそれぞれ定数であり，rand1 とrand2 は[0,1]の一様乱数によって決定する．また，lbest は m 番目の粒子近傍の pbestn の最良値である．各粒子 は現在までに発見した自分の最良な位置と近傍の良 い位置にある粒子との関係から速度を決定し，自己 位置を更新する． 結果として各粒子は図 3(c)のように互いの位置を 連絡し，見つけたい面付近に位置する粒子の周囲に 集まるように移動する． さらに，必要な面が一定数検出されない場合は，適 合度の低い粒子の一部を乱数によって初期化する． 図 3(d)に示すような突然変異の粒子を混ぜることで， 粒子の局所集中を回避し，かつ周囲にも注意を払う ことができると考える． PSO を用いて面検出候補点を探すことで取得した 2 万点全ての点を使って面の検出をする必要がなく なり，計測情報を縮約することができる．また，物 体が複数存在する環境であっても物体面を注視し続 けることができる． 3.2. 3 次元距離情報からの簡略型面検出 PSO によって探索された点を面の検出開始点とし て3 次元の面検出を行う．本稿では面の検出に簡略 型面検出手法 (Simplified Plane Detection: SPD)を適 用する[9]．この SPD では代表的な面検出である RANSAC[11][12]などの手法で行われるような投票 プロセスを必要としないため，計算負荷が軽減でき る． 以下に距離空間における3 次元距離情報を用いた 面検出の計算手順を示す．また，図4 には 3 次元距 離センサで立方体を計測した場合のモデルを示す． まず，PSO によって探索した粒子の位置にある計 測点を候補点P として選択する．この候補点周りの ベクトルから平面上の点である可能性を式(5)から 評価する． 3 2 1
v
v
v
V
(5) V は，選択された候補点 P 周りのベクトル v1， v2， v3からなる斜方体の体積である．つまり，V ≒ 0 で あれば候補点は同一平面上にあると判断できる． 次に，平面の垂直ベクトルn を以下の式(6)により 算出する． 1 3 3 2 2 1v
v
v
v
v
v
n
(6) 続 い て ， 平 面上 に 属 す る 点 群 を 領 域 成 長 法 (Region Growing: RG)によって探索し，平面の領域 を決定する[14][15]．始めに任意候補点周りの計測点 が平面上に存在するかを式(7)により評価する．0
.
1
refk refn
n
(7) nref は候補点の垂直ベクトル，nref+k はk 番目の探 索点の垂直ベクトルを意味している．式(7)を満たし， 探索点が平面上に存在するならば，探索点の周囲 の点を新たな探索点として探索を続ける．この探索 処理を繰り返し行うことで，同一平面内の計測点の 集合を検出する事ができる．そして新たに探索点が 見つからなければ面の成長は終了し，平面の領域 が確定する．検出した面の重心点は，面に属する点 の集合から，重心位置は距離情報からそれぞれ算出 している．同様に，PSO で探索した他粒子の位置に ある点を新たな候補点 P として計算を繰り返すこ とで距離空間から複数の平面を検出することが可能 である．また，既に面として確定している点は処理 をスキップすることで面検出に関する計算量を削減 している． 2.3. 検出面の統合処理 図6 に本研究で提案する PSO を用いた面検出の 一連の流れを示す．また，図6 (a)~(e) に各処理の結 果の一例を示す．まず，計測した3 次元距離情報に 図4 物体のモデル対して，PSO によって候補点を選択し，SPD を用い て面検出を行う．直面した環境での面検出は図6 (b) 及び，図6 (c) のような検出結果となる．しかし，セ ンシングの揺らぎやノイズの影響などから，同じ環 境や同じ物体を計測している場合でも検出結果は常 に一定の結果を示さない． そこで，確度パラメータを導入することで時系列 的な見えの変化を考慮している[10]．これにより，セ ンシングの揺らぎやノイズが原因で起こる瞬間的な 誤認識の影響を抑えることが可能である．SPD に確 度パラメータを適用した結果が図6 (d) である． また，一つの物体が複数の小さな面に分かれて検 出された場合，実際の作業時にはひとかたまりの面 集合として解釈する必要がある．従って，重心位置 が近い面同士をクラスタリング処理によってひとま とめにしている[16]．最終的な検出結果は図 6 (e) の ように得る事ができる．
４. 物体面の検出実験
4.1. 小さい物体の検出実験 提案手法を用いて物体検出実験を行った．実験で は，PSO のパラメータ c1，c2，w をそれぞれ 0.2， 0.2，0.5 としている．本稿では菓子箱のような事前 情報の得られない小さい物体の検出と，上下別々に 分かれた一組の箱について検出実験を行った．距離 画像センサのサンプリング時間はロボットの作業に 支障のない範囲でのリアルタイム性と安定した計測 を考慮し0.1[s]固定とした．その計測時間内で物体面 を検出することを目的とする． 図 7 に実験環境とある時間の小さな菓子箱を提 案手法によって検出した結果を示す．実験環境とし て図7 (a)に示すようにアームロボットの前の机上に 箱を一つ設置している．ロボットの位置は固定であ り，肩部に取り付けた距離画像センサで環境を計測 する．また物体情報は事前にロボットに与えていな いため，環境に存在する物体は全て未知物体である． 図 7(b)に学習後の散布された粒子の位置を示す．本 実験では全粒子数，lbest の数，突然変異の粒子数を それぞれ100，20，15 としている．画像領域全体に 散布された粒子が物体面上に集まるように移動して いる様子がわかる．図7(c)，(d)，(e)は探索された粒 子位置を候補点として検出したSPD の結果，面認識 の結果，面統合の結果を順に表す．SPD は小さな面 を検出できるが，領域成長の過程で計測ノイズなど の影響から面の欠損が起こる．そのため，検出結果 が粗くなっている．しかし，面認識処理で時系列的 な見えを考慮しているため，図 7(d)のように綺麗な 面が検出できる．また，面統合処理によって，別々 に検出された複数の面が一つの物体としてまとめら れている． 計 測 か ら 面 統合 ま で 一連 の 処 理 時 間 は平 均 で 0.038[s]であった．内訳として PSO による候補点選 (a) 実験環境 (b)粒子の分布 (c)SPD の結果 (d)面認識の結果 (e)面統合の結果 図7 小物体検出結果 図6 物体面検出の流れ択と SPD，面認識と面統合はそれぞれ 0.033[s]， 0.005[s]である．
この結果から本提案手法では未知物体の実時間検 出が十分可能であると考える．なお，実験で使用し た計算機の仕様は，CPU が core i7，[email protected] (8 CPU)，RAM メモリが 16GB であり，ソフトウェ アはMATLAB/Simulink を使用している． 4.2.箱の検出実験 続いて複数の物体面が存在する環境で提案手法を 用いた面検出を行った．本実験では乱数とPSO によ る候補点の選択方法と面検出の検出結果を比較し， 検出の安定性について論じる．実験環境として，机 上に一組の箱が上下別に置かれている．距離画像セ ンサは箱の斜め上から環境を計測しているため，箱 の側面は本来より細く表れる． 実験の結果を図8 に示す．図 8 の上部に乱数で候 補点を選択した場合の候補点位置と SPD の結果を 示す．候補点の数は150 点としている．乱数による 候補点選択では大きな面を全体的に検出することは 可能である．しかし，箱の側面などの細い面は，候 補点が配置されず，毎回安定した検出が行われてい ない．一方，図8 下部に示すように PSO で候補点を 探索した場合，実験開始直後の0.1[s]は箱の一部の面 が検出されていないが，時間経過とともに粒子が面 の位置を探索するため，1.0[s]程度で箱のほぼ全ての 面を探しだし，以降は細い側面であっても安定して 検出できている．PSO の粒子の数は 150 点であり， PSO の他のパラメータは 4.1 の実験と同じである． 以上のことから，PSO によって候補点を探索する ことで計測点の数を 1/100 以下に削減しつつ，必要 な物体面を安定して検出することが出来る事を示し た．
５
. おわりに
本稿では，3 次元距離画像センサを搭載したロボ ットが未知物体を検出するための面検出手法につい て論じた．未知物体を検出するために，我々は環境 や物体が複数面の集合であると考え，面検出に基づ いた物体検出方法に着目した．しかし，距離画像セ ンサで計測した距離情報全てを使って物体の検出を 行うと，計算負荷が増加する． そこで本研究では，膨大な情報から作業に必要な 情報を得るために PSO を適用した簡略型面検出と 検出面の統合からなる，面検出手法を提案した．具 体的には，簡略型面検出は従来の面検出手法に比べ 投票プロセスを必要としないため計算コストが削減 図8 候補点選択方法の違いによる面検出の結果でき，PSO により候補点を探索することで計算コス トをさらに削減しつつ特定の物体に注意を払う事で より精度の高い検出が可能であることを示した．ま た検出面の統合処理を行うことで，小さな面でも安 定して検出できることを示した． 今後の予定として，動的な環境でも物体検出が行え るよう，提案手法を改良する予定である．
参考文献
[1] M.Beetz, U.Klank, I.Kresse, A.Maldonado, L.Mosenlechner, D.Pangercic, T. Ruhr, M.Tenorth: “Robotic roommates making pancakes” 11th IEEE-RAS International Conference on Humanoid Robots, pp529-536, 2011.
[2] N.Mitsunaga, Z.Miyashita, K.Shinozawa, T.Miyashita, H.Ishiguro,N.Hagita: "What makes people accept a robot in a social environment", International Conference on Intelligent Robots and Systems, pp. 3336-3343, 2008.
[3] F.Jurie, M.Dhome: "Real time 3D template matching", Proceedings of the 2001 IEEE Computer Society Conference on Computer Vision and Pattern Recognition, vol.1, pp.I-791-796, 2001.
[4] J.Overby, L.Bodum, E.Kjems and P.Ilsoe: "Automatic 3D building reconstruction from airborne laser scanning and cadastral data using Hough transform", International Archives of Photogrammetry, Remote Sensing and Spatial Information Sciences 34, pp.296-301, 2004.
[5] A.G.Lowe: “Distinctive image features from scale-invariant key points”, Proceedings of International Journal of Computer Vision (IJCV), 60(2) pp.91-110, 2004.
[6] D. Comaniciu, V. Ramesh and P.Meer: “Real-time tracking of non-rigid objects using mean shift”, IEEE Computer Vision and Pattern Recognition, pp.II:142-149, 2000.
[7] G.Csurka, C.Bray, C.Dance and L.Fan: “Visual categorization with bags of keypoints”, Workshop on Statistical Learning in Computer Vision,European Conference on Computer Vision, pp.1–22, 2004.
[8] H. Bay, E.Andreas, T.Tuytelaars, V.G.Luc: "SURF: Speeded Up Robust Features", Computer Vision and Image Understanding (CVIU), Vol. 110, No. 3, pp. 346–359, 2008.
[9] 増田寛之, 林憲玉, "距離画像を用いた未知物体 認識のための網膜モデルに基づく面検出", 日 本ロボット学会誌, Vol.32, No.1, pp.65-73, 2014. [10] H.Masuta, E.Hiwada and N.Kubota: "Control
Architecture for Human Friendly Robots Based on Interacting with Human", 4th International Conference on the 2011 International Conference on Intelligent Robotics and Applications, Part II, LNAI 7102, pp. 210-219, 2011.
[11] D.Dube and A.Zell: "Real-Time Plane Extraction from Depth Images with the Randomized Hough Transform", 2011 IEEE International Conference on Computer Vision Workshops, pp.1084-1091, 2011. [12] M.A.Fischler and R.C.Bolles: "Random Sample
Consensus: A Paradigm for Model Fitting with Applications to Image Analysis and Automated Cartography", Communications of the ACM, Vol 24, Issue 6, pp 381-395, 1981.
[13] J. Kennedy, R. C. Eberhart: “Particle swarm optimization”, In Proceedings of the 1995 IEEE International Conference on Neural Networks”, Vol. 4, pp. 1942–1948, 1995.
[14] R.Adams, L.Bischof: "Seeded Region Growing", IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol.16, pp. 641–647, 1994.
[15] S. W. Zucker: "Region growing: childhood and adolescence", Computer Graphics Image Processing, vol. 5, pp. 382-399, 1976.
[16] J.A. Hartigan: "Clustering algorithms", John Wiley & Sons, Inc, 1975.
連絡先
神奈川大学工学研究科 牧野慎一郎 E-mail:[email protected]
県立富山大学知能デザイン工学科 増田寛之 E-mail:[email protected]
