論 文
形状の類似性評価方法
清水毅 松林恒雄 小尾誠
(平成10年7月1日受理)
The Method for Estimation of Similarity Shape
TsuyoshiSHIMIZU TsuneoMATSUBAYASHI MakotoOBIAbstract At first, we recognize 2 dimensional object shape with the convex hull and treat feature to be provided by this. And we use feature provided from picture element of object, too. This feature is provided orthograph of picture element to X/Y axis. It is feature extracted from waveform which is provided after coordinate transformation around center of gravity of convex hull. We regard feature by these as point of N demensional space. And we compare similarity of object by this distance with a human sense. Because a human sense is different with individual, we perform a questionnaire. Because a human sense is deffer’ent with individ− ual, we perform a questionaire. We make fuzzy membership function using effect got by a questionnaire next. And we input feature distance and get similarity. Finally we test picking experiment with CDD camera, and confirm validity of estimation approach. 1. はじめに 形状の類似性を調べることは,たとえば,未知の物 体を判別するとき,未知のものと,テストモデルとの 類似性から,未知の物体の想定を可能としたり,生産 工程においては,効率よく類似部品をグループ分けす ることによるグループ生産の生産性向上(1)につながる. また,形状のグループ分けをすることで,より大きな 集合へと関連づけることにより特定の状況下でどのよ うにすれば良いかの判断が可能になるとも考えられて いる(2).形状の類似性を調べるとき,与えられた形状 から特徴を抽出してこの特徴から判断する方法が一般 的である.人間は,複雑な図形を単純化,類似化する ことによって認識・分類していると考えられている(3). 機械システムエ学科,Department of Mechanical SyStem Engineering そこで,まず二次元物体形状をその上位概念であるコ ンベックスハルで認識し,これにより得られる特徴量 をして用いる.これらによる特徴を併せてN次元空間 の点と考え,この距離による物体の類似性を人間の見 た目の感覚と照らし合わせる.次に,アンケートによ り得た見た目の感覚を用いて,ファジィメンバー一シヅ プ関数を作成しこれにより類似度を算出し,CCDカ メラによるピッキング実験を通して評価方法の妥当性 を確認することを目的とする. 2. 類似形状の評価
2・1処理の流れ
現在主流となっている方法は,画像情報から所定の 特徴量を抽出し,これを基にして類似形状の判断や分 類を行うという方法である.本研究でもこの処理の流Input血age
Preparation Feature extraction Extract of@convex
@ hu11 Calculation of feature @ distance Fuzzy rea鼠)ningOutput
Fig.1 Flow chart of proce ss feature s bo1 Number of wave動㎝venexP
Element of@convexhul Standard deviation@ of wave血)rm σ Frequency oomponent @ of wave丘)㎜
F
Frequency component @ of wave丘)㎜ X_f X・ ≠?撃r Vahance of area Sx Element 盾? arginald 奄唐狽?b普│t 奄盾 requency component _f ・a wIS ahance of area y atio of length of marginal由 唐狽?b浮狽奄盾 rea れを使うこととする.本研究の処理の流れは次のよ になっている. 特徴要素抽出のための前処理 物体の輪郭構成点を抽出する.凸方の計算
①で求めた輪郭構成点の凸包を計算する.特徴の抽出
凸包から得られる特徴量と入力画像より得られる 特徴量を計算する.特徴距離の計算
②で求めた特徴量を正規化した後,特徴距離を 計算する. ファジィ推論による類似度計算 類似度の判断基準のもととなるアンケートを行い これを基にして,ファジィメンバーシップ関数を 作成する.そして,④で求めた特徴距離を入力と して,ファジィ推論により類似度を算出する. れらについて次項より説明していく.2.2特徴量
この特徴量は,目的と用途にあわせて選択する必要 ある.たとえば,農作物(4)の場合その色や丸さの 合い,木材の欠陥検出(5)においては,欠陥の濃度 ,形状に関する量である.今回この特徴量は,形状 ータのみから得られるものを用いる.とはいっても, able l The featUres 状データから得られる特徴量に関する研究は古くか あり⑥,様々なものがある.そこで,特徴量をうま 組み合わせて,評価する事が必要となる.本研究で Table 1で示す特徴量を用いる.加嶋らは,物体の 状を表す形状固有値(3)や形状の複雑さを表す複雑 を組み合わせて類似度を出す報告(7)をした.しか ,この形状固有値は一般の図形では姿勢角とともに 動するので評価するためには物体を回転させてその 度ごとの形状固有値を求めなければならないために 間がかかる.また,形状固有値は図形の射影によっ 得られる無次元面積比であり,この射影図形は周辺 布とよばれ漢字の大分類などに効果がある(8).そこ ,入力図形より得られる凸包から姿勢角を計算し, の姿勢角が0となるように回転させてから,周辺分 より得られる特徴量を抽出する.この姿勢角の計算 二次元物体形状の上位概念である凸包から輪郭座標 r・θ座標に変換した波形情報より計算した.この に得られた波形情報は入力図形の大まかな形をよく している.そこで,この波形情報より得られる周波 成分も特徴量とした.これは,補正しきれない物体 回転の影響も受けにくいという利点もある.2・2・1凸包より得られる特徴量
輪郭構成点は重心Gを中心にして輪郭構成点までの『 離r及び垂線とのなす角θを求めることにより, ・y座標系からK・θ座標系に座標変換することによ ,物体の輪郭構成点を波形として扱うことができる. して,r・θ座標変換後に得られた波形について, 離の平均を計算し,その平均値で全体を除すること より無次元化する.これにより,大きさの規格化を う.これは,例えば全く同じ形をして,大きさだけ違う二物体があったとき.これを今までの手順により 座標変換すれば同じ波形となるからである.次に座標 変換後に得られた波形を周期関数とみてFFTにより フーリエの係数を求める.そして,そのままでは,比 較する基準が揃っていないので位相の修正を行う.こ れは,同図形でも回転していた場合;形の違う波形が 出てきてしまうからである.この波形より周波数成分, 標準偏差,頂点の個数を求め,特徴量とする.
2・2・2 周辺分布要素
周辺分布は,対象とする線図形がかなり明瞭な場合, 線成分位置の抽出に効果的であり,印刷漢字の分類な どに有効な特徴量である.周辺分布は,XY平面上の 画像がある時,画像gσ(,Y)に対して, X軸上への周 辺分布G◇gは N−−1 G(x)一Σ9(x,Y)・・……・…・(1) y==O 同様にしてY軸上への周辺分布G(Y)は N−1 G(Y)=Σ9(x,r)__.__(2) X=O で与えられる.つまり,g(X, Y)が2値画像の場合, X またはY軸に平行な対象画像の画素数だけを数えるだ けで容易に求めることができる.この各軸上への周辺 分布の周波数成分と長さの比・面積を求め特徴量とす る.また,各軸上への周辺分布は,画素数が度数,各 軸が階級値と見なせ,度数の存在する階級値の平均値 周りの分散を求め,これも特徴量とした.これは,正 多角形などの図形では0となり分散が小さくなれば階 級値の平均値での度数が他に比べて多いことを示し, 逆に大きくなれば階級値の平均値の度数が少ないこと を示す量となる. なお,この周辺分布を求める際にも重心から輪郭構 成座標までの距離の平均を計算し,物体の持つ座標を これで割り,無次元化している.2・3特徴距離計算
次に今までの過程により得られた特徴量を用いて特 徴距離を計算する.抽出したN個の特徴量は,N次元 空間にある点を構成する.この点がどのクラスに属す るのかを識別することをクラスタリングといいパター ン認識ではよく用いられる.この点と点の距離はいわ ゆる特徴距離であり,ユークリッド距離がよく用いら れる.これは,あらかじめ特徴空間にクラスタが存在 する場合に用いられ,本研究では,二物体の類似性を 考察するので,二物体の特徴距離を式(5)にて計算する ことにする.ここで,特徴距離を計算する前に,特徴 軸の正規化を行なう.これは,それぞれの特徴が同じ 意味を持たず,同じ次元で比較することが出来ないか らである.たとえば,人間で言うと,同じ1であって も視力で1違うのと,体重で1違うのでは大きく意味 が異なってくるからである.正規化の方法はさまざま な方法が考えられるが平均値周りの分散を各特徴軸に ついて等しくする方法が一番簡単であるのでこの方法 を用いる.つまり,各特徴軸の分散(σ)を計算し,そ れぞれの特徴をこれで割る. N次元空間におけるサンプル集合を{X1, X,,…, XN}とし,各X、はX、={Xi1, Xm,…Xrv}とする.この とき式(3),式(4)のようになる.分散を計算するに当ik=÷齢
1=1 .◆◆........(3) σ2・ネ⇒………・・④
たっては,基本図形(図に示す円,三角形,四角形)の 縦横比を変えて特徴を計算し,この特徴群から正規化 データを求めた.そして,この分散を用いれば特徴距 離は ・・Σ⊂㌃一㌃〕2・………(5) となる.ただし,γ :特徴距離,Xi:特徴量, ai: 分散である. 2・4 人の見た目の感覚とメンバーシップ関数 視覚による情報は五感の中では他の感覚器から得 られる情報と比べてはるかに多く,その情報伝達量は 10億bits/sにもなると言われている.当然これだけの 情報量をすべて記憶しておくことは不可能である.そ b/a:1 0.75 0.5 0.25△△
b/a:2 1.5△△△_
1 0.75 0.5 0.25 b/a:2 1.5 1 0.75 0.5 Fig.2 The Figure used f()r a que stionna廿eこで,記憶する際には抽象化したモデルを記憶してい ると考えられる.そして,この記憶したモデルとの近 さが類似度ということになり,この記憶するモデルが 人それぞれ違うために類似というものが曖昧さを含む ようになり判断基準も個々で変わってくると考えられ る.また,特徴距離の持つ明確な意味たとえば特徴距
離が10のとき物体AとBとはどれだけにているのか
という資料はない.そこで,人間の見た目の感覚と特 徴距離との関係をアンケートにより調べ,判断基準を 決定する.そして,アンケート結果をもとにしてファ (a)Percentage of a person answered ”resembled well or re sembled”,繍
(b) Percentage of a person answered ”obscure”, (c) Percentage of a person answered that”not good or bad‘⑳, Flg.3 Quesロonnalre results and fe ature distance ジィメンバーシヅプ関数を作成する. まず,Fig.2に示す図形を二つ紙面にのせ計105通 りを似ているかどうか五段階に分けてもらうというア ンケートを行なった.この図のb/aは図形の縦横比で ある.そして,この時の特徴距離と比較した.これを Fig.3(a)∼(c)に示す.(a)は特徴距離とその図形の組が 「良く似ている・似ている」と判断された場合の答え た人の割合である.この図を見ると見た目と特徴距離 の相関性が認められる.即ち,特徴距離が短ければ似 ていると答える人の割合が増え,また,特徴距離が長 くなれば似ていると答える人の割合が減る.また,(c) からは特徴距離が長くなれば似てないと答える人の割 合が多くなる.このことから,この結果を基本資料と できることが確認できる.これらの結果をファジィ推 論の前件部のメンバーシヅプ関数とする.この前件部 の入力は特徴距離である.この入力に対して,グレー ドの値が出力される.これに対して,後件部のメンバ ーシップ関数を作る.入力が前件部のグレード値で, 出力が0∼1の値になるようにする.そして,この出 力を類似度とする.なお,この値は1に近い方が似て いる.このファジィによる類似度算出を作図データー で行った結果をFlg.5に示す.また,正N角形につい て類似度を算出したので,Table2に示す.この結果 を見ると形状が変化する毎に数値が小さくなっていく ことがわかる.また,この数値はアンケート結果を基 にしており,この数値は良好であることが確認できる. grad 1,0 0,5 0 grade 1,0 0,5 010 20
(a) Previous clause Negatlve (Resembled bad) feature dlstance O,5 110smila「’ty (b)Consequent Flg,4 Membership functionSim且arity eeature р奄唐狽≠獅モ? ib/a=1) 0956 @1.952 ib/a=0,75) 0.387 @4.585 ib/a=0,5) 0 @10.351 ib/a=0,25)
△
Sim丑arity eeature 閧唐狽≠獅モ? ib/a=2) 0,950 P986 ib/a=1) 0,388 S,559 ib/a=0.75) 0,354 T.05 ib/a=0.5) CCD camera A/D conve「t■ゆ
[一n 一 Image proceSSing board[コ
口 Monitor口
Simiarity eeature р奄唐狽≠獅モ? ib/a=2) 0988、 @1.726 ib/a=1.5) 0,602 R,352 ib/a=1) 0.724 Q832 ib/a=0.5) Fig.5 Construction data(Similarity, fe ature distance and b/a ratio) Comparison @ shape Feature р奄唐狽≠獅モ Similarity Comparison @ shape Feature р奄唐狽≠獅モ Similarity Circle−10S 0.8879 1 10S−8S O.6405 1 Circle−8S t2853 1 10S−6S 1.1597 1 Circle−6S 1.8334 0.9747 10S−4S 2.6386 0.7756 Cimle−4S 3.1029 0.6589 10S−3S 3.1183 0.6553 Ci陀le−3S 3.4858 0.5718 8S−6S 10,788 1 6S−4S 2.2507 0.8887 8S−4S 2.2841 0.8794 6S−3S 2.8524 0.71853 8S−3S 2.8629 O,716 4S−3S 2,789 0.7346 Table 2 Comp arison re sult of N regular shape 次章にて,実際にこの類似度の評価実験をCCDカ メラを用いて行う. Computer Fig.6 Experimental device3. CCDカメラによる実験
3・1実験装置
本研究では,Fig,6のような装置を用いる. CCD カメラにて撮影した画像をAID変換した後に,画像処 理ボードのフレームメモリに落とす.実際に画像計測 を行なう際には,このフレームメモリを参照する.ま た,CCDカメラに映る画像は,モニターを通して直 接監視できる.使用したCCDカメラはメイジテクノ 社製CK3800,画像処理ボードはマイクロテクニカ社製MTAT・CL,パーソナルコンピュータはDOS八1機
でクロック周波数は200MHzである.3・2実験結果
まずFig,7に示す物体をCCDカメラにより撮影し, これらの類似度を調べた.Fig,7はそれぞれ,(a)Apple, (b)Cup,(c)Plate,(d)Teacup 1,(e)Teacup2である. これらの類似度をTable 3に示す.このTable 3にお いて特徴距離が小さい組み合わせを並べると,Teacup l とTeacup2, AppleとTeacup 1, AppleとTe acup 2, CupとTe acup 2, CupとTeacup 1となる.これらの 中,一番特徴距離が短いものはTe acup 1と[[b acup2 で,これらは一番似ている組み合わせとなっている. また,このときの類似度も1となり人の見た感覚でも これらは確かに似ていることが確認できる.灘轟
^滋鐸“、.叙.好 、℃、 、 溺泌♂ tx (a) Apple 禰 (c) Plate ツニぐ ト , 擁’欝,難 1”灘
灘裟灘鍵 纏 鶏 (b) ’㌘鰯凝㌶ 膓 ♂彰Cup
灘聾
裟鰯織“繍,’ s 雛i藷t (d) Teacup 1 (e) Teacup2 Flg.7 The object used f()r experlmentOblect Feature Slm且anty distance Apple and Cup 2878 0,712 ApPle and Plate 5155 0346 ApPle and Tbacup 1 1162 1 le and Tbacu 2 1317 1 Cup and Plate 3582 0,556 Cup and恥acup l 1904 0964 Cu and恥acu 2 1833 0975 Plate and鶴acup 1 4394 0,401 Plate and Tbacu 2 4,438 0397 Tbacu l and Tbacu 2 0473 1 Table 3 Fe ature dlstance and similarlty of object used for experiment Plateと他との比較結果は特徴距離が大きくなり,類 似度は小さくなることが確認でき,これは人の見た目 の感覚とも一致する結果が得られた.この結果の中, AppleとTe acup 1, AppleとTe acup 2の比較は類似度 も高くなり,似ているという結果になったが,人の感 覚からは外れる結果となった.これは,人の持つ経験 や先入観などから起こるもので,形だけ見ればこれら の比較は似ていると言える. 次に複数の物体をCCDカメラで撮影し実験を行っ た.この結果をFig.8に示す.(a)は大きさの異なる ボルトA・Bおよびヤスリで行った実験画面である.(c) は長さの違うスパナA・B,六角レンチA・Bおよび シャフトを用いて行った実験画面である.(b)の実験結 (a)Experlment screen 1 (c)Experiment screen 2 (b)Experiment result 1 (d) Expenment result 2 (e)Experlment result 3 Fig.8 Select experiment of several object
果1においては,特徴距離は0.898,類似度は1とな り,期待する結果が得られた.ここで,形状が同じで あっても特徴距離が0とならないのは光の加減による 輝度値の違いや,雑音成分により,物理的には相似形 状であっても撮影状態により微妙に変化するからであ る.(d)(e)の実験結果ではスパナA’・Bの特徴距離は 2.178,類似度は0.908,六角レンチA・Bの特徴距離 は1.815,類似度はO.977となりこの結果からも良好 な類似判定を得ることができた. 4 まとめ 本研究より得られたこと以下にまとめる. (1)二次元物体形状をコンベックスハルで認識し輪郭 座標を波形情報に変換してこれからえられる特徴 量と周辺分布から得られる特徴量をあわせて評価 する方法を提案した. (2)作図データを人の目の感覚で評価してもらうこ とにより本研究の評価値との相関性が確認できた. ’(3)アンケート結果からメンバーシップ関数を作成 し,ファジィ推論により得られる値を類似度とし, この類似度による類似性評価の妥当性をCCDカ メラを用いた実験により確認できた. 参考文献 (1)宋・人見:機論C,56・530(1990),p2813. (2)向井・古川ら:精密工学会誌59−6(1993),p963. (3)高野:形状パターンの認識技術,情報調査会 (1984),69,97. (4)朝倉,上田ら:機論C,59・565,(1993),p2739. (5)渋川,五十嵐ら:精密工学会誌,56・12(1990),p2309.