雑誌名 福井大学工学部研究報告

遺伝的アルゴリズムを用いたカラー画像によるルゴ リズムを用いたカラー画像による物体位置・姿勢情 報の獲得

著者 青柳 裕治, 朝倉 俊行

雑誌名 福井大学工学部研究報告

巻 46

号 2

ページ 235‑245

発行年 1998‑09

URL http://hdl.handle.net/10098/3412

福 井 大 学

工 学 部 研 究 報 告 第46巻 第2号 1998年9月

遺伝的アルゴリズムを用いたカラー画像による 物体位置・姿勢情報の獲得

青 柳 裕 治 * 朝倉俊行**

A c q u i s i t i o n  o f  P o s i t i o n  a n d  P o s t u r e  I n f o r m a t i o n  f o r  O b j e c t   f r o m  C o l o r  I m a g e  U s i n g  G e n e t i c  A l g o r i t h m s  

Y u j i  AOYAGI  a n d   T o s h i y u k i  ASAKURA  ( R e c e i v e d  A u g .  3 1

， 

1 9 9 8 )  

T h i s  p a p

ぽ

i sc o n c e r n e d  w i

血

a ne f f e c t i v e  t e c h n o l o g y  on i m a g e  p r o c

邸

s i n go f   o b j e c t  u s i n g  g e n e t i c  a

1

g o r i t h m s .   R

田

e n t l y

，I

n d u s t r i

a1 

r o b o t s  i

n f

a c t o r y  a n d  w e l f a r e   r o b o t s   f o r   human  s u p p o r t   a r e   w i d e l y   s t u d i e d .   F o r   t h e s e   r o b o t s   w o r k s   a u t o n o m o u s l y

， 

i t   n e e d s  t o  a c q u i r e  t h e  i n f o r m a t i o n  on a  p o s i t i o n  a n d  a  p o s t u r e  o f  a  o b j e c t

企

omt h e  i m a g e

出

a tt a k e n  i n

企

omv i s u a l  s e n s o r .   However

，江

i td o e s  n o t   know where a n d  how an o b j e c t

ほIS飴，

i t   i s   d i f f i c u l t  f o r  r o b o t s  ωwork.  l n

血

i s p a p e r '   p a t t

ぽ

np r o c e s s i n g  on i m a g e  

in 

w h i c h  p l u r a l i t y  o b j e c t s

ほ

i s ti s   i n v e s t i g a t e d   a n d  a new image p r o c e s s i n g   s y s t e m  i s   p r o p o s e d  b y  t h e   a p p l i c a t i o n   o f   g e n e t i c   a l g o r i t h m s  w h i c h  i s   e f f e c t i v e  i n  a n  o b j e c t  s e a r c h .   F i r s t

， 

s p e c i f i c  c o l o r  d o m a i n  a n d   e d g e  domain i s   e x

仕ヨ

c t e d

企

' o mc o l o r  i m a g e .   S e c o n d

， 

s e a r c h  i m a g e  i s   made b y   l a y i n g   s p e c i f i c   c o l o r   d o m a i n   i m a g e   a n d   e d g e  

imag~.

T h i r d

， 

s e a r c h   mod

e1

s  c o r r e s p o n d i n g  t o  e a c h

仕

u i

也

u s e dby g e n e t i c  a l g o r i t h m s  i s

ぽ

e a t e d . F i n a l l y

， 

some  a c q u i s i t i o n  e x p

町

imen

臼 訂

ep e r f o r m e d  f o r  f r u i t s   by u s i n g  g e n e t i c  a l g o r i t h m s

， 

a n d   i n t e r e s t i n g  r e s u l t s  a r e  o b t a i n e d .   T h r o u g h

ほ

p e r i m e n t a lr e s u l t s

， 

i t   i s   shown

出

a t new t e c h n o l o g y  p r o p o s e d  h e r e  i s   s u f f i c i e n t l y  v a l i d .  

Key Words : 

Ge

n e t i c  

A1

g o r i t h m s .   C o l o r  I m a g e

， 

I m a g e  P r o c e s s i n g

， 

S e a r c h  M o d e l .   W i d e n   M o d e l  

， 

^{.はじめに}

235 

近年，工場の生産ラインにおける産業用ロポットや，家庭内における人間支援のための福祉ロボ ットに関する研究が盛んに行われている1)，2) このようなロボットに自律的に作業を行わせるため には，視覚センサから取り込まれた画像から対象物の位置，姿勢などの情報を獲得することが必要 である.しかし，作業をするための対象物がどのような物体か分かつていても，どこにどのような 状態で存在するかという情報を取得しなくては，作業を行わせることはできない"・4l

車大学院工学研究科システム設計工学専攻 $事機械工学科

自律型ロポットに物体を把持させ作業を行わせるには，視覚システムに映る画像から対象物の置 かれている位置，姿勢の情報を取得する必要がある.これらの情報を取得する最も簡単な方法は，

あらかじめ探索対象物を簡略化した探索モデルを作成し，得られた画像上で逐次移動，回転，大き さを変化させ，マッチングの度合いを評価すればよいが，これら位置，姿勢に関するパラメータの 組合せは無数に存在するため，最適な組合せを探索することは困難である 5)

， .

そこで，最適化問題等に有効とされる遺伝的アルゴリズム(以下 GA)を適用する.しかし，多 数の物体が存在する場合，画像全体から探索を行うため，収束に時間がかかる，対象物とは異なる 物体に収束する可能性がある.そこで，これらの問題を解決するために，色情報を適用することに より対象物の存在する範囲を限定し， GAにより対象物の位置，姿勢を認識する手法を提案する.

今回，認識対象物には果物を用いて実験を行い，構築したシステムの有効性を確認する.

2.画像認織システムの概要

本研究は，ビデオカメラにより撮影した画像から対象物の正確な位置，姿勢，大きさに関する情 報をGAを用いて取得するものである.Fig.2.1に本研究で用いた画像処理システムのアルゴリズム の概要を示す.

Preprocessing 

Ma凶lIngsearch model ar叫 蜘 叶1image  by genぽicalgorithms 

IAcquisition of position 8Ild pOS旬reinfonnation 

Fig.2.1  Algorithm for image processing 

また，本研究で用いた画像処理部における実験装置のハードウェア構成をFig.2.2に示す.

対象物は画像入力装置であるCCDカラービデオカメラ (FUJlX・8 M680)によって撮影され，一 次元のデジタル画像 (512X 512 (画素)

x 

8 (ピット)

x 

3 (画面)，輝度 0‑‑255)として画像処 理装置 (imageprocessor  (PIAS LA・555))のフレームメモリに記憶される.この画像に対して，コ

237 

Fig.2.2  Outline of experimental device 

ンビューター (NECPC^・9821Xa12)上でC言語 (MicrosoftVisual C++ Ver.5.0)により作成した画像 処理プログラムを用いて各種処理を行い，各情報取得が行われる.

また，以下に処理の大まかな概要を説明する.

(1)ビデオカメラ(CCD)によって撮影したカラー画像を画像処理装置に入力し.256階調画像に変 換する.

(2)カラー画像に対しHSI表色系により特定色領域抽出を行う.

(3)各色のカラー画像をAND演算した画像に対してフィルタ処理を行い.2値画像を作成する.

(4) (2).  (3)の画像を重ね合わせ，探索画像を作成する.

(5)得られた操索画像と探索モデルを G Aによりマッチングさせることで，より合致していると思 われる位置姿勢を探索する.

(6)最もG Aの適応度が高かった個体の遺伝子を，結果として出力する.

3.探索画像の作成

画像から対象物を完全に抽出することの困難さに対して，対象物の存在する候補領域を選出し，

そこから対象物の認識を行うことを考える.しかし，多数の対象物が存在する場合，対象物の形状 情報のみしか得られない濃淡画像では，領域を分割する情報は明度情報のみであり，似たような形 状を持つ物体どうしの認識ができない.そこで，対象物ごとに異なる色彩情報を用いることにより，

対象物の存在する領域を明確に分割できるカラー画像を適用する.そのための対象物として Apple. Orange.  Banana.  Sweetie等の果物を用い，机に任意に配置し上方から撮影した画像に対して処理 を行い，探索を行うための画像(以下探索画像)を作成する.Fig.3.1に本研究で用いたカラー画 像の一例を示す.

Fig.3.1 Original image 

3.  1色領域画像

探索画像を作成するため，まずApple，Orange， Banana， Sweetie等の果物を用いて撮影した画像 に対して， HSI表色系札幻を用いて各色に対する領域分割を行った.ここで， HSI表色系の式を以 下に示す.

I=R+B+G 

r=R/I，  g=G/I，  b=B/I  h=cos"1  2r‑g‑b 

L ..J 6((r ・ 1βY+~ ・ 1沼Y+(b ・ 1βア}

J  H = 1  

h 出 r)

l 2 π

^‑h ，<(r)  S=l・3min(.r以)

(3・1) (3・2) (3‑3) 

(3‑4)  (3‑5) 

この式において.R，G，Bは各画素における赤，緑，青の輝度値であり， Hは色相，

s

は彩度， Iは 明度である.また，抽出色の範囲を Table 3.1のように設定し，このときの色座標における範囲を Fig.3.2に示す.ただし，色相の角度はR方向をO度とし半時計四りを正とする.

Table 3.1  Color condition for each color  color  hue  (degJ  saturation 

red  330(Hく360，0くHく19 S>O.l  orange  19くHく30 S>0.5  yellow  27くHく53 S>O.4  green  52くHく130 S>O.3 

B 

orange yellow  green  G 

Fig.3.2  Range of each color on color coordinate 

この条件は，いくつかの画像に対して行った予備実験により決定されている.

ここで， Fig.3.1に対し特定色領域を抽出した画像の例を Fig.3.3に示す.ただし， (a).  (b)はそ れぞれ赤，黄色に対して領域抽出を行った画像である.

239 

(a) Red image  (b) Yellow image  Fig.3.3  Examples of segmentation 

3. 2エッジ画像

エッジ検出は，平均値フィルタ，及び8近傍ラプラシアンフィルタを用いて行った.ここで適用 した各フィルタのマスクの式を以下に示す.

‑平均値フィルタ⁹⁾

(8近傍重みつき平滑化フィルタ)

M(i

州

， ^l

2 1  

‑ラプラシアンフィルタ 10)

‑1 ‑1  ‑1  J

刈

)=1‑18・1

‑1 ‑1 ‑1 

(3‑6) 

(3‑7) 

これらのフィルタを.R，G，B信号を式(3^・1)により変換した輝度画像に対して行った.ここで，

エッジ検出を行った画像をFig.3.4に示す.

Fig.3.4  Edge image 

3.  3探索画像の作成

次に，色とエッジの両方の特徴を合わせ持つ画像を探索画像とするために，エッジを検出した画 像と特定色領域を抽出した画像を重ね合わせる.これにより，色領域とエッジの重なる画素の輝度 値を 2.色領域のみ，あるいはエッジのみの画素の輝度値を1.背景の輝度値を 0とし，探索画像

を作成する.Fig.3.3の画像を用いて作成された赤，黄色に対する探索画像をFig.3.5に示す.

(a) Red image  (b) Yellow image  Fig.3.5  Search image for each color 

4.遺伝的アルゴリズムによる位置・姿勢情報の獲得

本研究では，対象物の位置，大きさ，回転角度のパラメータを決定することの困難さに対して，

探索モデルと画像とのマッチングを行うことを考える.しかし，画像サイズが大きくなるほど，ま たノイズ，対象物以外の物体が多くなるほど，位置，姿勢を表すパラメータを同定することは困難 な作業となる.そこで，最適化問題に有効とされている GA¹¹)，12)，川， I刊を適用することにより，探 索画像に対して物体の位置，姿勢情報を獲得する.

4.  1遺伝的アルゴリズムの設定

探索モデルの各パラメータの最適な組合せを探索する問題に対して，まず，各個体の遺伝子型を 決定する.次式に各個体の遺伝子型とその範囲を示す.

x.  y.  8.  M. 

G.= 001.....0 101・・・・・100101・・・・・00・・・・・1 (4^・1) 7bit  7bit  9bit  3bit 

Xiε[0，127J， yiε[0，127J，θkε[0，359 ，] Miε[0，7J 

ここで，原画像のサイズ512X 512に対して，探索画像は探索領域を限定するために 128

x 

128の 1116に縮小した画像を用いるため，探索領域Xi ， yi は0""127である.原画像中の相似図形に対 して大きさ Miは5パーセントを 1単位とし， 100， 95，・・・， 65 [%Jのいずれかとし，回転角度θk は， 0，  ，1 2， ・・・， 359 [deg.Jとする.

また，個体を進化させていくためには，各個体が与えられている環境に適応している度合い(適 応 度 ;Fitness)を評価する必要がある.ここでは，探索モデルと画像との重なっている度合いを適 応度とし次式で表現する.

Js=‑ ~ [(x，y~ 2n 

fC丸y) : Image brightness， 

(4‑2)  n : Number of pixel 

2 4 1   4 . 1  

ま た ， 本 研 究 で 用 い た GAのパラメータ(個体数，淘汰率，突然変異率，世代交代数)を Table に示す.

Parameters of GA  Number of individuals 

2 0  

Selection rate 

4 0  

%  Mutation rate 

1 5  

%  Altemation of generations time 

2 5 0  

Table 

4 . 1  

4 . 2  

探 索 モ デ ル

本研究で用いた探索モデルは， Apple， Orange， Sweetie， Bananaの4種類である.この場合，

デ ル はApple，Orange， Sweetieの円形モデルとそれ以外の Bananaに分類される.Apple， Orange，  Sweetieの場合， Fig.4.1 (a)に示すような円形モデルを構成し.Bananaは Fig.4.1(b)に示すモデルを 構 成 し た . 各 モ デ ル の 構 成 点 及 び 最 大 直 径d刷ZをTable

4 . 2

に示す.

モ

件以平坦見

(b) Banana  (a) Apple 

Outline of search model  Fig.4.1 

Table 4.2  Size of search models 

model  constituting point  maximum diameter  apple 

1 0 0   3 4  

orange 

8 4   3 0  

sweetle 

1 2 0   4 0  

banana 

1 6 3   ‑ ‑ ‑ ‑ ‑ ‑ ‑ ‑

Bananaで は Fig.4.1 また，モデルの位置は， Apple， Orange， Sweetieの円形モデルでは円の中心，

(b)に示すような点を用い，これらの点を中心に回転が行われる.

4.  3 鉱張モデル

特定色抽出では対象物の内部も抽出するため，探索モデルの大小にかかわらず物体内部にモデル があればある程度の適応度が保証されるため，大きさに対する進化が進みにくくなる.そこで，探 索モデルの大きさの進化能力を向上させるため， Fig.4.2に示すような探索モデルよりも大きい拡 張モデル (Widenmodel)を作成し背景に対する適応度を評価する.

Fig.4.2  Widen model 

これら探索モデルと拡張モデルの評価により対象物の探索が行われるが，対象物が存在する領域に 対して背景はノイズが存在する場合が多く，拡張モデルの適応度が低くなる可能性もある.そのた め，探索モデルと拡張モデルの適応度を単純に加算し個体の適応度とするだけでは，探索が正確に 行われない.そこで，個体の適応度には探索モデルのものを使用し，拡張モデルの適応度は個体が 適応しているかどうかの判定のみに用いることとする.ここでは，拡張モデルの背景に対する適応 度

ι

がしきい値 0.5より小さい場合の探索モデルの適応度を 0.5f.とすることにより，その個体の 適応度を下げ淘汰される確率を高くする.ここで用いた拡張モデルの適応度を次式に示す.ただし，

ここでは探索モデルを 110%に拡大したものを拡張モデルとして用いる.

fw=!!~

^‑‑‑

n  ^(4‑3) 

ここで， nbは探索モデルが背景である輝度値0の画素と重なる点の個数， nは拡張モデルの構成点 の総数であり，完全に重なった場合の適応度を1.

0

とする.

4.4  位置・姿勢情報獲得実験

以上のように構成したGAを用いてApple，Orange， Banana， Sweetieの4種の色の異なる果物を 対象物とし，前章で構成された探索画像に対して位置・姿勢獲得実験を行った.Fig.4.3 (a) '" (d)に 認識実験結果と適応度を示す.ただし，画像中で白いラインにより描かれたものが得られたモデル の姿勢結果である.

AU 

~ O. 

CI) 

.~ O. 

~

O. 

Generation Times 

(a) Banana 

ハU

的 O.

CIl 

ω 

呂O.

μ4  n u 

Generation Tirnes  (b) Apple 

O. 

的 O.

CIl 

. f i

ω 

  o .  

弘司

O. 

Generation Times 

(c) Orange 

O. 

的 O.

CIl 

. f

ω 

i  

0 

μ司

ハU

Generation Times 

(d) Sweetie  Fig.4.3  Experimental result 

243 

また，得られた探索モデルのパラメータをTable4.3に示す.

Table 4.3  Parameters of search models 

‑ 、

_Banana 

‑ ‑ ‑ ‑

^x coo₉^rd₀^{i nate  y coor}₅^d₉^{i nate  angle [}

。

^{degJ . siz}1^e (%) 00  0^f.ⁱ8^t6^ne8^s1^s0   Apple  92  82  273  75  0.82519  Orange  97  51  64  65  0.92857  Sweetie  75  39  335  70  0.86250 

一一一一一ー

これらの結果により，すべての果物に対しほぽ世代交代100程度で高い適応度が得られ，世代交代 250回では物体の位置・姿勢情報が得られていることがわかる.さらに，拡張モデルを適用しない 場合を同様に実験を行い，適用した場合とそれぞれの最大適応度の平均値をTable4.4に示す.

Table 4.4  Comparison i

、 、

n_E

、

 t

司

he case where widen model applies， and the case of not applying  average fitness 

‑ u

一ヴ﹄

ny

一 司

︑

d

ny

一 司

3A﹃

‑n u oo

‑

守I

‑

‑

‑

nu

一n u

この結果より，拡張モデルを使用した場合と使用しない場合では，最大適応度の平均値に 0.15程 度の差が観られ，拡張モデルを使用した場合の方が良好に物体の位置・姿勢情報が得られているこ

とが分かる.

5 .

おわりに

本研究では，様々な対象物が存在する自然画像から，目標対象物の位置・姿勢情報獲得を行うた めの有用な物体計測システムの構築を行った.そのために，まず，カラー画像から色情報を用いた 探索画像を作成し，あらかじめ作成しておいた探索モデルを GAを用いて探索画像とのマッチング

を行い，位置・姿勢情報取得実験を行った結果，以下のことを確認した.

c!)色領域抽出画像，及びエッジ検出画像を用いることにより，簡単な画像構成法により複数の情 報を持つ探索画像を容易に作成できることを確認した.

(2)色情報とエッジ情報を組み合わせを用いて探索画像を作成することにより対象物の存在領域を 限定できることを確認した.

(3)探索モデルのパラメータを遺伝子情報とする GA を適用した手法を提案することにより，良好 に位置と姿勢情報を獲得できることを示した.

(4)拡張モデルを構成し適応度計算の評価値として用いることにより，物体探索が良好に行えるこ とを確認した.

245 

参考文献

1)島田，朝倉プランニング機構を融合したマニピュレータインターフェイスヘシステム情報学会 研究発表会講演論文集，1995，343・344

2) David  Vernon， Massimo  Tistarelli， "Using  Camera  Motion  to  Estimate  range  for  Robotic  Parts  Manipulation"， IEEE Trans. Robotics and Automation， Vo1.6， No， 5.1990，509‑521 

3)高 木 幹 雄 特 集I画 像 処 理 技 術 画 像 処 理 技 術 の 将 来J¥東芝レビュー， 45‑8， 615‑616 (t990)  4)長 野 和 夫 ， 宮 本 一 正 ， 藤 田 一 郎 画 像 処 理 ・ パ タ ー ン 認 識 技 術 の 応 用 ー 車 番 号 の 認 識 ・ ぺ

三菱重工技報， 28^嗣6，586 (t991‑U) 

5) Y.Aoyagi and T.Asakura， "Detection  and Recognition of Traffic  Sign  in  Scence Image Using Genetic  Algorithms and Neural Networks

ヘ

SICE，24‑26 (1996‑7) 

6) Y.Aoyagi  and  T.Asakura， "A Study  on  Traffic  Sign  Recognition  in  Scence  Image  Using  Genetic  Algorithms and Neural Networks"， IEEE IECON， 1838‑1843 (1996) 

7)平 槙 崇 ， 森 隆 知 ， 亀 井 旦 有 ， 井 上 和 夫 道 路 情 景 画 像 か ら の 道 路 標 識 の 検 出 ヘ 第 39回シ ステム制御情報学会研究発表講演会予講集， 247‑248 (1995) 

8)安 富 敏 ， 森 英 雄 自 律 移 動 ロ ボ ッ ト の 定 形 行 動 「 歩 行 者 追 尾J (第三報)ヘ第 10回日本口 ポット学会学術講演会予講集， 171‑174 (1992) 

9)尾 上 画 像 処 理 ハ ン ド ブ ッ ク ヘ 昭 晃 堂 ， 1987， 50  10)尾崎，谷口画像処理"，共立出版，1988， 153 

11)長 尾 智 晴 ， 他 遺 伝 的 手 法 を 用 い た 2値画像のパターンマッチングヘ信学論(D‑II)， J76‑D‑ II， 3， pp.557・565(t993) 

12)坂 和 正 敏 ， 田 中 雅 博 遺 伝 的 ア ル ゴ リ ズ ム 森 北 出 版 株 式 会 社 ( 1994) 13)北 野 宏 明 ."GA"，産業図書，1993，3‑42 

14)西山，中山，大石，亀井."GA特集ヘシステム/制御/情報，37‑8， 1993， 445‑496