大学院生田村兵衛大学院生原　田　典　明

九州工業大学研究報告（工学）N。、531986年9月       55

視覚センサーを持った自走機械

（昭和61年5月31日 原稿受付）

情報工学科石 川 聖 二

大学院生田村兵衛

大学院生原 田 典 明

      井  手  浩  一       加  藤  清  史

ASelf−Moving Vehicle with a Visual Sensor

by Seiji ISHIKAWA

  Hyoue TAMURA   Norlaki HARADA   Kouichi IDE   Kiyoshi ICATO

      Abstra已t

  The present paper de5cribes a vehicle、vhich moves且utomatically by processingΨisual informa−

tion from a TV camera m皿nted on it． It is controlled by a micro−computer equipped with a pic．

ture sampIing device． The software system of the vehicle is composed of two main parts：an image 匪oce5sin8 part and a contml part． The vehicle movEs on由e idealized roads in a model environ．

ment． It detects three kinds of information from the binary imag巳of the intersection coming in sight：the type of the intεrsection， the location of its center， and the《≧xistence of building5 near the lnterse〔tion・ The control part of the vehicle employs the in∫ornlation to give next move to the vehicle・ 工t alsO makes use of the information to map the streets and the irltersecτions the vehicle passes． An experiment is performed to examine the motion of the vehicle． Given the route to a des［ination ln a model envir⑪nτ11ent， the vehicle arrives at the d｛∋stination by recognizing roads and lnte・se・ti・・・・・…山・， P・。d・d・g the m・p・ftl…t・・eL Thissim・1・te・h・m・n b・h・・i・・i・b・ki・g f…d・・ti・ati・n i・・n unk・・w・pl…，

1・序論 @    こ㌶：∵鷺㌶蕊型・・ぷ卵者

視覚を持つ移動ロポットの研究は，ロボット工学とコ  は移動機能に研究の重点が置かれ，後者は外界の認識に ンピュータ・．ビジョンの接点として、近年盛んに研究が  重点が置かれている場合が多い。ロポットの環境認識の f丁われている。人川の視覚判断機能の機械による代替と  手法として，光七ンサや超音波七ンサを用いるもの4），

いうテーマは、R。』以来の歴史を持つが1｝．近年の テレピカメラを用いるもの〜L い ・6〕などカ・ある。後 半糖理の進歩によるハードウェアの制約の紐和が，者のうちコ珊 ｝の移鵬ボ。トは．剛の際にラン

56       石川聖二・田村兵衛・原田典明・井手浩一・加藤清史

ドマークを援用している。テレビカメラからの画像だけ   2、2 機器の構成

で環境認識を行う移動ロポット臥〒L8｝は，研究が進   本システムのハードウユア構成を図一2に示す。自走 められているが，まだ機能は低い。        機械は，前後鵡右左折・左右局地転回力呵能である。

 本論文では．環境の認識手段としてテレビカメラのみ  視覚は1自走機械に搭載されたテレビカメラから・画像 を用いた，自走蹴（棚・ポ。ト）1・ついて述べる． 入力装置EYESYS｛256 x 256点・グレイレペル16）を 目的地までの道順を与えると，本自走機械は画像処理を  介して入力された画像を解析することによって実現され 行って道路や交差点を認識し，移動する道路の地図を作  る。テレビカメラは・上下及び左右の回転が可能である・

成しながら目的地まで到達する。これは，未知の場所で， これらの制御及び画像解析は・パーソナルコンピュータ 自分の置かれている環境を視雌りに把握し，次の移動方 ｛NEC PC980・m2−8086・8MH・）によって行われる・

向を決定するという行動を繰i〕返しながら，周囲の地理  OSはMS−DOS（Ψen2．11），使用言語はC（Latdce q 情報を作り上げていく人悶の基本行動パターンをシミュ  veL2・12・S−model）及びマクロアセンブラ（MASM・

レートしている。      Ψer3．00）である。

 本自走機械の構成，画像処理部，制御部について以下   2．3 自走機械の行動アルゴリズム

に述べ，製作結果に対して考察を加える。         自走機械の行動アルゴリズムを図一3に示す。

2．システム構成       3．画像処理部

 2．1 モデル環境      画像処理部では，自走機械の行晒と地図作成に必要な  本自走機械の行動空間はモデル環境と呼ばれ，以下の  交差点情報の抽出を行う。

条件を持つ。      3コ 機能

 ユ） モデル環境は，黒色で統一された道路と，道路で   入力された画像内に存在する交差点についての情報を   囲まれた矩形領域によって構成される。       画像処理を行うことにより抽出する。抽出される情報は，

 2）矩形領域は白色で統一され，道路に沿って建物が  交差点形状・交差点位置・建物情報の三種類である（図   存在してもよい。このとき，建物の色も白色で統一  一4参照）。

  され，その壁は地面に対して垂直，高さはカメラよ   3．2条件

  りも十分高いものとする。      本手法は，以下の条件が総て満たされている場合に適  3） 道路の高低の変化はない。       用される。

 図一1にモデル環境の例を示す。      1） 入力画像内に，進行方向に存在する最も近い交差       点領域が完全な形で存在する。交差点領域とは，道       路と道路が接続している矩形領域を指す。

      PC9801m 2        （8MHz）

図一1 モデル環境の例       モデル環境

図一2 ハードウェア楕成

視覚センサーを持った自走機械       57

START     2）処理に支障のない画像力「｛1｝られる程度酬明があ

      る。

       3） カメラの冊角は既知である。

初期設定       1）の条件は，過去のバージョン9］に比べて画像入力       位置の制約が緩和されており，位置制御部の負担を中圭減       している。2）の条件は，入力画像の質を規定し，3）は．

      処理領域の決定に必要なパラメータを与える。

       3．3 手法

       本手法は，（1）左右処理領域の決定、（2）画像入力及       びその二値化，｛3〕交差点パターンとのマッチング，

      ｛4）交差点佃報の抽出，（5）情報の伝達の順に処理を行       う。以下に，各処理について述べる。

      （1） 左右処理領域の決定

       本手法では．交差点を含む入力画像を左右に分割し，

      それぞれについて処理を行い，その結果から交差点情報          後処理       を抽出する。よって．あらかじめ画面上で左右の処理領       域を決定しておく。

         END       （2）画像の入力及びその二値化

       画像入力を行った後，前処理として，入力画像の二値     図一3 行動アルゴリズム         化を行う。

       （3） 交差点パターンとのマッチング

       交差点形状の醒識の為に，左右の処理領域でパターン       マッチングを行う。処理は，左右対称な手法で行われる

 宴早       ∠

       ベ ン

韓響竃鷲 ：㌫㍗左処綱の⇔ チングにつ

゜  ユ  2  3   マ。チングが行瀦破差点パターン｛ま，図＿5に示

饒［闘［副團 r：鷲蕊蒜墓織蓮芸隠

 4    5    6    7       これらの交差点バターンと処理領域の画像とのマッチ       （a）交差鯉状     ングは弓イルを用いて行う．タイ，レとは漠差点パ

      ターンを，道路の緑が水平に見える部分に注目して分割       したそれぞれの領域を指す。タイルには，表一1に示す

      x玄  撫分割し酪剛、つき二種類の㈱端する．

       銃2↑賑 交一一とのマ・チング・土緬蹴でのタ

交差点領地の中央   斜線の領域の       イルの形状を潤べることによって行う。

の点（画像座掃系）   建物の有無』       タイルの判別の概略を次に示す。

｛b｝交差点位置     （。）建物情報         i） 水平部検出

       処理領域をタイルに分割する為に水平部の検出を行い．

図一4交差点から抽出される欄   水平部の存在するタイ峠切り出す．水平部力・存在しな ければ，パターン6（図一5参照）である。

 iD タイル位置の決定

 切り出されたタイルの領域内での位撒を澗べ，残りの

58       石川聖二・田村兵衛・原田典明・井手浩一・加藤lilr史

される。このとき，図一6に示す二つの特徴点の座標も 求める。

 以上の処理を左右の処理領域で行う。

2灘姦壕 ㌶巖表一2−一右の交一

1  2  3   交差鯖1網（図一4参照）は．（3）で得られた結果を

       用いて抽出される。

       ヂ

4     5      6      ターンの組み合わせによって求められる。

       b） 交差点f立置

  図＿5 交差点パターン      対角線の交点としての交差点位置を・（3）で求めた特       徴点の座標から求める（図一7参照）。実際に位置を求       めるには四点の座標が必要であるが，そろわなければ，

      左右処理領域の境界に対称な位置に点を想定するか，別

表一1タイル位置とタイル   醐灘恥て位畦勅る。

番号 位置

1

2

外 ^中

 考

㌢、霧

綾 言 i／ノ

，勧

内

篶．：

㌶

 c） 建物情報

 建物情報については，交差点パターンが2又は4の埼 合に，その領域に建物が存在するものとする。

特徴点

図一6 交差点パターンの特徴点

タイルを切り出す。

 iii） タイルチェック1

 本ステップでは，i）， iDの処理によって，処理領域 が二個又は三個のタイルに分割されているかどうかを調 べ，1−5の交差点パターンを，それぞれ13，4，司 及び口．21の二種頚に分ける。このとき，惚，4，

引の交差点パターンは，水平部の位置を用いてi3，

川と1引に分けることができる。

 iv） タイルチュック2

 前ステップで未判別な11，引及び13，川の判別を 行う。これは，外の位置のタイルを調べることによって 行われる昏

 タイル判別の結果、処理領域の交差点パターンが決定

表一2 交差点形状

右パ

1 2 3 ^{4 5 6}

1 0 0

× ×

2 0 o

×

3 1 1 4 ×

4 ＼ ^{1 1 4} ×

5

×

6 3 3

× ×

視覚七ンサーを持った自走機械      59

（5｝情報の伝達      4．1移動命令の形式

 画像処理部では・多数の情報を他の処理部と交換する   目的地到達までに通過する各交差点での進行方向を，

為・酬の受け渡しを・メモリ仁は設定されたバッフ・ 初期般融寺にコードで与える．罐点から湘破差 を介して行う・        点をα（r−0，1，2，…）．その交差点での進行方

図一8に・交差却 端lh出アルゴリズムの流れ図を示 向をD・（直」韮．左折、右折の順にDr−0，1，2）と す。      する。目的地をCηとした場合，目的地までの道順を        （Do， Dl， D2，…，D ］＿1）の形で与える。

 4．2 地図の作成

 本自走機械は，道路上を移動しながら，交差点の所在 と形状を地図上に記入することによって，地図を作成す る。画像処理によって認識される交差点の形状は，自走 機械から見た形状であるため、これを固定座標系での形 状に変換する必要がある。以下．その処理について述べ          交差点位置      る。

      固定座標系で考えられる交差点形状として，新たに図 図一7 交差点位置       一9に示す七種頚が追加される。画像処理部から伝達さ        れる㌔報は．自走機械から見た進行方向（直進・左折・

       右折）と交差点形状である。この形状を固定座標系での    START

       形状に変換する場合，自走機械の固定座標系における進     一       行方向が必要である。これは，出発点での方向を初期条        件として与えれば，後は自走機械から見た進行方向の情      ＿      報を利用して逐次求められる。固定座標系での方向は，

左 働

       8      9      10     11

12      13     14

鰍をバ・フ・に脳  巧一・・七一ジの獅     図一9追加された交差師多状

      本モデル環境では班西南北の四方向である。これをそれ        END     ．      それE， W， S， Nで表す。表一3は．交差点形状変換       表である。同表は，自走機械から見た交差点形状を，自     図一8 交差点情報抽出アルゴリズム

      走機械の固定座標系での方向と対応づけることによって，

      固定座標系の交差点形状に変換する。

4．制醐         画像処理によって蹴さオt破註形状を珊糠一

      3で変換すれば，日的地までの地図を作成することがで 制御部では，図一3に示すアルゴリズムに従って，自  きる。現在のシステムは，道路画像の処理に重点を置い

」じ機械の制御を行う。       ているので，交差点則の距離は＿定としている。

60      石川聖二・田村兵衛・原田典明・井手浩一・加藤清史

表一3 交差点形状変換表

固定座標系での方向

E w ^{S N}

0 o o 0 0

1 2 3 8 1

2 8 1 3 2

3 1 8 2 3

4 9 5 ユ0 4

5 4 10 9 5

6 11 13 12 6

7 14 14 7 7

X1

図一10道路の端の位置と傾き

       O

      Fヌ

       A      v        D      c

 4．3 位置の修正

地図作蹴認識され鮫差点までの馴を行・・移 霧 』θL  馬 ・ 動が紳るとぽ蹴内で位置の修正を行う．テレピヵ  ヲー／  ・

、ラから入力される画融の蹴の脚ミは，自走酬の  〜

位置に依存するので，この形状から自走機械の道路上で     図一11画像上の道路と自走機械の位置関係 の位置が認識できる。これを利用して位置を修正する。

位置認識法の概略を以下に示す。10）

 図一］0は，二値化後の入力画像である。画像の最下部

での道路の端と画像枠との交点をX，とする．図一］1に  で与えられる。ただしαは定数，Xmは画像の下側の枠 示す様に、カメラの僻角が一定なら画像の最下部の位置  の中点の横座標である。

ABは常に自走機械の中心Oから、距離Lだけ離れてい   次に，図一UのE己昂㌔Lと且 θの間には次の閲 る。同図で，Dは自走機械の道路端までの距離，βは  係が成り立つ。

道路に平行な方向OXからのカメラの光軸OVのズレ

である．ただしθは，進行方向に対して右側を正とする・ D一芸（鋼・…   ｛・）

 線分ABとOVの交点をC， ACの長さを5とすれば，

      また，図一ユ0で，道路端の直線の画像上での傾きを       方／右とすれば，

    5−。￡θ＋L胞・θ   ω

      芸≒β金     ω

である。また入力画像から．5は

      が成り立つ，ただしβは定数である。（1），（3）式から     5＝ロじ㌦一x ）      ②         、

      D，θを与又る式が次の様に得られるロ

視覚センサーを持った自走機械       61

   D−、繍≒   （・）6 考察

       移動実験によって，自走機械に関する当初の目的がほ       ぽ達成されたことを確認した。

       マイクロ・コンピュータでi萌像処理を行う為に，モデ

・一 ﾉ±：1：：：：：㈲礁il㌘騰ii灘i

       に時問がかかる。本自走機械は，移動と環境認識を逐次  ここで．〃＝（万r／1三y）（L＋、εy）である。（2），  的に行うが．これを並列に行う方法に変更すれば、移動

（4），（5），（6）式から，自走機械の位置情†｝〜が得られ  中の位置修正が可能となる。この方式の方が誤差の蓄積 る。       が少ないので，交差点での位置1修正も容易になるであろ        う。

5・鋤実験        粕走蹴とマイク。．コンピュータは晒像儲及

 本自走機械の走行実験を，写真一1のモデル環境上で  ぴテレビカメラの回転の制御信号を伝達する為のコード 行った。各種パラメータの値は，表一4に示す通りであ  で接続されている。自走機械のスムースな移動の為には．

る。同表でβの値が左右処理領域で異なるのは．水平方  この部分の無線化が望まれる。

向に対するカメラ台のわずかな傾きのためである。道路   地図作成部では．現在，自走機械が通過する道路と交 輻は54cm，交差点聞の距離は200Cmである。       差点のみが．地図上に記録されている。従って，自走機

写真一1で一番手前の交差点を初期位置とし．移動命  械がモデル環境内の総ての道路を通過すれば，地図が完 令を変えて実験を繰り返し．本自走機械が，カメラから  成する。人間が道順を与えられて目的地を捜す行動には．

の視覚情報だけを利用して移動可能であることが砒認さ  道路の見えない部分の接筋c閲係を類推するという推論行 れた。       為が含まれている。このような機能を地図作成部に与え        れば、効率的な地図作成が期待できよう。

       現実的ではないので，モデル環境に課している制限を緩        和する必要がある。画1象処理部の機能を拡弓長して．道路        や建物の他に，記号や文字の存在するモデル環境を認識        対象とするのは．興味ある問題である。

テレビカメラの傭角 ^3，75°

α 0，IS3

左 0，192

β

右 0，234

7．結論

       ｛   テレビカメラから1！；られる外界の画像だけを手がかり        ＝   として環境を認識し，目的地までの移動を行う自走機械   写真一1 モデル環境      を製作し，その画像処理部と制御部，及び移動実験につ       いて述べた。人間は視覚だけで支障のない移動が可能で 表一4 パラメータの値      あることから，視覚梢報が十分に利用できれば．視覚セ       ンサーのみを持つ簡素な移動ロポットが実現できるであ       ろう。本自走機械の機借の改良，地図作成における推滅       機能の導入，また画像処理部の機∬E拡張が今後の課題で       ある。

62       石川聖二・田村兵衛・原田典明・井手浩一・加藤清史

参 考 文 献

】） 白井：コンピュータピジョン．昭晃堂（1980）

2） 加藤，高西，石』川、加藤：竃2足歩行機械システムの研  究㌔パイオメカニズム．6，252−260（］982）

3｝ 舘，小森谷．谷江，大野、阿部．細田：C視線可動型セ  ンサを川いる自律程動機｛戎の桂動制gピ，パイオメカニズム．

 5， 242−25」 〔1982）

4） 金山、汕田：Micro M口use． CQ出版臼982〕

5） 高野：Lli1己経路決定法による自動搬送 、パイオメカ  ニズム， 6． 232−241 （1982）

6）  氏lorl1VeC．1−1．P．： kVisunl I皿apping by a robot roverβ・

 」う一θrオ㌔〔f∫〆」 」〔5rよ∫〔｝1∫−79， 59B−6DO  （1979）

7｝  一ノ誕．宅｝・r勺！］ヨ，主ヒ： た移動ロごドット｛二圭51ナる環境認；説  の一手法コ，電手通信学会技描研究†置告，PRL82−72、55−

 60 （19B2）

8） 八木．浅m，谷内田．辻：し動画像を川いた移動ロポッ  トの項境認識タ，情服処壇学会コンピュータビジョン研究会

 苛f1：』1・， 35−−5， 1−6 （1985）

9）田村：t悦覚｛榊｝時干1」用した自走機械⊃．昭和60年度九

 日｛：］二菜コこ￡芹ユニc｛七剖；iη看艮］二：1羊1斗卒業論文  （1986〕

10） 原田：：視党情帽を利用した自走機械二，昭和60年度九  州工業大学工学部i lll鰍工学科亭1胞白文（19呂6）