九州工業大学研究報告｛工学）No55 ］987年］2月 69
視覚センサーを持った自走機械H
（1沼和62年6月30日 原稿受付）
情報工学科石川聖二
沖電気工業㈱大石 明
情報工学科伏学院）木戸 淳
情報工学科井手浩一
情 i報 工 学 科 力［1 『藍 i青 史
ASelf．Moving Vehicle with a Visual Sensoエ1
by Seiji ISHIKAWA Akira OHISHI Atsushi KIDO Kouichi IDE Kiyoshi KATO
Abstract
This p叩er pres印ts a self−moving vehicle equipped witb a TV camera as a visual sen80r． An intelllgerlt vehicle、vith a visual sensor has been、videly researched in recent years， yeI nlany l〕rob−
1ems remain to be soIved before it comes to the stこ1ge of l〕ractic〜11 use． The presellt self−mo、・ing vehicle moves in a model environment by I〕ro〔essing a TV picture and recognizing surroundin堅．
This vehicle isロn iml〕ro、・ed versioll of the olle already reported、 The llardware sy5tem of the vehト cle and the improved items are stated in the fir5川〕art． In tlle second part，11ewly developed algor．
it】1ms for the、 ehicle are described：an algα・ithm for moving the central pari of a road． and加 algorithm for recognizing且road sign． The performance of tlle「oロnerこ11gorilhm gives satisfact⑪ry result． There， parallelness is achie、℃d between the processing of a TV picture and the mo、・ement of the vehicle． The』tter algorithm can deal with tlle case successfully wllere a rond sign exi5ts in asimplified backgr四nd． 1−lowever it needs hlrther improvement， if a gelleral bユckgromd c三1se is dealt with． These individual algorithms三lre Pklnll｛三d lo be unified with those algorithnls alrendy cle−
veloped for tlle vellicle．
その大部分が視党によるといわれるように，人間の活動
1．序 論
における祖覚系の役割は大きい。そこで移動ロポットに 産業用ロポットや知能ロポットの研究が近年盛んに行 おいても、視覚機能によって外．界を認識しながら移動を われているが，中でも知能枯動ロポットの研究1｝は注 行う知能移動ロボットの研究：ト臼が行われるように 目を浴びている分野である。移動ロボットの研究には， なった。これらの研究では視覚機能としてテレピカメラ 移動機構に重点を置くものと環境の認識・理解に重点を を使川しているが，テレビカメラから得られる画像の解 置くものがあるが，後者では移動ロポットに視］‡の機能 析は一般に難しく．まだ視覚情報が十う｝に利川されてい を与えている。人間は外界の情報を五感から得ているが， るとは汀えない。
70 石川聖二・大石 明・木戸 淳・井手浩一・力［1藤請史
我々は・視覚センサーのみを搭収した視覚依存型移動 令を解釈して，PMM8713（ステッピングモータ駆動パ
゜ポ・ト（自走鰍ユ号欄の1醗を行っ己本機は， ルス振1扮け用lc）への剛三方向切・琳え信号汲ぴ モデル環境下で目的地までの道順が示されると，自ら道 回lll云パルス用クロックを8255（LSI）で作る。テレビヵ 路や交差点を認識しながらその目的地に到達し，また径 メラからの画像信号は，画像信号専用送信機を介してパ 路地図を作成するという機能を持っている。本冶文では， ソコンに送られる。
］号機を改良した自走機械2号機と．新たに付加された 本自走機械2号機は．1号機のと比較して以下の古 機能，即ち道路中央剖；の走行及び道路標識の認識アルゴ で改良されている口先ず，移動誤差を減少させる為に，
リズムについて述べ・また製僻2滉について考察を加え モータをDCモータからステ・ピングモータに類し，
ね。 移動機構をキャタピラ式から車輪式に変更している。ま
2．自走機械のハードウェア構成 た槻空聞の制約を翻す疏きに・刷を酬式か納
部バッテリーに，通信方式を有線から無線に変更してい 本自走機械システムのハードウェア構成を図一1に示 る。さらに．テレビカメラの位置の初期設定も行ってい
す。自走機械の視覚は，本体に搭載されたテレピカメラ る。
から送られる画像情報を，画像入力装置（256×256点，
1・臨・1）を介してパーソナ、レ．コンビ。一，（1、ピッ 3・道路中蜘の走行
ト）に入力し，それを解析することによって実現される。 幅が一定でない道路を自走機械が移動する場合は，道 パーソナル・コンピュー一タのOSはMS−DOS（Ver．3． 路の中央を走行するのが望ましい。本節では自走機械に 1L使用言語はC（Lattice C， Ver．3．0）である。 道路中央部を走行させる為の手法について述べる。
自走機械本体を図一2に示す。自走機械はテレビカメ 3．1前提条件
ラの回転（上下，左右）用ステッピングモータ，及び本 本システムでは輌自走機限の行動空問（モデル環境）
体移動用ステッピングモータを搭載している。また．通 に次の条件を設けている。
信系の無恕化のため，電源はすべてバッテリーで供給し 】）道路は黒色，路珊は白色で統一されている。
ている・ 2） 自走機械の進行方向に対して90°以上の局地旋回 図一3は自走機悼のハードウェア構成である。コント が必要となるカーブは存在しない。
ロールユニットでは・ワイヤレスユニットを通して受信 3） 道路輻の最大匝は50c：nとする。これは道路の中 された，パソコンからのステッピングモータへの制仰命 央に自走機｛邑tがある時，少くとも自走機械の前方80
画像λ力 1左FFt
l パーソナル・コンピュータ 1 ！ 1 （］6ピット）
「vカメフ 1
［
自走捉鰻 インクーフェイス
ニ｝：一｝□ ii
図一】 システム構成 図一2 自走機械本体
祖覚センサーを持った自走機械皿 71
CONTROL UNIT
rユH− 一一一一一一一←L−一一一一一一一一一一一、
ペ エ
l Z80 CPU
1 〜VIRELESS
lUNIT
l lv丁RTx l
L＿＿＿＿＿＿＿＿＿一＿一 ＿＿一一＿＿＿一一＿＿」 Tv
l CAMER，
・・T＾・US醐 1± l
ADDRESS BU・ゴ il曽 1 ，酬ING
MOTOR L．．』旦岨垣STEPPING DRIVE UNIT MOTOR
図一3 自走捜械のハードウェア構成
cmの路肩が画像内に映る程度の幅である。
4） モデル環境内には，建物，障害物は存在しない。
また，本アルゴリズムを適用する道路の部分には，
交差点は存在しない。
5）道路に高低の変化はない・ START
3．2 自走機械の行動アルゴリズム
自走機械の行動アルゴリズムを図一・1に示す。行動ア ルゴリズムは画像処理部と移動制御音1；に大別される。
3．3 画像処理部
画像処理部は，画f象情報から中央点座操を抽出し，移 動制御部に渡すことを目的としており，画像の入力及び
2値化，情報杣出画像の決定，中央点座標の抽出，終了 判定の順で行われる。以下それぞれの処理について述べ
る。
川画像の入力及び2値化
テレピカメラと画像入力装置によって自走椴械の進行 方向の道路画像を入力し，前処理としてその画像を2値 化する。
② illl報抽出画催1の決定
自走機械から送られる道路の画像は，本体が左方向に
ずれているとすれば、そのずれの程度に応じて図一5に END 示す3種類に大別できる。（本体が右方向にずれている
場合は，以下に述べる処理を逆にすればよい。）
例えぱ図一5（b）の画像が得られたとすると，図一6（n］
画像入力・2値1ヒ
中央．・．！遜出判フ￡
カメラ方向変換
中央点座標抽出
終了判定
座el変・換
本伸桂動
画像処理．部
特1助刮抑部
の様に「llli像座標上の点（0，255）から」J l抽に沿って上向 図一4 自走機械の行動アルゴリズム
72 石川聖二・大石 明・木戸 淳・井手浩一・力II藤清史
錫路 影滋
稀
］」座標
255
o＿＿三竺L255
図一7 中央点座標の抽出
（n〕 ずれ大 刑 ずれ中 ｛亡） ずれ小 P q
Q
よって1司図｛b〕，（c）と変わっていくことになる。
｛3〕 中央点座標の抽出
決定した情報抽出画像から中央点座標を求める手続き を図一7に示す。写とyの小さい方の点（図ではQ）
よりさらに小さい座標を持つ点R（0，yo）から右向き 図一5 入力画像と本体の向き に走査して行き，画素が1（白）から0（黒）に変わる点 をA（エA，yo）， Oから］に変わる点をB（エn． yo）と すると，
M（町，口⑪） ただし鞠＝（エA＋苅吐／2 0 工柚 255 が中央点の座標となる。これを移動制御部に渡す。
0
μ柏
P〔0，」」p｝
255
（4）終了判定
中央点座標の抽出作業においてA点が発見できなけれ
ご〉 ぱそ眺に道路端在しな、、と洲して紅する。
Q 3．4 移動制御部 P
移動制御部では，画像処理部から渡される中央点座標 川・・一肋1＞d @［川⌒1≦ f によって本体の移剛剛を行う．この際の本体の酬ま
図一6 カメラの回転による画像の変化 局地旋回と直進の2種類である。
（1）座穂変換
本システムには，画像座標系の他にモデル環境上にお きに走丘して行き．画素がo（黒）から1（白）に変わる ける3教元座標系が存在する。その原点は自走機械本体 点をP（0．yp）．同様の走査を点（255，255）から上向 の中心から1身ミ而におろした点とする。ピ軸は本体と同じ
きに行って見つかる点をQ〔255，法、）として同図㈲の 方向で床面上に存在する。エ 軸も床面上に存在し．〜柚 様に と直角に交わる。口 柚は床面に対し垂直上向きに延びる ］恥一y，1≦ゴ 川 軸である。移動制御は，画像座標系を3次元座標系へ変
となるまで，カメラを少しずつ右に回巨させながら以上 換することによって行われる。図一8で，0は三次元座 の処理を繰り返す。式lnが能初に満たされる画像を情報 標系の原．点である。 A， Bはそれぞれ図一7のA， Blこ 抽出画像とする。ここでゴは任意定数であり．ゴを小さ 対応する。Cはカメラの光軸と路面の交点． Nはピ柏
くした方が良い情報抽出画像が得らオエるが，カメラの回 と■ラインの交点，Mは蜘ラインにおける走行路の 転動作回数が多くなり，画像の決定に時間力こかかる。 中央点であるとすれは1変換式は次式で与えられる。
趾のアルゴリズムによればほ一5国騨に1・・ MN−b−G蝋・θ＋・…倒 一y，」〉初画像と考えられるので，カメラの回転に ∫
視覚センサーを持った自走機械n 73
y・ライン 〕㌦、 ． ．・・…一．．
38qη互煤端・㌔㌔一．濃〃．，・汐噺鞠z塀殉≡舞．
B 上．li ・・…．．勒働一互．・．・… 広二江14 ノ⊇η珪三1ジ馨綬i警…劔形 ‥ 、…滋・亘
・1田cm ＿ 図一9 移動実験の結果
4．道路標識の認識
実環境では，道路の通行に閲する情報を与える手段と 図一8 旋回角度と直進距離の算出 して道路標識が使われる。本研究においてもモデル環境 内に道路標識を設定し．自走機械にその認識を行わせる。
本節ではその手法について述べる。
・N」書≡濃；鴇；θ ：ン霊蕊下の条件を満足するものとする．
ここで・Cロ己は画像座標系におけるカメラの光軸 ユ） モデル環境内の道路は黒色，路口は白色で統一さ の座標．占は床面からカメラの中心までの高さ．θはカ れている。
メラの｛府角・∫はカメラの中心から仮想投影面までの距 2） 自走機械が進行方向に見る交差点の形状は，図＿
離と，投影面と画像座標系の大きさの比率との積を表す。 1Gに示す6租類である。
それぞれの値は巳＝C・・＝130・ゐ＝23cm．θ＝7°，∫＝ 3） 道路標識は，111色の板にバターンが白色で描かれ 672である。 ており，その種類は図一11に示す7種類である。標 〔2）局地旋回と直進 識は進行方向に対して道路の左側．かつ交差点の手 次に局地旋回の角度と直進の距離を求める。自走機械 前に位置する。
本体が中央点へ進む際の∫局地旋匝破を円直進距離を 4）道路に高低の変化はない。
1とすれば， また．画像入力時には次の条件が満たされているもの ．11MN］ とする。
伊＝tan
°N l）自走｛鰍は1螂の□・央にあり，その向きは雌｝の ‥ON 延長方向に一致している・
C°sp 2）カメラの光軸方向1ま本体の向きの左右ポ以1句で
が成り立つ。 ある。
3．5実験と結果 4．2道路標識の認職アルゴリズム
本自走機械の走行尖験を，ゆるやかにカープし帽が一 道路標識の認；t止アルゴリズムを国一ユ2に示す。
定でない道路（全長4，8m）上で行った㍗その結果を図一 4．3 認畿手法
91こ示す。画像取込み回数は103回進路変吏回数硝報 本泓；散手法は，抽聞i」或の決定、形状認il哉、内容認i1、k．
抽出画像決定回数）は・U回，全所要時間は5分32秒で 及び距離計算からなる。
のった。図一9で．迫路中央部の点列は，本1ヨ走機悼が 口） 甜1出領」曳の決定よ
1蹄類を行った位置を示す．なお，式ωにおける∂ 2flli化佐の画像上の点を叫，臼一田．・・。255）で の伽ま］00｛こ設定してあり，オ琳の耳鋤辿度は1、5 呈ξす。
Cm／Secである。 ⑪＿、ll、〜
」v 、」＝
1…白
ア4 石川聖二・大石 明・木戸 淳・井手浩一・加藤清史
回 （b｝ 〔c｝
〔出 〔c｝ 田
図一10 交差点形状パターン
」血
」，，
国一旧 抽出領域の決定
Nq・l ND．2 No，3 No．、I rや
品 蹴 ・… の近傍で駐・。を満たすノの最小値最大イ、，〔をそゴエ 図一11道路蹴 それん」・とする・
次に，、L、，芦を次式で定義する白 ノゼ
L＝Σ1』fl．」．一川山1，
」一」F ⊥．坤＝nlax L∫．
⊂亜⊃ ここ ，ノ∴。は。≦み≦ノ。＜255な醐聯．
ある正の値δLに対してL坤≧δ1．の時，芦の近傍で
とする。
≦」b）を道路標識の候補領域として抽出する（図一13 である。今∧5，芦を
八「∈ΣIM，〕一』∫ ．ノ1，
べ ベコ ∧F、．＝max∧㌦
ノ
で定義する。ここにら． ．は0≦f、≦ゴ．＜255なる整 数である。ある正の値δNに対して苛＊≧δNの時，戸
｛2〕 形状是1識
より，道路標識の形状（夕研多）を認誼する。形状は円形
（3｝ 内容認識
る。内容認‡；削まその形状により次の3租類に分けられるc D円形の場合
図一14に示す4本の走査線を抽出領域上にとる。各走 図一12 道路標識の認識アルゴリズム 査線上の】の両素数5を閾仙δwと比1岐し、5≧δwな
視覚センサーを持った自走機械n 75
㊨／−7＝屡欝 らぱそ三走売竺1の8墜白の難 あると判定するコ
1／・］ユ
1
1／
にゴー「一仁＝1 この場合の標；i脚伽のみであるからL・告・止
エ ー1に示すよっに，一の白の領域の組合せによって内容 一①上走3置皇 1己識を行う。
ii）丑方形の場合
図一15に示す2本の走査線を抽出訂i域上にとる。左走 査線及び右走査線上の］の画素数〔それぞれ昂，5，と 一②下走査線 する）を調べ，表一2に示す判定法によ1〕認こ己を行う。
iii）三芦」丑多o）」易合
｛ら、」、）
一 ・ 一一丁 」
1／4 1／4 と認1髄する。
注i）措号①一④は走畳朋を表す （4）距離計算
注2は分数は蹴をそれ目・］としたとき砒皐 道路麟までの距離を画像上で求めるパ1；哉の大きさ 図＿14走査線の位置（円形囎合） は一定であるとし・その」献輻の画像上での画二撒と距 離の閏係をあらかじめ求めておき，それを表の形で利用 する。
表一1 道路標誌の認監組合せパタ＿ン 4・4 実験と結果
脚［鋤胎） 本アルゴリズムを使って道蹴；識の認識」遜を行っ 走査線、①巨③1到認識棚と た：・磯験では撒化されたモデル嚥の中で，崩
5 の
値 1 走機械から，、、眠までの距離をハフメータにとり．91回の
1・oゆ削左掴 ・
聞÷1剤軽「 1：翌慧1鷺イ；鷺㌔言三
である。
巴」≦⊥辿」唖・右折可 ｛瀾圧及び道品鯉その1也の酬ま白となるよ忙状 回。回・1直近・左折可 況を凝した．図一1ユに示す，伽iの標、識闇しては
呵11右前 ＿煙，剖 一、【．．
Ols≧31＿ ＿一 認識を試みた。その結果1。o％の認i蹄を徽・、国＿】6
×ls＜3
］／4 ］／4
］・1コ o
図一15 走査線の位置（長方形の場合）
認；哉き吉果
Sl＞5． 左則一方通行
苫】＜Sr 右側一方通行
81＝s． 1エラー
樗1。五1措▲」・… 3 抽出訂1的… MINJ＝5n
キ2齢麟の麟組合せパターン ‖i㌫匡1°2
q訪形の」胎｝ MAぬ＝56
認，哉き、1、果 形状 11］形 a，品乳■1渠… プ■1折］1「
2己｛i叫一プ∫辺］i〒 r江敵・ ・ … 11Pc］11
右側一方通行 （c｝認。雄〜，恥
1エ・一 図一16繊実齢線
76@ 石川聖二・大石 明・木戸 淳・井手浩一・加藤清史
5．考察 ログラム・6）道路地図作成プログラム。このうち川，
2L 3） のについてはプ・グラムを統合して杣，
道路F映部の走行については・ほ囎的を1鑓した・ ・），・）については醐に動作を五1認している．の，
相走酬は撤している8ピ・トマイク・プ吐・サ 5）についても統合化を行う予定である。
を使って，ホストコンピュータとは独立に移動を行うこ
とができる．従って描めに酬繊i、剛齢を与え 6・結論
ておき卿像処理部で中央点剖i・出する度に局地旋回命 テレビカ・ラカ・ら得られる画像欄1のみを利肌醒 令を与已という手法躍っている・このような剛と 動する殺蹴1里馴・ボ。トの醗を行った．ソフト 画像処理の並列性によりユ時1酬御を可能にしている・ ・フェアシステムとして6醐のプ・グラムモジュー，を
しかしながら画像処理に要す碍nl］は鰺見できる髄で 蹴したが，瑞文では特に道路弓・螂の走行と齢 はなくほ繊齢遮を現在刎・5・nゾ…よ融めれ 聯の認識についてその手法を述べた．現酬酬景力、
ぱ制御の実醐性は損なわれるであろう．また，本手 ら標1；龍を剛出す為の手法の1醗，また喘され姪プ 灘適肌た継の自麟械酬・蹴 趨中螂で抽 ・グラムモジュール嚇勧吟後の。果題である．アルゴ 出され硝緒端れ線である・従って画像のサンプ リズムの臓化や・隔プ吐。靭利用によって画蜘
リング問隔が短くなる概の蹴｛ま道路の中心線に近づ 理の高速イヒを・，「れば、襯情髄一拒］有効に利用するこ くが・画f象処理腰する時II肋こ順してしまう・パソコ とも可能であろう．本蹴は螂省科学融費6175。342 ンを前提として画像処理を高速化するには，画像処理プ による。
ロ七ッサの利用が考えられるo
本手法で開発した道路標識の認識手法は，抽象化され 参 考 文 献 た設定の下では，標識の切り出し及び内容の認識に閲し
て良い結果を与える。しかしながら，現実的な背景から D日本ロポプト学会細：鵜回知能移∬ψロボツトシンポジウ
蹴⑳出しを行うには，まだ1鮒べき点働．・r；蕊蕊蕊慾1：ll㌔＿b．＿∴，，Φ
また，認識対象となる道路標識の種類の拡大，袖助標識 ccヒdings IJCAI一抱，598−600｛1979｝．
や路嚇嚥繊緒の課題である・自撒が3f三蕊ll蕊諜㌫悉灌：：
標識を認識しながら円滑な移動を行う為には画像処理の 術講演会「F稿集，］13−Il4（1985）．
三耀蕊惣≧：㍍㌘41磐鋼嶽；腰漂≧
閉発が必要となるであろう．なお，道罐識認；蹴験は， 5牌内融田： カラー画1象はる剛畔・トの環据蹴 ・ 画像からの標識の切り出し及硯」哉に止まり、認：蹴 蕊□能剛゜柵シンポジウム予1瓢・7−72
を自走機械の移動に反映させるには到っていない。この 6）石川・田村．原田．」｛二手，加藤：・親覚センサーを持った
点も今後嚥…巳である・ ，1ヨ糞：㌻1駕識薔灘議；≧灘元連
本自走機械に閏して開発されたソフトウェアは次の通 化 ，昭和61年度九州工業大学工学部情報工学刊．卒漣、論文
りである・1働・酬鋤珈1御プ・グラム・・）位㌫暮㌦，・轍理による道綱の認、＿の高連
置・姿勢制御プログラへ 3）交差点形状認識プログラ 化1 ，昭和61年度九州工業大：；と工学部情報工学科卒業論文 ム．4）道路中央部走行プログラム，5）道路標証認識プ ｛］987）
