自律走行車のカメラによる視覚 システム
西守
克 己 。岡 田
又治
*1・石原
永伯 。平川
進
キ
2徳 高
平蔵・ 岸 田
悟 。藤村喜久郎
電気電子工学科・
キ
I(現)マツダ自動車工業
lkl・・
2(現)富士通い
(1993年9月 1日受理
)Vision Systeni for Driving Control l」
sing Camera
【
ounted
on an Automatic Vehicle
by
Katsunli NIsHIMORI,Mataharu OKADAホ 1,Naganori lsHIHARA,SuSumu IIIRAKA覇
〆Aネ2Heizo ToKUTAKA,SatOru KIsHIDA,Kikuo FuJIMuRA
Department of Electrical and Electronic Engineering
*lA/1azda Corporation
■2 FtliitSu cOrporation
(Received September l,1993)
ヽVe have proposed a vision systenl for an automatic vehicle都/hich mounts a CCD
camera as a vision sensor This system is employed fOr the silnulation of fuzzy driving control for a model car The fuzzy control is based only on information of driving images processed by the vision system 「Fhe result shoMIs that the fuzzy control is useful for automatic driving using a personal computer system applied to the vision system.
1.
は じめに 視覚 は,人
間が外 界 に関す る情報 を得 る上 で最 も重要 な役割 を持 ち,自動車 の運転 に必要 な情報の大部分 は視 覚か ら得て いると考 え られる。この優 れた認識機能を機 械で実現す ることが,コ ンピュー タ ビジョンの研究目的 の一 つであ り,ロ ボ ッ トゃ自律走行車 のために画像によ る外界認識 の研究1)が熱心 に行われて いる。 このよ うな コン ピュータと結びついた画像情報処理技 術によ り,将
来は ロボ ッ トゃ車両が人間 と同等 の環境認 識機能 を備 えることが期待で きる。 しか し,今
日のコン ピュー タ ビジョンが 自律走行車の環境認識装置 と して十 分 な機能 を達成 してい るとはいえない し,また,他
のセ ンサーや情報通信のなかで視覚の役割 も明確 にな ってい るとはいえないで あろ う。画像処理 による自律走行技術 を考 え るには,画像処理 によ る環境認識技術 の特 徴や技 術的な問題,また,自律走行 システムの全体 のなかでの 役割等 を明 らかにす る必要が ある。 本報告で は,模型 自動車を フ ァジィ制御 によ り自律走 行 させ るためにカ メラを視覚 セ ンサ と し,道路等 の走行 環境 を認識す るための視覚 システ ムを提案す る。 さらに その視覚 システムの画像情報 に基づいたファジィ制御法 を開発 し,模
型 自動車 の走行制御 シ ミュレー シ ョンを行 う。以下 に,その詳細 を報告す る。2.視
覚 システム2.1
視覚 システムの目的 視覚 システムは,コ ンピュータ ビジョンを用 いて環境 認識 を行 うことを 目的 とし,次の3つに大別 され る。第 一 は自動車 の操縦 の自動化のために画像処理 を用 いた も の。第二 は屋外環境 で知的活動 を行 う自律走行車 の環境 認識機能 と して視覚 を用 いた もの。第三 は主 として室内 を移動す る知能 ロボ ッ トの環境認識機能 としての研究で ある。 これ ら視覚 システムに関す る研究 は知能 ロボ ッ トの環 境認識機能 の技術 と して発展 して きた といえる。ただ し, 自律走行車 と比 べ ると知能 ロボ ッ トの場 合には,移動 だ けで な く環境 を認識,理解 し作業 な どによ り外 界 に働 き かけることを目的 とす る場 合が多 い こと,ま た,活動環 境が主 に室 内であること,移動 のための構造が特 殊で あ ること,等の違 いを もっている。 しか し,移
動体 の環境 認識技術 と して,重要 な技術が数多 く研究1)されてお り, 将来の自律走行車 にと って技術的 に大 きな意味 を もって いる。具体的 には,多限視 による距離認識,環境 認識 と モデルの構築,行動 の プ ランニ ングと制御等,自律走行 革 に不可欠 な技術の研究が多 い 。2,2
模型 自動車 におけ る視覚 システムの構成 一般 に自律走行車の視覚誘導 システ ムを実現す るため には,主と して入力画像 の領域分 割,道
路 及び障害物 の 認識,道路境界 エッジの抽 出を行 う画像処理 モ ジュー ル, 道路 の3次元形状復元 を行 う状況 認識・ 角T析モ ジュー ル, 障害物回避等のための走路選択 を行 うナ ビゲー ン コンモ ジュール,そ して,車両の制御を行 う車両制御 モ ジュー ルの4つが構成要素 と して必要で あ る。 本研究 では,ハー ドゥェァを含む入力画像処理 モ ジュ ールは開発途中 にあるので,それ らにつ いては述 べない。 ここでは,視
覚 システムのモデルを用 いて,直進 走行路 を想定 した道路 画像か ら特徴抽出 を行 い,それ らの特徴 量か ら選択 された,走行制御 に必 要 な道路情報 を基 に環 境 を認識 し,状況を判断 して,自律走行車 のフ ァジィ制 御 を行 うことを試みた 。まず,そのために図1のよ うな ファジィ制御モ ジュー ルを開発 し,走行制御 シ ミュ レー ションを行 った。 上述の4つの構成要素 モ ジュー ルを用いて,模型 自動 車 を ファジィ制御によ り自律走行 させ るために,カ メラ を視覚セ ンサ と して用 いた状況判断 システム,すなわ ち 視覚 システムを構成 した。その主 な特 徴点 を述 べ ると, 1入力 画 像│゛
画 像 処 理 モ ジ ュ ー ル 領域 分 割 遭 路及 び惇 害物 の 認 れ 遭 路境 界エ ッジの 抽 出 │ナξ
捨
学
;`:交
斗ル
│ 的 :フ ァジィ理 論 に よ る走 行制 御 セ ンター ライ ンの画 面 内 の 位 置座 慄 を フ ァジ ィ推給の 前件 郎変 数 と して扱 い 走 行車 の 操舵 角 を 出力 と して計算 す る 図1
フ ァ ジィ理 論 を用 いた 視 覚 シス テム鳥 取 大 学 工 学 部 研 究 報 告 第
24巻
1)カ
メラは自黒単眼CCDカ
メ ラを搭載す る カメラの搭載 を行 う模型 自動車 の仕様 な どを考慮す る と,現状 では簡便 な白黒単眼cCDカ
メ ラが適 してい る と考 え られ る。2)カ
メラは模型 自動車 の前面方 向 を向 き,固定す る,3)走
行路 にセ ンター ライ ンを設定す る 道路の中央 にはセ ンター ラインを設定 し,基本 的には セ ンター ライ ンを目標線 として認識 しなが ら走行す る, であ る。2.3
視覚画像情報 に基づ くフ ァジ ィ制御 の利点 自律走行車 の視覚 システムを実現す るためには,前項2.2で
述 べたよ うに主 として4つの モ ジュールが必要 となる。この うち状況認識・ 解析 モ ジュールにおいては, 単眼視 によ る3次元空間,運動 の復元 を行 う手法 が さか んに論文1`全 'で紹介 されてい る。 しか し,それ らの手法手順 の大半 はハー ドウェアによ って処理が な されてい る。 したが って,現在使用 してい るよ うなパーソナル コ ンピュー タを主 とした システムに より,ソ フ トウェアによ って それ らの手法手順 を こな し リアルタイムで模型 自動車の走行制御 が行 え るか とい う 疑間が あ った。そ こで画像か ら目標物 の3次元的情報 を 解析 し,それを制御 の要素 と して扱 うのではな く,画像 内の目標物 か ら人間的 な解釈,判断 を行 い,模
型 自動車 を制御 しよ うと考 えた 。 人間が視覚か ら情報 を得て行動す る とき,その情報を 正確な数値 として扱 い行動 してい るのではな く,「近 い」 や「 遠 い」 な どの感覚 に基づ いて行動 を している。例え ば車を運転す る際,前方 に車両 が走行 していた と しよ う。 高速道路 の ような車間距離測定用標識 があれば,「前の 車 との距離 はOOmだ
」 と判断 で きる。 しか し標識がな ければ,そのよ うな数値 は得 られない 。そのよ うな時, 人は前方車 両の見 え方 によって革 間距離を判断す る。前 方車両 が小 さ く見 えれ ば「 遠 い」 と,大
き く見 えれ ば 「 近 い」 と判断す る。また人 は経験 的知識か らも判断す ることがで きる。前述 の場合のよ うに車聞距離測定用標 識によ って正確 な車間距離を得た と しよう。その ときの 前方車両 の像 の大 きさを覚えていれば,「きっきより少 し小 さ く見 え るので,OO m ttB4れ
て い るな」 とか, 「 さつきよ りだいが大 きく見 え るのでOOmの
半分 くら いの距離か な」 な どと判断す ることがで きる。 そ こで我 々は,セ ンター ラインを目t票対象 と して考察 を行 った。模型 自動車 をセ ンター ライ ンに沿 ってた らせ ることを目標 と し,2.2で
考察 した よ うに,カ メラは 模型 自動車 の前面方向 を向 き,固定 した とす る。 ここで 模型 自動車 の直進方向 と画面の縦 の中心線 は一致 す るよ うに設置す る。 このよ うな設定状況 において,任
意 の舷 置で どのよ うにセ ンター ライ ンは画面上 に映 し出 され る か,またその ときセ ンター ラインに沿 って走 らせ るには どのよ うな制御 を行 えばよいかを考察 した。例 えばセ ン ター ライ ンが画面の中心 に まっす ぐ映 し出 されて いれば, 模型 自動車 はセ ンター ライ ン上 に存在 し,セ ンター ライ ンに沿 って走 っている ことになる。またセ ンター ライ ン 全体が画面 の左側に映 し出 されて いれ ば,左
にハ ン ドル を切 ればよい ことがわか る。この よ うに状況 ごとにその 状況 に適 した制御を行 うことで目的を達成 す るこ とが で きると考 え られ る。 しか し扱 うデータイよ模型 自動 車 とセ ンター ライ ンとの相対関係 を明確 な数 値 と して表 して は いない。そ こで,この よ うな状況 に適 応 した制御 を行 え る利点 を持 つ フ ァジィ制御 の適用を考 えた 。3.
模型 自動車の フ ァジ ィ制御走行 シ ミュ レ=シ
ョン 前項 で述 べた よ うに,画
像か ら目標物 の3次元 的情 報 を解析 し,それを制御 の要 素 として扱 うのではな く,画
像内 に映 っている目標物 (ここで は道路 のセ ンター ライ ン)の
画像上での位置,形
状をフ ァジ ィ推論の前 件部 変 数 と して扱 い,走
行制御 を行 うことを検討 した 。 シ ミュ レー ションの流 れを図2に示す 。 鮭STARTノ
│ │ I 終 了設定 │(END)
道路状況描画 フ ァジィ推 論 時間更新・車体移動 苗 薇 慮 拒 .椎行 す 山 図2
走行 ン ミュ レー ションプログラムの流 れX 図
3
車 体 (ワ ー ル ド) 関 係 カ メ ラ・ ス ク リー ン座 標系 の3.1
視覚 システム と制御 モデルの設定3.1.1
視覚 ンステムの設定 カメラに関す る設定 は2.2で
述 べ たよ うに,白黒単 眼のCCDカ
メラを用 い,模
型 自動車 の前面方向 にその 向 きを固定 す る。カ メラ本体 は,理想 的 な透視投 影法 に より3次元物体 を2次元 スク リー ンに投影 し,レ ンズの 歪みなどはない もの とす る。走行制御 シ ミュレー ション に用 いたカメラの設定環境 において,走
行路のセ ンター ラインと,車
体 (ワー ル ド)座
標系(X,Y,Z),カ
メラ座標系(u' ,v',v')お
よび スク リー ン座 標系(u,v,w)と
の関係C`を図3に示 す 。車上 の カ メラは,道路面 (X―Y面)か
らHhの
高 さにあ り,カ メ ラの スク リー ンに写 し出 され る画像 は スク リー ン座 標系 の u―v面上 にある。今の進行方向 はY軸方向であ る。 スク リー ン面上 でのセ ンター ライ ンの描画 は縦400,
横400ド
ッ トの画面内で行われ る。3,1.2
制御 モデルの設定 制御 目的 は,模型 自動車を,セ ンター ライ ン上でセ ン ター ライ ンに沿 って走 らせることで あ る。模型 自動車の 走行す る範 囲,すなわ ちヮール ド座標系の設定 を図4に 示す。一辺2000[mm]の
正方形 を成 す各 エ リアごとに 道路状況 を設定 し,こ れを 5× 5で構成す る。この範囲 内を模型 自動車 は走行 す る。範囲外 にな った時点 で シ ミ ュレー ションは終了す る。また,縦
の中央5エ リアの中 心線 に沿 って直線 セ ンター ライ ンを設置す る。 模型 自動 車の大 きさは,車長がCt=400[mm],車
幅がCw=200[nm]で
あ り,セ ンター ライ ンの幅はWi=10[mm]と
した 。また車体 の ワール ド座標 をX
[mm],Y[mm]で表 し,Y軸
(セ ンター ライ ン)に
対す る 車体の傾 きθ [deg](左回 りを正)とす る。ハ ン ドルの 切 り角 φ[de思](左
回 りを正)は
最大20度
以内で瞬時 に 切れ る もの とし,速度 は50[mm/sec]である。車 の軌道 方程式3)は次式 に示す 。 φn :フ
ァジイ推論 よ り得 る θn十二=θn+△
θn=θ n+(Vτ /Cl)φ
nXn+1=Xn+Vτ
cos(θ
n+△θn//2+ρ
φn)Yn+1 =Yn + Vτ
s in (θ n+Zゝθn//2+ρ
φ■)(V=50[mm/sec],Ci=400[mm〕
l τ=1,0[sec], ρ=05)
……(1) 計算機 シ ミュ レー シ ョンを行 うに当た り,以
下 のよ う にモデ ルを理想化 した。 すなわ ち,1)セ
ンター ライ ンの認識,フ ァジィ推論 に要す る時間 は無視で きるもの と し て,1.0秒
ごとに推論結果 に応 して ハ ン ドルが切 られ る もの とす る12)ハ
ン ドルは推論時 に瞬時 に切 られ,時間遅れ は無視 で きる もの とす る,3)模
型 自動車 の一定速度 の低速 で走行 して お り,車
と 走行路 との摩擦 は無限 大 と し,ス リップ しない もの とす る, であ る。 ス ク リー ン座 標系 センターライン 図4
模 型 自動 車 の走 行 範 囲,ワー ル ド座 標 系 の設定鳥 取 大 学 工 学 部 研 究 報 告 第
24巻
図5にその制御モデルを示す 。
(a)は
走行道略面 上 での,ヮール ド座標(X,Y)と
車体位置(Ix, Iy),
V軸 (セ ンター ライ ン)と進行方向 との角度差 θの関 係, およびハ ン ドル切 り角 φの方向指定 を表 し
,(b)は
低 速時 におけ る車 の旋回 モデル3)を表 してい る。Rは車体 中心 の旋回半径,Rlお
よびR2はそれ ぞれ前輸 お よび後 輪の中心 までの距離 を表 し,φはハ ン ドル切 り角 ,θ は 車体角の変化 を示 して いる。a)
ヮール ド座標 と各変数設定R2
b)模
型 自動車の低速旋回モ デル 図5
制 御 モデ ル(a)ワ
ー ル ド座 標 と各 変数 の設 定(b)模
型 自動 車 の低 速旋 回 モ デ ル 図6
セ ンター ライ ンとスク リー ン座 標の関 係3.2
推論方法 我 々は画面上 のセ ンター ラインを認識 し,そのllli tti上 での位置を ファジィ推論 の要素 と して扱 い,直進 走行 ン ミュ レー ションを行 った。まずセ ンター ライ ン認識ルー チ ンにおいて,図
6に示す よ うに境 界線 とセ ンター ライ ンが交錯 した地点a。すなわ ち座標 (a。で, aロフ)か
ら検索 を行 い,セ ツター ライ ンを形成す る4頂
点aD,al,b。
, blの画面内座標 を検 出す る。 この4頂点の座標を ファジ ィ推論ルーチ ンが受 け取 り,図
7にあ るよ うに線分ab,
さらに線分a' b'を
計算 す る。ここでШ面,内の セ ンタ ー ラインが画面 の縦 の中心線(D軸 )と
重 なるよ うな新 たな座標系LR一
Dを考 えa',b'の
LR成
分 を そ れぞれα,β とす る。HALFは
スク リー ン画面 の縦, 横それぞれ200ド
ッ トの点 を示 し,LIMは
画面内 の 地平線の縦位置 を表す 。 この α,β を前件部変数 と し, ファジィ推論を行 い操舵 角 を出力す る。フ ァジィ推論 に は簡略法4)を用 いた 。入力 は上記 の α,β を用 い,出力 はハ ン ドルの切 り角 φ[deg]とす る。 シ ミュ レー シ ョンには2つの フ ァジ ィルールを作成 し, 図8に以下 のそれ らの メ ンバー シップ関数 を示す 。す な わち,a)
ラベル の設 定 も共 通)b) rule-1
c) rute-1
d) rule-1
数(rule-1,rule-2と
:α に用 い る メ ンバ ー シ ップ関 数 :β に用 い る メ ンバ ー ン ッブ円 救 :出力 に用 い る メ ンバー ン フブ牒!e) rule-2:α
に用 い る メ ンバ ー シ ップ関 数r) rule-2:β
に用 い る メ ンバ ー シ ップ関 数8) rule-2:出
力 に用 い る メ ンバ ー シ ップ関 数 であ る。 a(a., a,) b(b・ ・ し,) at ‐ (at, 十 aI.) / 2 a,=(a,,十 at,)/2 b, ‐ (bi, 十 bl・) / 2 b` ‐ (b., + bl,) / 2(a)ス
ク リー ン座標でのセ ンター ラインの表示a.(a'., a.,) bi(b.., b',)
a'. ‐ a,十 (b,一a.)x(400-a,)/(b,一 a,)
a., = 400 b'. と b.+(b.― a.)X(し lM一b,)/(b,一 a′ ) (ただ し、a, ■ b,)
3.3
制 御規 則 模 型 自動 車 が,セ ンター ライ ン上 を走 るた め の基本 的 な制御 規 則 を,前項 で述 べ た α,β を用 いて 作成 した 。 基本 的 な制 御規 則 を以 下 に示 す 。 ラベ ル とそ の意 味 につ いて は, (ラベ ル):(意
味)CC :中
央 に,位
置す るLL :左
に,位置 す るRR :右
に,位置す るZR :ハ
ン ドル を切 らな い とx :左
へx度 ,ハン ドル を切 るRx :右
へx度 ,ハン ドル を切 る で あ り,以
下 で述 べ る α:∼,β : ∼ に は車体 とセ ンタ ー ライ ンの具体 的 な関 係 を示 し,φ :∼は結 論 を示 す 。 その一 例 を示す と,Rl: iF
αis Cc and
βis CC
th en φis ZR
α:車体 が,セ ンター ライ ン上 に,あ り, β:進行方 向 が セ ンタ ー ライ ンに,沿って いれ ば, φ:ハン ドルを切 らな い 。 ―・(2) とな り,この よ うな基 本 的 な制 御 規 則 がRlか
らR9ま
で9個あ る 。 α,βが求 め られ な い と き,ま た セ ンター ライ ンが認 識 で きな い と きに は前 回 の操舵 を繰 り返 す 。 これ らの制 御規 則 を基 に して,3.2推
論 方 法 で述 べ た 2種の推論 法 の それ ぞ れ につ い て作 成 した フ ァ ジ ィルー ルを図9に示す 。(a)は rulu-1に
対 す る もので あ り,(b)は rule-2に
対 す る もの で あ る 。4,
シ ミュ レー シ ョンの結 果 と検 討 視 覚 システ ムの モ デ ルか ら得 られ た特徴 抽 出 シ ミュ レ ー シ ョン画 像 を基 に して,フ ァ ジ ィ制 御 に よ る走 行 シ ミ ュ レー シ ョンプ ロ グ ラムを作 成 した 。 その フ ロー チ ャー トを図10に
示 す 。初 期 設定 後 の ルー プ内 で は,時
々刻 々に変 化 して い る車 の或 る走 行 地 点 に お いて,視
覚 シス テ ムに よ リセ ンター ライ ンの 認 識 を行 い,そして フ ァ ジ ィ推 論 に よ り操 舵 角 を決 定 し, 1ス テ ップ分 だ け草 を進 め る。 この ルー プ内 の作 業 が終 了 す れ ば1つの直進走 行 軌跡 が得 られ る 。 前述 した視覚 システ ム と制 御 ンステ ′、の 各設 定 を耳,い,rule-1, rule-2の
そ れ ぞ れ に つ い て走 行 ン ミュ レー シ ョンを行 った 。初 期設 定 値 を表1に示 す 。r α (■L=, αO) C, = 0 β`! ‐ し,. _ 'o ‐ 40o _ (HAし F‐20o, β(β..・ β,) HAしF LIM=50) ・・ し(―) O β=1 ,(b)セ
ンター ライ ン位置の α,β変数への変換 図7
セ ンター ライ ン画像か らの α,βの導 出 しIM(地 平 擦)鳥 取 大 学 工 学 部 研 究 報 告 第
24巻
a) ラベルの設定 (rute-1, fuic-2と も共通) ラベ ル: 言 素 の 意 味 しB : 左 に遠 く位 置 す る とS i た に近 く位 置 す る 中 央 に 位 【 す る 右 に 近 く位 と す る 右 に 選 く位Eする b) lute-1:α で用いるメンパーンップ関数 CC rule-1:β で用いるメンバーンップ関数 e) fule-2:α に用 い る メ ンバ ー シ ッ プ 関 数 LS CC RS f) 「ulc-2:β に用 い る メ ンバ ー ン ッ プ 関 数 C) 00 1(Ⅲ) 「uic-1:出 力 に 用 い る メ ンバ ー シ ップ 岡 敷 (a)rule-1に
用 い た ル ー ル g) fuic-2:出 力 に 用 い る メ ンバ ー シ フ ア 関 数 図8
シ ミュ レー シ ョ ンに用 いた メ ンバー ン ップ関数 (b)rule-2に
用 い た,レー ル 図9
直進 走 行 用 フ ァ ジ ィ制 御 ル ー ル(a)rule-1に
用 いた ルー ル(b)rule-21こ
用 ヽヽた ル〒 フレ ,oo l■oo-lohO 100 1200 2 12 8 0 3 -16 0 3 20 LS 10 CC表
1
走行 ン ミュレー ションにおける初期設定値 座 標Ix
ly
車体角DB
速 度Vv
カメラの押角FF
カメラの視界幅比Dd
カメラの高さHh
車体長Ci
車体幅Cw
セ ンターライン幅Wi
図10
走 行 シ ミュ レー シ ョンプ ロ グ ラムの フ ロー チ ャ ー ト950. 0
5000.0
-5.0
50.0
10, 0
1000,0
300. 0
400.0
200.0
10. 0
[m an] [mm〕[ded】
Imm/sec]
[dcと
][(/HALF)
「mm」 I man] [mm】 [mm〕 進 行 方 向 ―― ― ― ― ‐ 車 体 O一 進 行 方 向 rule l 進行方向――一――>
車体O一
進行方向rule 2
図11
視覚 システムを用 いたフ ァジ ィ制御走行 シ ミュ レ ー シ ョ ン(a)rule-1に
用 い た と き の 走 行 軌 跡 と走 行 画 面(b)rule-2に
用 い た と き の 走 行 軌 跡 と走 行 画 面 センターライン セツターライン鳥 取 大 学 工 学 部 研 究 報 告 第