NDC 548
道路情景画像中における制限速度識別の一手法について
薮 木 登* 三 木 成 彦*
(平成2年8月29日受付)
A Method for Recognition of the Speed Limit in a Road Scene lmage
Noboru YABuKI* and Shigehiko MIKI*
(Received August 29, 1990)
Abstract
This paper describes a method for extraction of figures on a speed−limit sign in・一a road scene and recognition of the fi−
gures by using two characteristics of a speed−limit sign. One characteristic is that a binary image is segmented into two
regions by using the discriminant analysis method, an inside region of the red circle region on the speed−li皿it sign, we call extraction region , and the rest. The other is that the extraction region is a circle.
1.ま え が き
本論文は,速度標識の持つ2つの特徴を利用し,道路情 景濃淡画像中の速度標識の数字部分の切り出しとその制限 速度の識別の一手法について述べたものである。
最近,自分で状況を判断し,屋外を走行する自律走行車 などへの適用を目的とした研究がいろいろなされている。
道路像の解析に関するもの1),交差点の状況を前もって教 えておきその情報で環境,位置などを判断するもの2),コ ンピュータビジョンとセンサを統合して環境を認識するも の3) 4)などが報告されている。
さらに,道路の制限情報の理解や車両の位置認識のため の補助情報として交通標識の検出についても研究がなされ ている。楕円の二組の共役直径の傾きを得ることによって 楕円パターンを検出する方法5),すべての円形標識を検出 するために,基本的にはHough変換を用いていて,円の 対象性を利用した計算量の削減,及び2次元投票空間を用 いたメモリコストの節約を図った方法6)が交通標識に適用 されている。
本論文では,自動車の完全自律走行の第一歩として,ま た,運転者の標識の見落としをカバーするものとして,ま ず速度標識の数字部分を切り出し,その制限速度の識別を 行った結果を報告する。本手法としては,標識を含む情景 画像のカメラからの取り込みはかなりの距離を置いて取り 込むたap,円形の標識は楕円ではなくほぼ真円として考え
ることができることを前提としている。したがって,処理 時間のかかる楕円を考える5)必要はなく,すべての円形標 識を検出する方法は6),速度標識だけを検出する場合では 処理手順が多くなり余り有効ではない。
2.では速度標識の持つ特徴と制限速度の識別手順につ いて述べ,3.で2.の手順を用いて実際に処理を行った 結果を示す。
2.速度標識の検出と制限速度の識別
* 情報工学科
2.1 速度標識の持つ特徴について
図1に濃淡画像入力による速度標識を含む入力画像を示
す。
この画像中に存在する速度標識の持つ特徴として次の2 つのことが上げられる。1つめの特徴は,実物の標識の外 周の赤色の帯と速度数字は,濃淡画像において濃度値が低
く黒っぽく表示され,標識内のその他の領域は濃度値が高 く白っぽくなっていることである。すなわち,簡単な2値 化処理(判別分析法7))により標識の外周の帯に囲まれた 数字を含む領域(以下抽出領域と呼ぶ)と背景との領域を 分けることができる。もう1つの特徴は,速度標識に限っ ては抽出領域がほぼ真円形であることである。したがって,
2つの特徴より判別分析法と真円度7)を調べることで抽出 領域がほぼ決定できる。
入力画像を判別分析法で2値化した道路情景中には速度 標識の他に速度標識に形がよく似た重量制限標識が存在す る場合があり,本手法ではそれらの識別をするのは非常に 困難である。そこで,今回は重量制限標識は入力画像中に
図1 入力画像
存在しないと仮定している。ところで,入力画像において は形が円形であっても,2値化されると図2の上中央のは み出し通行禁止標識のように円形とはならない標識があ り,その2値画像の真円度を調べることで速度標識とは区 別できる。そのため,はみ出し通行禁止や追越し禁止など の標識は,入力画像中には含んでいても差し支えない。
2.2 速度数字の切り出し手順
ここでは,速度標識に書かれている速度数字の切り出し 手順について,(a)前処理,(b)速度標識の抽出領域の決定,
(c)速度数字の切り出し,の3つに分けて述べる。
(a)前処理
入力画像において,判別分析法を用いて画像の2値化を 行う(図2参照)。次に,この2値化された画像において,
白い部分に囲まれた黒い部分(穴)の面積が後述する面積 以下のものの黒い部分を白にする(図3参照)。こうする ことにより穴のない対象の面積が計測でき,真円度を調べ ることができる。そして,後述する予め調べた標識の面積 より有効な面積の範囲を設定し,その面績を持つ対象物以 外を除去する(図4参照)。
(b)速度標識の抽出領域の決定
(a)で処理された画像において各対象物の真円度を求め る。一般に真円度ρは次式で表される7)。
ρ=4π×(面積)/(周囲長)2 (1)
ただし,真円度の取る値は1≧真円度≧0の範囲にあり,
1に近いほど真円に近付くこととなる。ところで,上式は アナログ画像において成立し,ディジタル画像においては,
真円は存在しないので必ずしも1≧真円度≧0は成り立た ない。そこで,本方式で使用する真円度ρDは,実験的に 求める重み付け定数kを用いて,式(1)の代わりに式②を用
いる。
ρD=4πk×(面積)/(周囲長)2 (2)
なお,式(2)において円形と見なすための真円度の範囲を設
驚虐
図2 2値化された入力画像
定する必要があり,後述する実験より求める。そして,真 円度が設定範囲で最大面積の対象物を速度標識の抽出領域 と見なすこととし,その面積以外の値を持つものを除去す る。これで速度標識の抽出領域が決定する(図5参照)。
(c)速度数字の切り出し
まず,(b)で求めた結果(図5参照)と入力画像の反転画 像(図6参照)との論理積を取ると図6の反転画像から速 度標識の外周の帯に囲まれた部分が切り出される(図7参
照)。
次にこの切り出された部分を含む画像から数字部分だけ を切り出す。これには判別分析法を使用するが,判別分析 法は濃度ヒストグラムのあるしきい値においてクラス分離 度が最大になるようなしきい値を求める方法なため,濃度 差が小さいこのような画像に対しては,数字部分を切り出 すことはできない。そこでその対処法として,切り出され た部分において数字以外の部分の任意の濃度値で,切り出 された部分以外の領域を埋める。そして,判別分析法を用 いてこの画像を2値化でき,数字部分が切り出せる(図8
参照)。
2.3 速度標識の制限速度の識別
2.2で切り出した速度数字をパターンマッチングによ り識別するために,まず参照パターンを作成する。
制限速度の違う速度標識を一つずつカメラで取り込み,
手作業によりそれらの速度標識の抽出領域の面積がそれぞ れ設定値に等しくなるように速度標識を拡大・縮小する。
その後,各数字領域を切り出し,画像メモリへ記録してお く。これが参照パターンとなる。
次にパターンマッチングについて述べると以下のように
なる。
参照パターンを含んでいる抽出領域の面積に2.2(b)で 決定した抽出領域の面積が等しくなるようにその倍率を求 め,この倍率により2.2で切り出された数字をアフィン
道路情景画像中における制限速度識別の一手法について 薮木・三木
謹疑季﹁\噛 ︑.\
図3 穴埋め処理後 図4 面積による標識候補抽出画像
図5 真円度により抽出された領域 図6 入力画像の反転画像
図7 切り出された標識 図8 切り出された数字
変換8)を用いて拡大・縮小する。これが対象パターンとな り,この対象パターンを含む画像内で参照パターンを動か しながら,比較した時点毎に重なった部分の面積を求めて いく。ここで,この重なった面積のことを重なり面積,参 照パターンの面積を参照パターン面積と呼び,一致面積比
=重な.り面積/参照パターン面積で表すこととする。この 一致面積比が設定範囲内で最大となる数字が求める標識の 速度であるとし,設定範囲外であれば速度標識は入力画像 中には存在しなかったと見なす。ただし,ここでは,処理 スピードと認識率を上げるために数字の10の位だけのマッ チングを行う。以上述べた処理手順を図9に示す。
開始
画像の取り込み 判別分析法による2値化
穴埋め処理 面積設定範囲外の粒子除去
真円度の計測 抽出領域の味定 速度数字の切り出し
パターンマ・ソチング
速度の候補決定
NO 「@ 一致面積比は
@ 設定範囲内か
@ YES
速度標識は
カ在しない 速度表示 終了するか? NO
@ 終了
YES
図9 制限速度識別の処理手順
3.実験とその結果
ここでは2.で示した手順で実際に行った実験とその結 果を示す。ただし,実験で出てくる周囲長は対象物のエッ ジの画素数を計測した値であり,また,面積,周囲長の単 位は[画素]で表している。
3.1 実験の使用装置と画像メモリへの取り込み方法 入力画像は,道路を走行する車上にビデオムービーを固 定し,記録したものを再生し,画像処理装置の画像メモリ へ取り込んだものである。ここで,使用した画像処理装置 はSPICCA−H9) 10)(日本アビオニクス株式会社),ビデオ ムービーはBR−S20(日本ビクター株式会社),使用ビデ オテープはS−VHS−C,ビデオ信号からRG.B.Y信号に復 調するデコーダはED−1000(株式会社フォトロン)である。
図1は4分割画像であり,各々一定時間(5/30秒)毎に取 り込んだもので,その1/4画面は各々256×240画素であ る。この入力方法を4分割連続入力と呼ぶことにする。こ の入力方法を採用した理由は,現在では処理にかなりの時 間を必要とするため,走行する自動車においては処理中に,
次に識別するべき標識を通り越してしまい,道路情景中の 速度標識を画像処理装置へ取り込めない可能性があるため である。そこで,画像の精度(一度に取り込める最大画素 数)を少し落としてなるべく標識の取りこぼしのないよう に4分割連続入力を行った。ただし,今回の実験では,取
り込んだ4分割画像中には異なる速度の速度標識は存在し ないとした。
3.2 2値画像中の抽出領域の有効面積範囲と重み付 け定数の決定
(a)2値画像中の抽出領域の有効面積範囲の決定 2値画像中より抽出領域以外の不必要な部分を最大限除 去するために抽出領域の有効面積範囲を予め決めておく。
このために,まず今回使用した道路情景を記録した映像中 で,抽出領域が存在し,その抽出領域の面積が最大となる ようなタイミング(面積が最大とならない場合もある)で 10場面を画.像処理装置に取り込み,判別分析法により2値 化し,その画像中の抽出領域の面積を測定した結果を表1
に示し,同時に,後述する真円度と周囲長の値も表示した。
なお,計測した速度標識を図10にまとめて示しており,No.
は対象物の番号で左上から右への順になっている。この表 より,面積の最大値はNo.24の433画素であり,2値化処理 での誤差を含め抽出領域の有効面積の上限は500画素とし た。No.1,2は速度標識でありながら,この部分の速度数 字は目視によって確認することは非常に困難であり,また,
2値化処理後の抽出領域が円形な形とは見なせなかったた めこの大きさの面積を持つものは除外することとした。以 上より,抽出領域の有効面積範囲を100画素以上500画素以
道路情景画像中における制限速度識別の一手法について 薮木・三木
下に決定した。
表1 図10の速度標識の抽出領域の面積,周囲長および真 円度(kは重み付け定数)
No 面 積
i画素)
周囲長
i画素)
真円度
ik=1/1.21 の場合)
1 51 32 0,517
2 82 39 0,560
3 135 35 1,144
一一_一.⊥螂一一一一一一一
5 77 26 1,183
6 91 29 1,124
7 116 33 1,106
_一一一一一1:照一一一一_
9 170 39 1,161
10 255 50 1,059
11 145 38 1,043
__一一1:鯉_一_
13 229 47 1,077
14 427 65 1,050
15 401 71 0,826
16 160 39 1,092
17 184 42 1,083
18 215 45 1,103
一一_一一⊥螂一__
20 179 41 1,106
_一.ユ:qτ9一__
22 325 56 1,076
23 377 60 1,088
_一一一一一1二螂一一,._
25 299 54 1,065
26 338 56 1,119
(b)真円度の重み付け定数と有効範囲の決定
図11に示す対象物をカメラで取り込み,その面積と周囲 長を計測した。この結果を表2に示す。ただし,周囲長は 対象物のエッジを求め,その画素数を計測したものであり,
また,この表のNo.は図11の対象物の番号で左上から右へ 走査し,上からの順番となっている。表2において表1の 有効面積範囲の下限の値よりNo.22,23,24,36, 43は除外し て考えた。たお,円は面積が大きいほど真円度は安定する ので上限の値はあえて考慮しなかった。図11と表2の関係 を考えた場合,k;1.0とすると真円度の値より円形かど うかの範囲が決定しにくかった。そのため,kの値を色々 変えて検討してみたが,k;1/1.21とすることによつり真 円度=1を境に円とそれ以外の形に分類しやすくなった。
このことにより,本実験では,真円度を求めるための重み 付け定数kを1/1.21とし,その範囲を1<真円臨く1.2と
した。
ところで,表1においてこの真円度(k=1/1.21の場合)
を考えると,No.1,2,15は真円度の範囲から外れていて,
その内のNo.1,2は有効面積の範囲からも除外されてい るため,(a)で決定した有効面積範囲の有効性が真円度から もいえている。また,No.15の真円度が範囲外であるのは,
画像処理装置に取り込むときに標識の左端が切れており,
抽出領域が円形とは見なせなかったためである。
3.3 識別実験結果
2.で示した処理手順で実際に実験を行った。先に示し た図1を入力画像とした。
図2は図1を判別分析法により2値化した画像である。
図3は図2で80画素未満の穴の穴埋め処理を,図4はそれ ぞれ微小粒子除去(100画素以下),超過粒子除去(500画 素以上)を行った結果であり,設定してある有効面積範囲 内のものが残っている。
図10 有効面積範囲の決定に用いた速度標識 図11真円度の重み付け定数の決定に用いたデータ
表2 面積および真円度(kは重み付け定数)
︶ 21合度L場円1/の真= k︵
337018624418445637296105276442004432451822171880313424226521116777192580295221362992298957494910000000000000000001012789990950599177366774787● ・ ・ ⁝ . . ・ 噛 ・ ● ・ ・ . ・ . ・ ・ . 零 卿 O ︐ ● O ● ︐ ︐ ︐ ︐ ● ● ● . ● ・ ● ● ● . ● G 畢 O 巳 辱11111111111111111111111100001001000100000000000
︶度ω合期嬉︵
50160356971477809473673012549576382367427030766253464633874222990952.5167205311481047773313452622222222222222222323335191212162612488488995909● ● . ● . ● ︐ ︐ ︐ ● ● . ︐ 齢 ︐ 巳 ¶ O ● ︐ ︐ ︐ ︐ ● . ︐ ● ・ O ● ● ・ ● ● . ● ・ . ・ . ・ 電 O . ︐ ・ ●11111111111111111111111201111101011100000000010
驚
6062423888037723780246887682775977080040792314864208654322199876554321 75443089454207987539753222211111111 1 1
積菊面河9045477578749977498023918012565209307234526248193049955775611546459273158263157285994329577831870035318642996543211 42211039121 633432 3321655432221111 1
ON1234567891011121314151617181920212223242526272829303132333435363738394041424344454647
表3 図4の面積および真円度(kは重み付け定数)
︶ 21合度1︒場円1/の真= k︵
9191005350788137508056306846809337704550⑩ユ︒0﹄β︒−︒ーユ﹂ユ﹄223﹄ユ2ユユユー1010000000000000000
欝0902267164966656941953254291088715143351715119916
積菊面画5070156338877726486457379900020111王1322721214111122111123112
南
①②34567891011121314151617181920
注:0で囲まれた数字は速度標識
次に,図4の画像に対して面積・周囲長を計測し,式② により真円度を計算した結果を表3に示し,丸がついた番 号が速度標識を表している。ここで,計測は画像の左上か
ら数えて20個までとし,今回の実験ではこの個数で十分で あった。図5はこの求めた真円度に2.2(b)の考えを用い て,対象外を除去した結果を示している。これより標識の 抽出領域が抽出できていることが分かる。
図7は,この図5と入力画像の反転画像である図6の論 理積をとったもので,図8は図7を2.2(c)に示した速度 数字の切り出し方法で数字を切り出したものである。
先に抽出した抽出領域の面積が設定値(1265画素)に等 しくなるように,図8をアフィン変換を用いて拡大・縮小 する。これが図12である。この図よりかなり数字の形が残っ た切り出しが行なわれていることが分かる。
続いて図12においてパターンマッチングをおこない速度 数字の識別ができる。今回用いた参照パターンを図13に示 し,3,4,5各数字の画素数はそれぞれ149画素,184画 素,177画素である。ただし,この参照パターンは参照と する入力画像における数字部分の形を変えないように数字 部分には手を加えていない。また,ここで用いた一致面積 比の識別に有効な範囲は,0.5以上1未満であるとした。
道路情景画像中における制限速度識別の一手法について 薮木・三木
図12切り出された数字の正規化
(a)入力画像
図13 参照パターン
(b)切り出して正規化した数字 図14 本手法の処理結果例1
(a)入力画像 (b)切り出して正規化した数字
図15 本手法の処理結果例2
図14(a),(b),図15(a),(b)は,入力画像を変えて本手法に より処理実験を行ったものである。図(a)はそれぞれ入力画 像,図(b)は図(a)に今回の処理を行い,切り出し速度数字を 示す。これらにおいてもほぼ完全に切.り出しができている。
そして,これらの切り出した数字のマッ.チングを行った結 果,速度数字の識別は正確にできた。
処理時間については,画像をメモリに取り込んでから速 度数字の切り出しまでに要した時間は約25秒,パターン マッチングに要した時間は約55秒であった。
3.4実験結果の検討
実際にいくつかの情景において上記処理を行ったが,そ の内,逆光の場合を除いてはほぼ完全に識別できた。とこ ろで,図4において,左上のはみ出し通行禁止標識部分は,
入力画像を2値化する段階で標識の斜めにかかる帯がはっ きり認められないためにほぼ円形な形となった。しかし,
それよりも面積の大きい速度標識があるため,その抽出領 域はうまく切り出すことができ,制限速度の識別は問題な
く行われた。
今回の実験では起こらなかったが,例えば,図4に示す 2値画像において右上の画像中の速度標識とはみ出し通行 禁止標識がない場合を仮定する。この画像の左上の円形な 速度標識の抽出領域とその下にあるはみ出し通行禁止標識 の面積が等しく,かつ真円度が有効範囲内にある場合,あ るいは速度標識の抽出領域の面積よりもはみ出し通行禁止 標識の方が大きい場合は,速度標識の抽出領域は切り出せ ない。そこで,これらの場合の対処法としては,前者の場 合は面積が等しければ,真円度の大きい方を対象にして,
処理を行えばうまく処理できそうである。後者の場合は,
真円度の設定範囲内で次に面積の大きいものを切り出しの 対象とし,同様な処理をもう一度行うことが考えられる。
一般的にいえば,速度標識が速度数字切り出しのための対 象とならない原因を取り除いて,速度の識別を行えるよう にすることである。
4.む す び
道路情景中の速度標識の制限速度を識別する一手法につ いて述べた。本手法では,標識を含む情景画像のカメラか らの取り込みはかなりの距離を置いて取り込んでいるため 標識は円として考えられ,速度標識の持つ次に示す2つの 特徴,すなわち
(1)抽出領域の濃度値がその標識の外周の帯の濃度値より高 いので背景と抽出領域を分けることができる。
②抽出領域は円形であり,真円度を調べることで決定でき る。
を用いて,速度数字を切り出し,パターンマッチングを行 い,制限速度の識別を実際の画像において行った。
この実験より,市街地でなく標識が乱雑には存在しない 道路ではこの手法は有効であることが分かった。さらに,
濃淡画像を対象に行っているため,昼間の情景画像の明る さの変化に対しても十分対応可能である。しかし,カメラ に対して逆光の場合は,カメラの補正を行っていないため うまく処理できなかった。
また,規制速度で走行しようとする自動車において,本 手法では入力画像に4分割連続入力したものを用いたた め,処理に時間がかかった場合でも速度標識の見落としは 少なくでき,処理スピードが遅くても走行しながら速度標 識を識別することができる。ここで,画面を分割するため に入力画像の精度(画素数)が落ち,分割数と精度とめ関 係が問題となってくる。今後の課題として,1)検討の最 後に述べた例のように,速度標識が存在するのに検出でき ない場合は,その原因を取り除いて,速度の識別を行える ようにすること,2)本処理を人工物の多い市街地で行う こと,3)処理時間と画面の分割数の問題を検討すること,
4)処理時間の短縮を検討すること,5)予備実験におけ る各決定値の有効性を検討すること,6)取り込んだ各々 の4分割画像中に異なった速度の速度標識が存在する場合 の検討,7)パターンマッチングの方法についての検討,
8)取り込んだ画像中に異なる速度の速度標識が存在した 場合の処理についての検討等があげられる。
謝
辞
研究を進める上で当初から種々の御助言を頂いた神戸大 学工学部前川禎男教授に心より感謝します。
参 考 文 献
1)小林哲也,小沢慎治: 道路像解析における対応点の 決定法 ,電子情報通信学会論文誌(D−ll), J 72−D −ll−5 (1989−05), 827−830.
2)森畠秀実,吾郷純,市川忠男: 環境や視点の変化を 考慮した交差点情景解析 ,電子情報通信学会技術研 究報告,89−390(1990−Ol),73−80.
3)浅田稔: センサ統合と環境モデルの構築 ,電子情 報通信学会技術研究報告,89−390(1990−01),1−8.
4)池上孝則,加藤純一,大園成夫: 自律移動ロボット のための境界距離モデルに基づく知識およびセンサ情 報の表現 ,電子情報通信学会論文誌(D−II), J 72−
D−ll−11 (1989−11), 1788−1799.
5)佐藤博,袖山忠一: 共役直径に着目した楕円検出 ,
電子情報通信学会春季全国大会講演論文集,6
(1989−03), 249.
6)渡並智,恩田邦夫,青木由直: 情景画像中の円形交 通標識検出の一手法について ,電子情報通信学会春
道路情景画像中における制限速度識別の一手法について 薮木・三木
季全国大会講演論文集,6(1989−03),252.
7)田村進一編著: FAのための画像処理技術 ,(1988),
工学研究社.
8)電子情報通信学会: パターン認識 ,(1988),42,
電子情報通信学会.
9)薮木登,三木成彦: 画像処理システムSPICCA一且 について ,津山高専紀要,27(1989),19−27.
10)日本アビオニクス: TVIP−5100(SPICCA−ll)コマ ンド説明書 ,(1987),日本アビオニクス.