薮木登＊松田喜貴＊＊ 中村篤規＊＊ 副井裕＊＊＊ 三木成彦＊
A Study on Region Detection using Active Net in Two Steps
Noboru YABUKI＊， Yoshitaka MATSUDA＊＊， Atsunori NAKAMURA ， Yutaka FUKUI and Shigehiko MIKI＊
In this paper， we describe a method to detect a region from color image by using Active Net． ln a conventional method， Active Net has been applied once to coior similarity map which is evaluated by color distribution function． Then， a method using Active Net in two steps is proposed． Namely， Active Net is applied to color similarity map which is shrunk， and therefore， a region is detected by applying Active Net to original map again． We confirm the validity of our approach by experiment which was conducted using road scene lmage．
Key words ： color image， Active Net， region extraction， image processing， road sign
1． 緒 言
本研究は，カラー画像特徴エネルギーを用いた方 法により，道路情景画像中に存在する道路標識抽出 のための特定色領域の抽出法について行っている．
大量自動車交通での様々な問題を打破するために，
道路交通システムのインテリジェント化で，安全，
円滑，快適な道路交通を実現する高度道路交通シス
テム（lntelligent Transport System：ITS）への移行が強
く期待されている．このITSの技術開発に伴い，様々 なシステムが構築されている．中でも，自動走行シ ステムの分野は，運転者を補助し，安全にかつ効率 的に車両の運転を行うことをコンセプトとしており，
その中で，走行環境認識技術の研究開発が重要とな っている．すなわち，車両走行中の環境を認識する ことができればその情報により，ドライバが現に行 っている前方環境の認識，および運転操作を機械が 肩代わりし，ドライバの負担を軽減することができ る．このことは交通事故の減少にも繋がると思われ る．しかし，走行環境中に認識しなければならない
原稿受付平成12年8月30日 ＊情報工学科
＊＊日本無線（株）
＊＊＊鳥取大学工学部
情報は多数存在する．そこで，我々は数ある情報の 中で認識する負担の大きい道路標識に注目し，その
自動認識について研究を行っている1） Z）．
これまで，道路標識を抽出し，また，認識する多 くの研究がなされている．特に近年，コンピュータ の性能が向上し，カラー画像が手軽に利用できるよ
うになり，カラー画像を用いての研究が多くなって いる2） 11）．しかし，これらの論文では比較的良い結 果が報告されているが．実際に用いる場合，システ ムの信頼性や安全性および処理時間においてはまだ 実用的ではないと思われる．したがって，各種方法 が提案されることにより徐々に実用的なものとなっ ていくと考えられる．一方，従来の研究においては，
ある程度標識を抽出する環境を制限した場合におい て行われており，環境変化を考慮した研究は少ない．
日比らは，特定標識において特に夜間を考慮した手 法を提案し，夜間及び昼間の環境において良好な結
果を得ている3）．
本研究では，特に昼間の環境変化を考慮した場合 において従来の手法とは異なる手法を用いた道路標 識の抽出方法について検討を行う．
道路情景画像中の道路標識を認識するには，まず 画像から道路標識部分だけを抜き出す必要がある．
従来の手法の多くは，カラー画像において，各種色
彩変換を行った画像を予め求めていたしきい値で2
値化し，標識を抽出する手法の組み合わせによる様々な方法により，標識を切り出している3） 9）．こ
の方法では，しきい値が固定されてしまい，切り出 された領域の形状が目的のものとは大きく異なって いたり，欠けていたり，滑らかな輪郭が得られなか ったりするため，標識を検出するには大幅な形状の 補正などが必要となってくる．
これに対して，本論文では動的な網のモデル
Active Netを用いる． Active Netは，領域の情報を有 効に活用するために1次元の輪郭モデルSNAKEsi2）
を2次元の面モデルActi＞e Neti3）に拡張したもので ある．この手法では，モデルはそれ自身が持ってい る内部エネルギーと画像の特徴を反映するエネルギ ーなどの和によって構成され，それらのエネルギー が最小となる安定したモデルの形状を探すことによ って，対象物を抽出する．したがって，Active Net を用いることにより，特定なしきい値を設定する必 要がなく，画像の特徴を大きく表す特徴エネルギー を設定することにより，有効に特定領域を抽出でき る可能性がある．
Active Netはその特徴として，網の重心付近に対 象が存在する場合は，良好な形状で検出できる．従 来の手法2）では，類似度マップに対してActive Net を一回目み適用しており，対象が網の重心付近から ずれていると希望している領域を検出できない，あ るいは検出できたとしても，形状状態が悪いといっ た場合があった．そこで，本稿ではActive Netを2 度使用した方法を提案する．さらに，1度目のActive Netは画像サイズを縮小した類似品マップに適用さ せることにより，従来の問題点を改善した．実験で は実際の道路情景画像を用いて，カラー画像からの 道路標識の抽出を行い，提案手法の有効性を確かめ
た．
以下，2．では，Active Netの原理について述べ，
3．で，色分布関数と類似度マップ，およびそれか ら得られる色らしさ度のActive Netへの導入方法に
ついて言及する．4．では提案手法である2段階抽出法について説明し，実験方法と結果については5．
で述べている．
2． Act i ve Net
ネルギ 一Einiは網を収縮させかっその形状を滑らか に保とうとするエネルギーに対応しており，以下の ように記述される．
Eint ＝＝｛α（lvρi2＋fiv、il）2＋β（1り〃12＋lvpq12＋fivqq12）｝／2 （1）
ここで，添字は偏微分を表し，αとβは係数である．
この式は2つの項から定義されており，1番目の項 は網を収縮し，2番目は網の滑らかさを保つ項であ る．本稿ではα＝β ・・1．0としている．画像の適合性
エネルギー一Ei。，。geは画像内の特徴的（濃淡レベル，画像の滑らかさなど）な領域へ導くエネルギーに対応 する．すなわち，Active Netでは対象物体の情報を 画像の適合性エネルギー関数として定義させると，
網自らがその対象に近づこうとする．具体的な画像 の適合性エネルギーE， ，。g，については3．4で示す．
また，E。。nは網を対象へと導くものではないので，
本論文では考慮していない．これらよりモデル全体 のエネルギー関数E。，iは，エネルギーの線形結合と
して以下のように記述される、
Enet ＝ S S ｛Eint （V（1？， q）） ＋ Eimage （V（P， q））｝ dP d9 （2）
式（2）のエネルギーの最小化は，初期網の位置を初期 値としてヤコビ法に基づく数値解法により解かれ，
オイラー・ラグランジェの方程式としては，独立な
2式，式（3），（4）を得る．
一 a（S pp ＋ S qq ） ＋ IB （S pppp ＋ 2 S ppqq ＋ S gqgq ）
OE
＋ 伽9θ＝0 0s一a（tpp ＋tqq）＋ ／9（tpppp ＋2tppqq ＋tqqqq ）
OE
＋．：： ：LII！egSinlagC ＝0
0t
（3）
（4）
Active Netはエネルギー最小化原理に基づいた格 子状の離散的な2次元の面モデルである．その構造
は，り（ρ，q）一（s（ρ，q）， t（P，Cl））で表される格子点が近傍
の4つの点へと繋がれることによって網を形成する．
ただし，0≦p≦1，0≦q≦1であり，s， tはそれぞれ 画像の水平，垂直方向座標を表している．
Active Netでは，網のモデルに対して，網の内部 歪みエネルギーEi。t，網と画像の適合性エネルギー Eim。ge，外部からの強制力に対応するエネルギーE。θ。
の3つのエネルギーが与えられている．内部歪みエ
放射構造を持った初期網の形状を図1に示す．ここ で，網の一番外側の層を最外郭層と呼ぶ．この他に 円形の初期網も存在する．反復法によって随時求ま る近似解は，網のモデルの振る舞いを表現しており，
エネルギーが平衡状態になるまで変形を繰り返す．
最終的に網のモデルが覆っている領域が抽出された
領域となる．
Active Netは従来，モノクロ画像に対して位置，
形状抽出が行われていた13）．これをカラー画像にお いて行う場合，カラー上では異色であった点がモノ
一54一
／
死 ；ト
．／
A
v（P，G）
，∫
@ ／ ＼
xy色度図上に配置したものを図3に示す，図3より，
赤色，緑色の分布は，黄色，青色に比べて広くなっ ており，撮影条件の変化を受けやすいことがわかる．
なお，色標識には文字や絵は描かれておらず，単色 で塗装されている．
3．2色分布関数
色標本データの分布は実際の道路標識の色分布と 類似していると仮定すると，まず，色標本データか ら色の分布を統計的に推測するために，色標本デー タの平均ベクトルμ，共分散行列Kを求める．μ，
Kは以下のように与えられる．
図1 初期網
クロに変換した時点で同色となる場合が生じる．そ のため，対象物を抽出することが不可能となってし
まう14｝，
そこで本論文では，カラー画像に存在する特定色 の色特徴を利用した領域抽出を行う．抽出したい色 の分布状況を予め調べて色分布関数15）を作成し，
それを用いて求めた色らしさ度をActive Netの画像
の適合性エネルギー一一・として導入することにより，カラー画像から特定な色領域を抽出できる．
3．色らしさ度のActive Netへの導入
αη κΣ祠 −万
二 μ
K ： i17 lll．i， （an 一＃）（a． 一p）7
（5）
（6）
ただし，色標本ベクトルをan＝［xn，Yn］y
C入力データ の全画素数をNとする．また，xn，Ynはn番目の画 素をxy色度座標に変換したものであり，共に0〜255 の値を取るように正規化している．
色の分布は，正規分布と同じ形であると仮定し，
これを色分布関数として次式によって与える15） 17）．
色らしさ度は，予めカラー画像の特定色の色分布 を調べた結果を参照して，対象とする入力画像の各 画素が，どの程度の特定の色らしさであるかを表す
尺度である．これを求めることによって，色を手がかりにして 入力画像より，特定色領域の存在する位置を知るこ とが可能となる．ここでは，色らしさ度の求め方，
および色らしさ度をActive Netのエネルギーとして 導入する方法を示す．
本研究で行っている処理過程において，色はXYZ 表色系を用いて表しており，カラー入力画像のR，
G，B成分を色度座標拶zゆに変換している．
3．1色標本データ
色らしさ度を算出する最初の手順として，まず，
標識の色がxy色度平面上にどのように分布してい るのかを調べる．これは実際に道路標識に使用され
ている素材を用いて作成した色標識（青，赤，黄，緑）5）をディジタルビデオカメラで撮影し，RGB画像にデ ィジタイズし，得られた画像から標識部分を切り抜 いて色標本データを得る．この作業を，4つの色毎 に撮影条件（天候：晴れ，曇り，雨，背景：各天候 に2種類ずつ）を変えて各色6種類のデータを求め る，色標識の例を図2に示し，各色の分布を1つの
S（a）・255
ｩ去⑭K矧＠μ）｝（・）ここでは，a＝［x，y］Tである，例として実際の青色標 本データから得られた色標本ベクトルμ，共分散行 列Kを以下に示す．
図2 色標識（青色標識）
pt＝［70 73］7・ K＝［一43 一43］
（8）
式（8）を式（9）に代入し得られた色分布関数により，あ
る青色標識の平均値からずれている色も，色らしさ 度0とならずにその色に近いほど値が高くなる．す なわち，出現頻度の高い色ほど，値の高い色らしさ 度が得られる．さらに本稿では，式（7）をもとに広い 範囲の撮影条件に対応できるようにガウスフィルタ を式（7）へ適用する．ガウスフィルタとはガウス関数 を用いた平滑化フィルタの一種であり以下のような
数式で表される16）．9吋）一
Q券鴫劉（9）
ここで，σ2は分散を表す．このガウス関数によ って式（7）は次のようになる，本稿では，次式を拡 張色分布関数と呼ぶ．
x＋1 ア＋ノ
h（x，ア）一ΣΣ9（x−x、，．Y一ア，）s（の（1・）
x， ＝x−1 y， ＝y−t
ここで1はオペレL一一一・タ半径を表し，また，ai＝［x1， jVi］
である．式（10）のxとyを0〜255の範囲で走査し，
得られる色らしさ度を色分布テーブルとして描
いたものが図4である．図は一例として青色を示 した．ただし，最大値を255として正規化してい
る．
55
︵へδぺ
O0薰O0団0
o
100H 1
x WU 2［M一 s．2
らロ
・oo
A2550D
図4 青色標本データの色分布テーブル（1＝7，σ；5）
像より類似度マップを求める手順を述べる．
まず，カラー入力画像から読み込んだ画素の色が 分布関数のxy平面上のどの位置に存在するか探索 して，色らしさ度を求める．すなわち，カラー入力 画像の各画素eの色の色らしさ度を色分布関数を 用いて次式により求める．
Sm（e）＝・ h（Xj（e）， yy（の）
（11）
ここで，（Xl（e），乃（e））は画素eをXYZ色空間におけ
るxy色度座標に変換したものである．式（ll）から入 力画像の全画素について色らしさ度を求めた画像を 類似度マップと呼び，色領域の情報はこの類似度マ ップを用いることにより単純な2値化表現に比べ，
より信頼性高く表現できる．すなわち，類似度マッ プは256階調の濃淡画像として得られる．
3．4類似度マップを用いたActive Net
色らしさ度を視覚的に表現した類似度マップの Active Netへの導入は，次式のように定義すること
によって行われる．Eimage ＝ C 1 V S，，（V） （12）
3．3類似度マップ
ここでは，拡張色分布関数を使ってカラー入力画
255
y
o
Geen
、き ！
Yellow
− N k
Blue Red
図3 各色の分布
255
これにより，道路標識の色特徴を画像の適合性エネ ルギーとして反映させることができる．ここでwは 重みである．cは正または負の値を取る係数であり，
網の内部の層では正，外側の層では負にすることに より網のモデルは領域を包み込むようにフィットす る．以上のことにより，網のモデルは色らしさ度の 大きな領域へ導く力が生じ，特定色領域を覆うよう に収束しその領域が抽出される．
従来の2値化を用いた検出法では，対象領域が欠 けることがあるため，補正処理を加味した抽出を行 わなければならなかった．それに対して，Active Net での領域検出では，わずかな凹凸に対してあまり敏 感ではない特徴を持っている．つまり，対象がわず かに欠けていても，滑らかな領域検出が可能となり，
補正処理を省くことができる．しかしながら，画像 上に類似した色領域で，かつ，一定以上の面積を有
一56一
する領域が複数存在する場合は，別々に領域を検出 することは困難である．
4． 2段階抽出法
従来のAct量ve Netを用いた対象領域の検出では，
網の一回のみの適用であった．しかし，Active Net は適用しようとする画像が大きい場合，画像の端の 方に位置する対象に対してActive Netが十分に対応 できないことがあった．すなわち，網の重心移動速 度が遅いことや反復演算回数0〜150回位までの網 の端の層の格子点移動距離が長いということである．
前者は，網が対象に移動するまでに演算回数が増加 する原因であり，後者は，格子点が対象を飛び越し てしまい検出できなくなること，また検出できたと しても，抽出領域の形状状態が悪くなる原因となる．
そこで類似度マップを縮小し，かつ，Active Netを
2回適用する2段階抽出法を提案する．図5に2段階抽出法の処理手順を示す．
4．1第1段階
カラー画像より得られた類似度マップには値の ばらつきとノイズを含んでいるので，色らしさ度を 256階調表現から16階調表現にした後，平滑化フィ ルタをかけ，値を滑らかな変化にし，ノイズの影響 を軽減させる．そして，縮小だけを目的としたアフ ィン変換17）を行い，画像サイズを1／2に縮小する．
また濃度補間には，線形補間法18）を用いた．この 縮小マップにActive Netを適用させ，得られる網の 全格子点座標の平均値を求め，対象領域のおおまか な位置座標をとする．この時の初期網は，画像全体 を覆うことのできる図1と同じ構造の網を使用する．
第1段階では画像を縮小することによって，画像
類似度マップ
アフィン変換による縮小 1／2縮小マップ
Actlve Net第1段階 網の平均座標値・一全格子点
旦
類似度マップ（原寸）
Active Net第2段階 色領域検出
図5 2段階抽出法の処理手順
に対する格子点密度を高くし，1回の反復演算によ る格子点移動距離を短くできる．すなわち，従来問 題となっていた対象領域の飛び越しを防ぐことがで
きる．
4．2第2段階
第1段階で求めた平均座標を中心とする網を元の 縮小していない類似度マップに貼り直し，計算を行 う．これによって網は，より対象に近い位置に初期 網を置くことができる．すなわち，標識の形状情報
を取り出すことが可能となる．この時の初期網は，
均一な収縮が行われるように，円構造を持った網を
使用する．
以上のような処理手順で希望の色領域を検出する．
5． 実験
これまで述べてきた手法を実際の道路情景画像に 適用して色領域抽出実験を行った．道路情景画像に は，①道路標識が複数存在する場合，標識がお互い に異なる色を持っている，②標識以外の領域は標識 と類似した色を持たない．という条件を付加した．
実験で用いた網，画像等の仕様は次の通りである．
Active・Netの格子点数は（40×10）個とする．式（12）中 の係数については第1，2段階両方ともw−5．0とし，
cは網の最外郭層とその内側の1層について。一一1．0，
その他の層については。−LOとした．カラー入力画 像は，色の劣化，歪みの少ないディジタルビデオカ メラから取り込み，サイズを630×480画素とする．
また，RGB成分は各8Bit，256階調を用いる．
実験手順は，まず抽出したい色の色標識が存在す る画像から図3に示す歪な各色（赤，青，緑，黄）の 色分布関数を予め作成しておく．次に，それをもと にカラー入力画像の全画素について色らしさ度を求 め，それを類似度マップとして表示する．得られた マップは特定色領域の色らしさ度を表しており，こ れを画像の適合性エネルギーに付加し，提案法を適
用する．
カラー入力画像の例を図6に示す．この画像に黄 色の拡張色分布関数を適用した場合の類似度マップ が図7である．類似度マップは色らしさ度が高いほ ど輝度値：が小さくなるように表示している．すなわ ち，図7で暗い領域が，色らしさ度が高い場所であ る．2段階抽出法を適用した結果を拡大表示させた ものを図8に示す．従来法と比較すると，提案法の 方が標識の形状をより正確に取り出していることが 分かる．ここで述べている従来法とは，Active Net を1回適用した方法を指している．
次に，図9のような道路標識が複数存在するカラ
図6 カラー入力画像
謬⑱
灘
図9 カラー入力画像
図7 類似度マップ（黄色，1＝9，σ ＝10） 図10 類似度マップ（青色，1・・7，σ一5）
（a）従来法 （b）提案法
図8 網の収縮結果
一入力画像に提案法を適用させた．対象は複数存在 するが，駐車禁止標識の内部が青色であるため，青 色の拡張色分布関数を使用するることによって，類 似度マップ上に検出することができる（図10）．類似 度マップを見ると，図6より対象が小さく，さらに，
端の方に寄っているので，従来法ではこの標識を検 出できなかった．この画像に対して提案法を適用し た結果が図11である．ただし，図11（a）は類似度マ ップの縮小処理を省いた提案法の結果である．この 結果より，従来検出できなかった領域を検出するこ とができた．さらに，類似度マップを縮小させた方 が良好な結果が得られることが分かる．
（a）提案法（縮小なし） （b）提案法（縮小あり）
図11 網の収縮結果
この実験での反復演算回数は，第1，2段階それ ぞれ，3500回，1000回である．処理時間は，CPU，
Pentium133MHzの計算機を用いて，25秒であった．
6．結
論
本稿では，ある特定の色領域を検出する2段階抽 出法について述べた．提案手法は類似度マップを一 旦縮小して，これにActive Netを適用させて，大ま かに対象の位置を探索し，この結果をもとに2度目 のActive Netを原寸の類似度マップに適用させた．
この手法では，Active Netを2回適用することによ
一58一
り，従来法よりも検出した領域形状が良好になり，
また検出できなかった対象が検出できるようになっ た．これによって，その後の対象の認識処理を簡単 化することが可能であると思われる．
しかしながら，画像上に特定の色に類似した色領 域で，かつ，一定以上の面積を有する領域が複数存 在する場合，Active Netは一度にそれらを個別のも．
のとして検出することは困難である．このことは今 後の大きな課題である．
参 考 文 献
1） 薮木登，三木成彦：道路情景中の最高速度標識の検出およ
び認識，電子情報通信学会論文誌D−II， J77−D−II，7Gg94）
1393−B94
2） N． Yabuki， Y． Matsuda， H． Kimura， Y． Fukui． and S． Miki i
Region Extraction Using Color Feature and Active Net Model in Color lmage， IEICE Trans． Fundamentals， E82−A， ，3 （1999）
466−472
3） 日比哲也，鎌田正樹：色相彩度変換と座標変換を用いたカ ラー自然画像からの交通標識領域の抽出および認識法、電
気学会論文誌D，I15−D．12（1995）1484−1490
4） W． Ritter ： Traffic Sign Recognition in Color lmage Sequences，
Intelligent Vehicles Symposium （1992） 12−17
5） L． Priese， V． Rehrmann， R． S￠hian and R． Lakmann：Traffic Sign
Recognition Based on Color lmage， lntelligent Vehicles Symposium （1993） 95−lOO
6） R． Janssen， W． Ritter and F． Stein i Hybrid Approach for Traffic
Sign Recognition， lntelEigent Vehicles Symposium〈1994）390−395 7） 平槙崇，森隆知，亀井且有，井上和夫：道路情景画像から
の道路標識の検出，システム制御情報学会研究発表講演会
（1995） 247−248
8） J． H． An， H． T． Kim and T． Y． Choi：Traffic Sign Detection by
Dominant Color Transform and Symbol Recognition by Circular Shift of Distributions on Concentric Circles， Proc． of ITC−CSCC 97 （1997） 287−290
9） 川上肇，池田徹，田島譲二：色と形状の情報を用いた道路
標識検出，電子情報通信学会技術研究報告，PRU92−29
（1992）33−40
10）木村英雄，内村圭一，脇山慎也＝道路情景画像における円 形道路標識の抽出及び認識，電気学会道路交通研究会資料，
RTA−97−33 （1997） 29−34
11）児玉秀作，中村雅司，神保孝志，梅野正義：階層型ニュー ラルネットを用いた速度標識の位置特定，電気学会道路交
通研究会資料，RTA−97−44（1997）55−58
12） M． Kass， A． Witkjn， and D． Terzopoul ： SNAKES， Active Contour Models， lnternational Journal of Computer Vision， 1， 4 （1998） 321−331
13）坂上勝彦，山本和彦：動的な網のモデルActive Netとその
領域抽出への応用，テレビ誌，45，10（1991）11−19
14）吉野和芳，真木みお，川嶋稔夫，青木由直1色特徴エネル
ギーによる対象物体の抽出，電子情報通信学会論文誌D−II，
J77−D−H， IO （1994） 1993−1999
15）呉三元，陳謙，谷内田正彦：カラー画像からの顔の検出，電
子情報通信学会技術研究報告，PRU94−108（1995）7−14 16）南敏，中村納：画像工学，コロナ社，（1990）
17）高木幹雄，下田陽久監修：画像解析ハンドブック，東京大
学出版会，（1991）
18）田村進一監修：コンピュータ画像処理入門，総研出版，
