A p p l i c a t i o n s  t o  a  Modular N e u r a l  Network ‑

近畿大学工学部研究報告 No38，2

∞

4年，pp.157・163 Research Reports of the School of Engineering， 

Kinki University No38， 2004， pp.157‑163 

動径基底関数を用いたクラス分類問題の分割法 ーモジュール型ニューラルネットワークへの適用一

石原聖司

A  Task D e c o m p o s i t i o n  A l g o r i t h m  U  s i n g  R a d i a l  B a s i s  F u n c t i o n s   f o r  C l a s s i f i c a t i o n  P r o b l e m s  

A p p l i c a t i o n s  t o  a  Modular N e u r a l  Network ‑

Seiji ISHIHARA 

Abstract  This paper proposes an algorithm for decomposing a multi‑class classification problem into a set of two‑class  classification  problems.  The algorithm divides a set  of input pattern  vectors corresponding to  each class  into  subsets  according to the distribution ofthe specified input pattern vectors. The distribution is  estimated by using RBF network with  MDL criterion. ln this pape巳thealgorithm applied for constructing a modular neural network. Experimental resu1ts showed  that the algorithm simplifies multi‑class classification problems efficiently. 

Key word  classification problem， minimum description length criterion， modular neural network， radial basis function 

1.まえがき

階層型ニューラルネットワークをクラス分類問題に適 用する際の問題点として，ネットワーク規模の増大によ る学習の難化が挙げられる.対象とするクラス分類問題 を複数の小規模な部分問題に分割した上で，その各々を 小規模な階層型ニューラルネットワーク(以降，モジュ ールと呼ぶ)で処理しその結果を統合する方法は，この ような問題点に対する有効な対処法の一つで、あると考え られる.近年，このような考えのもとに，クラス分類問 題に対するモジュール型ニューラルネットワークの構成 法がいくつか提案，検討されている [1]~[6].

これらの中でも，文献[6]で提案されているネットワー クの構成法は，各モジュールの出力を容易に統合するこ とができる上に，あるクラスに属する入力パターンベク トルの集合を複数の部分集合に分割するような問題分割 を行った場合にも対応できるという点で，有用性の高い

近畿大学工学部電子情報工学科

方法の一つで、あるといえる.この方法では，出力素子を 一つだ、けもつモジュールを，Kクラス分類問題の部分問 題各々に対応させた上で，それらの出力を統合するユニ ットを組み合わせることによりネットワークを構成する.

ただし，この場合，何を手がかりにしてどのように問題 を分割するかということが課題となる.すなわち，対象 とするKクラス分類問題を，あらかじめ何らかの方法に よってK通り以上の部分問題に分割しておくことが前 提となる.例えば，クラス単位での問題分割を考えた場 合，Kクラス分類問題は，あるクラスと別のクラスとを 分類するKないしK(K‑1)/2通りの2クラス分類問題 に容易に分割できる.

しかしながら，クラス単位での問題分割だけでは，必 ずしも十分に問題を単純化できるとは限らない.この場 合，単純化が不十分な部分問題における入力パターンベ クトルの集合を複数の部分集合に分割することで問題の

Department of Electronic Engineering and Computer Science，  School ofEngineering， Kinki University 

157 

更なる単純化を考えるわけであるが，あるクラスに属す る入力パターンベクトルの集合を複数の部分集合に分割 する際には何らかの指針が必要となる.

この種の簡単な指針として，ランダム選択やk‑means  法によるクラスタリングなどが挙げられる.ただし，ク ラス聞の分離境界面の形状を考慮、しない分割では，必ず しも効果的に問題を単純化できるとは限らない.また，

そもそもいくつの部分集合に分割すればよいのかも不明 である.問題の単純化を効果的に進めるためには，クラ ス聞の分離境界面の形状を単純化できる分割が有効であ ると思われるが，具体的な指針についての議論は文献旬]

でもなされていない.

本論文では，所定の入力パターンベクトルの分布形状 を指針とし，あるクラスに属する入力パターンベクトル の集合を適当な数の部分集合に分割することにより， 2  クラス分類問題をより単純な部分問題の組み合わせに置 き換えるための一手法を提案する.提案法では，動径基 底関数 (RadialBasis Function:RBF)の組によって所 定の入力パターンベクトルの分布形状を表現すると共に，

最小記述長(MinimumDescription Length:MDL)基 準[7Jを参考に導出した値に基づいて部分集合の数を決 定 す る . 本 論 文 で は 更 に 文 献[6]のモジュール型ニュ ーラルネットワークをクラス分類問題に適用する際の問 題分割手段として提案法を適用した上で，計算機実験に

よりその効果を示す.

2.クラス単位での問題分割

クラスCぃC₂，.・・ ，C_K から構成されるKクラス分 類問題を，クラス単位で、分割する場合について考える.

教師あり学習の場合，学習用の入力パターンベクトル

X_i E Rⁿ の属するクラスは，教師パターンベクトル d_i e R^K によってあらかじめ与えられることになる.そ のため Kクラス分類問題は K通りの 2クラス分類 問題に直ちに分割することができる.ここで，これらの 2クラス分類問題の各々を，タスク T_kと呼ぶことにする

( k = 1，2，... ， K) . 

タスク五は，クラスC_kと，その他すべてのクラスと の識別関数を求める問題となる.タスク

T

kに対して，出 力素子を一つだ、けもつモジューノレM_kを一つ害IJり当て，対 応する教師パターンベクトルの要素djk}εR¹の値を

8 一ε

咽 ・

・

・ ・

rt tE IJ

︑

IE'l

︑

ι 一 一

κ   ︐

S置 ︑ . ︐

f︐

di  

if  X_j eX(Ck) 

if  X

j E X(Ck) 

︑ ︑ . ︐ ︐

噌E ム

︐ ︐ . ︑

とおいて学習を行えば，一種のモジュール型ニューラル ネットワークを構成することができる[5][6].ここで， & 

は微小な正数である.また，X(CdはクラスCkに属する 入力ノミターンベクトルの集合を表す.学習後，入力パタ ーンベクトルは，それに対して最も大きな値を出力する モジュールM_kに対応するクラス C_kに属するものとし

lnput 

図1 Luらの提案したモジューノレ型ニューラルネットワーク Fig.l The modular neural network proposed by Lu. 

て識別される.

タスク丸は， K‑1通りの2クラス分類問題に更に分 割することができる.ここで，これらの 2クラス分類問 題 の 各 々 を ， タ ス クTkJと 呼 ぶ こ と に す る

( 1 

= 

1，2，... ，K; 1 =t= k ). 

タスク Tk.Iは，クラス C_kとクラス C₁との識別関数を 求める問題となる.タスク TkJに対して，出力素子を一 つだ、けもつモジューノレM_k.1を一つ害

l

り当て，対応する教 師パターンベクトルの要素げ)の値を

if  x_j e X(Cd 

if  x_j eX(C，>  (2) 

とおいて学習を行う.その後，クラスCkごとに，対応す るモジュールの組

[M

kJ}立1:1吋をまとめれば，一種のモ ジュール型ニューラルネットワークを構成することがで きる[6][8].例えば， 3クラス分類問題をクラス単位で六 つのタスクに分割する場合，文献[6]では，図1に示すよ うに2組のモジュールごとに出力を最小値選択機で、統合 した上でそれらを更に最大値選択機で統合することによ りモジュール型ニューラルネットワークを構成している.

なお，図1において，Invは，モジュール MkJの出力を，

モジュール MI.kの出力から 1を減じた値の絶対値に置 き換えるユニットを表している.つまり，等価な2クラ ス分類問題であるタスク Tk，l及びタスク T/，kに関しては，

対応する一方のモジュールの学習結果を他方のモジュー ノレの出力に流用することで重複する学習を避ける意味が ある.

Luらの提案した構成法旬]では，X(Ck)及び X(C，)から なるタスク Tk，lを，音部R分集合X;FCqωkρ)cX(向C^{止 川 .k}

，U )及てひび

r

部分集合X;FC叩QρI)cX(向C，)代(v = 1ユ，2，..一.，V)から なる部分夕スクの組

{ 1

丸}んん"加t"μ1，，}に更に分割した場合にも，図 2に示すように各モジュールMk"，1"の出力結果を最小{直 選択機と最大値選択機を組み合わせて統合することによ り，それに対応するモジュール型ニューラルネットワー クを容易に構成することができる.ただし，タスクのこ のような分割には，何らかの指針が必要である.

動径基底関数を用いたクラス分類問題の分割法

Input  Output of  module Mk.l 

図 2 図 1におけるモジューノレ^Mk.Jの構成 Fig.2 Construction ofthe module M_k.1 in Fig.l. 

3.提案法

3.  1 問題分割の指針

本論文で提案する問題分割法では，所定の入力パター ンベクトルの分布形状を指針とすることで，タスク丸_I を構成する^X(Cd及び^x(C，)を{X，^~Ck)}

乙l

^{及び {X~C，)}~=)}

に分割する.これにより，夕スク1

五

k.1を部分夕スクの組

{1五}九んん/1仙，μ，，1，ん^I

な処理の流れを以下に示す.

(1) ^X(Cdの分布形状に基づ、いて，^x(C，)を，^X(Cdの分 布の外側にある部分集合^X(C'，)と，^X(Ck)の分布の内側に ある部分集合^x(C'，)とに分割し，^{X (C'，)}を新たに^x(C，)と 定義する.

(2) X(^C'，)の分布形状に基づいて，X(^C'，)_{を所定の部分} 集合の組に分割する.

(3)X(C^，)の分布形状に基づいて，^X(Cdを，^X(C，)の分 布の外側にある部分集合^X(C'k)と，^X(C，)の分布の内側に ある部分集合^X(C'k)とに分割し，^X(C'k)を新たに^X(Ck)と 定義する.

(4) X (^C'k)の分布形状に基づいて，^X(C'k)を所定の部分 集合の組に分割する.

(5) ^X(C'k)または ^{x (C'，)}が空集合となるまで， (1)  '"  (4) を繰り返す.

なお，^{X (C'd}または ^{X (C'，)}が空集合となる前に ^X(C'k)ま たは

x (

^C'，)が空集合となる場合， X(^C'k)及び

x (

^C'，)_をそ

の分布形状に基づいていくつかの部分集合に分割した上 で，それらの組み合わせでできる部分タスクごとに (1) から (5)の処理を再帰的に繰り返す.

タスクTk_，lにおいて，入力パターンベクトルの分布を 例えば正規分布などで表現した場合，クラスC_kの分布か ら外れるクラスC，の入力パターンベクトルの集合は，ク ラスC_kとの識別が容易であると考えることができる.つ まり，当該集合とクラス C_kに属する入力パターンベクト ルの任意の部分集合とによって構成される部分タスクに ついては，単純な分離境界面による分離が可能であると 考えられる.更に，当該集合を除いたクラスC，の入力パ ターンベクトルの分布から外れるクラスC_kの入力パタ ーンベクトルの集合は，クラスC，との識別が容易である

ーモジ、ユール型ニューラルネットワークへの適用一

X2 

O 

。

^{o '"} 

o O A  A a ‑

。

6  "， 0  6  0 

0 6  0‑60 6  0  0 606 0ll 

0 3 0 O  

‑

X) 

(a) 

X21 _・̲.ー、

O 

X2 

O 

， ‑ . . ‑ ・ .

^...iュ

，ヘごゑす^‑f:.'

五マふ

i‑¥ 6 

'" 0 t:1¥.、

¥ . h  

^{0 ‑6 0  6 ¥}

、

¹

¥

e

^{:606  0}

士 、

I M 3 0 0 ‑

(c) 

....、白，、

/tl ^{~;争、、、}

.'~ ^I千人 d 企¥

c . . . . ' γ

企6¥

企 ¥

企U

6 。、、三 1

6 ^てJ

0 0‑

(e) 

X) 

X) 

X2 

O 

X2 

O 

X2 

O 

. ・ .

.?4'23〈、. 

.'~ ^{0 0  6} 

・ ¥

・ ム

^0‑60 ~\!.

¥^OA  0 ll.i 

・ _.

^¥A‑

_{¥ ミ}

^{‑:  6} 

_{。 。}

^U 

_{/ /}

^/::M 

(b) 

A ̲生』企 今〆o^O'、(

"，，' 0  60¥千

弘^{O A oj} 

t 

¥6  0/ 

¥Q三/

(d) 

:0¥ •

¥r，、

.

、

^'':;'1•

•

( η  

X) 

X) 

X) 

159 

図3入力パターンベクトルがらせん状に分布する2クラス分 類問題に対する提案法による分割例.ムは^x(C1)に含まれる入 力パターンベクトル，0は^x(C2)に含まれる入力パターンベク トルをそれぞれ表す.また，点線は分布モデ、ルによって決まる 境界，企及び・は所定の境界の外側に位置すると判定された入 力パターンベクトルをそれぞれ表す

Fig.3 Example of the proposed de

∞

^{mposition prl}

∞

e路 島ra two spirals problem. Input pattβm vecωrs represen白dby  ム are members of ^X(Cd， and input pattern  vectors  representβd by 0 are  members of ^X(C2). Dashed line  represents the boundary based on the distribution of the  speci:fied input pat胞m vectors. Input pattem vectors which  are outside of boundaries are represen腿dby A or •.

と考えることができる.つまり，提案法における問題分 割は，一方のクラスに属する所定の入力パターンベクト ルの分布形状を推定し，その分布から外れる他方のクラ スに属する入力パターンベクトルの集合を分離する処理 を二つのクラスに関して交互に行うことで，単純な部分 タスクを生成するという考え方に基づいている.

ここで，図3(a)のように入力パターンベクトルがら せ ん 状 に 分 布 す る 2クラス分類問題(TwoSpirals  Problem)を例に提案法による問題分割処理の経過を示 す.提案法では，まず，入力ノ^fターンベクトルム^eX(C1)の 分布形状を推定する.その上で，入力パターンベクトル

O e X ( C2)のうち，^X(C1)の分布の外側に位置するものを 部分集合・e^X(C'z}に，^X(C1)の分布の内側に位置するも のを部分集合^x(C'z}に分割する(図 3(b)).ここで，^X(C'2) 

を新たにx(C2)と定義しておく.

次に，

x (

C'uの分布形状を推定する.その分布形状によ って決まる境界に基づき， X(C'2)を三つの部分集合，

X1(C2)， Xf2)及び

x j C 2 )

に分割する(図3(c))  今度は， X(CUの分布形状を推定する.その上で，

x(C¥)に含まれる入力パターンベクトルのうち， X(C2)の 分布の外側に位置するものを部分集合企εx(C'¥)に，x(C2)

の分布の内側に位置するものを部分集合x(C'¥)に分割す る(図 3 (d)).ここで， X(C'¥)を新たにx(C¥)と定義して おく.

次に， X(C'¥)の分布形状を推定する.その分布形状に よって決まる境界に基づき， X(C'¥)を二つの部分集合

x i C l )

及び

x f l )

に分割する(図3(e)). 

以降"同様の処理を繰り返し， X(C'¥)が空集合となっ たところ(図 3(f))で， X(C'¥)及び、x(C2)をそれぞれの 分布形状によって決まる境界に基づいて所定の部分集合 に分割し処理を終える.

3.  2 分布形状の推定

分布形状の推定は，図4に示すRBFネットワーク[9] の学習によっ^Zて行う.図4において， Gはガウス関数を 表し， h!  (=1，2，...m)番目のRBFにおける中ILA:立置ベ クトルをth=(ら¥，th2  '・・，.thn)，広がりと傾きを決める重 み行列を

I W

， 拘 …_{"1.1  "¥.n} 1_I 

Wh=レ : ・

I 

Wh_'"_'._n.¥_l   ...  Wh_"nn..n n 

I 

_I 

(3) 

とすると，入力パターンベクトルxに対する RBFの出 力Yh(X)は，

=  G~IX-thllt

= 叫 十

(X‑thXWhYWh(X‑thY)  ⁽⁴⁾  と定義される.ここで， (whl及び (x‑thl及び Wh^の 転置行列をそれぞれ表す.また，RBFネットワークの出 力f(x)は，

f ら ) =

fZhYh(X)  ⁽⁵⁾ 

と定義される.ここで，z 

= 

(Z)，Z2'

…

，Zm)は，結合荷重を 表す.

学習時に更新されるパラメータは，中IL'I立置ベクトル

th ，重み行ヂ!jW hそして結合荷重zの3種類である.学 習用の入力パターンベクトル叫に対する教師ノ号ターン を0;，学習用の入力ノミターンベクトルの数を N とし，評

Input 

Xl 

X_n 

価関数 Eを

図4RBFネットワーク Fig.4 RBF network. 

E= 拾い作 γ r

と定義すると，各パラメータの更新量は，

8th 

=  ‑ 1 ] ， 号

oE 

8Wh 

=  ‑ 1 ]

^{w士一一，}

V H h  

M 

= ‑ d

^， 

(6) 

(7) 

(8) 

(9) 

により決まる.ここで，

  ， ] 1

^{，ηwそしてηzは，学習係数を}

表す正数である.なお， 0;は，分布形状の推定の対象と する集合(以降，

x (

叫 ect)と表す)に X;が含まれる場合 は 1‑&，含まれない場合はEの値をとるものとする.す なわち， 3.1で 示 し た (1 )の処理では，

if  X; E X(Ck) 

if  x_j E X(ct> 

とおき， (2) の処理では，

if  X; E X(C'/) 

if  x_j E X (C'/) u X ( Ck> 

(10) 

(11) 

とおいて学習を行う.なお， (3)および (4) の処理で は，式(10)および式 (11)におけるIとkを置き換え て考えればよい.

RBFネットワークにおけるRBFの数は，

MDL

基準 の定義式を参考に次式を用いて決める.

r

ベ巾判(いm

刈

例

) = 一 エ

logf(い円x

4 ゆ

1渦，;￨防

桝 φ (

い

寸

m^η7付ゆ

^{1 4 J} 》 ⁾ ) + 4 4

^{附 叩 仕}

XjEXIS叩UI¥町Je田Clり . t .

ここで，合(m)は m個のRBFをもっRBFネットワー クにおけるパラメータ

動径基底関数を用いたクラス分類問題の分割法ーモジ、ユール型ニューラルネットワークへの適用 161

e ( m )  

⁼ 

{ い

2'

…

，t_m，_{W 1}， _{W 2}，...，  w m，

z }  

⁽¹3) 

の学習後の値を表す.すなわち，式(12)の右辺第一項 は，

RBF

ネットワークにより推定した分布形状の尤もら しさを評価するものである.また，式(12)において，

F

は

RBF

ネットワークにおける自由パラメータ数，

N叫Ijectはx(su恥ct)に含まれる入力パターンベクトルの数 をそれぞれ表す.

分布形状の推定に際して，

RBF

ネットワークの学習は，

m=lすなわち

RBF

を一つ備えた状態から順に行うも のとする.具体的には，r(m) < r(m + 1)となるまで m の値を一つずつ増やしながら新たな

RBF

^{ネットワーク}

の生成とその学習を繰り返す• r(m)くr(m+ 1)となった 時点で新たな

RBF

ネットワークの生成をやめ，

RBF

の 数がmである

RBF

ネットワークを採用する.

3.  3 入力パターンベクトルの集合の分割 3.1で 示 し た (1 )の処理において，X(C，)は，二つの 部分集合

x(C'

) ，

= 

ド

^{ilXi ε X(C}

，

ρ)，

f ( い

^x

叱 川

i)く

eC~

戸 戸 了 L 沫 湘 4 剖 ド = k ^判 → ^{川 胤 科}

^il

^{I X 札}

^x叫XF

εEX( 〆(C，ω C') ，f ρぺ)ヘν 刈 ，f(x 刈 f パ爪九刈(い仇 ω ^{υψ 山 X ;)上)片凶注} i i ^~eCk ) 

^} 

(14) 

(15) 

に分割される.ここで，ec~ は，^X(Ck)の分布形状を表す

RBF

ネットワークの出力 {f(x_i)

I 

x_i E X(Ck)}の最小{直 に対応する.なお， (3)の処理では，X(Ck)に対して同 様の分割が行われる.

(2)の処理において，X(C川土，mC'，個の部分集合

x~C") ={中山

^rg

^ア

^aX{Yh

^叫

に分割される.ここで，Yh(X_i)は，X(C'，)の分布形状を表 す

RBF

ネットワークにおける

h

番目の

RBF

の出力値で ある.また，mc'

， 

は，当該ネットワークの

RBF

の数に対 応する.なお， (4)の処理では，X(C'dに対して同様の 分割が行われる.

4 .

実験

提案法の有効性を確認するために，モジュール型ニュ ーラルネットワークをクラス分類問題に適用する際の問 題分割に関する実!験を行った.なお，モジュール型ニュ ーラルネットワークの構成は，文献[6]の方法で行った.

実 験 で は K ク ラ ス 分 類 問 題 を ， ク ラ ス 単 位 で K(K ‑1)/2通りの2クラス分類問題に分割した後，

(i)提案法により L (註K(Kー1)/2)通りのタスク に分割する場合，

(u)ランダム選択により提案法と同数のL通りのタ スクに分割する場合，

o 

1.0 

図4Two Spirals Problemの一例 Fig.4 Example of a Two Spirals Problem. 

(iu)それ以上の分割を行わない場合，

の3通りに対してそれぞ、れモジュール型ニューラルネッ トワークを構成し，識別精度及びモジュールの学習時間 について比較した.なお， (品)での問題分割は，

K(K ‑1)/2通りの2クラス分類問題各々において，提案 法によって得られた結果と同数の部分集合に入力パター

ンベクトルをランダムに振り分けることで、行った.

4.  1 実験条件

実験に使用したクラス分類問題は，図 5に示すTwo Spirals Problemの一例，マシンラーニングデータベー ス

[ 1 0 ]

中にある VowelData及び VehicleSilhouette  Dataの三つである.いずれの問題においても，クラス

ごとに入力パターンベクトルの半数を学習用に，残りを テスト用にランダムに振り分けて使用した.

モジュール型ニューラルネットワークを構成する各モ ジュールの中間素子数は5，学習係数は0.05に定めた.

また，結合荷重の初期値は，

[ ‑ 0 . 1

，

0 . 1 ]

の範囲で実験の 度にランダムに定めた.各モジュールの学習は，出力値 の平均2乗誤差が

0 . 0 1

を下回るか，または，学習回数が

1 0

万四に達するまで続けた.

提案法においては，分布形状の推定の際に使用する

RBF

ネットワークの学習係数'7wの値を

0 . 0 0 0 1

，'71及 び '7zの値を

0 . 0 0 0 0 1

にそれぞれ定めた.また，重み行 列wは対角行列に限定した上で，その初期値を， 3.1で 示した (1)及び (3)の処理では1.0，(2)及び (4) の処理では

1 0 . 0

にそれぞれ定めた.更に，中心位置ベク

トルtの初期値については，k ‑means法によって得られ るm個のクラスタ中心を各中心位置ベクトルに割り当 てることで決定した.なお，k ‑means法を適用する際，

学習データの中からランダムに選んだm個の入力パタ ーンベクトルを最初のクラスタ中心とした.結合荷重z の初期値は， [ー

0 . 1

，

0 . 1 ]

の範囲で実験の度にランダムに 定めた.

RBF

ネットワークの学習は，出力値の平均

2

表1Two Spirals Problemに対する実験結果 Table 1 Experimental results on Two Spirals Problem.  Decomposition algorithm 

( i ) Proposed method  (   ) iiRandom choice 

UiT)‑)((j{二

D

厄ふbprゐlems←

一

表2 VowelDataに対する実験結果

'

r

^包.ble2 Experimenta1 results on Vowel Data. 

Decomposition algorithm  Error rate (%) 

I 

Total timeおrtraining 

I 

Max. time for trainingl  No.of  ( i ) Proposed method 

(   ) iiRandom choice 

( iii) K(K ‑1)/2 subproblems 

modules (sec.)  a module (sec.)  subproblems  5121‑‑‑ ‑ 44!  571 

~051 ^{514  571} 

262i  681  110  表3 VehicIe Si1houet也Dataに対する実験結果

τ^'able 3 Experimental results on Vehicle Si1houet旬Data.

Decomposition algorithm  Error rate (%)  I Total time for training I Max. time for trainingl  No. of 

E

孟 函 訂

E 副

modules (sec.)  a module (sω  : subproblems  (i)Pr~~~~~~ !llethod

J 

18.1J27.5J  ̲2373j  151)  562  (   ) ii Random choice  15.2 i 30.3 I  3504!  105 i  562  Uil"Y]:{(K

ー

^{U/2sllbproblems ‑ / 19.6;  27.6} 

I 

596]  193:  12  乗誤差が0.01を下回るか，または，学習回数が10万四

に達するまで続けた.なお，

RBF

の数についてはその上 限を 5と定め，r(4) > r(5)となった場合でもそれ以上の 新たな

RBF

ネットワークは生成せず，

RBF

の数が

5

で ある

RBF

ネットワークを推定結果として採用した.

(i)から(出)それぞれの方法でモジュール型ニュ ーラルネットワークの学習とテストを5回ずつ行い，そ れらの平均を実験結果とした.実験には， 1.8GHzペン ティアム4のCPUと512l¥1BのRAMを備え，ウイン

ドウズXPを08とする計算機を使用した.

4.  2 実験1: .Two Spirals Problem 

Two 8pirals Problemは，階層型ニューラルネットワ ークの学習によって正しくクラスを分類することがその ままでは容易でないクラス分類問題の一例である.'I¥vo  Spirals Problemの一例として，図5に示すような

O

で 表される入力パターンベクトルの属するクラス(以降，

クラス

O

と呼ぶ)とムで表される入力パターンベクトル の属するクラス(以降，クラスムと呼ぶ)からなる2ク ラス分類問題を作成し，実験に使用した.なお，クラス

O

には393，クラスムには218の入力パターンベクトル がそれぞれある.また，各入力パターンベクトルは，二 つの要素からなる2次元数ベクトルである.

実験から得られた誤識別率，モジュールの学習時間及 び部分問題の数を表1に示す.モジュールの学習時間に ついては，各モジュールの学習に要した時間を合計した ものと，各モジュールの学習に要した時間の中で、最長の ものとをそれぞれ示す.表1より，提案法による問題分 割を行った場合，学習用及びテスト用のいずれの入力パ

ターンベクトルについても誤識別率が 0%であることが 示された.一方，ランダム選択による問題分割を行った 場合，学習データに対しては約11.1%まで，テストデー タに対しては約17.0%までしか誤識別率を下げることが できなかった.なお，クラス単位での問題分割のみの場 合の誤識別率はそれよりも更に高くなった.モジュール の学習時間についても，提案法による問題分割を行った 場合が最も短くなった.なお，提案法による問題分割に は，約343秒の時間を要した.

4.  3 実験2: Vowel Data 

ぬIwelDataは， 11種類の音素の波形を線形予測分析 の結果から数値化したものである.このデータセットに は11のクラスがある.また，クラスごとに90の入力パ タ}ンベクトルがあり，各入力パターンベクトルは 10 の要素からなる 10次元数ベクトルで、ある.

実験結果を表2に示す.表 2より，提案法による問題 分割を行った場合，学習用及びテスト用どちらのデータ についても誤識別率が最も低いことが示された.一方，

ランダム選択による問題分割を行った場合，学習データ に対しては約3.0%，テストデータに対しては約4.3%， 提案法より誤識別率が高くなった.なお，クラス単位で の問題分割のみの場合の誤識別率はそれよりも更に高く なった.各モジュールのうちの最長学習時間については，

提案法による問題分割を行った場合が最も短くなった.

モジュールの学習時間の合計については，クラス単位で の問題分割のみの場合が最も短くなった.ただし，モジ ュールの学習時間の合計を，提案法による問題分割を行 った場合とランダム選択による問題分割を行った場合と

動径基底関数を用いたクラス分類問題の分割法ーモジ、ユール型ニューラルネットワークへの適用 163

で比較すると，前者の方が短い結果となった.なお，提 案法による問題分割には，約94，814秒の時間を要した.

4.  4 実験3: Vehic1e SilhouetぬData

Vehicle Silhouette Data は， 4種類の自動車のシルエ ットを 2値画像から数値化したものである.このデータ セットには四つのクラスがある.また，クラスごとに約 200の入力パターンベクトルがあり，各入力パターンベ クトルは18の要素からなる18次元数ベクトルで、ある.

実験結果を表3に示す.表3より，提案法による問題 分割を行った場合，テストデータに対する誤識別率は最 も低く，学習データに対する誤識別率はクラス単位での 問題分割のみの場合より約1.5%低いことが示された.一 方，ランダム選択による問題分割を行った場合，学習デ ータに対する誤識別率は最も低くなったが，テストデー タに対する誤識別率がクラス単位での問題分割のみの場 合より約3.3%高くなった.各モジュールのうちの最長学 習時間については，ランダム選択による問題分割を行っ た場合が最も短くなった.モジュールの学習時間の合計 については，クラス単位での問題分割のみの場合が最も 短くなった.ただし，モジュールの学習時間の合計を，

提案法による問題分割を行った場合とランダム選択によ る問題分割を行った場合とで比較すると，前者の方が短 い結果となった.なお，提案法による問題分割には，約 28，002秒の時間を要した

5.考察

実験1及び2においては，提案法による問題分割を行 った場合の誤識別率が最低となった.これは，提案法に よる問題の単純化が最も有効で、あったためで、あると考え られる.実験3においては，ランダム選択による問題分 割を行った場合の誤識別率が，少なくとも学習データに 関しては最良となったように見える.しかし，この場合 のテストデータに対する誤識別率は最高となっているこ とと合わせて考えると，ランダム選択による問題分割が 必ずしも有効で、あったとはいえない.一方，実験3にお いても，クラス単位での問題分割のみの場合よりは提案 法による問題分割を行った場合の方が若干ではあるが誤 識別率は改善されている.つまり，実験 3においても，

提案法によってある程度問題が単純化されたと考えられ る.また，いずれの実験においても，学習データに対す る誤識別率が低いほど各モジュールのうちの最長学習時 間が短くなる傾向があった.

提案法による問題分割を行った場合の誤識別率の改善 が進みにくい場合として，あるクラスに属する入力ノミタ ーンベクトルの分布と別のクラスに属する入力パターン ベクトルの分布が類似する場合が考えられる.入力パタ ーンベクトルの分布形状に基づいて問題分割を進める提 案法においては，このような場合，部分問題の数が少な くなる傾向があり，結果として，問題の単純化が進みに くくなる可能性がある.ただし，分布の類似するクラス

を分離すること自体がそもそも容易なことではない.

提案法による問題分割に際しては，分布形状の推定を 行うことから，その処理に時間を要する傾向がある.提 案法による問題分割にかかる処理時間を短縮するために は，分布形状の推定を効率的に行う必要があると考えら れる.一方，ランダム選択による問題分割にかかる処理 時間はわずかであるが，あらかじめ何らかの方法によっ て部分問題の数を決めておく必要がある.

6.むすび

本論文では，

RBF

の組を用いて推定した入力パターン ベクトルの分布形状に基づき，あるクラスに属する入力 パターンベクトルの集合を複数の部分集合に分割するこ とによるクラス分類問題の分割法を提案した.その上で，

モジュール型ニューラルネットワークをクラス分類問題 に適用する際の問題分割に関する実験を，提案法を含む 3通りの方法に関して行い，結果を比較した実験の結 果，提案法による問題分割を行った場合，クラス単位で の問題分割のみの場合やランダム選択による問題分割を 行った場合に比べて，問題をより単純化できる傾向があ ることを確認した.問題分割に要する処理時間の短縮が，

提案法に関する今後の課題である.

参考文献

[1]  R.  A Jacobs， M. 1. Jordan， S.  J.  Nowlan， and G.  E.  Hin旬n，"Adaptive mixtures of 11

∞

al  expe此s，"Neural  Computation， vo l.3， No. 1， pp. 79‑87，1991. 

[2]  R.  A Jacobs and M. 1. Jordan， "Learning piecewise  control  stratβgies  in  a modular  neural  network  archi胞cture，" IEEE Trans.  Systems， Man， and  匂bernetics，vo l.23， No. 2， pp. 337・345，1993.

[3]  Y. Bennani， "A modular and hybrid connectionist sy.御m for speaker identification，" Neural Computation， vol. 7，  no. 4， pp. 791‑798， 1995. 

[4]  R.  E. Jenkms and B. P. Yuhas， "A Simplified neural  network solu討onthrough problem decomposition: the  case of the truck backer‑upper" IEEE Trans.  Neural  networks， vol. 4， no. 4， pp. 718・720，1993.

[5]  R. Anand， K Mehrotra， C. K Mohan， and S. Ranka， 

"E伍cientclassification  for  multiclass problems using  modular  neural  networks，"  IEEE Trans.  Neural  networks， vol. 6， No. 1， pp. 117・124，1995.

[6]  B. Lu and M. Ito， "Task de

∞

mposition and module  combination based on class relations: a modular neural  network for pattern cla回温.cation，"IEEEτrans. Neural  Networks， vol. 10， No. 5， pp. 1244・1256，1999.

[7]  J.  Rissanen，"A  universal  prior晶r in旬gers and  estimation by minimum description length，"Annals of  Statistics， vo l.11， No. 2， pp.416・431，1983.

[8]  石原聖司，永野俊，"RBF出力素子を用いたモジュール型ニ ューラルネット日本神経回路学会誌， Vo1.6， No， 4. pp.203・217，1999.

[9]  T.  Poggio and F.  Girosi， "Networks for  approximation  and learning，" Proc. of IEEE， vol.  78， No. 9， pp. 1481・

1497，1990. 

[1叫 C.L. Blake and C. J. Merz， UCI Repositρry of machine  learning  databases  (http://www.ics.uci.edul‑mlearnl 

阻.Reposi旬ry.htm])， University  of  California，  Department  of  Infon古ation and Computβr Sciena，  Irvine， 1998.