ニューラルネットワークの汎化性に関する一検討

九州大学学術情報リポジトリ

Kyushu University Institutional Repository

ニューラルネットワークの汎化性に関する一検討

小島, 良宏

松下電器産業株式会社中央研究所

香田, 敏行

松下電器産業株式会社中央研究所

高木, 英行

松下電器産業株式会社中央研究所

〆木, 泰治

松下電器産業株式会社中央研究所

http://hdl.handle.net/2324/4481565

出版情報：pp.6-5-, 1990. 電子情報通信学会 バージョン：

権利関係：Copyright(C) IEICE

1  9 9  0 年 電 子 情 報 通 信 学 会 秋 季 全 国 大 会

D ‑5  ニ ュ ー ラ ル ネ ッ ト ワ ー ク の 汎 化 性 に 関 す る 一 検 討

A Study of Generalization of Artificial  Neural  Networks 

小 品 良 宏 香 田 敏 行 高 木 英 行 / 木 泰 治

Yoshi hi ro  Koj iaa  Toshiyuki  Kohda  llidcyuki  Takagi  Yasuharu Shiaeki  松下巧器荏菜 中央研究所

Matsushita Electric  Industrial Co., Ltd.  Central  Research  Laboratories  I,  はじめに

ニューラルネットワーク (NN) や フ ァ ジ ィ 惟；合は、複数に分 割 さ れ た 入 力 特 位 空 間 に 基 づ い て は 別 や 推 論 を 行 な う 。 一 般 に 汎 化性を持たせるため、学習データに過度に適合させないように、

例えば学習回数を制御して部分空間分割をする。この従米法では、

要 因(A) 部 分 空 間 境 界 面 傾 斜 要因 (B) 部 分 空 間 全 体 形 状 の 2つを区別して制御することはできない。

箪 者 ら は、 こ の2つ の 要 因 を 個 別 に 制 御 す る こ と で 、 例 え ば 分 割 形 状 の 非 椋 形 性 を 保 ち な が ら か つ 汎化 性 も 維 持 す る 、 と い う よ うな性能：向上が図れるのでないかとの観点に立つ。本積では、こ の う ち 要 因 (B) を 固 定 し 要 因 (A) のみを制御することによって、

要 因 (A)が 汎 化 性 に ど の よ う な 影 響 を 及 ぼ す か を 団 ぺ る 。 境 界 面 領 斜 を 独 立 制 御 す る 実 験 手 段 と し て 、 著 者 ら が 提 案 し た フ ァ ジ ィ 惟 沿 ア ー キ テ ク チ ャ に 基 づ い て 設 計 し たN Nの 揖 造 化 手 法11I 

（以下、 これをN A R A (Neural‑networks designed on  Approxioatc Reasoning Archi lecture)と呼ぷ）を用いた。

2. 

! J i .  

界而傾斜の検討

まず、荘本的なN A R Aの1青成を説明し、次に、境界面傾斜を 独 立 に 制 御 で き る よ う に 改 良 し たN A R Aの揖成法を説明する。

2, I N A R Aの 構 成

図1に示すN A R Aの 構 成 は 、 フ ァ ジ ィ 推 沿 ル ー ル の 前 件 部 に 相 当 し 入 力 空 間 を フ ァ ジ ィ 分 割 す る NN■e■ と、ファジィ惟論ル ー ル の 後 件 部 に 相 当 し 各 ル ー ル （ 分 割 さ れ た 入 力 空 間 ） 毎 に 独 立 のNN sから構成される。

・認 磁 手 顛

(I)入 カ パ タ ー ン の 特 徴 ペ ク ト ル を 前 件 部 のNN

■

e

■ 

に入力し、

n個 の ク ラ ス に 分 割 す る 。 前 件 部 のNNoe■ の 出 力 層 の 位 を、前件部のメンパーシップペクトル日とする。

M = 

(m,, m,, ... , m。)

(2)入 カ パ ク ー ン の 特 徴 ベ ク ト ル を 全 て の 後 件 部 のNNsに入力 し、各後件部NNsの出力層

2

伍 を 、 認 磁 ペ ク ト ル （ 後 件 部 のメンパーシップペクトル） R, (s=l. … ,  n)とする。

莉

,

= 

(r ,,,  r ,, 

… 

芍

^{r ,c) C : カテゴリ数}

(3)各 後 件 部 か ら 出 力 さ れ た を 可 の 各 要 素 で

i i i

みづけし、

ルール毎に得られた

m , .

せ，を加算し、最終認磁ペクトル§

を困る。

R=~m , . ^{莉 ，}

・ •I

了の要素の中で最も大きいものを磁別結果とする。

2,  2 境 界 而 傾 斜 の 制 御 方 法

上 記 の 観点から、N A R Aに お い て も 入 力 空 間 を 曖 昧 に 分 割 す る こ と に よ っ て 、 学 習 デ ー タ と 未 学 習 デ ー タ の 分 布 の 相 違 が あ る 程 度 吸 収 さ れ 、 汎 化 性 の 向 上 に つ な が る 可 能 性 を も つ と 考 え ら れ る。実際、前 件 部 の N N●e■ の学習回数を小さくすることにより、

未 学 習 デ ー ク の 認 磁 率 が 上 が る こ と が 確 認 さ れ た 。 こ れ は 、 学 習 を途中で中断することによって、要因 (A)• 要 因 (B)の2つ が 同 時 に 変 化 し た と 考 え ら れ る 。 そ こ で 、 本 稿 で は 、 要 因 (A) のみを制御する方法として、 N A R Aの 後 件 部 の 各NNsはその ま ま で 、 前 件 部 の 構 成 の み を フ ァ ジ ィ ク ラ ス タ リ ン グ の 概 念 を 用 いて、次のように変更した。

(I)人 力 部 分 空 間 を 代 表 す る 代 表 ペ ク ト ル 芍．を、各クラスごとに 定める。 代 表 ペ ク トルの求め方はK‑MEANSクラスクリング、及 びL V Q等で行う。

(2) 人カパターンの〗徴ペクトルを了とする。前件部のメンパー

シップペクトル の 各 要 紫 の 籠 を 次 式 で 求 める。

m, 

= 

(I) 

::￡(D,2/ D12) ,,,,̲,, 

o ,  ~-11· 1-w,   1 1

但し、 m,は、 了 が 各 ク ラ ス に 所 属す る 度 合 (j,¥l属度）を示すも

ので、保屈度の給和は1に正規化されている。また、 f (> I)  はファジィ性を閲節するバラメークで、 fが1より大きくなるほ ど曖昧度が大きくなる。

このように前件部だけを変更し、パラメータ rの大きさを変え る こ と で 、 前 件 部 の メ ン バ ー シ ッ プ 関 数 の 傾 斜 （ 即 ち 、 入 力 部 分 空 間 の 境 界

i i i i

傾 斜 ） を 独 立 に 制 御 す る こ と が で き 、 要 因 (A)の み の 認は性能への影響を団ぺることができる。

3, 洟 験

上 記N A R Aシステムをマルチフォント英数字 (23711卜.17』1f 当り62HJ.11)認ぶ

1 ' 2 1

に適用し、 (I)式 のrが認坦性能にどの よ う に 影 響 す る か を 検 討 し た 。 前 件 部 の 代 汲 ペ ク ト ル はL V Qで、 後 件 部 の 各NN sは、 各 ク ラ ス 毎 にBP法 を 用 い て 設 計した。

図2にパラメータ

r

に対する学習データ (1370卜）及び未学 習 データ (107P卜）の認磁率の変化を示す。但し、 !=I.0のときは、

前件部でハードクラスタリングを行ったときの結果である。なお、

従 来 の111‑NNの 認 磁 率 は （ 学 習 デ ー タ ： 98. 9X  未学習デーク

: 8~. SX)である。図2より、パラメータf=I.O 1.5において、

・学 習 デ ー タ の 認 埠 率 は ほ と ん ど 変 化 し な い(99.ax  !OOX)が 、 未学 習 デ ー タ の 認 磁 率 は 大 き く 変 化 す る(83.2X 86. 8X)ことがわかる。

また、境界

i i i i

の 傾 き は ク リ ス プ な 形 よ り あ る 程 度 ゆ る や か に す る ほうがシステムの汎化性が向上することがわかる。

4, まとめ

N Nや フ ァ ジ ィ シ ス テ ム に お い て 汎 化 性 を 向 上 さ せ る た め 、 要 因 (A)、 (B) を 独 立 に 制 御 す る こ と が 必 要 で あ る と い う 観点 にたち、要因 (A)を 独 立 に 制 御 し た と き の 認埠 性 能を閲ぺた。

実験結果より、 要 因 (A)を 制 御 す る こ と に よ っ て 汎 化 性 が 変 化 す る こ と が わ か り 、 要 因(A)を制御することの豆要性が確認さ れ た 。 今 後 の 課 題 と し て は 、 学 習 デ ー タ の 分 布 状 態 が わ か っ た と きに、具体的に要因 (A)、 (B) に ど の よ う な フ ァ ジ ィ 性 を 導 入すれば、汎化性が向上するかを検討することである。

参考文献

[I] H. Takagi et  al., ・Neural Net● ork Designed on Approx!‑

■ate Reasoning Architecture and Its Application to the  Pattern Recognition,・Int.  Conf. on Puzzy Theory & 

Neural  Net冒orks(II ZUKA‑90)會1990

[2]香 田 他： 訳差適応型評価関数によるパックプ0パゲーショ

ン学習法の高速化•

^{, 1939信学秋全大， D‑Z03,1939. t} 

ー ・ ‑ ・ ・ ‑ ・ ・

Iii''''' •I

デ _~

二

N

三 こ 百

l•~• ,H,u  図I N A R Aの蠣成図

〗［口。

図2 パラメータ^{パ9メーク}9^tと認議準

6‑5