NDC 549．92
多層ニューラルネットワークにおける学習過程について
河合雅弘＊ 谷岡
（平成元年8月31日受理）
守＊
A Study of Learning Process in Multi−Layered Neural Network
Masahiro KAWAI and Mamoru TANIOKA
（Received August 31， 1989）
概 要
神経回路網をモデルとしたニューラルネットワークによる情報処理は，従来とは全く違う新しい情報処理の方法と して注目されるとともに，応用についても多くの研究が始められている。しかしながら，ネットワークで結合された ニューロンの相互作用で並列に動作する機構であり，その学習過程などの基礎的な部分についてはまだ十分解明され たとは言えない。今回，我々はパーソナルコンピュータ上に多層ニューラルネットワークのシミュレータを構築し，
多層ニューラルネットワークを対象に，その学習過程について検討を行った。今回は特に文字認識を例題として，学 習条件が学習過程に及ぼす影響を中心に検討を行ったので報告する。
1．はじめに
情報処理の方法としては，アルゴリズムに基づいて逐次 的に処理する方法と，人間の脳が行うような非常に多くの ニューロンの相互作用により同時に並列に処理する方法の 二つがある1）と言われている。アルゴリズムによる逐次処 理の例としては，現在のコンピュータがその典型的な例で あり，その発展により今日の情報化社会が築き上げられて いる。
アルゴリズムによる逐次処理の方法では，処理を行うた めのアルゴリズムを見い出す必要があり，またそのアルゴ リズムに基づいたプログラムが必要である。そして，処理 の内容が複雑化するに伴い，膨大なプログラムが必要と なってくる。また，逐次処理のシステムではプロセッサや メモリなどの素子のスピードが処理のスピードの限界を決 めるため，さらに高速化を目指すために並列処理の技術が 要求されてきている。
この様な状況の中で，大規模な並列処理や学習及び自己 組織化を行えるシステムとして脳の神経回路網をモデルと した並列情報処理の研究が注目されるようになってきてい
る2）。
今回，我々は，神経回路網をモデルにした多層ニューラ ルネットワークを対象とした解析用のシミュレータをパー
ソナルコンピュータ上に構築し，文字認識を例題にして，
その学習過程について，主に学習条件の影響などについて 調査検討を行った。
2．ネットワークの構造と学習アルゴリズム ニューラルネットワークの構造を大きく分けると，いく
つかの層に分かれて結合する多層構造型のネットワーク と，任意のニューロンが互いに結合する相互結合型のネッ
トワークとがある3）。また，両者の中間的な構造を持つネッ トワークもある4）。ここでは，多層構造型のネットワーク
（以下『多層ニューラルネットワーク』）を対象に検討を 行う。
多層ニューラルネットワークではニューロンは入力層，
中間層，出力層に分かれ，各層のニューロンはその前後の 層のニューロンと全て結合されている。また中間層は複数 の場合もある。多層ニューラルネットワークの構造を図1
に示す。
＊ 情報工学科
一85一
津山高専紀要 第27号 （1989）
入ノJ 一一一r
逆 方向 一 1二＝習／， 1 ）；一
入力層 中間層 11P1［力層
〔＝＝＝＝＝1 順方向
父孝
・▽
図1 多層ニューラルネットワークの構造
各ニューロン間の結合の状態は正か負の値を持つ結合係 数として表され，学習に伴いその値は変化する。各ニュー ロンの入出力特性は（1）式および図2に示すシグモイド関数 で近似されている。
1
f（x） ＝
1十exp − x−h
1 ． 0
o
hはしきい値
（1）
h
図2 ニューロンの入出力特性
十
学習には逆伝播（Back Propagation）アルゴリズム5）を 使用し，入力に対し望ましい出力信号と実際の出力信号と の誤差を計算しながら，各ニューロン問で結合係数を少し つつ変化させて最適な解を見つけるまで繰り返し学習す
る。
信号の入力から学習までの流れを順に表すと次のように なる。
（1）入力層にパターンを入力する。
（2）順方向への信号伝播を計算して各ニューロンの出力を 各層ごとに求める。
（3＞出力層におけるニューロンの出力を教師信号と比較 し，誤差を求める。
（4＞誤差が最小となるように学習信号を計算し，逆方向に
遡りながら各ニューロン問の結合係数を変える。
順方向への信号の伝播は次のようにして求められる。入 力層から中間層のj番目のニューロンの入力の総和をlhj
としてその出力をohj，入力層のi番目のニューロンとの 結合係数をwiihjとすると
ohj ＝f（lhj） （2）
Ihj ＝＝ 2wi，hj・oi， （3）
となる。f（Ihj）は（1）式で示されるニューロンの入出力特性 である。中間層から出力層への信号伝播も上記と同様に，
出力層のk番目のニューロンの出力をOOk，中間層の1番 目のニューPンとの結合係数をwhjOkとすると
OO， ＝f（IO，） （4）
IOk＝2whjOk．Ohj （5）
である。
次に，パターンXpに対する出力層の出力を00k（Xp）と 表し，それに対する教師信号（望ましい出力）をTk（Xp）
として，その誤差Ep（Xp）を次の様に二乗誤差で定義する。
Ep （Xp） ＝＝ t 2 （Tk （X，） 一 OOk （X，））2 （6）
そして，この誤差Ep（Xp）が最小となるように各層間の ニューロンの結合係数を変化させる。
誤差が最：小となるような学習信号をδ（Xp）として，結 合係数の修正量を△W（Xp）とする．と，
出力層の場合
Whjok（Xp）＝：Whjok（Xp）十△Whjok（Xp） （7）
AwhjOk （x．） ＝q ・ 60khi （x，） ・ ohj （x，） 〈s）
aO，hj （X，） ＝＝ （Tk（X，） 一 OOk （X，）） ・ f （IOk（X，）） （9）
f （IOk（Xp）） ：＝： OOk （Xp） ． （1 一 OOk（Xp））
中間層の場合
W ihj （Xp） ＝ Wii （Xp） 十 AWiihj （Xp）
AWiihj（Xp） ＝：7 6hjii（Xp） Oii（Xp）
6hji， （x，） ＝ 2 wi，hj ・ 00，hj （X，） ・ f （IOk （X，））
f （lhj （X，）） ＝ Ohj （X，） （ 1 一 Ohj （x，））
（10）
O勿鋤の1 1 1﹁1
となる5）。ここでηは学習定数であり，この値を十分小さ な正の数にとり，繰り返し学習を行えば任意の精度で誤差 を最小にすることができる5）。なお，f （）は入出力特性 関数f（）を微分した関数である。
ここでは学習の進みを速くし，また学習が振動しないよ うにするため，次のように変形した式を用いてニューUン 間の結合係数の修正量を求める5）6）。パターンXpのn回
目の修正量を△W（Xpn）で表して
△W（Xpn）＝α・△W（Xpn−1）十η・δ（Xpm）・0（Xpn） ㈲
αは安定化定数と呼び，n−1回目の修正量がn回目の修 正量に影響を与えるようになっており，修正量の変化が緩 やかになるように設定できる。
多層ニューラルネットワー．クにおける学習過程について 河合・谷岡
3．シミュレーション
多層ニューラルネットワークの学習過程について検討す るために，文字認識を例題にシミュレーションを行った。
「A」一「E」までの5文字を16×16ドットの文字パター ンとして学習させ，文字の識別を行うものである。
文字パターンの例を図3に示す。
実験を行った条件は次の5つである。
条件1．η＝0．25，α＝0．5，ノイズ有 5回（1つのパターンの繰り返し数）
条件2．η＝O．25，α＝O．9，ノイズ有 5回（1つのパターンの繰り返し数）
条件3．η二〇．15，α＝・O．7，ノイズ有 2回（1つのパターンの繰り返し数）
条件4．η＝・O．25，α＝Q．5，ノイズ無 5回（1つのパターンの繰り返し数）
条件5．η＝0．25，α＝0．9；ノイズ無 5回（1つのパターンの繰り返し数）
パターンの入力方法としては，「A」〜「E」の文字パター ンを順に入力して1万回の学習をさせた後，文字パターン の順をランダムにして，さらに1万回の学習を行った。．ま た，！つのパターンは連続して5回（条件3は2回）学習 させている。シミュレーションの様子を図5に示す。
図3 文字パターン
入力層は16×16ドットのパターンに対応して，256個の ニューロンから構成し，中間層は10個のニューロン，出力 層は5文字の識別結果を表す5個のニューロンで構成して いる。各層間のニューロンは全て結合しており，結合総数 は2610である。学習は逆伝播アルゴリズムを使い，（15）式の 学習定数ηをO．15〜O．25，安定化定数αをO．5〜0．9として 実験を行った。また，各ニューロン問の結合係数および各 ニューロンのしきい値の初期値は一！．O〜＋1．0の範囲でラ ンダムに設定した。さらに，入力パターンにノイズが付加 された場合の学習状態を調べるために，ノイズを付加した 場合と付加しない場合についても比較した。ノイズはO〜
0．2の範囲でランダムな値とし，入力パターンに付加した。
ノイズを付加した場合の入力パターンの例を図4に示す。
r F
騨﹁開二二﹁尉
1．ttt
nr el
田1甜旧
增f．
．．c．．．．
図4 ノイズを付加した入力パターンの例
闇 1 ．
．1．．
十．…
幽i ﹁
一
1
姐1
］．L，ILI
圓
］．〔：ll二1
】層
］一
聯琳 ﹁
図5 多層ニューラルネットワークによる文字認識 なお，今回使用したシミュレータはパーソナルコン ピュータ上（PC9801RA）にN88BASICコンパイラを使用 して構築しており，1万回の学習に要した時間は約7時間 であった。
4．結 果
文字認識における学習回数と誤差E，の関係を図6に示 す。藩中（a）は入力パターンにノイズを付加した場合の結果 で，（b）はノイズを付加しない場合の結果である。
（a）においては，条件3が誤差Epが最も小さく，．条件1，
2ではあまり大きな差はない。条件3は学習定数ηが小さ く，1つのパターンの繰り返しが2回であり，同じパター ンを一度に学習する量が小さく，ローカルミニマムに陥り にくくなっていると考えられる。
また，（b）においては，学習回数8×103回以降で条件4 の誤差Epが急に小さくなっている。（a）の条件1との違い はノイズの有無だけであり，条件1ではノイズの影響で収 束が遅くなり，学習が不足していると考えられる。
一87一
（1989）
第27号 要
高専 紀
山
津
4 5牛牛︷ イー条条
H
A一一一一一
・A一一一・一b・一・一A一一一A一一一A一一一一A一一・・A
A
…
… 8
7．
¶ ︐0． 0 3 2 1 0
︐ ︐ ． ︐0 0 0 0
20
3XIO
10
学習 回数
1 ﹂留．禦獣帽
23牛牛︷ ︷
1一
条条条腿区
．A
a。＿．廿．唱＿。＿．｛ド丹 『 一｛｝・ C「
□駐こ
．
20
×103 ro
回数 学習
ノイズ無し
（b）
学習回数と誤差Ep 図6
（a）ノイズ有り
学習回数と誤差Ep 図6
5．イ牛
隙臼区ピ．pF九−﹂比﹁﹁﹂L
oo㏄oの㎝騨 臼00臼0
1輯 紳出力層flfEt﹇1
野︹ 一匹陀 ．
1燗．層鳴 9臼0日0 の．0向．0．臼 n・一・り・ど唱 財臼﹈︻図 麟臼巨︹DE
＝ ＝一切 一 ． ﹁
1
［／］．
e．
s．
Eう．
e．
い口
［）L）
｛1：／l
ue
rl．t．1．ノ．3．曙弓冒
1・1l；f／﹇1﹇b
一一 皿・一
4 条
イ牛
皿 ︸心︷⁝
藪臼Rド．μE OUj一山臼0臼0臼 ︐開aa器聞日︒器照P 呂 廿圏U口口□11 R＝2．Ur﹂︑．ザ﹁︐﹁ Ω・目000 000融0騒 中︒謡講︒冨呂 0のOOOOのOOa 900−OO臼900輯臼B︹PE1ーナ﹁﹈−﹈﹈JhU﹁トー﹁ 一 一一﹂しし −09−7 04022 00臼Oa
3 条 条 1牛
2
固・コヰ器ooo日日︒器oooooo OO−aOa1100顧臼ドしDEゴ﹈ヨ﹂﹂﹄﹁一﹂しし粛虚説 OOO幽臼騒脚 ・40臼日廼oo離離諾四 1の1000110a感R㌫CPE
騒 1止け
llllil
klii
中間
t）し3
ULI
［］tl
Dl
QILI
［，）Ll
随う 一1．
EIM
eeM1
1牛
1110100110層HF︹pE物円UH︺け 7に︐rO︐．・O∵ i41．ビ0 0000mU
認門顎
西臼R﹁．DE ﹂900001凹．いO nOOGの0のいOO 中︒団oooい偵ooo 附 ⁝⁝．＝ ︸＝ 層 00aOO 0．﹁・000 ◎9日R・0 肋田﹇日 願．臼B疋DE 崔虹日0日目0010 ．叫︒o器ooαo㎜贈器 曜
獄口闘口□U
．．一．へ﹁㎏協・﹃︐﹁6 −r．・の・ど・？﹂ OOOOO酪
11Dの00Uel一 貯︒・︒︒哺 描器蛍開刷
1コ間
歯 一
；：B， ±JLrg
，iiiliig
中間層
臼1，のo
e／ O． Ll］c，1
ドi孔。旺｝
ti L．［．R u Ll． CL）Ll，
L臼［〕
臼．臼El 1．E）Ll 1．Lle o．②日
出ナ1層
11iiliill・﹇．lliiN
：ii（III］
1．OLi）
f．，／ ti，［1）Q）
tl ［）．｛！Ll．
［．＋ 1．oe l≡．〔鼻，oo 1，｛lt／）
Ll．t］［］
Ll．eo e．ee e．ee
＝⁝ ⁝ 陥凹日レ呪uE
︻990000口000 0−OOOOOOOO 1の0日②01OO頴曽．HRらDE朋・−11−﹂モ ア・L﹁﹁︷⁝㎜りt一し 一︑へ・5に︐・q﹁ ︺︑・卑︑・一 一し ．﹂ ︹ ∠ BO目0日
肚臼︻□ 層臼R吐DE ーーO頃ーー童0の0 の0の000口a10 中ooooゆ臼旧oao 闇 ⁝ 二閾 厨
︻．1→内・O1 00﹁ノー3 emUO日2
条
中間層
L㊤旧
［） ． LIOO l． QI LZ E〕，〔畑 Ll，DLI 日．77 1，ULI 1．F．le
［］．CiLl Lし1〕L］
出，τ1層
ll目
H
t
﹇：Ii
E
c：
e，Do
口．o〔〕
1，ee e，ee
日，n〔〕
〔〕，〔〕駈、
E〕．oの e．〔〕臼
。．eo e．mo
間層t
■
t：牛
間
い︐ooooo臼ooo9冊oooo四〇〇 llOα001日日0瞬臼Br．DE批口﹈﹇U農 10︵FP．07 り ロ リ ラ ﹇・しく．・⊂・ヒ 0目OOa輯
1
条
ll間
暢
出．ナ．L嚇 llililllll・lillM 臼
E十，
llLi
E ［t e．pl］
Ll．L〕の e．Llv．n
o．ou
L］，〔姻 L］．E LI e． eL，1
e，oに e．c）e L］．ZLI
罫
臼
1？・
f
E︐﹇11
中閤隅 e，mo
E，，朕〕
Pt．［旧
1 ． vn． ｛）
の，いt7〕
1．UL］
e．ee m．ee
［1，eLl e．EILI
ttr
＃liiU・ilili／
且00⁝9︻日O10 090000日900︹OOOOOの01300P
輯11B﹁．P﹇け﹈︻︻U昌 O日n・qパn 1 1 ︑． ． ㌔． ︹U．し．﹁・．．レ 臼．一のGの県闘 ⁝⁝⁝ ︸㎝⁝可
甲悶H開U ユ 職Hp﹁︑uE 一い目いOI且0目0 0臼OのQOOOOのしOOO﹂01000000r
﹁rll︑4．−・﹁ド しニ コ しヒ Y．且1：．．﹁・． し ﹄．㌧﹁．﹂．﹂ ． 00000警剛 ︸ ・
Cのい．n．い・りのOO100 qnい旧い・い目0の0の 一qい10−9且1い
ヰ1間．照
臼LLI
（LILI；
OLI
〔：、け
11b，l
ee
as〔う
㊨日 五日
［m
出ナ
lliIII・1︐W
A
［「コ間∫馨
﹇1︶
／／1
P
t．1
Ll L︶11﹈﹈
出力．陽
ll椰
中間囎
1．ee
l．．Elし）
［」．L・IP IA．1い い．1；1し、
1．旺）旺〕
1．［｝Ll
日，Ra l．eLl 日．匝〕
Il1
e，側
Ll）． L］tJ．
o．11，t，
Ll．IT
L・1．1・．
出力1輯
i1／
f T I
E／ i T lbl
［．． L）
1 1 臼
．監
日
「
B
［一I
L【、．旧 し〔〕日 tl ． L／！Ll）
E）．OO o．畝⊇
1．oし｝
1，0LI
L，） ． LILI
日．馴
〔、，のし1
C
D
中間麟
L〔．rい 1 ．ctl）
1．Ll・）0 1．L／lLn
〔、，いい Ll， lrlt o．「：1唱F L）．OE）
1，00
0． ． ri Cl n．1、〕三
．：ll．い：：
li］． 11．1
L）．10 い．「一
Il撃閧P層
H ili
［1 日，〔〕1；〕
tl，［10 Ll ， Pt／l D『い1．、
o，oo El．eゆ 1．00 0，0CI
図．〔〕e
一e，ee
E
万回学習後の文字認識の結果 図7 2
O．8 0，7
氏出禦脈龍
O．3 0．2 0．且
。，o
多層ニューラルネ．ットワークにおける学習過程について 河合・谷岡
また，（a），（b＞共，安定化定数α＝0．5〜O．7の条件1，3，
4，では学習条件がランダムになる1万回以降，誤差がや や大きくなり変動している。安定化定数α＝0．9の条件2，
5では変動はない。
次に，2万回学習後に「A」一「E」の文字認識を学習 サンプルを使って行わせた結果を図7に示す。文字認識時 の中間層および出力層の出力値を示したもので，出力値が 0．5を越えたニューロンは黒く塗り潰して示してある。図 7を観察すると，まだ学習が十分でなかったり，ローカル ミニマムから抜け出せていないものもあるが条件1，3，
4では各文字毎に中間層の出力パターンが同じ傾向を示し ており，各文字に対応した特徴の抽出が中間層に出来つつ あると考えられる。
5、ま と め
パーソナルコンピェータ上に構築したシミュレータを使 用して，多層ニューラルネットワークの学習過程について 文字認識を例題として検討を行った。個々の学習条件に対
しては
（1）学習定数ηは小さい方が収束し易い。
（2）安定化定数が小さいと，パターンの学習をランダムに 行った時，誤差Epの変動が大きくなる。
（3）入力パターンにノイズを付加すると収束が遅くなる場 合もある。
また，入力された文字パターンの特徴が中間層に形成さ れることが確認できた。
6．考 察
入力パターンにノイズを付加するのは，入力のない ニューロンについても結合係数の再変更を要求するやり方 であり，初期値の設定方法がランダムであったり，．少ない 学習サンプルで未学習のパターンにも対応を考えた場合な
ども考慮すると，収束条件があまり遅くならない程度に付 加した方が良いと考える。
今回は多層ニューラルネットワークの学習過程について 学習条件を中心に検討したが，今後はネットワークの構造
との関連を検討してゆく。
文 献
1）甘利俊一：神経計算学の勃興，bit Vol．120 No．2
（1988）， 4 一一 8
2）稲葉則男．：ニューラルネットをパターン認識，信号処 理，知識処理に使う，日経エレクトロニクス，No．
427 （1987．8．10）， 115−124
3）麻生英樹：ニューラルネットワーク情報処理，産業図
書，（1988）
4）三浦義武，高橋治久，富田悦次：フィードバックパー セプトロンとバックプロパゲーション，信学技報，
NC89−5， （1989）
5）D．E．ラメルハート， J． Lマクレランド， PDPリサー チグループ：PDPモデル 認知科学とニューロン回 路網の探索，産業図書，（1989）
6）麻生英樹：ニューロ・コンピューティング，一原理 と概要一，情報処理，Vol．29， N。．9（1988．9），
966−973
一89一
