EBP学
習 ア ル ゴ リズ ム に よ る非線 形 関数 の学 習 と
そ の道 応 制 御 へ の応 用
山 本 祥 弘 ・ 古 木 功 資 十二
.坂
本 和 洋キ2知 能 情 報 工 学 科 ・*:ミ ノル タ株 式 会 社 ・中鳥 取 大 学 大 学 院 LcAl・Eli1lg or A Nolllillear Function llsillg n EBP LcAl・ Hlig Algoritllm
And its Applicntion to Adaptive CoEitrOl
Yosllthiro YANIAMOTO, Atsushi FURUKI*l and KazulllЮ
SAKAMIOTOキ
をDepartment of lnforination and knowiedge Engineering,Facuity of Engineering Totto University,Tottori,680 Japan
Eと
m
l:yamamoto@ike,tOtto‐
u.acjp・ I MinOita CorporatiOn Ltd,Osaka,541 Japan
+2Graduate School oF Engineering,Tottori University,Tottori,680 Japan
Abstract : It ilas becn showv:l t1lnt thc E13P Lcarnit〕 B alBo th:1l proposcd by tilc autilors is vcry cffcctivc ror a icttrilit18 0f 10Bic rtlilctioils ln this Papcr, thc alBOriti11■ is A,Phed for a lcarnillg Or sinusOidai nlllction and is uscd as an adaptivc alBoritilnl of a non,i:lcar adaptivc cOntroi systcnl ln tilc latter prOblcnl, t、 vo :ncthods Or coilfIBuratiol1 0f ncurai nel、 vork arc cxanlhlcd hl
sil1luiation studics,
Kcy wOrdsi Error back propagatio11,Lcarnig ai80rithl■ ,Ncurai nctwork,No:1111lcar rむ :iction,A(laptivc control,Nolllillcar systcin
1.は
じめ に 近 年 、 ニ ュー ラル ネ ッ トワー ク(NN)が
多 くの 分 野 で利 用 され てい る こ とは衆 知 の こ とで あ り、 制 御 関係 問 ∼ 〔31にお い て も例 外 で な い。NNに
よ る学 習 の最 も魅 力 的 な こ との一つ は 、NNが
非 線 形 関数 を任 意 の精度 で 近似 で き る こ とで あ る。 従 って 、非線 形性 を考慮 した 制御 システ ム の同定 と解析 に関 して多 くの研 究が行 われ てい る。 しか し、そ の学 習 には時 間が 多 くかか る こ とか ら、適 応 制御・の よ うなオ ン ライ ンで の実行 には、かな り 無 理が あ るよ うに思 われ る。 現在 まで の多 くの方 法 は 、学 習 を行 い 、 そ の結 果 を(適応)許1御に利 用 す る考 え方で あ るが 、見 方 を変 えれ ば 、適 応 制御 は元 々学習 を行 ってい る と考 え られ る。す な わ ち、 パ ラメー タIfF定は 一種 の学習 で あ り、 その学習結 果 を適 応 的 に制御 に用い てい るのが適 応 制御 で あ る と解 釈 で き る。 た だ 、 そのパ ラ メー タ推 定が 、 パ ラメー タに関 して線形 なシステ ムに限定 され て い るのが現状 で あ る。 従 って、NNを
利 用 して非 線 形耳t定をお こな えば、非線 形 系 の適 応 制御 とな るはずである。 問題 は、オ ンラインでの実行 に耐 え うるだけの高速 な学習アル ゴ リズム(プF線形適 応 アル ゴ リズム)を開発す る ことであ る。 本論では、適応制御 の一つの形式 を非線形系に 拡張 した形 に、新 しく提案 してい るEBP学
習ア ル ゴ リズム[4〕を応 用 した結果 を報 告す。 まづ第2章
でEBP学
習アル ゴ リズム を述べのべ、 この 方法 を非線形関数の一つである正弦関数 の学習に 応用 した結果 を第3章
で記す。第4章
では、正弦 関数 を非線形項 として もつ非線 形系 の適応制御にNNを
利用 し、提案す るアル ゴ リズムを応用 した 結果 を述べ る。 この問題 で最 も難 しい点は、 どの よ うなNNの
構成 にす るかである。本論で も、2 つ の構成法を提案 してい るが、NNを
制御 に応用 した研究はすでに数多 く発表 されてお り、 どの形 式が最 も一般的かは今後の検討課題である。2.EBP学
習 アル ゴ リズ ム 入力 をb上、出力 を ckと す る3層
ニュー ラルネ ッ トワー クを次式で表す。14
山本祥 弘 。古木功資・ 坂本和 洋 :EBP学習 アル ゴ リズム に よる非線形 関数 の学習 とその適応制御 へ の応用 Ck=f(Zk), Z帝 =Wゝ ―IT a卜.ak=f(yk), yk=Vk―
lTbk
ここでは代表的な非線形 関数の一つである正弦 関数 を提案す るアル ゴ ジズム を用 いて学習 させ る。すなはち、教師信号 として y,=0.9si■(Xぃ) (4)
を考 え る。 学 習 デ ー タ と して の入 力x"は
、 以 下 の二通 りを行 った。 [方法11
閉 区 間[0, 2π
]を等 間 隔 にT-1分
割 したT点
、す なわ ち、 2冗 iXl=T-1 (5)
とす る。 このときの学習誤差をE=井
目
(yl―yl)2 0
と し、学習の終了条件 をE<0,001と
す る。また、 汎化能力の評価 と してのテス ト誤差 を1 99 ^
Et=坂
汀 島
(yt一
y12 (D
とす る。Et<0,0015の
とき充分に汎化 できてい る とす る。 [方法2〕 閉 区関〔0, 2π
]の値 を とる疑 似乱数 とす る方法。 この ときのテス ト誤差は()式
のEt
と し、終了条件 をEt<0.Oo15と
す る。 用 い るNNは
1入 力1出
力の3層
NNと
し、中 間層ユニ ッ ト数 を25と
した。 出力層の非線形関 数 fは 線形 と し、中間層 の各 fは 双 曲線関数 虫 り= o
とす る。 この ときの シ ミュ レー シ ョン結 果 は以 下 の とお りで あ る。 まづ方法 1によ りM=3で
学 習 点数Tに
たいす るテ ス ト誤 差 の結 果 を Table lに 示す。 この結 果 か ら、汎化 能 力 の向上のた めには 学 習点数 を増 す こ とが必 要 で あ る。 木例 で はT=
8以
上 あれ ば充分で ある。 しか し、Tを
さ らに増 や して も、学習誤 差 、テ ス ト誤 差 と もに単調 減 少 とな ってい ない。 ただ しこの こ とは 、学習終 了時 点 で の結 果 で あ り、学習終 了条 件 を さ らに激 しく すれ ば、単調 減少 の範 囲 は広 が って い く。 学習回 数 にかん して もT=6ま
で は大 き く増加 し、 そ の 後 急速 に減 少す るが 、や は り単調減 少 とな ってい (la) (lb) こ こに添 え字kは
時刻 を表す。 また 、ベ ク トル 、 行 列 の サ イ ズ は適 切 とす る。 この ときd贅を もkに 対 す る教 師 信 号(目標 信 号)と して以 下 の よ うな学 習 アル ゴ リズム[4〕が提案 され てい る。 [学習 アル ゴ リズ ム]1)酒
Ak=w卜
I(WトーlT Wi-1) i(: !(dk)―
wttlTAk)T(2a)
2)ANk'=Ar+ZAk (2b)
3)ANゝ =H*ANr' (2c)
4)2Vk_1=B卜 (Bkt B贅 )1(f '(ANk) 一VI_]TB長
)T(2d)5)Vk=Vk l+塑 Vk l (2e)
6)酒wk_1=Ak(A NkTA Nk)1(fコ
(dk) ―wk lTAょ
)T(2o
7)w残
=w卜
:+∠
Wk_】(28)
た だ し、 こ の ア ル ゴ リズ ム は(1)式の デ ー タ をM組
一 括 した 場 合 で あ り、Ak=(ak,aキ
l,Ⅲ ….,ak_Mキ1) (3a)
Bk=(b贅
,bk l,… … ,bk_Mキ1) (3b)
dk=(dr,d‐
_1,_..,d世
一M千1) (3c)
で あ る。(2c)式のHは
、 関 数 fの値 域 を越 え た 分 を カ ッ トす る操 作 を表 す 。 このアル ゴ リズ ム を論理 関数 の学習 に用い る と、 文献[5〕にみ られ るよ うに良好 な結果 を得 て い る。 また別 の特徴 としては、NNを
aを
入力 と す る(la)式 の2層
NNと
すれ ば、アル ゴ リズムは (2o式のみ とな り、 さらにユニ ッ トを線形、す な わ ち 〔=1と
すれ ば、(2つ式 は文献i5〕 ,[6〕で与え ら れ て い る TLSM適 応 ア ル ゴ リ ズ ム と 一 致 す る 。 す なわ ち、提案す る学 習 アル ゴ リズ ム は 、従 来 の 適 応 アル ゴ リズ ム の非線 形 系へ の 自然 な拡 張 で あ り、学 習 アル ゴ リズ ムは 、そ の用 い方 に よ って は 適応 アル ゴ リズム と見 なす こ とが で き る。 そ こで 本 論 で は 、 このアル ゴ リズム を非線 形 系 の適応 制 御 に応 用 した結 果 を以 下 に記す。3.非
線 形 関 数 の 学 習鳥 取 大 学 工 学 部 研 究 報 告 第 28巻
Tablc l Silnulation resuit of illcdlodl、vidl M=3 Table 2 Siinulation ttsult of lllediod l Ⅵritll T=11 M 学習回数 学習誤差 テ ス ト誤 差 1
110)
(0.572)
(0.494)
2110)
(0.357)
(0,388)
3 1」_0
0,0002
o.0003
4(110)
(1.374)
(1.497)
5110
0.0010
0.0011
してい る。次に、Mに
たいす る変化 を Table 2に 示す。表中括弧付きは収束 しなかった場合であ り、 学習回数HOの
ときの値を参考 に記 してい る。 こ の ときのグラフを FiB 2に 示す。 1 ない ことは興味深い。Mの
値 にたいす る最適 なT
の値が存在す ると思われ る。 この中で最小の学習 回数であるT=11の
場合の学習が収束す る様子 を Fig lに 示す。 繰 り返 しの初期の うちは図 中左 0。9 0.6 O` T 学 習回 数 学習誤差 テス ト誤 差 4391
0.0010
00093
515318
0.0010
00069
681509
00010
00018
71750
0.0010
0,0015
81008
00009
0,0011
9441
0.0008
0.0009
10160
0.0005
00004
110
0,0002
00003
12156
0.0009
0.0010
234
0.0010
0.0010
14322
0.0005
0,0532
4.71 6.28 1.57 3.14 4.71 inpuitrad,〕Outplits of hJN、vith T=1l andヽ 1=1,2,3
3.14
inputtrad.〕
Fig.2 2 0utputs of blN lllidl T=1l and M=4,5
Tabic 3 Sil■u13tiOn rcsu1l of inctllod 2
M 3 4 5 6 7 N 14634 146 77 6 6 Eι 0,147 0133 0075 0.004 0.002 ︸コ α 一 っ 〇 -1
o l.57 inp311と
d.〕Figl.1 011lputs of NN witil M=3 and T=H(No l)
1.
O.
0.6
刊.57 3.14 4.71
input trad.〕
Fig l.2 011lputs of NN witll M=3 alld T=110W02)
側 か ら収束 して い るの は、学 習 点 に起 因 してい る。 す なわ ち 、学 習す る
3点
では教師信 号 とほ ぼ一致 り入力 点 を選 択す る方 法2の
結3は
各Mに
たいす る学 習 結 果 で ともに回 数 、誤 差 ともに急激 に O 一。 一。 一。 一. ︺ コ α ︸ コ O 次 に、舌し数│こよ 果 を記 す。 Tおlc あ り、Mの
増加 と16
山本祥弘・ 古木功資・坂本和洋:EBP学習アルゴ リズムによる非線形関数の学習 とその適応制御 への応用 減少 してい る。M=3を
除 けば、方法 1よ りも良 好である とい える。M=5の
ときの出力 を Fig。 3 1こテ漁〕。 y氏十二=θTVk
た だ し、 θT=(pl,p2,ri,■
っ,f(y,u))
V kT=(―yk,一
y貨-1,uk,uk_1, 1)
(12) (13a) (13b) ︸ コ a 一コ 〇 -1.乳 1.57 3,14 4.71 6.28 input trad〕
Fiと 301】tplit or NN with M=5 Q ed10d 2)
4.適
応 制御ここでは簡単のため、次の
2次
系 を考 える。 よリー般化が可能であることは当然である。
y貰Ⅲ
l=-1)lyk―
p2y★ _i+rtuk+r2uゝ
i+f(y,u) (9)
ここにy上は出力、u生は入力であ り、最後の非
線形項 の変数の添 え字は省略す る。 また、希望出 力 をyJ、 │+1と す る。 この希望出力は
yd贅 キi= lD a】 yJ象 ―pa2ydゝ l
+r di udk+r d2 u dk-1(lo)
な る規 範 モデ ル の 出力 と して もよい。 この とき、 制 御入 力
ukは
、 シ ステ ムの出力yk+Iが希 望 出力yd贅キiと
致
す る よ うに、uk=ri ・
(yむ、上+1+ptyk+p2y卜
I―
r2uk l―
f(y,u))(11)
とすれ ば よい。 た だ し、ri≠
oを
仮 定す る。 こ こで 、パ ラメー タ(pl,p2,ri,r2)と
非線 形 関数f(y,u)が
未 知 の場 合 、 これ らをそれ ぞれ 推 定 値 で 置 き換 え る こ とに よ り、 シ ステ ム(9)式 の 同定 器 をNNで
構 成 す る こ とに な るが 、 その方 法 と して以 下の2つ
を考 え る。4.1方
法 1 システ ム(9)式を次 の よ うに表現す る。とする。 この
(7)式に対する同定器を
,k+1‐θ常
Tv牧(14)
とし、これを
NNlと
呼ぶことにする。すなわち、
θk=(θ !r,θ 熟,03k,04貨
,θ5k) (15)
で あ り、θ lk∼ θ4kはpl,p2,ri,■ 2の推 定値 で あ る。θ5kは非線 形 関数f(y,u)の
推定 値 で あ り、 以 下 に示すNN2の
出力c卜で あ る。 も しciが
定 数 で あれ ば、す で に知 られ てい る任 意 の適 応 アル ゴ リズム を用 い る こ とが で き る。 しか し、 c贅 は 非線 形 関数f(y,u)の
推 定 値 で あ り、定数 で ない の で 、NNlの
推 定(学習)と して は 、提 案 してい る学 習アル ゴ リズム をM=1と
して用い る こ とに す る。 この とき、NNlに
対 す る教 師信 号 はyむ 贅キiであ る。 一般 に、 この よ うな推 定 で は 、Mの
値 が 大 きい ほ うが安 定 した推 定 値 が得 られ る。 従 って 、サ ンプ リング時間や応 答 の速 さに もよるが、M=2, 3,・
・ と して 、 局所 的 にckを
定 数 と 近 似す るの も一 つ の方法 と思 われ る。 次 に 、NNと
で 更新 した θ sk+1を dkと し、 こ のd長を仮 の教 師信 号 と して 、dkの
推 定値 を 与え る の が(1)式で あ り、 これ をNN2と
呼 ぶ こ とに す る。 す なわ ち、NN2は
非線 形 関数f(y,u)の
同定器 の役割 を果 たす こ とにな る。 い ま仮 に、パ ラメー タ(pl,p2,■
1,■ 2)の値 が既 知 で あれ ば、 d資はNN2に
対す る真 の教 師信 号 とな るが、dト が 推 定値 で あ るの で 、真 の教 師信 号yd、 ゝ+1か ら 眺 め る と、NNlと NN2と
を合 わせ た4層
のN
Nで
あ る とも解釈 で き る。 以上 をま とめ る と次 の アル ゴ リズ ム1とな る。 [アル ゴ リズ ム 1] 1)θ5k=Ckと
した(12)式か ら、θkの修 正 を行 う。 そ の結果 をO Nkと 記す。 2)θ N上の第5成
分 を θ sNk=d卜 とす る。3)dと
を仮 の教 師信 号 と して、NN(1)式
の学 習 を 行 い 、そ の出力 をcI十iとす る。 4)c嶺 +:を θ 卜+こ の 第 5成 分 、 1∼ 4ま で は O NI ―O.3 -O.6 -0, 一一sin ―・output 0 1oarning dala下
︲
シ ス テ ム (9)式 を 、 次 の よ うに 表 現 す る。yk+1=OTvゝ
た だ し、OT=(1):,p2,■ 1,r2,1)
V kT=(V Ik,V21,V3k,V4k,V Sk) '上+:=θ
ttT v kとする。ただし、
θl=(θ lk,θ っ長,θ3k,94k,1)
とす る。従って、VI崇
=一
yk,v2k=一
y贅_1,v3H=uk,
V4k=u"1,v5
=f(y,u), (18)
と対応 してい る。 ここで以下のよ うにNNを
構成 す る。 最初 に出力層 を と同 じとす る。 5)θ k+lを用いて、制御(11)式、および同定出力(14) 式を再kめ る。4.2方
法 2 鳥 取 大 学 工 学 部 研 究 報 告 第 28巻 (16) (17a) (17b) (19) (20) ら θ‖子1=0,士 *g,N貨
0=1,2,3,4)と す る。3)v5Nk=d佐
と し、 これ を(1)式に対す る仮 の教 師信 号 と して、学習アル ゴ リズム を実行す る。4)そ
の出力 ckを θ3ユ+:と して制御(11)式、お よ び 同定出力(19)式を求 める。 (注意)M=1の
ときは これで よいが、Mが
2以
上 の ときはv Nkが行列 で与 え られ θ‖+1がM通
り与 え られ る。 この ときにはそれ らの平均値 を θ,日i とす る。 以上2つ
のアル ゴ リズムの違いは、2以
上のM
に対 して顕著である。 アル ゴ リズム1で
はNN2
の仮 の教師信号を定数 と近似す るのに対 して、ア ル ゴ リズム2で
は、線形部のパ ラメー タを平均化 してい る。4.シ
ミュ レー シ ョン結果 数値例 と してpl=-1.6,p2=0,6,■ 1=0,29,r2=0,
f(y,u)=0.29Ksin(y上-1) (23)
を用い てい る。非線形関数のKは
非線形 の強 さ を可変にす るために導入 してい る。 この ときシス テ ム(9)式の平衡点は 0と πであ り、K=1の
と きの平衡点近傍 での線形近似式の極zは
z=0.8±
0.5j(y=0)
z=■ 37,0.23 (y=冗
) (24)
で あ る。 従 って 、 これ は実 際 の システ ム を対象 と したモデル で は ない が 、倒 立振 子 の主要 な特徴 を 備 えてい る。 次 に(1)式の構 成 が 重 要 とな る。 非線 形 関 数 が ま った く未 知 の場 合 には 、NNの
入 力bと しては 、 システ ム の入 手 可能 な入 出力変数 を多 く用 い る こ とが必 要 とな る。 同時 に、 中間層 ユ ニ ッ トaの
個 数 も影 響 を与 え る。Fig.4は、M=1,K=1と
し、bを yk-1の
1入
力 、aの
個 数 を10と してい る。 ま た 、(la)式のユ ニ ッ トは線 形 、(lb)式に は 双 曲線 関数 を もちい てい る。 重 みパ ラメー タの初 期 値 は 、NNlの
線 形 部 は 真 値*0.1と し、NN
2は
乱数 を用い てい る。 また 、希 望 出力 はTO,8,p d2=0.15,
03125, rJヮ=00375
で あ る。 次 の層 を2つ
に分 けて 考 え る。Vl贅
= gik y上
,V夕k=一 g2kyk_1,
V3k=g3kui, V4士 =g4ru貨
―t, (21)
g‖=19=1,2,3,4)
お よび V5k=C豪 (22) と し、(22)式のc慎以 下 は(1)式とす る。 結 局 、 全 体 と して は4層
のNNと
な り、アル ゴ リズ ム を以 下 の よ うにす る。 [アル ゴ リズ ム2]
1)出
力誤 差 か ら次 の層 へ の仮 の教師信 号 を決 定 す る。 これ は(2a)式に相 当す る。 言 い 換 えれ ば、(19)式に対 して 、θkでな くvンの修 正 を 行 う。 そ の結果 をv wkと 記す。 2)(21)式よ りg,w k ti=1,2,3,4)が 求 ま り、 これ か (25)呵 山本祥弘・ 古木功資・ 坂本和洋:EBP学習アルゴリズムによる非線形関数の学習 とその適応制御 への応用 と した(10)式で あ り、
udは
oと πの矩 形 関数 と したも そ の結 果 、 出力応 答 は か な り うま くい って い るよ うにみ えるが 、 これ は線 形部 の補償 による ものが 大 で あ る。 実際 、非線 形 部 を無 視 した適応 制 御 で も同 程 度 の 出 力 応 答 が 得 られ 、K=2,
3,,,と
す る と、応 答 は どち らの 場 合 も同 様 に 悪化 す る。 この理 由の一つ と して 、 フ ィー ドバ ッ ク補償 が うま くい くこ とに よ り出力応 答は ほ とん どが 日標 値0,
冗の近傍 に集 中 してお り、非線 形 関数 の学 習 と して のデ ー タが偏 ってい る こ とも理 由 の一つ と考 え られ る。 方法2の
結 果 は類 似 で あ るので省 略 す る。 5。 ま とめ 本 論 で は 、EBP学
習 アル ゴ リズ ム に よ る非線 形 関数 の 学習 とそ の非線 形 系 の適 応 制御 の 一つ の 試 み を示 した。正弦 関数 の学習 は成功 してい るが 、 初 期 値 にたい す る問題 は残 ってい る。 一 方 、非線 形 系 の適 応 制御 にたい して は 、期待 しただ けの結 果 は得 られ なか った。 そ の最 も大 きな理 由は、N
Nを
用 い た制 御 系 の構成 に あ る と思 われ る。 線 形 部 のパ ラ メー タも同時 に推 定 してい るので 、非線 形 部 に対 す る教 師信 号 が近 似 的 な もの とな り、学 習 が うま く行 われ ない もの と推 定 され る。 第2の
理 由 と して は 、学 習 アル ゴ リズム と して逐 次修 正 法 を用 い て い る こ とで あ る。 文 献[41か らも明 ら か な よ うに、一括 処理 法 の ほ うがす ぐれ てい るが 、 そ の適 応 制御 に適 した形 式 につい て は現在 検討 中 で あ る。3番
目 と して 、(9)式の 表 現 に問題 が あ るのか も しれ ない。 非線 形部 が線 形 部 を含 むか ど醤
´建
■ うかで、(9)式の表現に一意性がない。た とえば、 Sin(y)はyを
線形部 と して含 んでい る。 今後は、 これ らの点を考慮 して、改善 していきたい。 参 考文献1)K,SoNarelldra:Adapt e ColllЮl of Dyllamic江 Systems usil18 NcumI Nct■ vorks,in Halldbook of
l■tdlgent Contrc11,D.A,Wllite&D.A,SofBc Eds,
,pp141■84,V佃l Nostrrllld,1992.
2)大
松 :ニュ ー ロ コ ン トロー ル と適 応 制 御 、 シ ステム/制
御/情
報 、36巻,12号
,pp769‐775, 1992.3)田
中 :ニュー ロ コン トロール ∼適 応制御か ら のア プ ロー チ 、システ ム/情
報合 同 シ ンポ ジ ウム講 演 論文集 、pp12卜 125,1997.4)山
本 、佐藤 i EBP学 習アル ゴ リズ ムの逐 次 修正 法 と一括 処 理法 、第17回適応 制御 シ ンポ ジ ウ ム資料,pp37‐40,1996.5)山
本 :修正 最小2乗
法 に よる適応 アル ゴ リズ ム、計測 自動制御学会論 文集 、26巻
,12号
, pp22‐27, 1990,6)山
本 :最小 二乗 法 の一般 化 に よる適応 アル ゴ リズ ム とその液位 プ ラン トヘ の応 用 、 システ ム制御情 報学会論文誌,7巻
,3号
,pp77‐83, 1994.7)山
本 :一般 化i薗応 アル ゴ リズ ム の代 数 学的導 出 とその性 質 、第16回適 応 制御 シ ンポ ジ ウム 資準,、 pp23-26,1996. (受理 平成9年
8月30日
) etep● →20Fig 4 Nolltillett adapt e contЮt using neuml llctlvolk (SOlid linci dcsired output, dottcd lillei systein output)