ある種の極値問題の解法と，その適応・学習アルゴリズムへの応用

あ る種 の極値 問題の解法 と

,

その適応・ 学習アルゴ リズムヘの応用

山本

祥 弘

知能情報工学科

(1995年

8月

29日

受理

)

Solutions of Some Extremum Problems

and

to Adaptive and Lcarning Algorithms

by

Yoshihiro YAMAMOTO

Departl■

ent of lnformation and Knowledge Engineering

(Received Augu± 29,1995)

Extremun■ problems are usually solved by differentiation of the obiectiVe functions.

In this paper, an algebraic method of solutions of some extremum problems are

presented First, simple mathematical problems are solved by the new method.

Second,an adaptive and a learning algorithm are derived with the same approach.All

these prOblems are demonstrated to illustrate the idea which is proposed in this paper. It is cleared that the new rnethod is effective to treat the problens in an unified form

Key words I Extremum Problenl,Algebraic method,Adaptive algorith■

1, Learning algorithm

Ona A/1ethod of

l。 は じ め に 工学 に限 らず 、 多 くの 数理 的問題 におい て、極 値 を求 める問題 が 、 古来 か ら議論 されて い る。 その最 も代 表 的 な解 法 と して、 目的 関数の導 関数 を零 とす る ことは、 よ く知 られて い る。 例 えば 、最 小

2柔

法 も、 この微分 的方 法 を用 いて い る。 本論 で は、 ある種 の極値 問題 に対 す る一 つ の新 しい解 法 を示す。 この提案 す る解 法 は、非 常 に簡単 な もの で あ るが 、一言 で表現す るの は厄 介 で あ り、敢 えて言 えば 、 従来 の微分 的方法 に対 して、代 数 的 方法 といえ る。 そ こ で、 その 内容 を、具 体 的問題 お よび その例 題 を通 して説 明す る。最 初 に、第

2章

にお いて、 初等数 学 で よ く知 ら れて い る簡単 な問題 を取 り上 げ る。 第

3章

では、本 研究 の本 来 の 目的 であ る工学 問題 に応 用 す る。 一つ は、 ニ ュ ー ラル ネ ッ トの学 習 アル ゴ リズ ムヘ の応 用 で あ り、他 の 一つ は、適応 アル ゴ リズムヘ の応 用 で あ る。 この二つ は 基本 的 には 同一 問題 と して扱 うこ とが で き る。 よ り正確 には、 学習 アル ゴ リズ ムの基本 形 を 、多層 ニ ュー ラル ネ ッ トヘ拡 張す るのが 学習 アル ゴ リズ ムであ り、時系 列 間 題 の特 徴 を生 か して逐 次形 式 に拡 張す るの が適応 アル ゴ リズムであ る。 これ は筆者 の 最近 の考 え方 であ り、詳 し くは、参考文 献

1)∼

4)を

参照 され たい。 提案 す る方法 の特 徴 は、微 分 的方法 にお いて、導 関数 を零 とす る解 が存 在 しない場 合 も含 め て統 一 的 に議 論 で きる こ とで あ る。以 下 で示す 問題 は、 筆者 の興 味 あ る問 悪 に限定 され て い るが 、 さ らに多 くの 問題 に も応 用 可能 と考 え られ る。 2。

数 学 問 題 へ の 応 用

幾つかの数学の簡単な問題を通して、提案する解法の

考 え方 を示す 。 な お、右上 付 き

Tは

転 値を 表す 。 [問

1]n次

元ユ ー ク リッ ド空 間

Rnで

与 え られ た超 平 面

c=arx、

(x∈ Rり

(2■

) へ、点

x=x。

か ら下 ろ した垂 線 の足

X=X'お

よび

x4-xOの

大 きさを求 め よ。 (解

)ベ

ク トル

aは

超 平 面 に直交 してい るの で、 αをパ ラメー タ と して、

X=一 Xo=α

a とお く。 このxオが超 平 面上 の 点で あ るため に、

x4に

代 入す る と、 (2-2)

c=aT

c=a'(xO+α

a)

よ りαが求ま り、

α

=皇

i予

ギ

:'・

二

とな る。従 って 、 ガ

=滞

守 a と定 ま る。 ま た、垂 線 の長 さは、

Ic―

aTxol

‖

x'一

xo‖ = ‖a‖ である。 (3-3) (2-1) (2-5) (2-6) (例

1)n=2、

すなわち、

c=alx:+a?x2、 XO=

(xl。

, x2o)Tの

ときを考える。 これは、高校時代 よ り親 しんで きた問題であ り、式(2-5)、

(26)よ

り が

=‰ + a的

(2-8) と簡単 に求 め られ る。 式(2-5)、

(26)が

、任 意 の

nに

対 す る公 式 とな って い るのが特 徴 で あ る。 さ らに、 [問

1]を

一般 化 して 、次 の 問題 を考え る。 [問

2]Rれ

で与 え られ た余 次 元

p(1≦

p≦

n)の

超 平 面

c=ATx、

(x∈ Rり

(2-9)

へ 、点

x=xoか

ら下 ろ した垂線 の 足

X=X'お

よび

x'一

x。の大 き さを求 め よ。 ただ し、

A=(a:,_.,a,)で

あ り、

rankA=pと

す る。 (解

)各

ベ ク トル

aI(j=1,… .,p)は

超 平 面に直交 してい るので 、

X・―

Xo=α

lat+う

。・

+α

,a,=A■

(2■

0)

とお く。 この

X4が

超 平 面上 の点で あ るため に、

C=AT

X'に

代入 す る と、

c=AT(x。

+Aα

) (2■

1) よ りαが求 ま り、 α

=(ATA) 1(c―

ATx。

) (2-12) とな る。 ただ し、

ATAは

工則 、従 って、

Aの

列 ベ ク トル

ah_.,a,は

線 形 独 立 と してい る。 これ よ り、

xt=x。

十

A(ATA)!(c―

ATx。

) (2■

3)

‖

x4_xO‖

=‖

A(ATA)〕

(c― A'xO)‖

(214)

とな る。 ここで

p=1の

とき、式 (213)、 (2■ 4)はそれ ぞれ 式 (25)、

(26)と

な る。

(例

2)n=3、

p=2、

す なわ ち、 ‖ギ ー れ ‖

=

鳥 取 大 学 工 学 部 研 究 報 告 第

26巻

cI=aTx、 c2=bTX i (2■

5)

c=(cl, c2)T、

A=(a, b)

とす る と、

A(ATA)1(c―

ATx。

)

=([(cI―

arx。

)brb―

(c?― bTx。

)aTb]a

+[(c?―

bTxo)ara

―

(cI― aTx。 )arb〕

b)/d (216)

d=aTa bTb― (aTb)2

とな る 。 例 え ば 、

a=(0,1, 1)'、

CI=C2=0、

従 っ て 、 超 平 画 が x

A(ATA) I(c―

Arx。 )=(0,

xt=(xI。

,0,0)T、

cI=a,Tx、 c2=a2'X、 CS=a sTX (226)

A=(al, a2, a3)、

C=(c:, c2, C3)T

の とき、

x・

=(AA')lA c

=(a laIT+a2a2Ttt a sa sT)I

。

_{(cial+c2a2+CSa3)}

と な る 。 例 え ば 、

c=(0, 0, 1)イ

、

a!=(1

a2=(0, 1)T、 as=(1, 1)T、

すなわ ち、 (2-27) , 0)r、

3直

線 が (2-28)

b=(0,1,-1)'

れ軸 の場 合、 X20, X30)T、

xl軸

、

x2軸

お よび直線

だ

=1子

】

HI

I十

x2=1の

とき、 =:￨￨￨ (2■ 7) ‖

x'一

xo‖

=(x202+X302),′

? とな り、幾何学的イ メー ジと一致す る。 [問3〕 [問

2]と

同 じ問題 で、

p>nの

場合は どうな るか。 ただ し、

rankA=nと

す る。 (解

)前

間 の 解 と 同 様 に 、

xt一

x。

=Aα

と お き 、

c=Aイ

x・に 代 入 す る と

c=AT(xO+Aα

) 従 って 、

ATA

α

=c―

A'x。

となる。 この とき

p>nよ

り行列

ATAは

正則であ り得な い。 そ こで、 上式左 か ら

Aを

か けて

AATA

α

=A(c―

ATx。

)

とす る。 この とき

AATは

正則 で あ るので、

Aα

=(A AT)IA(c―

A'x。

) とな り、 これ よ り、

X`―

Xo=(AAT) :A(c―

A'x。

) あ るい は、 x・

=(AA・

):Ac

とな る。

c=ATx'を

満 たすx・1ま存 在 しないが 、上 に求 め た解 は誤差 最小 の解 で あ る こ と、す なわ ち、

J=;‖

c―

ATx‖

2 (2-25) を最小 とす る解であることが、一般化逆行列の理論か ら 言える。あるいは、実際に式

(225)を xで

微分すること よ り、式

(224)の

解 を得ることができる。従 って、

xiが

初期点

xOに

無関係 となることも当然である。 (例

3)n=2、 p=3,す

なわち、 と な る 。 こ の 解 は 、

J=(ci一 a lTx)2+(c2-3 2TX)2

+(Cs a3丁

x)2

=x12+x22+(1_xl―

x2)2 (229)

の 、 xI、

x2に

関 す る 第

1偏

導 関 数 を 零 と した 連 立 一 次 方 程 式 か ら も得 られ る 。 [間

4]Rnで

与 え られ た超 曲 面

c=f(x)

(2-30) へ 、 点

x=x。

か ら下 ろ した垂 線 の足

X=Xtを

求 め よ。 ただ し、

f(x)は

連続微分 可能 とす る。 こ こに、 曲面ヘ の垂線 とは、 その点での接平 面 と垂線 とが 直交 す る こと を意 味す る。 この問題 は また、 曲面へ の最 短距 離 を求 め る問題 で もあ る。 (解

)超

曲面の点

x=x・

に お ける法 線 ベ ク トル れは

n=f'(xつ (2-31)

で あ る。 これ よ り、求め る垂 線 は αを未 知 パ ラ メー タ と して、

X'=Xo+α

ft(x・) (2-32) と表 され る。 そ こで、式

(230)と

(7-32)を 連 立 させ て解 くこ とが で きれば 、 それ が求 め る解 で あ る。 (例

4)超

曲面 と して、

n次

元超球 (2-18) (2-19) (2-20) (2-21) (2-22) (2-23) (2-24)

豊

x12=xTX=re

i・1 を考え る。法 線ベ ク トル は、

T'(x)=2x

であ るので、 式

(232)は

、 X・

=XO+α

・

2 xt

であ る。 これ よ り

Xr=湯

X。 (2-33) (2-34) (2-35) (2-36)

とな り、 これを式(2-33)に代入することよ り、

卜駒

=士

坪型

￠め

従 って 、 x・

=士

蒜

xo Q細

) が得 られ る。 また、 ‖

xtx劇

=11士

蒜

H xtt C2 39)

な る当然 の結 果 を得 る。複 号 の一つ は超球 へ の最短 距 誰 を、 一方 は最長距 離 を示 して い る。 この [間

4]は

非線 形系 へ の拡 張 で あ り、上 に記 した 結果 だ けか らは、解 が 求 まるのは限 られ た問題 で あ る。 実際、 多 くの 問題 で、 高次 代 数方程 式 あ るいは非線 形 方 程式の解 を仮 定 しな ければ な らず 、解 析 的 には一般 に囚 難 であ る。 今後 さ らに検討 して みた い。 3。 工 学 問 題 へ の 応 用 ニ ューラルネ ッ トワークは、近年 さまざまな分野で応 用 され、その有効性 も確認 されているが、 しか し、 まだ 幾つかの問題 点を抱えている。局所解への トラ ップと併 せて、学習速度の遅 い こともその一つである。多 くの分 野では、学習は、いわゆるオ フライ ンで実行 されるので、 学習速度 はたい して問題 とな らないが、制御系の設計、 持 に、道応制御の分野では、オ ンライ ンでの実行が要求 されるので、学習速度の問題 は致命 的 となる。 しか し、 非線形系 に対す るニ ューラルネ ッ トの有効性は非常 に魅 力的であるので、従来の学習アルゴ リズムに代わる新 し い方法を開発 し、適応制御の設計にニ ューラルネ ッ トを 応用 してみたいとい うのが、筆者の最近の課題である。 本章では、道応および学習 アルゴ リズムの導 出を通 し て、提案す る考え方が工学問題 にも応用可能であること を示す。

3.1

ニ ュー ラルネ ッ トワークの学習アルゴリズム 本節で扱 うニ ューラルネ ッ トは階層型であ り、その学 習は教 師付 き学習である。ただ し、 ここでは

2層

回路に 限定 して議論す る。

2眉

_{回路の学習規則 と しては従来、} デルタルール5)が知 られている。 これを多層回路に一般 化 したのが誤差逆伝搬法であることは、多 くの文献か ら も知 ることが できる。いま、

s入

_{カー「 出力の}

2層

回路 モデルを次のよ うに定める。

cj=f(zl)

名

=vド a=長

1賄

牌ヽ

j=エ

ー

言

(3-1) (3-2) ここに、

cjは

出力、

atは

入力であ り、

wijが

重み係数 であるぅ また、非線形関数

fの

逆関数の存在 を仮定する。 式(3■)、

(32)を

ベ ク トル行列 表現 す れ ば 、

c=f(z)、

z=Wfa

(3-3) とな る。 行列

Wは

sXr型

で あ り、

W=(Vl,_,wf)で

あ る。 い ま、教 師信号 を

d,あ

るい はベ ク トル表 現 で

dと

す る とき、 出力誤差 の評 価 と して、

J=}d―

の

kd―

の

=:∴

ざ

dl―

げ ω つ を考え る。従 来 の学 習規則の考 え方 は、 この 評 価

Jを

滅 少 させ る方 向 に重みパ ラメー タに修 正 を加 え る、 い わ ゆ る勾配 法(最急 降下法)であ った。 これ は、 評 価

Jを

重み

Wで

微 分 して も、導 関数 を零 とす る解 が得 られ な いか ら であ る。 そ こで、本論の考え方 は、 」の導 関数 を扱 うの ではな く、直 接、評価

Jを

零 とす る解 を求 め る こ とであ る。 明 らか に、

d=cの

とき評 価

Jは

零 とな るが、 非線 形 関数fによ って、

d=cと

す る

Wは

決定 で きな い。 し か し、fの逆 関数 の存在 を仮 定す れ ば 、

d=cと

す る代 わ りに

f l(d)=z

(3-5) とす る ことが で きれば、

d=c、

従 って、 評 価

Jを

零 と す るこ とにな る。非線形 関数

fが

0-1タ

イ プの

2値

関 数 の よ うな不 連続 関数で あれば、 この議 論 は実 行不 可能 とな るが、実 際 には、例えば 、 シグ モイ ド関数 の よ うな 連続 関数 で十 分近 似 で きる こ とが分 か って い るの で 、逆 関数の存在 を仮定 して も一般 性 を失 わ な い こ とにな る。 以上 よ り、考 えて い る問題 は 、

f I(d)=W'a (3-6)

を満 たす

Wを

決定す る問題 とな る。 これ は ま さに、 前章 の [間

2]の

形 式 とな ってお り、 同様 な 方 法 で解 くこと が で きる。す なわ ち、

Wの

修 正量 zl Wを 必

W=a

φT とおき、 (3-7)

f 1(d)=(W+zl W)Ta=WTa+φ

_{aTa (38)}

か ら未知ベ ク トル φが求まり、従 って、

ZW=荒

Kf l(d3-WTaズ

と、求める修正量

ZWが

決定 される。因みに、修正量を 式

(37)の

よ うにお くのは、評価

Jを

減少 させ る方向であ るか らとも言える。実際、式(3-4)を

Wで

微分す ると、 (3-9)

鳥 取 大 学 工 学 部 研 究 報 告 第

26巻

d」

_=a(―

_{fl.(zl)(dl―}

_c:),…

_{.) (310)}

dW

とな り、左辺 の各列 ベ ク トル は、ベ ク トル

aに

比例 して い るこ とが わ か る。 以上 の結 果 は、一 組 の入 出カ デー タに対す る逐 次修正 アル ゴ リズ ムで あ るが、複 数 の デ ー タの組 に対 す る一括 処理 の学習 ア ル ゴ リズム も類 似 な方法 で求 め る こ とがで きる。 その ため にデー タの組 に添 字 を付 して、

c,=f(zp)ヽ

Z,=W,Ta, (3■

1) と式(3-3)を 書 き直す 。 そ して、

p番

目の デ ー タか ら

M組

のデー タまで を一 括 表現す れ ば 、

CP=f(Z。

)、

Z,=W,TA, (3■

2) と表 され る。 ここに、

Cp=(cP,cp+1,…

.,Cp■ M l)

ZP=(zP,2,キ

:,_・●Z,十M l)

A,=(a,,ap+i,_.,a,.M I)

(3■ 3) である。行列C,、 Zp、

APの

サイズはそれ ぞれ

rXM,

r× M、 s×

Mで

あ る。 そ こで、 И

W,=AΦ

、 Φ:未知行 列 とお き、

f t(Dp)=(W,十

zl W,)TA,

(314)

=WpTA p+OTA,TA, (3-15)

従 って 、

A,TA,Φ

=(f I(Dp) W,TA,)丁

(3 16)

か ら

0を

決定 す れば よい。 こ こに r×

M型

行 列D。は教 師 信号ベ ク トル の

M個

の組 で

W,.M=W,+ZI W,

=(ApA,T) :A,f :(D,)T

(3-20) と決定 され る。 ここで注意 すべ き こ とは、 式(3■ 8)に対 しては、

f 1(D,)―

(W,+ZI W,)TA,=0 (321)

とな って い るが 、 式(3■ 9)または

(320)に

対 して は、

(f l(D,)―

(W,+ZI W,)TAp)A pT=0 (3-22)

と しか一般 にな らな い こ とで あ る。 なお 、多 層 回路 に対す る学 習 アル ゴ リズ ムは、 この結 果を基 に して 、 さ らに工夫が 必要 で あ るが 、詳 しくは参 考文 献

2)を

、 そ して一括処 理 に関 して は

4)を

参 照 さ れ たい。

3.2道

応 アル ゴ リズム 従来 、道 応 アル ゴ リズ ム と学習 アル ゴ リズ ム とは何 ら 関係 な く別 個 に議論 され て きたが、適 応 も、実 は学 習 を 行 って い るの で あ り、学 習 した結 果 を通応 的 に利用 して い る もの と理 解 で き る。 この こ とは、 道応 制御 の分 野 で は、 と くに顕 著 で あ る。従 って、学 習 アル ゴ リズ ムを前 節の よ うに考 え る とき、適応 アル ゴ リズム も全 く同様 に 得 る こ とが で き る。言 い換 えれば、 適応 アル ゴ リズム は 学習 アル ゴ リズ ム と同 じこ とで あ り、 た・だ、 その時系列 システ ムヘ の応 用 で ある と見 なす こ とが で きる。以下 、 これを示 そ う。 い ま、次 の よ うな 回帰 モデ ルで表 され る システ ムを考 え る。

(317)

_{yx=θ Tvx}

Dβ

=(d。

,d,千ユ1… ●

id,IM I)

である。 い ま、行列

APが

フル ラ ンクを持 ってい る と して も、行列Ap・

A,が

正 則 で あ る とは限 らないの で、以下の 二つ の場 合 に分 け られ る。

(1)A prA pが

正 則 の とき: これ は、行 列

Apが

列 フル ラ ンクを持つ場 合 で、

M≦

s である ことが必 要 で あ る。 この とき式

(310)か

ら

0が

得 られ、

ZW,=A,(A,TA,):(f 1(D,)―

W,TAゃ

)T(3-18) と決定 され る。

(2)A PA pTが

正 則 の とき: これ は、行列

A,が

行 フル ラ ンクを持つ場 合 で、s≦

M

であ る こ とが必 要 で あ る。 この とき、式(3■ 6)に左 か ら

A,を

か けて

ApΦ

が 求 まる。 これ よ り、

ZW,=(APAPT)lAP(f i(D,)―

WFTA。

)T(3-19) あるい は、 (3-23) ここに、

ykは

スカ ラー出力 、 θは

N次

元未 知パ ラメー タ ベ ク トル、

vkは

N次

元既知信 号ベ ク トル で あ る。未 知バ ク トル θを決定す るための評 価を式 (3-23)の 出力 誤 差 と して、 (3-24) とす る。 ここに

Mは

任意の正整数であ り、現時点か ら過 去

Mス

テ ップにわたるデータを考慮 している。学習アル ゴ リズムでは、一括処理 に対応 している。なお、式

(32

4)による結果を、修正最小

2乗

適応 アル ゴ リズムS'(Tru ncated least equares adaptive algorithm)と 呼んでお り、

M=kと

す ると、通常の最小

2乗

法 とな っている。 式(3-24)をベ ク トル行列表現す るために、以下の記号を 導入す る。

yk=(yk,…

.,yX Ml)

θ 一 Ｈ_． Σ ト ー 一 ２ 〓 (3-25)

Vk=(v【

,_…

vIMI)

yに_は

M次

_{元 行ベ ク トル 、}

_Vkは

NXM型

_{行列 であ る。 こ} のとき式

(324)は

」

H=与 (yk―

θ

TVo(yx―

,'Vつ

T と表現 される。従来の適応 アル ゴ リズムは、式

(324)あ

るいは

(326)を

_{θで微分 し、正規方程式を導 くことか ら} 求めている。 しか し、本論では、提案す る考え方に従い、

2 9kJ==体

vh=hφ

とお く。 ただ し、

zl,I:=θ

に

θ

x:

φ

=(φ

。,…_{… φM l)T} (3-27) (3-28) であ る。 そ して、評 価

Jkを

零 とす る よ うに、

yk=θ

_{kTV k=(θ k:十}

И θ卜

I)TVk (329)

に式

(327)を

代 入 す る。 その結 果 、

VkTVkφ

=(yk一

θ

H ITVk)T (3-30)

となるが、式(3■ 6)に_{対す ると同様 に、二つの場合に分} 類 され る。

(1)M≦

Nの

とき:これは、

Vkが

列 フル ラ ンクを もち、 従 って、行列

VxTV kが

正則であるとき、 zl θ “

1=Vk(vkTVゝ

) 1(yk―

θ

k lTVI)T (3-31)

(2)N≦

Mの

とき:これは、

Vkが

行 フル ラ ンクを もち、 従 って、行列

VxVkTが

正則であるときである。式

(330)

に左か ら

Vxを

かけ、整理すれば、 超θk_〕

=(vkvkT) lVk(yk一

_θ、

lTVk)T (332)

となる。 次に、 この結果 を、出力が

r次

元ベ ク トル

ykの

場合に 拡張す る。すなわ ち、 システムは

yx=OTvk (333)

であ り、 これを過去

Mス

テ ップまでまとめて行テU表現す れば、

Yk=OTVk

_(3-34) とな る。 ここに、

0は N× r型

の未 知 パ ラメータ行列 で あ り、

Ykは

r×

M型

行列 で、

Yゝ =(y kⅢ _……

ykMl)

であ る。 前 と同様 に して、

ZOkl=VkΦ

とお くと、

VkTVkO=(Yk-Ox lTVk)T

とな り、 前 と同様 に、

(1)M≦

Nの

とき:

И

Ok_1=Vk(VxTVに

)1(Y箕

-Ok_,TVk)T (3-38)

(2)N≦

Mの

とき:

z10k_1=(VkVLT) lVL(Yk-Ok_:TVI)T (3-39)

なる結果が得 られ る。 以上、道応 アル ゴ リズムの導 出を述べてきたが、 ここ に記 した範囲に限定すれば、道応 アル ゴ リズムと学習ア ル ゴ リズムは全 く同一であることがわかる。 しか し、適 応アル ゴ リズムと しては、式(3-31),(3-32)あ るいは (3-38)1(3-30)だ けでは不十分であ り、 さらに時系列の特性 を生か して、 よ り怖潔な逐次形式に変形 しなければな ら ない。特 に、逆行列 の計算を避 けることが重要であ る。 詳細は、参考文献

3)を

参照 されたい。 4。

おわ りに

本論 で は、 数学 の初 等 的問題 な らび に学 習・ 適応 アル ゴ リズ ムの導 出問題 を採 り上 げ、一 貫 して 、一つ の 考え 方か ら、 それ ぞれ の解 を得 る こ とが で きる ことを示 して きた。採 り上 げ た問題 はすべ て、極 値 問題 に属す る もの で あ り、 さ らに多 くの問題 も、 同 じ考 え方 か ら解 を求め る ことが で き る もの と期 待 され る。 代 数 的方法 とで も言 え る提案 して きた考 え方 は、 いわば 、一 般化逆行列 の応 用 に分 類 され る もの で あ る。 その特 徴 は、従来 の微分 的 方法 よ りも、 よ り広 い範 囲を統一 的 に扱 うことが で きる ことで あ る。 工学 的応 用 と しての道応 。学 習 アル ゴ リズムは、 その アル ゴ リズム 自身 を 示す のが本 論の 目的 で はな いの で、 詳細 は参考文 献 に委 ね るこ とにす る。

参 考 文 献

1)山

本:ニ_{ュー ロ回路 の学習 規則 と適応 アル ゴ リズ ム、} システ ム制御情 報 学会 論文 誌 、

7-12,開

3/535,1994.

2)山

本:教_{師付 き学 習 の新 しい学 習規則 、第}

6回

_自律分 散 システ ム シ ンポ ジウム資料、1/6,1995.

3)山

本:適応 アル ゴ リズム∼学習 アル ゴ リズム との統 一 ∼、第15回適応 制 御 シ ンポ ジウム資料 、87/90,1995.

4)山

本:一_{般 化 誤 差逆 伝搬 法 、情 報処理 学 会第50回全 国} 大会 講演 論文集 、

4Q=2, 1905.

5)D.B.Runlelhart & J。 し。世cCleland I Parallel Distri―

buted Processing, Vol.1, 世IT Press, 1989.

6)山

本:修正 最小

2乗

法 によ る道 応 アル ゴ リズ ム、計 測 自動 制御 学 会論文 集 、

2612,22/27.1990.

(3-26) (3-35) (3-36) (3-37)