リカレントニューラルネットワークを用いた複雑な特性を持つディジタルフィルタの設計法

リカレントニューラルネットワークを用いた

複雑な特性を持つディジタルフィルタの設計法

吉 村 宏 紀 ・ 清 水 忠 昭 ・佐 山 卓 史 ・ 井 須 尚紀 ・ 菅 田 一 博

知 能 情 報 工 学 科

A CcDnstmction Mchod ofa Filter 山 Complicated Chamctetttics byUttofRecurltlltNe―

l Nemork

Hiroki YOSHI 【

URA,Tadaaki SHIヽ

IIZU,Takashi SAYAMA,NaokiISU,Kazuhiro SUGATA

Dcpartlncnt oflnformation and Kno、vledge Engineering,Faculty of Engincering, Tottori University,Tbttori,680 Japan

E―maili [email protected]

―

u.acjp

Abstracti We dcvclopcd a ne、 v mcthod to constRICt a digital rlitcr with rccurent neurai nctworks by using the back propagation thЮ ugh timC(BPTT)iCar1ling Wc presentcd a systcmatic mcthod to crcate teacher signals by nuitiPlying thc Maximum length lincar shift

registcr scqucncc(M scqllCnce)and desircd dynamics itlthc frequcncy domain and by tttnsrorming itto thc time domain,Digital mters wcre constructed From rully Cross― cOuplcd and partially cross― cOuplcd recurrcnt neurai nctworks.Partia‖ y cross―cOuPled recurrent

neurai networks modelcd ahcr Direct Typc l and 1l o側 IR digital lltcr acquired appropriate propcrties thЮ ugh the learnillg.Our mctilod

is rcatured to bc collstruct any complicatcd Πitcr、vith dcsircd dyna141iCS fЮm a recurrent neurai nctwork,

Key Чvords: Ncurai network,di3hal AIter,IIR,Spccch synthcsis,I〕PTヨ_「 M sequcncc

l.は

じめに に

,入

力信号及び教師信号 (期待 出力信 号

)を

学習 デー タ と して与 えて学習 を行 った (図

1),ネ

ッ ト ワー クの入力信号 には

,63点

を1同期 とす る最大周 期列

(M系

列

)を

用 いた。

M系

列 は擬似 白色性信号 であ り

,全

離散周波数で等 しいパ ワー を持つ2値系 列である。この入力信号 に63点

DFTを

施 し

,得

ら れたスペ ク トル に構成す るべ きフィル タ特性 を掛合 わせ た後,63点

IDFTを

施 して得 られた63点 系列 を1周期 とす る周期関数 を期待 出力信 号 とした。 さて

,RNNを

構成す るユニ ッ トは時間遅れ素子 と してモデル化 されて いる。ネ ッ トワー クに時刻nで 入 力された信号 は

,時

刻

n+1以

降のユニ ッ ト出力 に影響 を及 ぼす。従 って

,RNNの

学習では

,入

力信 号 に対 して1点以上遅 らせ た期待 出力信号 を教師信 号と してネ ッ トワー クに与 えなけれ ばな らない。入 力信号に対 して

d点

遅 らせ た期待 出力信号 を教師信 号 と して用 いた。以降

,こ

の学習データの与え方 を

d点

遅れ学習 と呼ぶ ことにす る. (学習則)

RNNの

学習アル ゴ リズムには,通時的誤差逆伝播 学習 (Back PrOpagation ThrOugh Time,BPTT)法 を 用 いた。これは

,RNNを

時 間ステ ップ分だけの階層 を有す る階層型ネ ッ トワー クに変換 して学習 を行 う 方法である(図

2).各

時刻 ごとにネ ッ トワー クの コ リカ レン トニ ュー ラル ネ ッ トワー ク (Rccurrent

NeuraI Network i以 下

RNN)は

,ネッ トワー クを構成 す るユニ ッ ト間のフィー ドバ ック結合 によって動的 特性 を持つため

,時

系列 デー タの処理 に適用でき る 111∼16].ユニ ッ トの応答関数 として線形関数を用 い

_,バ

イアス値 (しきい値)を 0とす る ことによ り,

RNNの

入出力関係は

IIRデ

ィジタル フィルタと同 じ形式の伝達関数で表現す ることができる

.伝

達関 数の係数は

,RNNの

結 合荷重 によって定 まるので, 学習によって各ユニ ッ ト間の結合加重 を適 当に決定 できれ ば

,RNNを

用 いてデ ィジタル フィル タを構成 す ることができる。本研 究では

,RNNが

デ ィジタル フィル タの機能 を獲得す るように

BPTT法

による学 習

t7H8!を

行 い,学習後 のネ ッ トワー クの周波数特 性 を検討 した 本手法は,複 雑な特性 を持つデ ィジタ ル フィルタの設計方法 として非常 に有効 であること を示 した,

2.RNNを

用 い た

IIRデ

ィ ジ タ ル フ ィ ル タ の 学 習 構成法 (学習データ)

RNNが

デ ィジタル フィルタとして機能す るよう

教師 信号 吉村宏紀・ 清水忠昭・佐山卓史・井須尚紀・ 菅田一博 :リカレン トニューラルネットワークを用 いた複雑な特性 を持つディジタルフィルタの設計法 相互結合型 入 力 信 号 ニューラルネットワーク

M系

列の

理想 フィ 周波数スペク トル

の周波数 図

1

リカ レン トニュー ラルネッ トワークを用いた ディジタル フィルタの構成法

教師信号

ニ ュー ラル ネ ッ トワー ク 図

2

通時的誤差逆伝播学習法 (BPTT) ピー を作 り

,時

刻順 に並べて階層型ネ ッ トワー クを 構成す る ある時刻 (階層

)の

ユニ ッ トが次の時刻 (階層)のユニ ッ トと結合 し,その結合荷重が全ての 階層間で等 しいネッ トワー クとして表現 され る。 こ のネ ッ トワー クに誤差逆伝播学習 を適用す る

.こ

れ によって

,出

力 白乗誤差の時間総和は極 小値 に収束 す る. 本研究では

,ユ

ニ ッ トの初期状態 (時刻0におけ るユニ ッ ト出力

)を

全て0とし

,結

合荷重 の初期値 には-001∼+0,01の 範囲の乱数 を与 えた。全てのユ ニ ッ トの応答関数は線形関数 とし

,各

ユニ ッ トヘの 入 力の総和 をそのユニ ッ トの出力 とした。また

,ユ

ニ ッ トはバイアス値 (しきい値

)を

持 たない もの と した. (フィルタ特性)

RNNの

学習後 に,学習 に用 いた入 力信号 とは異な る63点

M系

列 を

RNNに

入 力 し

,出

力信号 に63点

D

FTを

施 して フィル タの振幅お よび位相特性 を求め た。

3.完

全結合型

RNNを

用 いた フィル タ構成 全てのユニ ッ トが 自らを含め全てのユニ ッ トと結 合 を持つ構造の完全結合型

RNNを

用 いて基本的 フィ ル タを構成 した。 (方法1) ユニ ッ ト数

6個

(入カユニ ッ ト1個

,出

カユニ ッ ト

1個

,お

よび隠 れ ユニ ッ ト

4個

)の

完 全結 合型

RNNを

用 いて

,低

域通過 フィル タ

(LPF)を

構成 した。

RNNの

学習のため に

,63点

M系

列 (離散周波 数1∼

31)を

入 力信号 に用 いた。便宜上

,サ

ンプ リ ング間隔は1ド〕とした。期待 出力信号は理想 フィル タの 出 力 と し

,通

過域 の周 波 数成分 は振 幅

1(0

〔dB〕)で位相差な く通過 し

,阻

止域 (高域)周波数成 分 は完全に遮断す る (振幅

0)も

の とした

,入

力信 号 を63点

DFTし

た後,Iン

PF構

成のため に離散周 波数 16∼ 31のスペ ク トル を除去 し

,63点

IDFT

を施 して期待出力信号 を得 た

.こ

の期待出力信号 を d点 (d=1,2,…,7)遅らせ た信 号をネ ッ トワー ク出力 の教師信 号 と して

,各

々

BPTT法

_{によ り学習 を} 行 った

.1回

の学習 に適用す る時間区問 (エポ ック) は63点

(1同

期

)と

し

,学

習 回数は30万回 とした。 ただ し

,学

習定数 η

=00001,慣

性係数 α

=01と

し た, (結果1) 学習時 に用 いた入 力信号 とは異な る63点

M系

列 を

,学

習終 了後 の

RNNに

入 力 して出力信号 を求め た

,入

力信号 に対す る出力信号のスペ ク トラムの比 を求め

,RNNの

入 出力関数 (フ ィル タ特性)を得た. 図

3a,3bに

最 も学習誤差が小 さ くなった

3点

遅れ の振幅および位相特性 を示す 。細 い破線が理想 フィ ルタの特性 を表わ してお り

,実

線 は3点遅れ学習 に よって得 られ た

RNNの

フィル タ特性 を表わ してい

IDFT

理想 フィル タ特 性

の

諸

聾

圭

三

_,>

号 信 カ ル 出 ト の ク タ ペ ル ス

臨

相 ス ペ ク トル

入力信号

時刻nの相互結合型

L 図 4 ￨ る。図

3aに

示す よ うに

,RNNは

LPFの

特性 を有 してお り

,特

に遮 断周波数付近では急峻な利得の低 下が得 られ た

.し

か し

,阻

止域での利得 の低下は緩 やかであった。また

,通

過域での位相差 は6° 以下 と小 さく,非常に良好 な位相特性で あった (図3b). (方法2) 上記 の結果 よ り

,阻

止域での遮断特性の向上を計 るために

,学

習に用 いる入 力信号

(M系

列

)の

高周 波数領域(教師信号で阻止域 に設定 した周波数領域) の振幅 を20倍に大 き くした もの を時間領域 の信号 に 変換 して

,同

様の学習 を行 った。 この場合

,学

習 に 用 いる入 力信号は

M系

列ではな くな る。 (結果

2)

図

4に

,3点

遅れ学習の振幅および位相特性 を示 す 。図

4aに

示すよ うに,方法2によ り学習 を行 った

RNNは

,方

法 1に 比べて

,阻

止域にお ける利得 を大 幅 に改善す る ことができた。しか し,通過域では,方 法 1の 方が平坦な特 性 となった

.位

相特性 は

,通

過 域での位相差が最大19° とな り

,方

法1に比べて位 相特性は低下 した (図4b).

4.結

合制限型

RNNに

よるフィル タ構成 ユニ ッ ト間の結合 を制限 した構造の

RNNを

3種

考案 し

,前

章 と同様 の学習 を行 って基本 的 フィルタ を構成 した。これ らの

RNNの

伝達関数 と等 しい次数 をもつ

IIRデ

ィジタル フィルタ を従来法 によ り設 計 し

,振

幅および位相特性の比較 を行 った. (方法) 図5に示す

3種

の

RNNを

構成 した.ユ ニ ッ ト間の 結合は図中の実線矢印お よび破線矢印で表わ された 結合 のみ に限定 し

,波

線矢印の結合加重 は1に固定 して学習 によって変化 しない もの とした,図

5aは

, 直接型 Iと呼 ばれ る構造 の

IIRデ

ィジタル フィル タを模 した

RNNで

あ り,以降

A型

と呼ぶ

.AttRNN

の入 出力関係 を伝 達関数によって表現す ると式 (1) とな り

,H個

のユニ ッ トによって

5次

の フィルタが 構成 され る。図

5bは

,直 接型Hの構造 を模 した

RNN

であ り

,以

降

B型

と呼ぶ

.B ttRNNの

入出力関係 を 伝達関数表現す る と式 (2)と な り

,7個

のユニ ッ ト によって

5次

のフィルタが構成 され る.図

5cは

,自 己結 合 を多用 した

RNNで

あ り

,以

降

C型

と呼ぶ

.C

型

RNNの

入出 力関係 は式 (3)と表わ され

, 7個

の ユニ ッ トによって5次の フィル タが構成 され る

.た

だ し,

A=―

la+b+C+dtte) B=a(bttcttd+e)+blc+d+e)+c(d+e)十 de+F 鳥 取 大 学 工 学 部 研 究 報 告 第 28巻 0 ■0 -20 豊_30 彗‐40 -50 -60 ‐70 側   。   ６０ ︻骰 ユ 理 蝉 5 10 15 211 離散周波数_「王z〕

la)振

幅特性 5 10 15 20 25 翻 離散周波数 〔卜I封

(b)位

相特性 完全結合

RNNの

周波数特性 図 3 ６０ ０ ６０ ２０ ８０ 覇 響 ︺ 軍 蝉 10 15 20 離散周波数I11』

●

)振

幅特性

0 5 10 15 20 25 30 離散周波数IHz〕

(b)位

相特性 学習 に用 いる入 力信号の利得 を変化 させ た完 全結合型

RNNの

周波数特性

吉村宏紀・清水忠昭・佐山卓史・井須尚紀・菅田一博:リ カレン トニューラルネッ トワークを用 いた複雑な特性 を持つディジタルフィルタの設計法

・・………,〕卜 ConncctionヽVcight w=1

図

5

結合を制限した

RNNに

よるディジタルフィルタの構成

C=lalblc+d+0+cld■el+del+bにld・el+del+cdel―g+flc+d+0

D= abcdttabce+abde+acde+bcde―h+g(e+d)一f(c(d+e)+dC)

E=

―abcde-1+he―gde+cdef

F=

―_(b+cttd+c) G=b(cttdtte)+c(dttc)十 de

H=―

(b(c(d+e)十de)+Cde) I =bcde で あ る。 これ らの

RNNを

用 いて,前章 と同様 の方 法 で学 習 を行 い,低域 通過 フ ィル タ

(LPF)を

構 成 し た 。ただ し

,学

習定 数 η=00001、 慣 性 係数 α=0.1, 学 習 回数 は30万回 と し

,d遅

れ 学 習 (d=1,2,…,7)を 行 った, また,これ らと等 しい遮 断周波 数 を持 つ よ うに,バ タ ワー ス及 びチ ェ ビシェ フ特 性 の5次

IIRデ

ィジ タル フィル タ を従来 法 によ り設 計 し,その振幅 お よび 位 相特 性 を求 めて

RNNに

よ るフィル タの特性 と比較 した. (結果)

A型

,B型 ,C型

の全 て の

RNNで

,3点

遅 れ 学 習 で学 習誤差 が最 小 とな った 。図6に学 習後 の各

RNN

の フ ィル タ特性 と

,バ

タ ワー スお よび チ ェ ビシェ フ 特性 をもつ5次

IIRデ

ィジタル フィルタの振幅お よび位相特性 を示す

.A型

(図6 at b)および

B型

RNN(図

6c,d)の

周波数特性 は

,ほ

とん ど同 じ特 性 となった。

A型

お よびB tt RNNの振幅特性 は

,通

過域ではチ ェ ビシェフフィル タよ り平坦な特性 をも ち

,阻

止域では遮断周波数付近 にお いてバ タワース お よびチ ェビシェフフィル タよ り急峻 な利得 の低下 が得 られた。また,231HZ〕 まで はバ タ ワース フィル タよ りも良好な遮断特性 を得た。これ らの結果 よ り,

A型

,B tt RNNは

バ タ ワー スお よび チ ェ ビシェ フ フィル タの長所 を合わせ持つ特 性 とな った

.通

過域 では理想 フィル タと一致 した。 しか し

,阻

止域での 利 得 は遮 断周波 数 か ら離 れ て も充 分 には低 下 しな かった

,一

方

,A型

,B tt RNNの通過域での位相差 は最大で15° であ り,13〔 H』よ り低 い周波数では概 ね4° 以下であった。既存 のフィルタの中で も位相 特性の良いとされ るバ タワース フィル タの位相差は 最大値 で32° ,13tH』 以下 の周波数で もH° の位相 差 を持つ ことか ら

,A型

お よびB tt RNNは既存の フィル タ特性 と比べて

,非

常 に良好な位相特性が得 られ た

,C tt RNN(図

6e,0は

利得 の変化が緩徐 であ り

,A型

および

B型

ほ ど良好 な フィルタ特性が 得 られなかった。

5.複

雑な特性 を持つ フ ィル タの構成 複雑 な周波数特性 を持つ フィル タを

RNNの

学習 によって構成 した。少な い重み結合で良好な フィル タ特性 を有 した

B ttRNNを

用 い,ユニ ッ ト数の増減 によ り伝達関数の次数 を変化 させ て フィルタ特性 を 検討 した.

鳥 取 大 学 工 学 部 研 究 報 告 第 28巻 側   ０   ６０ 硼 ｏ こ 雫 蝉 5 ,0 15 20 25 離散周波数_「1』

(a)A tt RNNの

振幅特性 10 15 20 25 離散周波数「}I』 B tt RNNの 振幅特性 10 15 20 25 離散周波数,1』 C tt RNNの振幅特性 (方法) LPC分析 によ り得 られた音声信号/a/のスペ ク トル 包絡(図7a)を 構成す るべきフィルタ特性 と考 え

,2

章 (学習デー タ

)に

示 した手順 に従 って教師信号 を 作成 し, B tt RNNの 学習 を行 いフィル タ を構成 し た

,図 7aに

示す よ うに

,学

習 に用 いる音声信号/a/ (教師信号)の振幅特性 は

4つ

の ピー ク周波数 (ホル マ ン ト周波数

)を

持つ特性 となっている.B tt RNN はフィル タの伝達関数 の次数 が5次

, 8次

,および 12次となるよ うに構成 し,d点 遅れ学習(d=1,2,… ,12) 10 15 附 25 3tl 離散周波数IH朔

(b)A tt RNNの

位相特性 10 15 20 25 30 離散周波数IHz〕

(d)B tt RNNの

位相特性 10 16 20 25 離散周波数 卜切 C tt RNNの位相特性 を行 った,学習定数 η

=00001,慣

性係数 α=0.1,学 習回数 は30万回 とした。また

,M系

列 は 127点 で1 周期 の もの を用 いた。 (結果) 図

7b,cに

各次数 の

Btt RNNの

学習 によって構 成 された フィル タの振幅および位相特性 を示す。図

7bに

示す よ うに

,振

幅特性 はB tt RNNの次数が高 いほ ど

,教

師信 号 の振 幅特 性 に近 づ いた

,5次

の

RNNは ,第

2,第

3ホ

ル マ ン トの特性が得 られず,

8次

の

RNNは

_,第

3ホ

ル マ ン トの特性が得 られな 馬 ｏこ 躍 導 (0 図

6

結合を制限 した

RNNに

よるディジタルフィルタの周波数特性 ― ― A型 ― バターワース ・ チェビチェフ ー ‐理想特性 ― バターワース ー チェビシェフ ―D-3型 ― パターワース o チェビチェフ ー ー理想特性 ― B型 一 パターワース ー チェビシェフ 一 硼 ― パ ター ワー ス ー チ ェ ピチ ェ フ ー ‐ 理想特性

ｈ

ハ

凪

一 パターワース ゝ 一 チェビシェフ 〆

刊

一

吉村宏紀・ 清水 忠昭・ 佐 山卓史・ 井須 尚紀・ 菅 田一博: いた複雑 な特性 を持 つデ ィジタル フィルタの設計法 リカ レン トニ ュー ラル ネ ッ トワー クを用 て合成 され た信号が

,最

も高品質であった.

6.考

察 提案 したフィル タ構成法 によ り

,全

ての結合の型 の

RNNは ,学

習 によって フィル タ特性 を獲得 した, 学習後の

RNNの

振幅特性 は,通過域 は平坦な特性 と なった。また

,阻

止域付近では従来法 によるフィル タ (バター ワース

,チ

ェ ビシェ フ

)に

比べて

,急

峻 な特性が得 られた。 しか し

,阻

止域 にお ける利得 は 遮 断周波 数 付 近 で の減 少 の後 は ほ とん ど減 少 しな かった。 この理 由は

,出

力信号 と教師信号の誤差 白 乗和 を評価 関数 として いることに起 因 していると考 え られ る。つ ま り

,ネ

ッ トワー クの学習 に用 いる教 師信号 に理想 フィル タの特性 を用 いて いるため

,周

波数領域で見 る と

,遮

断周波数付近 に学習誤差 の割 合が多 く含 まれて いる。

RNNは

誤差 のパ ワーの総和 を減少す るよ うに学習 してお り

,誤

差パ ワーの大 き な遮断周波数付近の特性 を特 に修正す るよ うに学習 している

.そ

のため

,阻

止域 にお ける利得 を減少 さ せ る ことが できなか った と考 え られ る。阻止域での 特性 を向上 させ る方法の1つに

,3章

の (方法

2)で

示 したよ うに

,阻

止域 に設定 した周波数領域 で学習 に用 いる入 力信号の

M系

列 のパ ワー を大 き くす る方 法が挙 げ られ る

.こ

の方法は

,阻

止域で生 じた学習 誤差 に重 みづ け を したの と同 じ効果 を 与えてお り, 有効 であった。

RNNに

よるフィル タの位相特性は,信号 の通過域 にお いては位相差 をほとん ど生 じない非常に良好な 特性 となった

,こ

れ は

,出

力信号 と教師信号 の時間 領域での誤差 自乗和 を学習の評価 関数 として いるた め

,フ

ィル タの通過域 を帯域 とす る教師信号 と位相 の合 った信号 を出力す るように

RNNの

学習 を行 うた めであると考 え られ る。逆 に

,教

師信号 に含 まれな い周波数帯域すなわち阻止域では位相合わせ の学習 が行われず

,位

相差が比較的大 き く現れた もの と思 われ る。

7.

お

bり

に

RNNが

IIRデ ィジタル フィル タと同 じ伝達 関数で 表現できるとい う特徴 をいか して

,RNNに

よるデ ィ ジ タ ル フ ィ ル タ の 構 成 方 法 を新 し く提 案 した 。 ニ ュー ラルネ ッ トワー クを具体的な問題 に応用す る ときの最大 のポ トルネ ックは

,大

量の学習デー タを どのよ うに取得す るかで ある。この問題 に対 して

,M

系列 を用 いて非常 に簡単な方法で統一的に学習デー 冨 ユ 建 雇 硼   ０   ６０ 一_骰 己 甲 Ｊ 0 103D 211110 311C10 4000 501Xl 離散周波数 〔H封

(a)教

師信号の振幅特性 llXX1 2111B 3000 4000 51XX9 離散周波数『I』

(b)B tt RNNの

振幅特性 1000 2000 3000 4000 5000 購散周波数 卜Izl

(c)B tt RNNの

位相特性 図

7 BttRNNに

よる複雑 な周波数特性 の獲得 かった。12次 の

RNNは

,教師信号の持つすべてのホ ルマ ン ト周波数 に ピー クを持つ特性 とな った。また, 12次の

BttRNNの

_{位相特性 は,ホ}ルマ ン ト周波数 に 対応す る周波数か ら利得が-31dBI下が った ところま での帯域で17° 以下であった さ らに,学習後の各

BttRNNに

イ ンパルス列 を入 力 して

,音

声合成 を行 った。この結果

,各

B tt RNN とも

,音

声信 号/a/を合成す る ことがで きた。合成 さ れた音声信号/a/を比べると

,12次

B tt RNNに よっ

鳥 取 大 学 工 学 部 研 究 報 告 第 28巻 夕を作成す る方法 を提案 した, 我 々が提案 した構成方法の一番 の特徴 は

,ど

んな に複雑 な特性 を持 ったデ ィジタル フィル タであって も

,複

雑 で難 しい計算 をす ることな く

,ユ

ニ ッ ト数 を増加 させ るだ けで 同一 の学習 によ って

,所

望 の フィル タ特性 を作れ る ことである。 これ を

,実

際 に 発声 された音声信号の母音スペ ク トラム特性 を

RNN

で作 り

,構

成方法の有効性 を確かめた. 参考文献

III TSOi,A C and Back,A,D i Locally recurrent globally Feedforward networks:A critical review Of architec― tul es,IEEE Trans,NeuraI NetwOrks,5:229-239,1994 12,Connor,JT,Martin,RD,and Atlas,L,E.;Rectlrrent

neurai netwOrks and robusttime series predictiOn,IEEE

Trans NeuraI NetwOrks,5:240-254,1994.

村 島淳 ,二 見 亮 弘 .星 宮 望

;

時 系列 を発 生す る神 経 回路 の一般化 能 力 につ いて, 信学技 報 ,NC93-103,173-180,1994. 柳 谷 尚寿,高 橋 治久 1富 田悦 次

;

リカ レン トネ ッ トワー ク を用 い た 連 族 音 声 認 識

,

信 学 技 報, SP98-111155-62,1993 平進太 郎

i

階 層 的統 合 と相互 結 合型神 経 回路網 に よ る 時 系 列 パ タ ー ン の 認 識

,信

学 技 報 , PRU93■8,9-16,1993, 戸 田謙 ―,二 見 亮 弘 ,星 宮 望

;

時 系列 の短期記 憶 を行 な う神 経 回路機 構 モ デル

,信

学 技報 ,NC92-61,7-13,1992.

winiams,R,」 and Zipser,D;A learning algorithm

for cOntinually running FtlHy recurrent ncurai netwOrks,

Neurai COmputation,1:270-280,1989 水 野政 司,高 木 秀彦 ,郷 原 一寿

:

リカ レン トネ ッ トワー クの

BPTTを

応 用 した実 時 間学 習法,信 学技 報,NC92-83,23-30,1992. 膊〕 怜〕 膊l