砂時計型ニューラルネットワークを用いた時系列信号の適応的雑音除去
吉村 宏 紀 ・ 清 水 忠 昭・ 井 須 尚紀 ・菅 田 一 博
知 能 情 報 工 学 科
A Noise Reduction Adaptable to Time Series by lUse oF Sandglass‐
type Neural Network
Hiroki YOSHIIURA,Tadaaki SHIA/11ZU,NaokiISU,Kazuhiro SUGATA
Dcpartinent of lnforination and Kno、vlcdgc]巳ngineering,Faculty of Engincering, Tottori University,Tottori,680 Japan
E―maili [email protected]
―
u.ac.jPAl)stract:Thc m〔:ldlaycr pcrccptron calic(l Sandgiass tyPc Ncllral Network(SNN)has the same number or u:lits in input iaycr and outputiaycr and ilas lcss units in hiddcn iaycrthan units 6oth in inputiaycr and outputiaycr.In this paper、 ve clarincd thc proPchics of
a noisc rcduction nitcr i]品ing SNN,Thc proPcrtiCS` Ψcrc dcrivcd iDaSiCa‖ y by【Isc or the rcsultthat thc output signal or sNN could bc givcn l)y Karhuncn―Loeve approximation ofinput data inattix,IIcrc,wc cValuated the inll,rovetncnt valuc oF signai to ncise ratio ror thc
opti:anum numbcr or hidden units Thc noisc rcduction Πiter、vas assured to be crrectivc and stablc by thc computcr cxpcrimcnts using
sinusoidal signal corrt,pted by、 vhite notse
Key words:NctIIai nctwofk,noisc rcdtiction,Kし transror,mationi timc scrics
l.は
じめに ユニ ッ ト数 を同数 とし,中
間層のユニ ッ ト数 を入 力 層お よび出力層 のユニ ッ ト数よ りも少な くした構造 を持つ131.SNNは教師信号を入 力信 号と等 しくして 学習 を行 い,入
力層お よび出力層 よ りも少な い中間 層 のユニ ッ トの出力信 号を利用す る ことによ り,画
像,脳
波な どの情報圧縮 に応用 されて いる「41∼161. 本研究 で提案す るSNNRFの
雑 音除去 の原理は,学 習後 のSttNが最適状態下 にお いてKL変
換 と等価 な 処理 とな る[7〕∼191こ とか ら導かれて いる.SNNの
中 間層のユニ ッ ト数 を観測信 号に含 まれ る信 号成分 の 共分散行列の ランクとす ることで最適な フィルタが 構成 され る ことをまず示 した.SNNRFは
学習時 にお いて,教
師信号 を入力信 号と等 しくして学習 を行 う ので,教
師信号 に所望信 号を必要 としな い.本
研 究 で提案す るSNNRFの
構成方法 はKL近
似 によるフ ィ ル タ リング と等価 な方法であるが,学
習 アル ゴ リズ ム と して逐次最小2乗アル ゴ リズム を応用 した高速 学習法110〕を用 いてお り,逐次学習 を行 うことによ り オ ンライン処理 を可能 と した。本研究 では雑音除去 フィル タ としての有効性 を示す ために,雑
音除去の 対象 とな る観測信 号に白色雑音下の単 一正弦波信 号 を用 いて,雑
音の除去 を行 った。また,学
習後 の結 合加重 を解 析す る ことによ り,SNNR「が雑 音成分 を 低減す るフィルタ特性 となって いる ことを示 した。 観測 された信号か ら雑音成分 を低減す る ことは, 音声認識,地
震波の解 析,周
波数推定な どにお いて 基 本的かつ重要な問題 である.従
来,こ
のよ うな雑 音の低減r司題 に対 して さまざまな対処策が試み られ てきた.Kunlaresanら は周波数推定問題 に対 して,特 異値分解 を用 いたKL近
似 によるフィル タ リングを 行 うことによ り,低SN比
で少な いデー タ点数か らも 高 い推定精度 を得 られ る方法 を提案 した111.KL近
似 によるフ ィル タ リングは雑苦低減 を行 うための有 効な一手法であると考 え られ るが,基
本的 にオ ンラ イ ン処 '1は 不 可能であ り,オ
フ ラインで処理す るこ とにな る. 一方,ニ
ュー ラル ネ ッ トワー クは 音声認識,画
像 認識な どのパ ター ンマ ッチ ング以外 に も,適
応デ ィ ジタル フ ィル タの観点 か ら近年}i:日を集めてお り, 雑帝除去 フィルタとして もさまざまな応用がな され ている121 木研究では,砂
時 計型ニ ュー ラル ネッ ト ワー ク (以 ド,SNN)を
用 いて,観
とU信号か ら雑 音 成分 を除去す る砂時計IWニュー ラル ネッ トワー ク雑ff除去 フィル タ (SandBIass type Neurai netwOrk Noise Rcdllctioll FilicF i SNNRF)を 提案す る
.SNNと
は,両像圧縮 を行 うため にCOttFelらによって提案 された
2.砂
時計型ニ ュー ラルネ ッ トワークを用 いた雑音 除去 フィル タ2.1
砂時計型ニ ューラルネ ッ トワーク雑音除去 フィル タ(SNNRF)の
構造SNNRFの
摸 式図 を図 1に 示す。SNNの
構造 は,3
層階層型ニ ュー ラル ネ ッ トワー クとし,入
力層のユ ニ ッ ト数をNl司,中間層のユニ ッ ト数 をP個 (P<N), 出力層のユニ ッ ト数 をN個
とす る しきい値ユニ ッ トは設けない。ユニ ッ トの応答関数は線形関数 とす る.こ れ は,学習過程 にお いてIOcal ininimumに 陥 る ことを回避す るためであ る191.図 1に示す よ うに,観 測信号.ィ(k)は入 力層 の最 も下のユニ ッ トに順次入 力 され,1時刻過 ぎる毎 に遅れ要素 を通 って1つ上のユ ニ ッ トヘ と入 力され る.学
習は観測信 号 ズ(k)が入 力 され る毎 に行 い,結
合加重が修正 され る。以後,観
測信 号が入 力 され た ときの,SNNの
入 力層 の金ユ ニ ッ トに入力されている信 号を入力信 号と呼び,入
力信号 と教師信 号の組 を学習信 号とよぶ.但
し,入
力信 号 と教師信 号は同 じ信 号である。2.2 SNNに
よる雑音成分の除去 本節では,KL変
換 の理論 を用いることによって,SNNが
雑音除去 フィル タとな る ことを示す.KL変
換 とは,信
号の共分 散行列の固有ベ ク トル を変換係数 とした直交変換で あ り,変
換符号化 において最適 な 変換方式である ことが知 られている1111.中間層のユ ニ ッ ト数をPl司と した とき,SNNの
学習後の出力信 号は第P主 成分 までのKL近
似 によって得 られた信 号 と等 しくな る。ここで,第 P主成分 までのKL近
似 と は,第 P主成分 までの変換係数 を用 いたKL変
換,さ らにKL逆
変換 を行 うことを意味す る。SNNの
学習 誤差(1出
カユニ ッ トあた りの平均誤差2乗和)は
, 式(1)で与 え られ る191. [性質1〕 Nレース
(GRャ=こλ
i)P :
中間 層 のユ ニ ッ ト数 Xωi t(t=1,・
・・11・)器目の入 力 信 号YO i t中
=1,・・I′I`)器日の出 力信号 但し,R、 は入力信号XOt=1,…11`)の共分散行列, tcachct signals χ(k) 図1 砂時計型ニュー ラルネッ トワーク雑苦除去 フィルタの学習モデル は R.の 固有値 (λ l≧…≧ λN≧0)で
ある。 また, Xω,YOは ともにN次
元 ベク トルであ る. いま,SNNの
学習の対象 として以 下のよ うな信 号 を考 える.Ц
k)=劇
+1嘲
k=1,2ギ
…
0
ここで,メ(k)は観測信号,∫ (k)は信号成分 (原信号), ?(k)は雑音成分である.g(k)は平均値0,分散 σ F2のガ ウス性 白色雑音 とす る。 まず観測信 号の共分散行列の固有値 を求め る。信 号成分の共分散行列 をR、,雑
苦成分 の共分散行列 を Rどで表す と,雑
音成分 をガウス性 白色雑音 と仮定 し て いるので,信
号成分 と雑 音成分 には相関がな く, そのため観測信号の共分散行列R.は, R.=Rド+RF (3)
とな る.但
しR、R.RFは
ともにN×
Nの
行列であ る。RNは 対称行列であるので,R(?固
有値は適 当な 直交行列 を用 いて対 角化す る ことによって求 まる. R.を 対角化す るための直交行列 をUと
お くと, とな る 式(4)にお いて,右
辺 の対角要素が固有値 で ある.こ
の とき,Uに
お ける第i列は 入│に対す る田 有ベ ク トル となる.KL変
換 にお ける第i主成分の変 χ(kl) ノ(k‐ 1) P i ヽ ︱ , ト︲, v︲︲︲
一 丘
”i〓︲
Wキ
ー
、
/
ド
代
講
部
〓 rp げ R 、 E tr 0 螺 λ χ 0 〓 コ R U ― ― ――――――――――――― ……―中山山田日日日日日日■■■■■■■日日日日日日■■■■■■■■││1日 日日日日日日日日│││││││1日 日日日日日日日│││■ ■■■■■■■■■■■■■■■■■■■■■■■1日 ││││鳥 取 大 学 工 学 部 研 究 報 告 第 28巻 換係数は
,R.の
固有値 λI(λ l≧ λ2≧…≧ λN≧0) に対す る固有ベ ク トルである。 [定理1] 信号成分 の共分散行列Rドの ランクをPと した と き,信号成分 を学習の対象 とす るSNNで
学習誤差 を ゼ ロとす るために必要十分な中間層のユニ ッ トの個 数はPで
ある。 〔証明] 信 号成分 の共分散行列RFのランクはPで
あるの で,咀
の固有値凡t(i=1,…,N)は
,(打
とII≒
ifN
° とな る.性質1より学習誤差 をゼ ロとす るためには, 中間層のユニ ッ ト数はP個 以上必要 とな り,逆にP個 あれば学習誤差 をゼ ロとするのに十分である(証
終) [補題2] 観測信号の共分散行列Rィは式(6)の形に書き換え られる. U IRttU= χl+σ: χP+σ: σ: 0 [証明] 式(3)よ り,U 'R IU=U IR.U tt U !RfU (7)
が成 り立つ
.雑
音成分 の共分 散行 列 は, 角化す る ことがで きる。よって,Uで
も対角化で き る。この ことは,Uを
用 い ことによ りR.も 対角化 で きる ことを意味 している。 [定理31 (証終) 信号成分 の共分散行列R命の ランクがPで
あれ ば, 中間層のユニ ッ ト数がP個のSNNを
用 いる ことによ り,学
習後 の出力信号 は信号成分 の情報 を欠如す る ことな く,最
も雑音成分 を除去す る ことが可能で あ る. [証明〕 補題2より,信 号成分s(k)は第P主成分 まで によっ て変換 され,第
P+1主
成分か ら第N主
成分 によっ て変換 され る成分 は雑音成分 のみで あ る。 よって, 第P主成分 までのKL近
似 を行 えば,第
P+1主
成分 か ら第N主
成分 によって変換 され る雑音成分 を除去 す る ことができる。 [定理4〕 (証終) 信号成分の共分散行列R,のランクがPで
あれ ば,SNNを
用 いて学習後 には出 力信号 のSN比
を最 大 lCllog10(N/P)ldB〕 改善す ることが可能で ある。 [証明〕 性質1よ り,中
間層 のユニ ッ 習誤差 は,Ц可
=冬i虫1∝=寒
碇
卜数がPのときの学 とな る。定理2より式(9)の学習誤差 は,信
号成分 を 欠如す る ことな く,除
去 された雑音成分 の分散に等 しい.こ
の とき,出
力信号 に含 まれ る雑音成分の分 散 は(P/N)σ f2に低減 され る.よ
って,信号成分の分 散 を σ.2で表 す と き,観
測 信 号 のSN比
は ICJlog l。 (σ♀′σ
:)[dB〕であるのに対し
,出
力信号の
SN
健拙賀類
砲
里
!瑚と
な
り
,畑
昭
Ю
仰
1望怒
〕
2,3
高速学 習アル ゴリズム によるオ ンライン処 理22節
によって,SNNRFの
雑音除去 の原理 は,KL
近似 による雑音除去 と等価な処理であ るが,KL近
似 を行 うためには得 られたすべての観測信号か ら共分 散行列 を求め,固有ベ ク トル を求めなければな らず, オフライン処理 となって しまう, それ に対 して本手法では,観
測信号 χ(k)が順次入 力され る毎 にその ときの入力信号 に対 して学習 を行 い,結
合加重 の更新の後 に逐次出力信号 を出力す る ことによ って オ ンライ ン処理 を可能 にす る.但
し, χ: σ: χ, 0子 0) σ: σ: (6) CJ: 個) σfつ σr2I
∝
〓 , る R あ で Rrは どのよ うな直交行列 を用 いて も対SNNの
入 力層のユニ ッ ト数 (タップ数)は N個
であ るので,厳
密 には観測信号 ズ(k)が時刻k=Nと
な るま では,入力層の全ユニ ッ トに観測信号が入 力されず, 学習 を行 うことができな い。そのため,オ
ンライ ン 処理 は時刻N以
後 とな る. また学習アル ゴ リズム として,一
般 に用い られて いる誤差逆伝播学習法 (BP法)の
適用は,勾
配型の 学習法の1つであるため学習の収束 に時間がかか り, 多 くの観測信号デー タが必要 とな る。本手法では, 高速な収束特性 を有す る逐次最小2乗 法(RLS法 )を 応用 した高速学習 アル ゴ リズム (以後,RLS学
習 と 呼ぶ)を
用 いる11側.3.白
色雑音 を含む正弦波か らの雑音除去3.1
問題の設定SNNRFの
有効性 を示す ため に,以下 のような信号 を対 象に計算機実験 を行 う。項嘲―
dl嘲+Itt k=1,2,た
O①
I嘲轄
Aisin ttk司
上
=kよ。
り
ι(k):
平均値0,分
散 σ F2のガウス性 白色雑音 ここで,△
tはサ ンプ リング間隔 (周期),ω
i(ω I=2 π烏)は
角周波数である。Aiは 振幅,θlは初期位相 を表す。3.2
最適な中間層のユニ ッ ト数 [定理5] 白色雑音下 の単一正弦波の雑音除去 に最適な中間 層のユニ ッ ト数は2個とな る。 [証明] 信号成分 として,周
波数 ωlの単一正弦波 (式H
にお いて,n=1)を
考 えた とき,共
分散行列R.は, 1 COくω脚
) cosllN lltoI刺∞く
ojlAll…∞報
N llaD,刺 (12) とな る.rk(k=1,… ,N)は周 波 数 ωlの正弦 波 の離散 系 列 とな る ことか ら,rl,r2に係 数ak,bkを掛 け る こと によ り, rk=akrl+b kr2 k=3,・ ― ,N前
ntk一到
η
引
前
nよk-1沖
I刺 (13)Rf=
ak=一罰
n仲
う
bk=
Sin(ωl) と表せ る。式(13)(14)よ り,線
形独立なベ ク トルの数 は2であるか らランクは2であ る。(証
終) [定理61 正弦波が 白色雑音下 に正弦波がm個
含 まれておれ ば,中
間層 のユニ ッ ト数 を2m個
とすれ ば最適であ る。(証
H各)4.実
験 による検証 これ まで,SNNRFの
雑音除去能 力に関 して,理論 的 に議論 を展開 して きた。理論 と実際の整合性 を検 証す るために,以
下 に示す信 号を用 いて計算機実験 を行 い,SNNRFの
雑音除去能 力を評価 した。Ц嘲
=AN■
仲
1生 +01)十1tt k=1,2,…
お
599
ここで,Al=1,ω l=2 π itrad/S〕 ,i=3/(16△ t)〔Hzl, △t=I卜〕, θ,=― π/2とし,ど(k)は平均値0,分散 σ F2 のガウス性 白色雑音 とした。実験 に用 いたSNNの
入 力層お よび出力層のユニ ッ ト数 は16個と した.4.l SNNRFの
雑音除去能 力 図2に中間層のユニ ッ ト数が2個の ときの,学
習 後 の実験結果の 1例 を示す 。図2(a)はSN比
5tdBIの 学習信号 (入力信号),図2(b)は学習後 の出力信号で あ る。図2(c)は入力信 号に含 まれ る信号成分 を表わ して いる。さ らに図3(a)および図3(b)に入 力信号 (学 習信 号)お
よび学習後の出力信号 の平均振幅スペ ク トル を示す 。信号成分の周波数 はグラフ上の離散周 波数3/161H』 (ω=3/8π)であ る。図3(a),(b)に示す よ うに,出
力信号は雑音成分が低減 されて いる ことが 分か る。4.2
中間層のユニ ッ ト数 と雑音除去能 力の関係 図4に,SNNの
中間層のユニ ッ ト数 を1個か ら4 個 に可変 に した場合の,学 習後 の出力信号のSN比に つ いて示す 。ここでは,出力信号 のSN比
を以下のよ うに定めた, ―鳥 取 大 学 工 学 部 研 究 報 告 第 28巻 2 む I E ■ 0 日 < ‐1 ‐2 6 7 8 9 10 11 12 13 14 15 16 Unl Numbcr (a)入 力信号 6 7 8 9 10 11 12 13 !4 15 16 Unit Number (b)出 力信号 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 Unit Nunlber (c)信 号成分 図
2 SNNRFに
よる雑音除去 の1例‰
1010gltll希
と
器
)m
但し,YO=ly(t),… ,y(t+N-1)〕 St)=t,(t),・ …が(t+N■)〕 τ=H である。YOはt番目の出力信号,SOは
t番目の入 力信 号に含 まれ る信 号成分である.SO,YOは
ともにN次
元 ベク トルである。また,式
(15)よ りk=1,… ,65と し たので,全
学習信 号の数T=50である. 図 4に 示 されて いる各中間層のユニ ッ ト数 に対す る出力信 号のSN比
は,異な る雑音成分 の学習信 号を 30系列作成 し,そ
れ らの出力信 号のSN比
の平均値 を示 している.学 習 に用 いた入力信 号(4≠習信号)のSN比
は51dBIと した. ・2 0 遇 る 4 ・2 0 1 1 0 0 0 0 0 o O E 召 〓 う ヽ ・2 0 B る ・4 ・2 Ю l l 0 0 0 0 0 oO E ︻i S < 0 ︺ E ︼i 雷 < Frequency[HZ〕 (a)入力信号 図3入
Frequency〔HZ〕 (b)出力信 号 力信 号及 び 出 力信 号 の平均 振 幅 ス ペ ク トルThe Numbcr of Hidden Units
図
4
中間層のユニ ッ ト数 に対す る出力信号のSN比
図4よ り,中
間層 のユニ ッ ト数が2個の場合が最 もSN比
を改善 して いる ことが分か る。中間層のユ ニ ッ ト数が3個,4個
とな るにつれてsN比
が低下す るのは,雑
音成分の情報 しか持たな い第3,第
4主 成 分 の情報が結合加重 に反映 され るためであ る.中
間 層 のユニ ッ ト数が1個の場合は,SN比
を悪化 した。 これ は,第
1主成分 までの情報のみが結合加重 に反 映 され,第
2主成分 まで必要 とす る信 号成分 の情報 をすべて反映す ることができないために,信
号成分 の情報 を欠如 したか らである。以上よ り,図
4の結 果は2,2節お よび3,2節の議論 と一致 している ことが 分か る. ︻い 0 ︺ 電 霞 ∞ ︻∽ ヨ 3 戸 0 中 0 区 Z ∽ 16 3/16 4/16 5/16 6/16 4 2 0 8 6 4 ︲ 2 04.3
学習信号のSN比
と雑音除去能力の関係 学習信号に用 いる入 力信号のSN比
がSNNRFの
雑 音除去能力に及 ぼす影 響 を調べ るために,中
間層 の ユニ ッ ト数が2個 のSNNを
用 いて,学習信号のSN比
が-5tdBIか ら20idBIの各々の場合につ いて,異
な る 雑音成分の学習信号 を30系 列作成 し学習 を行 い,出 力信号のSN比
を調べた。図 5に 各SN比
の入 力信号 (学習信号)に
対す る学習後の出力信号のSN比
の平 均値 を示す。図5よ り,入力信号のSN比
が 5∼201dB〕 にお いて,出力信号のSN比
の平均値 は定理4で
与 え られ る理論的限界値1 01oB10(N/P)=101o810(16/2)≒903
1dBI近 くまで改善がみ られた。理論的限界値 との差 は,逐
次的な行 っているため に,学
習初期 に対す るSN比
の改善度が小 さか った ことに起 因す る.入 力信 号の各SN比
で作成 したすべての学習系列で,出 力信 号のSN比
は入 力信号のSN比
を下回 る ことはなかっ た.以
上の結果 よ り,SNNRFは
安定 した雑 音除去 フィルタであると言 える.4.4
学習後の結合加重の解析 学召後の結合加重 か らSNNの
フィルタ特性 につい て考察す る。SNNの
出力層のユニ ッ ト数はN個
で あ るが,出
力層 の各ユニ ッ トに注 目す ると,SNNは
N
入力 1出 力のFIRフィル タと見 なせ る。 この ときの フィル タ係数は,ユ
ニ ッ トの応答関数を線形関数 と して いるので,入
力層か ら中間層への結合加重行列 と中間層か ら出力層へ の結合加重行列 をかける こと によ り得 られ る。図6に中間層のユニ ッ ト数 を2個と した場合 と,4個とした場合の8番 目の出力層ユニ ッ トの出力の振幅特性 を示す.図
6には示 して いない が出 力層の どのユニ ッ トにつ いて も振幅特性 は図6 とほぼ同 じ概形 となった。図6(a)に見 られ るよ うに, 中間層のユニ ッ ト数が2個の場合は,信
号成分 と同 じ周波数 に ピー クを持つ特性 となって いる.こ
の こ とか ら,SNNは
信 号成分 を通過 させ,雑
音成分 を低 減 した信号 を出力す るフィルタ となっている ことが 分か る。図6(b)よ り,中間層のユニ ッ ト数が 4個 の場 合 も信 号成分 と同 じ周 波 数 に ピー ク を持 つ特 性 と なっている.し
か し,遮
断 したい周波数帯域 を比べ る と,中
間層 のユニ ッ ト数が2個の方が良 い特性 と な ってお り,中
間層のユニ ッ ト数が4個の場合 よ り も最適な雑音除去フィルタとして働 くことが分かる. これは,定
rll!3および図4の結果 とも一致す る。 ldeai Value ―■――Expcttncntal Vatte―――Lower 8ound Vatuc
-5 0 5 10 15 20 SNR oFImput Signal[dB] 入 力信号 (学習信号
)の
SN比
に対す る出力 信号のSN比
0 1/16 2/16 3/16 4/16 5/16 6/16 7/16 8/16 Frequcncy[HZ〕(a)2個
(中間層のユニ ッ ト数) 0 1/16 2/16 3/16 4/16 5/16 6/16 7/16 8/16 Ficqticncy[1lZ〕(b)4個
(中間層 のユニ ッ ト数) 図6 SNNRFの
振幅特性5.
お19りに 砂時計型ニュー ラルネ ッ トワー クが最適状態下でKL近
似 と等価な処理 を行 う性質 を利用す る ことによ り,雑
音除去 フィルタ として有効 に働 くことを示 し た。SNNRFは
,中間層のユニ ッ ト数 を信号成分の共 分散行列の ランクとす る ことによ り,SNNRFが
構成 され る ことを理論的に示 した。提案 したSNNRFは
オ ンライ ンでの処理 を可能 として いるため,実
時間の 雑音除去 を必要 とす る問題への適用 に有効 である. 計算機実験 の結果か ら,出力信号のSN比が入力信 号のSN比
を大幅 に改善 し,安 定 した雑音除去 フィル タとな ることが示 された。 また,学
習後の結合加重 を解析す ることによ り,SNNRFは
信号成分 と同 じ周 図 5 0 5 0 5 0 5 -5 [困 づ ] 壻 償 ∞ ︼∽ , 声 , 多 O ︼ 0 営 Z ∽ 5 0 5 0 5 0 5 0 5 0 一m O ] ︼ o テ o 賠 ︻ m O ] ︼ o テ o 卜「 鳥 取 大 学 工 学 部 研 究 報 告 第 28巻 波数 に最 も高い ピー クを持つ フィル タ特性 とな る こ とが分かった
,本
論文では単一正弦波 を信号成分 と して計算機実験 を行 いSNNRFの
評価 を行 ったが,今 後音声信号な どの実際の信号 に対 して も適用 して行 きたい. 参考文献11l D,W Tufts and R Kumarean i“ Singular Vatue Decompositon and lmproved Frequency Estimation UsinB Linear Prediction" ,IEEE Trans.,ASSP-30-4,pp 671-675(198動
12〕 荒川 薫
,原
島 博 :“バ ックプ ロパゲー ションによ る階層型 ニ ュー ラル 非線 形 フ ィル タの設 訂P',信学論(Al,」74-A,3,pp 42卜 429(1991-03) i31 G W Cottrdl,P Munro and D.Zipscr i“ Image com―
pression by back― propagatio■ :An example ofexten― sional progra■lining" , Advances in Cognitive
Science,3,pp.208-240,Ed Sllarkey N E,Norwood,NJ
:Ablex(1988) t41曽 根原登
,川
人光男,三
宅 誠,中
根一成 :“ ニ ュー ラル ネ ッ トによ る画 像 デー タの圧 縮 (Neuro―CODEC)の
検討",信
学技報,配
88‐62 (1988) 15〕 長坂保典,岩田 彰,鈴村宣夫:“ニューラルネッ トワークによる長時間心電図の特徴抽出 と情報 圧縮",信
学技報,MBE88-91(198812),
16〕 入江文平,川 人光男:“多層パーセプ トロンによ る内部表現の獲得",信
学論 (D―II),J73-D― II,8,pp.1173-l178(19908)171 Bouriard H.and Kamp Y.:``Auto―association by mul― titayer perceptrons and singular value decomposition"
,Blol Cybern,59,pp.291-294(1988)
[8〕 舟橋賢一:“3層 ニュー ラルネ ッ トワークによる
恒等写像の近似的実現 についての理論的考察",
信学論(A),J73-A,1,pp.139-145(199001).
19〕 Baldi P,and Hornik K:“ Neurai networks and princi―
pal component anatysis i Learning froHl examples withoutiocal minima''INeuraI Networks,2,pp.53-58 (1989)
1101 Scalero R,S and TepedelenliOglu N,:``A Fast New
A180rithm for Training Feedforward Neural
Networks",IEEE Trans SignaI Process.,40,1,pp.202 -210 1Jan 1992)
111lChen w H and Smith C H:“ Adaptive Coding of mOnOchrome and c010r images", IEEE Trans Common,COM-25,H,pp.1285■ 292(1977■1).