ニューラルネットワークの自己組織化 による時系列の動的分析の一方法
杉原敏夫
概 要
ニューラルネットワークの自己組織化能力を利用した動的な時系列分析の試みを述べる。ニ ューラルネットワークは与えられた入力パターンによる出力を設定された教師パターンに合わせ るように，各々の要素間の結合の係数を変化させることにより，構成を自己組織化することがで きる。ここでは，多入力一出力のニューラルネットワークモデルのもとに，時系列を適度に分割 し，入力データ系列と教師データとの組合せを時系列の進行に対応させ，連続的に投入すること により，逐次的な推定・予測値を得る方式を提案する。ニューラルネットワークの解析は誤差逆 伝搬法による。結果については，本方式と自己回帰モデルおよび遷移行列に学習機能を持たせた カルマンフィルタとの3つを比較した。ニューラルネットワークは非線形性を前提とした汎用モ デルであり，カルマンフィルタなど他の手法との組合せにより学習速度の面での問題が解決され れば，動的な時系列分析にも効果的な適用ができるものと考えられる。
abstract
An approach of dynamic time-series analysis thchnique using Neural-Network's self organiza- tion mechanism is proposed. Neural-Network can adapt it's organization to new organization given training data sets. Corresponding to the proceeding time-series, estimation and prediction value is acquired sequentialy by throwing sets of input data series and training data into Neural-Network. Three type results (this method, autoregressive model and Kalman-Filter with learning ability) are compared under the evaluation of minimum square error. Neural-Network model is general purpose model based on nonlinearity. Therefore, On condition high speed learn- ing with involving other method such as Kalman Filter, it will be expected a simple and effective technique to dynamic time-series analysis.
1．自己組織化の概念と時系列分析へ の適用
（1）自己組織化とニューラルネットワーク 自己組織化（self organization）とはニュー ラルネットワークの研究領域でよく使われる 言葉である。ニューラルネットワークのモデ ル化については，1943年にマッカロとビッツ によって提案されたモデルが今日に至るはな
ばなしい研究のさきがけとなったことは良く 知られている。マッカロとビッツの提案した 単一の神経細胞は図−1のようにモデル化さ れるが，ニューラルネットワークはこのよう な単一神経細胞のネットワーク集合体として 表される。
ニューラルネットワークにおいては，ある 神経細胞にはシナプスを通して，複数の信号 の入力がある。それらによって，その細胞は
神経細胞i
W¥jX¥j
w一w 町一向
k Xi=f(21WijXj‑Oi)
f (x) : Step function f(x) = 1 f(x) = 0
図‑1 神経細胞のモデル(マッ力口，ピ yツ)
信号の出力を行うのであるが，それらの聞の モデル式は次のように表される。
Xj(t+ 1 ) =h[互WijXj(t) ‑ 8i] ... ( 1ー 1) ここにおいて，
Xi:神経細胞 iの出力信号
Xj:神経細胞iにシナプスを通して連結 する神経細胞jからの入力信号
Wij:神経細胞jと神経細胞iとの信号伝
。i:神経細胞達の重みiにおける信号出力の関値 t :離散化された時間
関数h(y)はマッカロとピッツのモデルに おいては，神経細胞の発火に対応させたステ ップ関数といわれる階段状の関数であった が，現在においては，計算上連続的な扱いを 可能にするために，シグモイド型の関数を用 いるのが普通となっている。階段状の関数の 場合は，出力信号Xi(t+1 )は0かlかの出 力であり，このことは神経細胞iが，発火す るかしないか，という現象に対応していたも のである。この神経細胞iについて， 8iは固 定化して考えるが， Wijの値は可変であると すると，特定の入力パターンに対してのみ，
信号が出力されるように， Wijを調節するこ とができる。
以上のことを拡張して，複数の神経細胞の
ネットワーク集合体を対象として考えると，
ネットワーク全体に入力する信号を X(Xl' X2， . . . . xn)，出力の信号をy(yt，y2，.... Ym)とするとき，特定の入力信号パターン において，特定の出力パターンを得られるよ うに各細胞の結合係数を調節することが出来 る。
逆に言えば，ある入力パターンに対して，
定まった出力パターンを得るために各細胞の 結合係数を調節することができる。これをニ ューラルネットワークの自己組織化という。
自己組織化については，別名「学習」とい う言葉が使われることもある。この場合，あ らかじめ，出力パターンが明示的に与えられ ている場合を「教師付き学習J，明示的に与 えられず，ニューラルネットワークをとりま く環境から出力パターンを自己形成する場合 を「教師無し学習」または「自己学習」とい
(注1)
フ。
自己組織化の有名な応用例として，パター ン認識処理に使われたパーセプトロンがあ る。パーセプトロンは図一 2のような構造を 持ち，マッカロとピッツのニューラルネット ワークそのままのモデルとなっている。観測 装置と加算比較装置との間には， Associate‑ Unit(連合層)と呼ばれるネットワーク層が ある。この層に存在する細胞素子の結合係数 を調節することにより，観測装置に投影され るパターンを認識するものであり，代表的な
図‑2 パーセプ卜口ンの構造図 (参考文献2より引用)
入力層 連合層 出力層 図‑3 時系列データに対するニューラルネット
ワーク
「教師付き学習システム」となっていること がわかる。
以上，ニューラルネットワークにおける自 己組織化の概念を述べてきたが，時系列に対 しての適用には，図‑3のような方式が考え られる。
今，対象とする時系列をX{X1 ，X2，X3"
Xn} とすると， Xを適切な時点kで2分割 し，次の2つの系列にする。
X 1 {X 1， X 2， X 3 ，・・・・・........， Xk}
X 2 {Xk+ 1， Xk+ 2， Xk+ 3 ， . . . . . . ，. Xn}
X1を入力 ，X2を教師として考えれば，特に，
k<:nであれば， k時点までの時系列の外形 としての情報がネットワークに蓄積されたこ とになり，傾向線を当てはめるような静的な かたちでの予測は可能である。しかしながら，
過去の逐次的な振る舞いをモデルに反映させ る動的な時系列分析の方法とはなり得ない。
動的な方法として代表的なものにARMA 法，カルマンフィルタを用いる方法があるが，
ここでは，ニューラルネットワークのモデル のもとに動的アプローチを考えることを試み る。その前に，ここでのモデル化への前提と なる，これまで時系列分析のための方法とし て考えられた，自己組織化を基本においた分 析技法をまとめておく。
(2) GMDH
同定・予測の領域での自己組織化の代表的 な手法にGMDH(Group Method of data handling)がある。この手法は1972年旧ソ連 のA.G. Ivanenko等により提案されたもの であり，対象システムの領域にかからわず，
一般にそのシステムが数多くの変数から構成 され，変数聞の関係が明瞭でない場合にその システムの同定・予測を行うために開発され たものである。この方法は上記のようなシス テムの同定・予測を行う場合に採られると考 えられる試行錯誤的な方法を定式化したもの であり，初めに仮想的なモデルを設定し，代 替モデルによるトレードオフを繰り返して最 終の構造を決定するという方法である。モデ ル化においては，因子分析のような線形性を 仮定することなく，また，必ずしも十分な量 のデータを前提とする必要がない場合にでも 適用できる方法である。
GMDHの特徴を整理すると次のようにま とめられよう。
‑対象システムを構成している変数が多 く，相互の関係も非線形である場合，し かも，データ量も十分でない場合にもモ デリングが行え，同定・予測が可能であ る0
・特に，システムの入力と出力との関係が 決定していないような場合にもモデリン グが可能である。
GMDHの基本は前述したとおり，自己組 織化機能にある。その根本は原理的には多層 のパーセプトロンであるものと考えられる。
基本的なGMDHのアルゴリズムは多入力 一出力を仮定し，次の関係式を前提としてい
る。
y = f (X 1， X 2， X 3 ， . . . . . . . ，. Xn)
・(1 ‑ 2)
決定された係数 {ao，al'...， a dを用 いて，チェッキングデータを代入して， z(Xi>
Xj)を求め， yとの差の2乗値が小さいもの をM個採用する。
(e) M個の中間変数に対してこれをXi>Xj に置き換えて，再び(d)の計算を行う。す なわち， (d)， (e)で一種のフィルタを構成 し，繰り返しによる差が生じなくなった ところで打ち切り，そのときの中間変数 をモデルの最終の構造とする
(f) 関数形fを決めるために， (e)で最終結 果に至るまでの中間変数を次々に代入し て， もとの変数 {X1， X 2 ， . . . . . ，. Xk}
におき戻し，関数形が得られる
以上の(a)"‑'(f)までの手続きをプロセス図に て示したものが図‑4である。
図‑4から GMDHの計算プロセスは多層 のパーセプトロンと同等の自己組織化の過程 を踏んでいることが分かる。このような自己 組織化による最終的なモデルの決定に際して 用いられる方法はフィルタの収束計算であ る。上記の手順では(e)に当たるものであるが，
収束の闘値の与え方によっては計算量が膨大 なものとなる。
GMDHは一般的なシステム同定・予測を {X 1， X 2， X 3 ， . . . . . ，. Xn} .入力変数
y:出力変数 GMDHの手順は次のものである。
(a) 対象システムの出力に関係すると思わ れる入力変数を全て拾い上げる
(b) 出力と入力の各々の変数の相関係数な どにより，入力変数を選定する
(c) 入出力のデータをシステムの構造の決 定に用いる「トレーニングデータ」と構 造の妥当性の検証に用いる「チェッキン
グデータJとに分ける
(d) (b)で選択されたk個の入力変数につ いて関数形が分からないときは次のよう にk個の変数のうち 2個を組み合わ せた中間変数Zをつくる。
すなわち，
Z(Xi> Xj) =aO +a 1 Xi+a2Xj+a3Xi2 +a4Xj2十a5XiXj
( i
，
j = 1， 2，.......， k) . (1ー 3)
Z (x ，j Xj)はkC2個つくられる。係数 {ao， al，.....， a dは(c)で選んだトレーニング データにより最小2乗法で決定される。すな わち，
E{y‑Z (x ，j Xj)} 2 一一一一一一一一一+ 最小化
￨附設定￨
完全記述 W)
‑一一ー・ー
W M
‑‑
W2 一一ー一・ー
自乗平均誤差などによる発見的自己選択
二日コ
二亡~ ̲ZM F
相関係数などによる発見的自己選択 X) X)
入力変数の選択
X) X2
Xjl
GMDHのプロセス図 図‑4
XN
目的とした手法であり，特に時系列を意識し たものではない。動的な時系列分析を前提と するならば，適用するに当たって，次のよう な点が留意される。
‑時系列は系列相関が大きく，候補に挙が る変数としては，予測の対象の変数のタ イムラグ値をも考慮する
‑トレーニングデータによる係数の決定に は回帰分析的な方法を採用しており，自 己回帰モデルを設定出来るようなデータ 量が必要である
‑自己回帰モデルの次数を事前に算出し，
その範囲のタイムラグ値を落としてはな らない
なお， GMDHはその処理の構造から収束 計算を前提としており，リアルタイム処理に 適してはいない。したがって，オンラインパ ラメータ推定問題のような逐次予測方式には 適用は出来にくい面をもっている。
(3) 力ルマンフィルタの遷移行列の自己組 織化
時系列分析の手法としてカルマンフィルタ は種々の特徴と長所を有している。それらを 挙げれば次のように記述できる。
‑多入力多出力という一般化された入出力 形式をもつこと
‑変数が一つに限定されない複数変数の時 系列が分析できること
‑時系列の動的な振る舞いを分析すること に適していること。すなわち，オンライ ン分析処理が出来ること
‑フィルタの状態空間を記述する状態変数 と現実に観測される観測変数とが分離さ れていること，このことは，少ない観測 変数で状態を記述できる利点がある カルマンフィルタの状態更新系，観測系の 定式化は次のように記述される。
状態更新系 Xk+1 =φk+l，kXk+ Vk+1
. (1‑4) 観 測 系 Yk=HkXk+Wk・.. (1‑5)
ここにおいて，
Xk:k時点における状態変数ベクトル Yk:k時点における観測変数ベクトル φk十1.k : k時点からk+1時点への遷移
行列
Hk:k時点における観測変換行列 Vk:k時点における状態ノイズベクトル Wk:k時点における観測ノイズベクトル 通常はこのままのかたちで，アルゴリズムが 構成されるのではなく，状態ノイズと観測ノ イズの共分散行列を導入した，誤差共分散行 列のアップデートの繰り返し計算により各サ
(注2)
イクルの状態量が逐次求められる。
このように時系列分析においては数々の特 徴を有するカルマンフィルタであるが，現実 に適用する場合の問題点としては，次のよう なものがある。
‑基本としては線形システムであること。
しかしながら，非線形システムに対して は，拡張型のカルマンフィルタを用いる
ことが出来る。
‑モデル記述の程度を解消する状態ノイズ の合理的設定が困難である
‑状態変数聞の遷移を表す遷移行列が固定
(注3)
される。
などが挙げられよう。
自己組織化の観点から考えて，遷移行列の 固定化の問題点への対処としては，各々の遷 移の間において，状態変数聞の影響度を変更 することが考えられる。著者は以前，カルマ ンフィルタの状態遷移の間において，状態変 数相互の係数を自己組織化的に自動修正する 方式を提案した。(参考文献14参照)この方 式について概要を述べておく。
対象とする n変数の時系列データとして，
{X l' X 2， X 3 ， . . . ，. Xn}を考える。
いま，時点kにおけるn+1個の要素を持 つ状態ベクトルXk(1， Xlk， X2k，.
Xnk) を考え，遷移行列を次のように定義す る。
φk十l.k一「ー}~)a}f)aW一￨主lfij'au'af2 .・・.・.・.・.・. a a(n' /~)l I
1̲(kL(k)ー (k) ー(k)I I azo' a a a2Z . ••..•• a 2 Il I
la(k)a(k)(k)(k)j
laII‑o aII‑Y aII‑2 ・・ aIIn' ) ..(1‑6) 状態の遷移はn個の変数について行われ，
自己回帰を含んだ回帰モデルにより表現され る。式で示せば，次のようになる。
X泳 +1 =aiO + LaijXjk………( 1一7)
oニ 1，2，.....， n)
ここで， N個の時系列Xk~こついて， 1 ""N までの聞の時点Mをとり， X kを2つの系列 に分け，前者をトレーニング系列，後者をチ ェッキング系列とする。すなわち，
Xk (k = 1， 2，.......， M)
:トレーニング系列
X k (k = M + 1， M + 2 ， . . ，. N)
:チェッキング系列 ( 1 ‑7)における自己回帰式の左辺をY k
(k = 1， 2，....， N)とおけば，
Yk=Xk+ 1 (k= 1， 2，......， N) ( 1 ‑8) これをトレーニング系列において最小2乗法 で係数を決定する。このことはGMDHの基 礎関数として， Gaubor‑Kolmogolffの第 1 次の項までとったことに相当する。この場合 は， n個の変数より， n個の中間変数が生成 される。 Zik(k=，l 2，...， n) を中間変数 とすると，
Zik=会cjl)苅十1k 0 = 1， 2，....， n)
・(1‑ 9) 係数cjI)をトレーニングデータにより， E
{ (Zik ‑ Yik) 2 }を最小化するという条件にお いて決定する。当然ながら， M~n+ 1であ る。
次にチェッキングデータに対して，中間変 数の置き換え操作を行い，次の条件を満たす
までそれを継続する。
L (Zik‑Yik) 2 ~三一定値または
エ(Zik.Yik)2 /LZik 2 ・LYik2ミ一定値
， (1 ‑10) 計算終了時において， (1‑9) の完全記述 が要求されるが，中間変数の置き換えの回数
トレーニング系列 YkCk= ，l2，・"，M )
チェッキング系列
Yk(k=M+ 1 ，M + 2，…，N)
ー一寸
Zlk Zlk
Xlk ‑ーーー『・・ ‑・・・・・・圃‑‑‑
z 1‑ー ー 四 『 』
第 Z2k 第 Z2k
X2k ーーーー
2 h
層 I Znk 層 Znk 層 l Z叫E
Xnk ー 仁]
(推定値) (予測値)
C(l) C(2) C(h)
図‑5 自己組織化を用いた遷移行列の自己修正
クの結合係数(神経回路のシナプス結合係数) を定めることができ，代表的な方法に誤差逆 伝搬法(BackPropagation Method)がある。
誤差逆伝搬法はD.E. Rumelhartらによって 提案されたニューラルネットワークの学習ア
(注4)
ルゴリズムであり，一時は沈滞していたニ ューラルネットワークの学習分野を飛躍的に 活性化させたほどの画期的なものであり，汎 用性に富んだものである。これについては，
概要を次の節にて述べる。
教師無しの学習は一例として，図一7のよ うに示されよう。
をhとすれば，
Zik=i~ICi件 lk
0= 1. 2...... n) (k = M + 1. M + 2 • . . このとき
Cij=C(h)・C(h一 1)・・・・・・・・・・・・・・・・・・C(2)・C(l)
( 1 ‑11)
N)
. (1 ‑12) したがって，遷移行列φk+1. kはC となり，
予測値Xk+lはZk十lとなる。
以上の自己組織化の様子を図‑5にて示す。
同時に，カルマンフィルタ更新サイクルと自 己組織化データ系列との整合を示す。
出力 Yl Y2 .Ym
長。
会。
二Toi
L一一一j
教師 ニューラルネットワークと学習
(1) ニューラルネットと学習問題
ニューラルネットワークにおける教師付き の学習は，図‑6のように示される。
2 .
入力
与
X1 X2
出力 X3
Y1 Y2
ぴ ρ Ym
Xk
教師無しのニューラルネッ卜ワーク学習 図‑7
Ym
，記
長Of 幸01
‑
←01
教師[Yl'Y2. Y3. 入力
ー
‑ a n 4 n J
x x x
ぴ/。
この場合は，対象とするニューラルネット ワークに対して教師を生成するという機構が 必要である。そのためには，外部環境に対し て自らの系を評価して，その結果を対象とす るニューラルネットワークに教師として与え てやらねばならない。すなわち，ニューラル ネットワークを1つのサブシステムとした全 体としての適応制御系が構築されている必要 がある。このことからも分かるように，教師 無しの学習(図一7の概念における範囲では あるが)は教師付きのニューラルネットワー 教師付きニューラルネ yトワーク学習
ニューラルネットワークの出力層における 値をYk(k = 1. 2...... K)とし，学習パ
ターン(教師パターン)をdk(k=1. 2.. K)とすると.Ykの評価は次の式で与えられ
Xk
図‑6
る。
K
E= ( 1/2) L (Yk‑dk) 2 を最小化 . (2ー 1) ニューラルネットワー この条件のもとに，
クを包含するものであり，とりあえずは教師 付きのニューラルネットワークの学習問題の 解析が重要である。以降に述べる時系列への 適用モデルではプリミティブながら時系列の 進行に対応して逐次に教師データを設定して いくものであり，概念的には教師無しのモデ ルに相当する。
(2) 誤差逆伝搬法 (BP法)
ここでは， D. E. Rumelhartらによって提 案された誤差逆伝搬法に基づく，ニューラル ネットワークの学習解析の概要を述べる。い ま，対象とするニューラルネットワークを3 層とし，図‑8のようにモデル化する。
入力層，中間層，出力層におけるユニット の数を各々I個， J個， K個とする。また，各 々の層のユニットを示すインデ、ソクスをi，j， kとする。また，中間層の出力をhjとすると，
肘 ( が )Xi)......;.............. (2 ‑2 ) 同 ( 村 )hj) .................. (2 ‑ 3)
ただし，
W (l)入力層と中間層の結合係数
入力層 中間層 出力層
図‑8 3層のニューラルネ ソトワーク
W(2) 中間層と出力層の結合係数 また， f (t)はシグモイド型関数であり，
図‑9に示されるものである。
f(t) = 1/ (1 +e‑kt)
f(t) l
。
図‑9 シゲモイド関数t(t)
また，出力層の教師パターンをYk(k=1 ， 2，.....， K)とすると， (2 ‑ 1 )の条件 のもとに，つぎのような最急降下法の係数が 決定される。
山、 K 九A、
a
犯E/a仰w叫k勾jjJ=一E1(匂Yk-一 dιωkρ)河f'(宮互w叫~j)旬h) . (2一4)
a
犯E/， 九a吋w
吋川主が吋1)XDXi........ (2ー5) これらを計算した後，次のようにして結合係 数W (，)l W(2)が最急降下法にて決定される。
すなわち， wil)，wii)における更新のサイ クルをσとすると
wij)(σ+ 1 ) =W~r)(σ )-EaE/awW
仏、 K 仏、
=WW(σ)+守1(yk‑dk)f'(互w同(σ)hj)句 . (2‑6) wjl)(σ+ 1 ) =Wjl)1(σ) ‑E(aE/awN) )
=wil)仙 台k‑dk)f(jN)(σ)hj)
吋1)(σ)f'土(Wjl)1(σ)x九
. (2一7) ここにおいて， εは学習の係数である。
なお， (2‑6) においては，その中に中間
層と出力層を結ぶ結合係数W2)(σ)を含むの みであるが， (2一7)においては，それに 加えて入力層と中間層を結ぶ結合係数wjl) (σ)を含む。すなわち，誤差は出力層の方 から入力層の方に漸次に伝搬している。(2
‑6)， (2‑7) の収束の条件としては，そ の差または，相対誤差が一定の範囲以内にな ればよい。すなわち，
￨吋い 1)‑WW(σ) I ￨一一定値
W2)(σ
.(2‑8) iwjl)(σ+1)‑wjI)ω)
川 1;豆一定値
Wjill(σ)
.(2‑9) ニューラルネットワークの学習とは， (2
‑6) "‑' (2‑9)までの式によって表され る。 (2‑6)， (2‑7) の式はBP法によ るものであり，学習速度を向上させる，すな わち，もっと少ない繰り返し回数にては‑
8)， (2‑9) が成就する方式がいくつか考 案されている。それらの代表的な方法として は次のものがある。
‑誤差伝搬学習において共役傾斜法を用い
(注5)
る
・シグモイド関数の代わりに収束しやすい 関数を用いる
‑中間層のネットワーク結合を制約し，
ループ化する
グ
‑結合係数を状態変数としたカルマンフィ
(注6)
ルタを用いる
しかしながら，繰り返し学習を学習の基本 的な方法とする以上，リアルタイム性を必要 とする時系列分析には対応できない。これは
GMDHの場合と同様な問題であり，ニュー ラルネットワークが抱えている本質的な問題 点である。
また，最急降下法を用いるについては， (2
‑6)， (2‑7) における微分係数が Oにな
れば，
W(I)(σ+ 1 ) =W(1)(σ) W(2)(σ+ 1 ) =W(2)(σ)
となり，学習が終了してしまう。すなわち，
部分最適な極小値においても学習が終了して しまい，最適な極小値に到達しない前に学習 が終わってしまうおそれがある。このために は，シミュレーティドアニーリングなど，極 小値に到達しそうになったら，出力値にホワ イトノイズを加えて， Iゆさぶり」をかけ，
再度の収束計算を行わせるなどの方法も行わ れている。(注7)
3.時系列予測へのニューラルネット ワークの適用
(1) 時系列への適用とモデル化
時系列に対してのニューラルネットワーク の適用方法はすでに，第 1章において概略を 述べた。すなわち，対象の時系列を中間の時 点で分割し，その前半をX1，後半をX2と
して， Xlを入力データ， X2を教師用のデー タとして考えれば，特に，全体のデータ長が 前半部のデータ長に比べて十分に大きけれ ば，時系列の外形としての特徴が結合係数に 蓄積されることになり，非線形の傾向線の特 徴に準じたあてはめを行うことになりうる。
しかしながら，この方法では，ダイナミック な分析の視点が欠如しており，変動性の高い，
系列相関の高い時系列においては適用ができ ない。
したがって，ここでは逐次の時系列の特徴 をニューラルネットワークの結合係数に蓄積 させ，その都度にその結合係数のもとにおい て，予測が可能なモデルを考える。これは，
第 1章で述べた自己組織化の手法をニューラ ルネットワークモデルにおいて適用しようと
したものである。
ま ず ， 対 象 と す る 時 系 列 をXdi= 1 ，
2，......， n}とする。適用させるニューラ ルネットワークは3層とし，各々を次のよう に定義する。
Xj (i= 1， 2，...， 1):入力層 hj (j = 1， 2，...， J):中間層 Yk(k= 1 ) :出力層
定義で明らかなように，このネットワーク の出力層のユニットは 1個である。図に示せ ば次のようになる。(図 ‑10)
入力のユニット数は対象とする時系列の自 己回帰モデルの次数と同じものとする。これ は自己回帰モデルでは，あるサンプル値は過 去の次数の範囲に相当するサンプル値からの 影響を受けるものとして扱うので，これをニ ューラルネットワークモデルに置き換えた場 合，入力層のユニットには過去の次数と等し いサンプル値が入力されなければならないと 考えるからである。ここでは，時系列全体に ついて，その区間を移動させ，各々の区間に
入 力 値 (1個) 出力の教師値
‑第1回サイクル
Xl' X2， ....， XI XI+ 1 Xl' X2，....， XI
X 2 ， X 3 ， . . • • ， XI + 1
‑第 2回サイクル
X 2 ， X 3 ， . . . . ， XI + 1 XI+ 2 X 2 ， X 3 ， • . . . ， XI + 1
X 3 ， X 4 ， . . . . ， XI + 2
‑第3回予測サイクル
Xl
x心 Xn
Xn‑¥‑‑
入力層 中間層 出力層
図一10時系列予測を意識したニューラルネット ワーク
ついて最新の時点のサンプルの推定値と続く 時点の予測値を求める。
各々の区間の各時点の値と推定値，予測値 との関係は次の通りである。
学習結合係数 推定値 予測値
w (I) W(2)
上記のまま Yt+l
上記のまま YI+ 2
w (I) W(2)
上記のまま Yt+2
上記のまま YI+ 3
(1) ̲̲‑<2) X3， X4， . • . ，.XI十 XI+3
X 3 ， X 4 ， . • . . ， XI + 2 上記のまま Yt+3
X 4 ， X 5 ， . . . . ， XI + 3 上記のまま YI+ 4
‑第m回予測サイクル
Xm， Xm+ 1 ， . . . . ，Xm+I‑1 Xm+I Xm， Xm+ 1 ， . . . . ，Xm+I‑1 Xm十1， Xm + 2 ， . ， Xm + 1
w (I) W(2)
上記のまま 上記のまま
y主+I
Ym+I+ 1
