TCSE16

１６ ＮＮ選点法応用２（時系列予測）

１６．１ 予測

（１）予測の対象 ・自然現象 気象（気温、風向、湿度、気圧、降雨、雷、台風）、気候（平均気温、平均降 雨量）、海洋（潮汐現象＊_{、高潮、海流）、環境（温暖化、炭酸ガス、汚染物質} 拡散）、高層物理（オゾンホール、磁気嵐）、固体地球（地震、火山噴火）、 天体現象（天体の位置＊_{、太陽黒点）、ミクロ現象（化学反応}＋_{、生体反応}＋_、 原子核崩壊の間隔＋_） ・社会経済現象 経済予測（株価＃_{、為替レート}＃_{、商品価格}＃_{、経済指標}＃_{）、社会現象（選} 挙＃_{、人口、食料）、ギャンブル（競輪競馬}＃_、宝くじ＋_） ・人工物予測制御 マクロな制御（各種機械運転、自動車運転、交通量）、ミクロな制御（核融 合装置中のプラズマ、加速器中の荷電粒子集団） 予測のレベル（カオス性） ＊印：ほとんど完全に決定論方程式で予測可能 ＋印：完全にランダム ＃印：ランダム＋決定論的 無印：決定論的であるが方程式は不明か不完全 （２）時系列予測におけるカオス性の指標 ・次元：生データ次元、状態空間次元、自己相似性 ・状態空間 ・相関次元の推定 ・次元の検証 ・リヤプノフ指数 ・エントロピー （３）測定と解析 ・測定値＝真値＋誤差（？） ・非定常的測定値時系列  誤差がブラウン運動のとき、測定値は非定常的  すなわち、有限な測定値時系列からは真値が求められない。  真値はあるか？ ・フラクショナルブラウン運動

１６．２ 時系列データ

（１）時系列（Time Series）とは  ① 測定値としての時系列 ・時系列：時間の経過とともに変動するデータ。 ・通常、不規則な変動をする。不規則な変動を適切に処理する。 ・通常、等時間間隔に与えられた実数列（システムの状態変化を示す）。  ここで、    は、実現可能な挙動のすべて（     ）の一部分である。 ・ある推定をすると、    から時間に関するダイナミックスが得られる。 ② 確率変数（Random Variable）、確率過程（Stochastic Process）と時系列

・確率変数：値がある確率で実現する変数Ｘ。        の中の一つの値   は、確率変数Ｘの実現値である。 ・時系列：ある確率分布に従い、各時刻に実現された確率変数値の系列。 ・確率過程：確率によりモデル化された時間発展ダイナミクス。 ・確率分布関数の構造：   統計モーメント（Statistical Moment）で表現される。   統計モーメントは、実現値が無限にあるとして定義される。

{ }

x(t) t=t0 tN!1 " x(t 0),x(t0+ #t),...x(t0+ (N !1)#t)

{

}

{ }

x(t)

t=t0 tN!1

{ }

x(t)

t=t0 tN!1

x(t)

{ }

_tt_=tN!1₀

{ }

x(t)

t=t0 tN!1 x(t) （２）時系列モデル ① 統計モデル（Statistical Model）

x

n

= f (x

n!1

,

x

n!2

,...)

+

"

n

x

_n

{ }

"

n ：観測データ ：誤差項（ノイズ、モデルの誤差） モデルの本質的仮定：対象の動的過程は観測データ    だけで閉じている。 （一般には、観測データは対象を記述するデータのごく一部であるはずである。）

x

_n

{ }

xn

{ }

!

{ }

X ! ! X n = ! F (X ! n1, ! X n 2,...) ② 状態空間モデル（State-Space Model） ：観測データを状態空間変数に変換 ：システムを記述するのに十分なｍ次元ベクトル 観測データは、通常、スカラー。 観測データは変換ｈによって得られる。

x

n

= h(

!

X

_n

)

③ 分析と予測 １）シミュレーションによる分析（ファンダメンタル分析ー経済用語） 現象の 力学的構造 数理モデル   微分方程式  積分方程式、他 データ発生 時系列データ 時間発展シミュレーション 予測 ・長期予測 ・精度の高い予測 ・モデルに含まれない環境の変化（外的要因）を取り入れられない Real World Theoretical World !_{この課題については第１４章で取り上げる。} データ発生 現象の 確率的構造 統計モデル  ＡＲモデル  他 モデルパラメータ推定 予測 時系列データ ２）統計モデルによる分析（テクニカル分析ー経済用語） ・通常、一変数であるが多変数も可能。  ただし、多変数間の従属関係ははっきりしない。 ・線形か、非線形かもよくわからない。 Real World Theoretical World

３）状態空間モデルによる分析 データ発生 現象の 力学的構造 状態空間モデル モデルパラメータ推定 予測 時系列データ 観測データ ・状態空間軌道を構成するのに必要なすべてのデータは得られない。  通常は観測データは１種類だけのことが多い。 ・非線形時系列予測によく用いられる。 Real World Theoretical World

１６．３ 線形統計モデルによる予測

!_{ここでは、非線形予測との比較を行う上で必要な最低限の知識を整理する} （１）定義等   ・定常過程   ：   は平均０であるとする。   ・既知データ：   ・未来のデータ：   ・予測の信念：既知データから未来の値を表せるであろう。   ・線形ダイナミックス：

  ・時系列予測（time series prediction）：時系列データから、Ｆの近似値ｆを    推定し、    の予測値      を得る。 （２）Woldの分解定理    任意の定常過程   は、決定論的定常過程   と非決定論的    定常過程   に分解できる。すなわち、    

x(t)

{ }

x(t)

x (t)

!

= x(t),x(t !1),....x(t ! D +1)

{

}

x(t

+

!

)

= F(

x (t))

!

F(a

x

!

+ b

y )

!

= aF(

x )

!

+ bF(

y )

!

x(t

+

!)

x (t

ˆ

+

!

)

= f (

x (t))

!

{ }

z(t)

{ }

y(t)

{ }

x(t)

{ }

z(t) = y(t)

{ }

+ x(t)

{

}

（３）非決定論的定常過程の表現   ・非決定論的定常過程は、平均０，分散１の白色ノイズ   の無限級数で与えら      れる。       ・これは、次のように表現することもできる。                            ・これらの式により、    を計算する。    ただし、いずれの式も無限級数なので、これを使って時系列予測はできない。

!(t)

x(t)

=

!

(

t)

+

a

_i

!

(

t

" i)

i=1 #

$

,

a

_i i=1 #

$

< #

x(t)

=

c

i

x(t

! i)

i=1 "

#

+

$(t),

c

i i=1 "

#

< "

(

!) x(t) = !(t) +

a

_i

!(t " i)

i=1 #

$

=

!(t) + a

1

!(t "1) + a

2

!(t " 2) + %%%

x(t

"1) =

!(t "1) + a

₁

!(t " 2) + a

₂

!(t " 3) + %%%

x(t

" 2) =

!(t " 2) + a

1

!(t " 3) + a

2

!(t " 4) + %%%

"

x(t)

+ (!a

1

)

x(t

!1) + (!a

2

!(!a

1

)

a

1

)

x(t

! 2) +" ""

（４）自己回帰（ＡＲ：Auto-Regressive）モデル x(t)= cix(t! i) i=1 "

#

+

$

(t), ci i=1 "

#

< " % x(t)= c_ix(t! i) i=1 p

#

+

$

(t) ：非決定論的定常過程

!

(

t)

：平均値０、分散  の白色ノイズ ：ｐ次自己回帰過程 ：平均値０、分散  の白色ノイズ  線形予測子の予測残差

!

(

t)

!

2

ˆ

x (t)

=

c

i

x(t

! i)

i=1 p

"

：ｐ次線形予測子（Linear Predictor） ：ＡＲパラメータ

c

1

,

c

2

,...

c

p

,

!

2 ・最良（線形）近似：無限長のデータ  を手に入れて、連続するｐ時点のデータから次の時点の値を予測する。予測誤差  の二乗平均（      ）が最小になるように係数       を選択した  ときのｐ次線形予測子を「ｐ次最良線形予測子」と呼ぶ。ｐを大きくして誤差と  データの相関が無くなった時の予測子を「最良線形予測子」と呼ぶ。 x(!p), x(!p +1),...x(!1), x(0), x(1), x(2),....

{

}

lim N!" 1 N #(t') 2 t'=1 N

$

c

₁

,c

₂

,...c

_p

!

2 p項まで採用

（５）ＡＲモデルの係数決定     ここで、  は      と無相関であり、ホワイトノイズとみなせる。  この式をＭ次のＡＲモデルという。係数はノイズの二乗が最小になるように決める。    （６）ＡＲモデルの性質  ① 時系列の生成源が線形確率過程であることがわかっている時には予測誤差    （       ）がガウス分布に収束することが理論的に保証されている。  ② 次数が大きくなれば精度は向上するが複雑さは増す。

x

n

= a

1

x

n!1

+ a

2

x

n!1

+ .... + a

M

x

n!M

+ w

n

x

n!1

, x

n!1

,...x

n!M

w

n

w

n 2

= x

{

n

! a

1

x

n!1

! a

2

x

n!2

...

! a

M

x

n!M

}

2

x

_n+1

! ai

"

x

_{n! i} （７）係数から時系列構成  係数         、初期値         を与えてＡＲ過程時系列を構  成する。     !_{任意の係数        に対して、上式の時系列が定常になるわけではない。}  時系列が定常になるためには、ＡＲモデルの特性方程式（次式）のＭ個の特性根が  すべて１より大きいことが必要である。      この条件を満たすならば、  が全て０の時、      である。  上の条件を満たす場合、        を自己回帰モデル（ＡＲモデル）という。  また、ＡＲモデルを生み出す定常確率過程を自己回帰過程（ＡＲ過程）という。         の時ＡＲモデルの次数はＭであるという。

{

a

m

;

m

=1,2,...M

}

{

x

1!m

;

m

=1,2,...M

}

x_s= a_mx_s!m m=1 M

"

+

#

s

{

a

m

;

m

=1,2,...M

}

1! a

1

z

! a

2

z

2

_{!"" " ! a}

M

z

M

_{= 0}

!

s

lim

_s!"

x

s

= 0

x

_s

=

a

_m

x

_s!m m=1 M

"

+

#

s

a

M

! 0

１６．４ 状態空間再構成

 時系列データ（観測値）から力学系の状態空間を再構成する。 ・ダイナミクスを記述する方程式が知られていない。 ・ダイナミクスを記述する方程式は知られているが、観測データの次元が状態空  間の次元よりも小さい（観測データは、しばしば、１次元）。  このようなとき、観測データの時系列のみからダイナミクスを再構成したい。 （１）状態空間再構成の必要性   ・不規則時系列データ      ⇩   ・力学系アトラクタの再構成（状態空間再構成）      ⇩   ・決定論的力学系の解析      フラクタル次元解析：アトラクタのフラクタル性      リアプノフ・スペクトル解析：力学系の軌道不安定性      決定論的非線形予測      ノイズ・リダクション （２）一変数観測と時間遅れ座標系  ① 微分座標系  時系列信号ｙが微分方程式で表せるとき次のような微分座標系が使える。  微分操作はノイズを拡大するので、この方法はノイズのある時には使えない。                  

★Packard N H, Crutchfield J P, Farmer J D, Shaw R S, Phys. Rev. Letters 45 (1980) 712 - 716.  

② 時間遅れ座標系   微分値の代わりに違う時刻の観測値を用いる。             ：自由度ｄの系の状態変数     ：測定関数（       ）     ：１変数観測値      ：時間遅れベクトル（ｍ次元空間）      この座標系によって、ｍ次元状態空間が再構成される。 ・観測値を生成した力学系の状態空間の次元ｄが予め判明していることはまれである。 ・時間遅れ座標系で再構成した状態空間がアトラクターを再現するのに必要な次元ｍの  大きさを明らかにしたのが「埋め込み定理」である。

!

v

_t

= (y

_t

, y

_t!"

,...y

_t!(m!1)"

)

(x(t), x(t +

!

)) " (x(t),dx/dt(t )) Z_t h x_t X_i

h : R

d

_{! R}

x

t

= h(Z

t

) (t

= 1,2,....N)

Xi= (xi, xi+!,....xi+( m"1)!) (i= 1,2,....N " (m "1)!) （３）埋め込み  ① 埋め込み（Embedding）の定義 ・「ある滑らかな写像Ｆが埋め込みである」とは、「Ｆが一対一でかつはめ込み （immersion）であって、さらに、Ｆがコンパクト集合ＡからＦ（Ａ）への同相写像  である」こと。 ・「Ａがコンパクトであるならば、Ｆが一対一かつはめ込みならば、Ｆは埋め込み  である」 ＊はめ込み：「Ｆがはめ込みである」とは、におけるＦの微分が一対一写像となる  ことである。 ・例１：１次元閉曲線⇨３次元ユークリッド空間・・・埋め込み ・例２：２次元⇨３次元・・・埋め込みにならないこともある。クラインの壷等

② 埋め込み定理      ：力学系のｄ次元アトラクタで、  の部分多様体。      ：時間遅れ、適当にとる。      ：      ：   ・次の写像は、Ａの  への埋め込みである。        ・簡単に言えば、    再構成状態空間の次元ｍが    以上なら観測時系列から再構成状態空    間への写像が埋め込みである。

★Takens F, Detecting strange attractors in turbulence, Lecture Note in Mathematics 893 (Springer, Berlin, 1981) pp. 366 - 381).

★H.G.E. Hetchel, I Procaccia, Fractal nature of turbulence as manifested in turbulent diffusion, Phys. Rev. A27 (1983) 1266 - 1269. Rd! R

A

!

h

F

Rk! Rm for m > 2d

R

m

F(z

t

)

= h(z

(

t

),h(z

t

+

! ),...h(z

t+( m"1)!

)

)

2

d

+1

R

k

dx

dt

= !"x + "y

dy

dt

= !xz + rx ! y

dz

dt

= xy ! bz

ローレンツ・アトラクター ! =10 b=8 3" 2.6667 r= 28

!

= 3 b=1 r= 26.5

!"# !$# # $# "# %# # & $# $& "# Lorenz-x x t !"# !$# !%# # %# $# "# # & %# %& $# Lorenz-y y t ! "! #! $! %! &! '! ! & "! "& #! Lorenz-z z t !"# !$# !%# # %# $# "# !$# !%# # %# $# "# Lorenz-xy y x ! "! #! $! %! &! '! ($! (#! ("! ! "! #! $! Lorenz-yzs z y !"# !$# # $# "# %# # $# "# %# &# '# (# Lorenz-zxs x x ! =10, r = 8 3" 2.6667, b = 28 !"# !$# # $# "# %# !"# !$# # $# "# %# Delayed1 x(t+d) x(t) !"# !$# # $# "# %# !"# !$# # $# "# %# Delayed2 x( t+ 2 d ) x(t) !"# !$# # $# "# %# !"# !$# # $# "# %# Delayed5 x( t+ 5 d ) x(t) !"# !$# # $# "# %# !"# !$# # $# "# %# Delayed10 x( t+ 1 0 d ) x(t) !"# !$# # $# "# %# !"# !$# # $# "# %# Delayed20 x( t+ 2 0 d ) x(t) !"# !$% !$# ! % # % $# $% "# !"# !$# # $# "# &# Delayed50 x( t+ 5 0 d ) x(t) ! =10, r = 8 3" 2.6667, b = 28 時間遅れ座標系での表示

!t = 0.01

! = "t ! = 2"t ! = 5"t !=10"t != 20"t != 50"t

① 課題

 １）時間遅れの大きさをどのように定めるか？  ２）状態空間の次元をどのように定めるか？  ⇨ 埋め込み定理

★Takens F, Dynamical systems and turbulence, Warwick, 1980, edited by D. Rand and L.S. Young, Lecture Notes in Mathematics No.898 (Springer, Berlin, 1981) p.366.

★Mane´R, ibid, p.230.  ⇨ 時間遅れ（Ｔ）はどのような大きさでも良い。次元はアトラクター次元に関係。 （４）時間遅れと埋め込み次元

d

> 2d

A ② 時間遅れの選び方 ・時間遅れ座標系を相空間として、相空間内の点は次のように表されるとする。   ・Ｔが小さすぎると、     、        の区別が出来なくなる。 ・Ｔが大きすぎると、カオス的振る舞いのため２つのデータの関係が無くなる。 ・適当なＴの大きさは埋め込み定理からは得られない。 １）線形自己相関関数が最初にゼロを切る時点。               このように定めれば、     と         は一次独立       ⇨ 座標の独立性

ˆ

s (n

+ jT)

ˆ

s (n

+ (j +1)T)

(

s (n), ˆ

ˆ

s (n

+ jT),ˆ s (n + (j +1)T),...ˆ s (n + j(d !1))

)

C

_L

(! ) =

1

N

m=1

[

ˆ

s (m

+

! ) " s

]

N

#

[

ˆ

s (m)

" s

]

1

N

[

s (m)

ˆ

" s

]

2 m=1 N

#

s = 1 Nm=1ˆ s (m) N

!

s (n

ˆ

+ jT)

ˆ

s (n

+ (j +1)T)

・問題点

 a. 線形の相関しか考慮されない。

 b. 決定基準が力学系の種類により変化する。 ２）平均相互情報量（average mutual information）

★Fraser A M, Swinney H L, "Independent coordinates for strange attractors from mutual information," Phys. Rev. A33 (1986) 1134 - 1140.

・平均相互情報量は、線形自己相関よりも一般的な従属関係を表す。  しかし、力学系の違いに依存する。 ・相互情報量の定義  ・平均相互情報量の定義     IAB(ai,bk)= log2 PAB(ai, bk) PA(ai)PB(bk) ˆ I AB(T)= PAB(ai,bk)IAB(ai,bk) ai,bk

!

A= ˆ s (n)

{ }

, B= ˆ s (n + T)

{

}

ˆ I (T )= P(ˆ s (n), ˆ s (n+ T)) log2 P(ˆ s (n), ˆ s (n+ T)) P(ˆ s (n))P(ˆ s (n+T)) ! " # $ % & n=1 N

'

とすれば システムＡとシステムＢが完全に独立であれば となるので そこで、  の最初の最小値     を時間遅れとして採用する。   しかし、    だけはなれた点はある程度独立ではあるが、完全に 独立ではない。すなわち、

P

AB

(a,b)

= P

A

(a)P

B

(b)

I

AB

(a,b)

= 0

I (T )

ˆ

T = Tm T = Tm

P(ˆ

s (n), ˆ

s (n

+ T)) ! P( ˆ

s (n))P(ˆ

s (n

+ T))

!       は、１次元ヒストグラムとして、  は２次元ヒストグラムとして、直接データから求める。

P(x

n

),

P(x

n!"

)

P(x

n

,

x

n!"

)

ローレンツ・アトラクターでの例

!t = 0.01

! =10, b =

8

3

" 2.6667, r = 28

自己相関関数 最初の極小値：

! " 50 (! # $t " 0.5)

平均相互情報量 最初の極小値：

! "18 (! # $t " 0.18)

 相関強過ぎ： 適切 相関弱過ぎ 直線的アトラクター 再現 ランダム

x

n

~

x

n!"

~

x

n!2" ! ~ 1

! ~ 20

! ~ 50 ③ 相関次元推定法（Grassberger- Procacciaアルゴリズム）

★P. Grassberger, I. Procaccia, Characterization of strange attractors, Physical Review Letters 50, 346 - 349 (1982). ★P. Grassberger, I. Procaccia, Measuring the strangeness of strange attractors, Physica D 9, 189- 208 (1983).

１）相関和と相関次元の定義    相関和：       即ち、  は１辺の長さが のd次元立方体でd次元空間の体積Ｖを埋め尽く   したとき、集合中の任意に選んだ２要素が同じ立方体に入っている確率。    相関次元：相関和を使って定義した一般化次元。

Y

2

(

!

)

=

P

i 2 i=1 M

"

Y

2

(

!

)

!

２）相関積分近似  相関和を相関積分を使って近似する。 ・相関積分     ：集合から任意に選んだ２点間の距離が 以下である確率   ただし、   は集合の要素である。   H(x)は以下のようなヘビサイド関数である。         から 以内の距離に点が存在する確率は次の通りである。     ところで        であるから、    

C(!)

!

C(

!

)= 1 N2 H(

!

" Xi" Xj i ,j=1 i# j N

$

) Xi, Xj H(x)= 1 x! 0 0 x< 0 " # $ Xi

!

Ci(!) " 1 N H(! # Xi# Xj j=1 N

$

)

P

i

! C

i

(")

Y2(!) " Pi 2 i=1 M

#

= PiCi(! ) i=1 M

#

= C(!) ３）相関次元 ・相関次元は、相関積分を用いて計算できる。     ・距離の定義        、      に対して、           等が使われる。        が満たされれば、相関次元は距離の定義に依存しない。 D2= 1 2!1lim" #0 logY2(") log" = lim"#0 logC(") log" P = (p1,p3,p3,...pM)

Q = (q

1

, q

2

,q

3

,...q

M

)

P! Qn" pm! qm n m=1 M

#

$ % & ' ( ) 1 n P! Qsup" max_1#m#Mpm ! qm

a

!

z

= a

z

!

４）時系列解析における相関次元推定の実際 ・時系列データ：      ⇩ ・埋め込みベクトル：       ｄ 埋め込み次元    ⇩ ・相関積分：      ・相関次元：一般に、            

x

1

, x

2

,...x

m

,...

!

X

_n

! (x

_n

, x

_n+1

,...x

n+d"1

)

Cd(!)" 1 N2 H(!# ! X i# ! X j i ,j=1 i$ j N

%

) = 2 N(N# 1) H(!# ! X i# ! X j) j= i+1 N

%

i=1 N

%

Cd(!) " ! D2(d ) D2(d)= lim_!"0 logCd(!) log! ・スケーリング領域（ノイズのあるデータ）   ノイズのある場合には、単純に    とはできない。   そこで、 のある領域        についてのみ相関次元を定義する。         ここで、この領域のことを「スケーリング領域」と呼ぶ。 ・ランダムデータと構造を持ったデータ  ａ] ランダムデータの場合                即ち、ランダムデータの相関次元は、埋め込み次元に合わせて増加する。  ｂ] 構造を持ったデータ   ある埋め込み次元以上では、相関次元は埋め込み次元より小さく一定値に漸近する。   

! " 0

!

!

1

<

! < !

2

D

₂

(d)

= lim

! "0

logC

_d

(!)

log!

Cd(

!

)= C1(

!

) d ₌

_!

d

D

2

(d)

= d

D

2

(d)

< d

for d

0

< d

D2! lim d" #D2(d)

１６．５ 非線形予測の方法

（１）非線形予測モデル   ① 線形統計モデル   ② 非線形統計モデル     データから直接モデル構成 ⇨ 統計的意味の予測   ③ 非線形予測モデル     状態空間再構成      ⇨ 短期的決定論的予測 （２）LeBaronの方法    LeBaronの方法：類似パターンの抽出

★LeBaron B, Forecast improvements using a volatility index, J. Appl. Econometrics 7 (1992) 137 - 149.

★LeBaron B, Nonlinear forecasts for the S&P stock index, Santa Fe Institute Studies in the Science of Complexity (M. Casdagli and S. Eubank eds.) Addison-Wesley 1992. ノイズのない決定論的挙動の予測 ① 過去の１時点にのみ依存する場合        ： 確定的関数         観測値     ⇩         予測値   ｆが未知の時にはどうするか？     ⇩   過去の類似パターンを選ぶ        で、          ⇨     とする。 ② 過去の２時点に依存する場合           で、       と、       を同時に満たす。⇨      とする。 xn= f (xn!1) xn= f (xn!1) x ˆ n= f (xn!1) (n' < n) xn'!1" xn!1

x

ˆ

n

! x

n' xn= f (xn!1,xn!2) (n' < n) xn'!1" xn!1

x

n'!2

" xn

!2 x ˆ n! xn'

③ 過去のｐ時点に依存する場合（p>>1）       ・ｐ時点について一致するデータを探すのは困難である。  ・ノイズの効果も入って一層この作業は困難になる。     ⇩  ・類似データを探す条件をゆるめる。   個々のデータの一致ではなく、何らかの統計量の類似性に着目する。       ：統計量       ：LeBaronの統計量  ・LeBaronの方法による非線形予測により、線形予測よりは性能改善が見られた。

x

n

= f (x

n!1

,

x

n!2

,...

x

n! p

)

! = !(x

n"1

,

x

n" 2

,...

x

n" p

)

!n= 1 p xn" j 2 j=1 p

#

（３）Farmerの方法

  ★Farmer J D, Sidorawich J J, Predicting chaotic time series, Phys. Rev. Letters 59 (1987) 645 - 848.

 ・基本的には線形モデルである。   ただし、線形モデルの係数に状態空間の場所依存性がある。    この点を通じて非線形性が導入される。 ⇨ 局所的線形化近似  ① 古典的予測法のまとめ   １）第１原理からモデルを作る。   ２）初期条件の測定   ３）予測値の計算  ・このプロセスはいつも可能とは限らない。    経済の動き：信頼できるモデルがない。初期条件は観測可能。    流体の動き：信頼できるモデルはある。完全な初期条件の観測は困難。

 ・アドホック線形モデル

   Yuleによる太陽黒点の予測（１９２７）

   ★Yule G U, Philos. Trans. Roy. Soc. London A 226 (1927) 267.

 ・近代的予測理論

   ★Pandit S M, Yu S -M, Time Series and System Analysis with Applications (Wiley, New York, 1983).

  ⇨   をランダム過程の実現とみなす。    ただし、ランダムに見えるものの中には決定論的カオスがある。 x(ti) ② 単一時系列からの予測!１：ｄ次元でのｍ次多項式  ＜準備＞  １） 状態空間の再構成      ２） 関数関係の仮定      ３） 関数 を近似する予測子 を見つける。    ・最小自乗法でｄ次元でのｍ次多項式の係数を定める。  ＜長期予測＞ t+2T, t+3T,....    １） を繰り返し適用する。              ⇨ 誤差の集積が問題    ２）T'=nT として予測子を新たに作る。    ３）関数関係を微分方程式に作りなおす。  これらの方法はフリーパラメータの数が多くなりすぎる嫌いがある。 ! x (t) : x₁(t)= x(t),x₂(t)= x(t !

"

),...x_d = x(t !(d !1)

"

) ! x (t+ T) =! f T( ! x (t)) ! f T ! F T

!

F

T ! x (t+ nT) !F ! T(x(t+ (n "1)T)) ! ! F T n_(x(t))

③ 単一時系列からの予測!２：局所近似法（Farmerの方法）       を   から予測したい。  A.   の近くの点   ｋ個を探す。       B.         の予測子を作る。   !      ：定義域(domain)の点 （ｄ次元）         ：値域(range)の点  （１次元） x(t + T) x (t)!

x (t)

!

x (t' )

!

x (t)! !x (t' )! <" x (t' )! ! x(t' +T)

x (t' )

!

x(t' +T)

  １）ｋ＝１：０次近似        ２）ｋ＞１：１次（線形）近似     組（       ）に線形当てはめを行う。    ・ｋ＜ｄ＋１：最小自乗法（特異値分解）    ・ｋ＝ｄ＋１：線形補間    ・ｋ＞ｄ＋１：最小自乗法

x

pred

(

t,T)

= x(t' +T)

x (t' ),x(t'

!

+T)

（４）予測精度の予測パラメータ依存性  ① 予測精度   ・ｒｍｓ誤差：   ・正規化誤差：       Ｅ＝０：完全な予測   Ｅ＝１：定数予測子。         より良くない。  ② 予測パラメータ      ：データ点数      ：アトラクター次元      ：埋め込み次元      ：測度論的エントロピー      ：Ｓ／Ｎ比      ：予測時間      ：最大予測時間（誤差が１のオーダーになる時間）      ：特性時間（パワースペクトルの平均周波数の逆数）        ∼大域的線形法の予測時間 !"=< [xpred(t,T)# x(t + T)] 2_> 1 2 E=!"(T) !x !x=< (x" < x >) 2 _> 1 2 xpred(t,T) =< x >

N

D

d

h

S

T

T

max

t

_char

!                    未知数：ｄ＋１個、方程式：ｋ＝ｄ＋１個       通常ｋ＞ｄ＋１とする。   !高次多項式に拡張できる：余り改善されない。 x1(t1),...xd(t1)! x1(t1+ T) ... ... x₁(t_k),...x_d(t_k)! x₁(t_k + T)

a

0

+ a

1

x

1

+... + a

d

x

d

= x

1

(

t

+T )

④ 予測精度の予測パラメータ依存性 "_予測精度  ・ｒｍｓ誤差      ・正規化誤差              ：完全な予測      ：定数予測子：       より良くない。 "_{予測パラメータ}   ：データ点数   ：アトラクター次元   ：埋め込み次元   ：測度論的エントロピー   ：Ｓ／Ｎ比   ：予測時間   ：最大予測時間（誤差∼   ）   ：特性時間 （パワースペクトルの平均周波数の逆数）    ∼大域的線形法の予測時間

!

" =< [xpred(t,T)# x(t + T)] 2_> 1 2 E=

!

"(T)

!

x !x=< (x" < x >) 2 _> 1 2

x

pred

(

t,T)

=< x >

E

= 0

E

= 1

N

D

d

h

S

T

T

_max

t

_char

⑤ 誤差

 １） The first regime：       ：点間隔

   この場合、予測精度はノイズに制限される。    ⇨ 予測における平均情報量

     

 ２） The second regime:

   この場合、予測精度はデータ点数に制限される。    d>>D とするならば、E<<1 の極限で、          ここで、ｍ：近似次数        Ｃ：定数        ｋ：ｍ＝０の時の最大リアプノフ指数 !" N# 1D < S#1

!

< I(T) >= ln S ! hT

! > S"1 E ! Ce(m+1)kTN" (m+1) / D ⑥ 最大予測時間

E(T

max

)

= 1

Tmax = ln N kD （４）２次多項式モデル ２次多項式モデル：局所的線形化モデルの拡張 ・局所的線形化モデル ・２次多項式モデル xn+1= FT ,1( ! x n)= a0+ a1x1+ a2x2+.... + adxd xn+! = An (1,j ,k ) (d)xn"( j"1)!xn"(k "1)!+ Bn (1, j) (d)xn"( j"1)! + Cn ( 1) (d) j=1 d

#

j ,k=1 d

#

１６．６ ニューラルネットワークを用いた時系列予測

（１）多層ニューラルネットワーク ① ニューロン w1 w2 w3 w4 w5 x1 x2 x3 x4 x₅

x

0

= 1

w

0

y

入力データ ウエイト バイアス 出力データ （この図は５入力の場合）

y

=

!

w

_n

x

_n n= 0 N

"

#

$

% %

&

_'

( (

! (X)

：活性化関数（通常、シグモイド関数）

!

(

X)

=

1

1

+ exp("X)

X

#

$

%

& %

：シグモイド関数 ：恒等変換 ② 多層ニューラルネットワークの構造

!

"

#

"

! " $

% & $

# " $

1

m-1

m

M

w

(m)

_ij

i

j

I

I

_m-1

_m

!"#$

多層ニューラルネットワークの機能：       の写像を行うこと

Y

!

X

!

!

Y

= F

_NN

(

X )

!

三層ニューラルネットワークの例

Output(!)

""" """ 1

x

x

₂

x

_I

y

y

=

w

j (2 )

!

(

w

ij (1)

x

i

)

i

"

j

"

#

$

y

$

x

k

=

w

j (2 )

!

' w

kj (1) j

"

y

=

a

_i

f

_i i

!

(

x)

：固定基底関数による関数展開（関数近似） ：可変基底関数による関数展開（関数近似）  ⇨多層ニューラルネットワーク ③ 多層ニューラルネットワークの学習（通常の方法）  通常、多層ニューラルネットワークの学習は、既知の（入力データと出力 データ＜教師データ＞の組）を多数用意して、入力データを入力したときに正 しい出力データが出力されるようにネットワークのウエイトを調整することで ある。  このプロセスは、通常、（教師データ）ー（出力データ）の自乗和からなる 目的関数が最小値をとるように進められる。この目的関数はウエイトの非線形 関数であるので非線形最適化問題として定式化できる。最適化には「誤差逆伝 播法」がよく用いられる。これは基本的には勾配法である。  写像関数として、ニューラルネットワーク（可変基底関数展開法）のかわり に、通常の関数展開法（固定規定関数展開）を用いるならば、目的関数は未知 パラメータの２次関数となるので線形の最適化問題となる（最小自乗法）。

④ 多層ニューラルネットワークの学習（ニューラルネットワーク選点法）  入力データ（独立変数）  と出力データ（従属変数）      の関係を 支配する方程式（微分方程式、積分方程式等：       ）がわかっている 時には、入力データを入力して出力される出力データが支配方程式を満たしてい るかどうかという基準で学習を進めることができる。すなわち、すべての選点に おける支配方程式の残差の自乗和      が最小値をとるようにウエイトを 決めればよい。ここで、   はj番目の選点である。 X ! Y ! = ! f (X )! F( ! X ,Y )! = 0 F(X ! _j,Y ! _j)

(

)

j

!

2 ! X _j （２）多層ニューラルネットワークを使った予測法 ① 状態空間法（通常の方法） x1,x2,...xn (x1,...xm)! xm+1 (x2,...xm+1)! xm+2 ! (xn"m"1,...xn"1)! xn (xn"m,...xn)! xn+1 ：１変数時系列（既知部分） ：教師データの作成 ニューラルネットワークの学習 ：予測 xi!m!1 ! xi ニューラル ネットワーク

x

i+1

② 力学系再構成法（ニューラルネットワーク選点法） x1,...xn x3,...xn x2,...xn!1 x1,...xn!2 t1 " ! y 1 # (x1,x2,x3) " tn!2"y ! n!2# (xn!2,xn!1,xn) dy(i ) dt = fi(y1,y2,y3) (i= 1,2,3) F= dy (i ) dt ! fi(y (1) ,y(2) ,y(3) $ % & ' ( ) i=1 3

*

$ % & & ' ₍ ) ) j=1 n!2

*

：１変数時系列 ：時間遅れ座標系に変換  （例えば、簡単のため、３変数とする） ：選点（入力）と関数値（出力）の関係 ：支配方程式 ：目的関数 dy(1) dt _t j dy(2) dt _t j dy(3) dt _t j y(1)(tj) y (2) (tj) y (3) (tj)

f

1

f

2

f

3

F,

!F

!w

w

t

j

NN

y(1)

NN

y( 2)

NN

y( 3)

NN

f1

NN

f2

NN

f3 dy(i ) dt = fi(y1,y2,y3) (i= 1,2,3) 学習後、 を、積分して将来予測

!"#$%&'()*

++++++,-./0%&

++++++,1234

5"6#$%&'()*

++++++,78/0%&

++++++,1234

y

= f (!

x )

! g(!

x )

"

a

n

#

n

(

!

x )

n=1 N

$

#

n

(

!

x )

a

_n

y

= f (!

x )

! g(!

x )

" f

NN

₍

_{x )}

!

_%

_w

i

& (!

v

i

' !

x )

i=1 I

$

+ w

₀

w

i

!

v

_i

!

v

_i

= (v

0 i

,

v

1 i

,...

v

i_M

)

!

x

= (1,x

₁

,...

x

_M

)

9:;<=>?@A4B=C

&

(

v

!

i

' !

x )

③ 線形予測と非線形予測の関係

Observation data

Data consisting of annual sun-spot activity

From year 1700 to year 1988:

!"#$

We then reconstruct

3D

dynamical

system as described earlier

with

L = 3

1

year

1

=

=

!

"

t

100

patterns

Total

,

1

#

=

=

!

t

_obs

Neural network structure = 3 layer (1-9-1) & (3-9-1)

Obs. data used for training = 100 patterns (100 years)

Testing period length = 30 years

Training length = 100 years

Neural network system for reconstruction

S

un

-s

po

t a

ct

iv

it

y

Training period

S

un

-s

po

t a

ct

iv

it

y

Prediction skill

Prediction period

S

un

-s

po

t a

ct

iv

ity

S

un

-s

po

t a

ct

iv

ity

!"#$%&'(

#)*"&'(

+,-./0*12

!"#$%&'(./0*12

3444444456

#)*"&'(./0*12

3544444446

7-89"2.

7:;<.=

>9?9"2@!"#$%A#)*"&'(

⑤ ニューラルネットワークによる予測の評価 !

!"#$%&'($)*+

!

,-./01(23456#7./$89:;

!

<=>?(@AAABCDEFGHIJK>LMNOP

QR+ST

UVWX

>LMN

Y

Z)$@ $[\]^_

`>LGHabc

d)ef@@@

g?O$:;hOi

g?O$:;hOi

j

j

k

k

!"#$%&'()*%+,-.

!"#$%&'()*%+,-.

!

/0123"#$

!

14(0"#$

slope

slope

567

895:;</='

>?@ABCD5BEF

GBHIF

-.2.0J2.1

GBHIF

-.1.8~1.9

!

!"#$%&'()*+

,---./01

2-3$4&56*78&1

-9--:

;<=>?@A&$BCCDDEFGHIJKL

2----./01

-9-M:

;<=>?@A&$BDDDDDDDENGOOPIHL

,:

QCCCC&3$4&56*78&1

R

@STU*+&VWXY1

,:

QCCCC&3$4&56*78&1

!

Z.S[\]%&'()*+

!

^_`abc1Cd-9--,e-9--:&Mfg

!

hic1&jkl=CCCD&m1nop

&qX

!"#$%&'()*

!"#$%&'()*

!

+,"-./0123456&7788&9:

!

;<=>?@0&AB?CDEFGFFFH

!

$%!"#IJ@EK77888LM1NO

!

PQRSTUVWX7778&!YZ[

\J]<^_`a&

]AbJ_`a&

!"#$%&'()*+,-./01,-!"#$%&'()*+,-./01,-

23

23

4

4

5+6789:;

5+6789:;

!

%&'()*+,<=>???>

(@A)=

BC(

DEFG

(HA)=

IJKLG

!"#$%&'()*+,-./01,-!"#$%&'()*+,-./01,-

23

23

4

4

560+789

560+789

!

%&'()*+,:;<===<

(>?);

@A(

BCDE

(F?);

GHIJE

!"#$%&'()*+',-./012345666607$/345

889:;<=

889>;<=

88?:;<=

88?>;<=

>@AA

>@>B

>@CA

889:;D=

889>;D=

88?:;D=

88?>;D=

>@EB

>@FA

:@AA

:@AE

slope

力学系再構成法 状態空間法 ローレンツ方程式 レスラー方程式 D ! 2.07 for"= 10,b = 8/3,r = 30 D ! 2.03 for a = 0.2, b = 0.2,c = 5.7