カオスニューラルネットワークリザバーにおけるダイナミクスの定量的評価

カオスニューラルネットワークリザバーにおけるダ

イナミクスの定量的評価

著者

福田 佳祐, 井上 理哲人, 堀尾 喜彦

雑誌名

電子情報通信学会技術研究報告

巻

NLP2019-102

ページ

89-94

発行年

2020

URL

http://hdl.handle.net/10097/00127782

Copyright (C)2020 by IEICE

社団法人 電子情報通信学会

THE INSTITUTE OF ELECTRONICS,

INFORMATION AND COMMUNICATION ENGINEERS

信学技報

TECHNICAL REPORT OF IEICE.

カオスニューラルネットワークリザバーにおける

ダイナミクスの定量的評価

福田 佳祐

†

井上理哲人

†

堀尾

喜彦

†

† 東北大学 電気通信研究所 〒980–8577 宮城県仙台市青葉区片平 2–1–1

E-mail:

†[email protected]

あらまし

時系列処理に適した計算モデルであるリザバーニューラルネットワークにおけるダイナミクスの多様性を

高める方法として，カオスニューラルネットワークリザバーが提案されている．本稿では，カオスニューラルネット

ワークリザバーのダイナミクスについて，リアプノフスペクトラムおよび順列エントロピーを用いて定量的に評価す

る．シミュレーション実験により，ダイナミクスが周期的あるいは低次元のカオス的挙動を示す場合にはリアプノフス

ペクトラムによる解析が有効であることを示す．一方，高次元のカオスダイナミクスに関しては，順列エントロピー

が有用であることを示す．

キーワード

カオスニューラルネットワークリザバー，リアプノフスペクトラム，順列エントロピー

Quantitative Evaluation of Dynamics in Chaotic Neural Network Reservoir

Keisuke FUKUDA

†

, Maakito INOUE

†

, and Yoshihiko HORIO

†

† Research Institute of Electrical Communication, Tohoku University

2–1–1 Katahira, Aoba-ku, Sendai, Miyagi, 980–8577 Japan

E-mail:

†[email protected]

Abstract

A chaotic neural network reservoir has been proposed as a method to introduce diversity in reservoir

neural network dynamics. In this paper, we quantitatively evaluate dynamics of the chaotic neural network reservoir

using Lyapunov spectrum and permutation entropy. We confirmed through numerical simulations that Lyapunov

spectrum analysis is effective when the network shows periodic or low-dimensional chaotic dynamics. In contrast,

for high-dimensional chaotic dynamics, permutation entropy is useful.

Key words

chaotic neural network reservoir, Lyapunov spectrum, permutation entropy

1.

ま え が き

脳の情報処理様式を模倣した計算モデルの1つとして，リザ バーコンピューティングが再注目されている[1], [2]．リザバー コンピューティングで用いるニューラルネットワークは，その 構造が単純であり，簡便な学習アルゴリズムが適用可能である ため，特に時系列処理を行うエッジハードウェアの実装に有利 である．リザバーニューラルネットワークの応答は，リザバー 層内のニューロン間のシナプス結合重みを適切に設定するこ とにより，一貫性が保証できる．これはEcho State Property (ESP)と呼ばれる．これに対し，リザバーニューラルネット ワークの応答の多様性や鋭敏性を得るために，カオスダイナミ クスの導入が考えられる．カオスダイナミクスはリザバー層の 結合行列を調整することにより容易に導入できるが，この場合 ESPは失われる．そこで，ESPを保持しつつ高次元のカオス ダイナミクスを導入する手法として，我々はカオスニューラル ネットワークリザバー(CNNR) [3]を提案した． 本稿では，時系列予測タスクにおけるCNNRのダイナミク スを，リアプノフスペクトラムおよび順列エントロピーを用い て評価する．

2.

カオスニューラルネットワークリザバー

リザバーニューラルネットワークの一般的な構造を図1に示 す．図1中の入力結合重みWin ij およびリザバー層内のニュー ロン間の内部結合重みWijはランダムに設定され，固定され る．一方，出力結合重みWijoutは線形回帰などの簡便な学習ア ルゴリズムで調整される．また，これらの結合はスパースであ る．CNNRは，図1中のリザバー層に用いるニューロンとし て，カオスニューロンモデルを用いる[4], [5]．CNNRにおけ るリザバー層内のニューロンの状態更新式は以下の式で与えら — 1 —

89

-一般社団法人 電子情報通信学会 THE INSTITUTE OF ELECTRONICS,

INFORMATION AND COMMUNICATION ENGINEERS

信学技報

This article is a technical report without peer review, and its polished and/or extended version may be published elsewhere.

IEICE Technical Report NLP2019-102(2020-01)

u

i

(t)

y

teach

(t)

y

out

(t)

W

inij

W

out ij

W

ij

Input layer

Reservoir layer

Output layer

Teacher

signal

図 1 リザバーニューラルネットワークの一般的構造． れる． xi(t + 1) = kxi(t) + L

∑

j=1 Wijinuj(t) + N

∑

j=1 Wijf (xj(t))− αf (xi(t)) + θ (1) yi(t + 1) = f (xi(t + 1))  (2) f (x) = 1 1 + exp(−x/ϵ) (3) ここで，xi(t)とyi(t)は，それぞれ，離散時刻tにおけるi番目 のニューロンの内部状態と出力，WijinとWijは，それぞれ，入力 層中のj番目のニューロンからリザバー層内のi番目のニュー ロンへの入力結合重みとリザバー層内のj番目のニューロンか らリザバー層内のi番目のニューロンへの結合重み，uj(t)は j番目の入力層内のニューロンからの入力，kとαは不応性の パラメータ，Lは入力層のニューロンの数，Nはリザバー内の ニューロン数，θは外部バイアス，f (·)はニューロンの出力関 数である．

3.

リアプノフスペクトラム

CNNRのダイナミクスを評価するために，リザバー層内ネッ トワークのダイナミクスを解析する．そのための指標として， 本研究ではリアプノフスペクトラムおよび順列エントロピーを 用いる．本章では，リアプノフスペクトラムの算出手順および シミュレーション実験の結果を述べる． 3. 1 リアプノフスペクトラムの算出方法 離散時間写像力学系のリアプノフ指数λの定義を式(4)に 示す． λ = lim T→∞ 1 T T

∑

t=1 ln|g′(x(t))| (4) ここで，tは離散時間，T は時系列の総ステップ数，g′(·)は写 像関数g(·)の微分である．リアプノフ指数が正のときには近接 した軌道は指数関数的に離反し，負のときには漸近する．リザ バー層ニューラルネットワークのリアプノフ指数を算出するた めに，表3. 1に示す3つの手法を検討する． 表3. 1中の微分法[6]は，式(4)のように写像関数の微分を 表 1 リアプノフ指数の算出方法．

XXXXX

XXXXXX

項目 計算手法 微分法 摂動法 ヤコビ行列推定法 精度 _{⃝ ⃝ △} 計算コスト _{⃝ △ △} モデル式の不必要性 _{× ⃝ ⃝} 入力の考慮 _{× ⃝ ⃝} リアプノフスペクトラム ⃝ × ⃝ 用いてリアプノフ指数を求める手法である．微分法の利点とし て，近似を行わないために精度が良いこと，および計算コスト が低いことが挙げられる．しかし，写像関数が既知である必要 があることや，外力が印加された際には条件付きリアプノフ指 数となる欠点がある． 一方，摂動法[7], [8]は，力学系に微小な摂動を与えることに より発生する近接した軌道間の伸びを利用してリアプノフ指数 を算出する方法である．微分法と比較して，計算コストはかか るものの，軌道間の伸びを直接用いるため，外部入力の影響が 考慮可能である．しかし，この方法では，最大リアプノフ指数 のみしか算出することができない． ヤコビ行列推定法[6], [9]では，時系列データの相空間におけ るアトラクタ上の点によりヤコビ行列を推定する．ある点の周 りに微小半径εのm次元空間内の超球(ε球)を取り，その1 ステップ後の変化が線形近似可能と仮定することで，その変分 を用いてヤコビ行列を推定することにより，リアプノフ指数を 算出する．このように，ヤコビ行列推定法では局所線形近似を 行うために，精度は悪く，計算コストも増加するが，外部入力 を考慮したリアプノフスペクトラムを得ることが可能である． 本研究では，CNNRのハードウェア実装を見据えて，写像関 数を用いる必要がなく，さらに，外部入力が考慮可能であるヤ コビ行列推定法を採用する．次節では，CNNRにおけるヤコビ 行列推定法によるリアプノフ指数の算出方法について述べる． 3. 2 CNNRにおけるヤコビ行列推定法 CNNRのリザバー層におけるN個のニューロンの内部状態 値と，L次元の入力により構成されるN + L次元の相空間上 のアトラクタを考える．時刻tにおけるアトラクタ軌道上のあ る1点v(t)を中心としたε球内に存在するアトラクタ上の他 の点を，v(ki)とする．ここで，kiはε球内に存在する点を表 す．v(t)から見たv(ki)に対する変位ベクトルµi∈ R N +L_は 次式で表される． µi= v(ki)− v(t) (5) 式(5)から，時間がsだけ進んだとき，v(t)はv(t + s)に， v(ki)はv(ki+ s)にそれぞれ遷移する．よって，時刻t + sに おける変位ベクトルziは，次のようになる． zi= v(ki+ s)− v(t + s) (6) ここで，ε球の半径rと時間変位sが十分小さいとすると， µiとziは式(7)のように線形近似可能である． zi=J (t)µ

b

i (7) — 2 —

90

-ここで，J (t)

b

は推定すべきヤコビ行列である．式(7)より，

b

J (t) = ziµTi(µiµ T i)−1 (8) により，ヤコビ行列が推定できる． 次に，推定したヤコビ行列を用いてリアプノフ指数を求める． 時刻0におけるヤコビ行列J (0)

b

を以下のようにQR分解して，

b

J (0) = Q₁R1 (9) とする．時刻t + 1では，J (t)

b

に1時刻前の直交行列をかけて， 次式を得る．

b

J (t)Q_t= Q_t+1Rt+1 (10) この様にして求めた各時刻における上三角行列を用いて，リア プノフ指数を次式で求める． λi= lim T→∞ 1 2T 2T

∑

t=1 ln|Riit| (11) ここで，Rii t は上三角行列Rtの第i対角要素である． 3. 3 シミュレーション実験 リアプノフスペクトラムを用いてCNNRのダイナミクスを 評価するために，周期関数およびロジスティック写像から得 られた時系列を入力したときの1ステップ予測のシミュレー ションを行った．入力した周期関数およびロジスティック写像 とシミュレーション条件を表2に示す．また，リザバー層内 のニューロンjと出力層のニューロンiとの結合Wijoutは，式 (12)に示す線形回帰によって学習した．

Wout= f−1(yteach)youtT(youtyoutT)−1 (12)

式(12)において，Woutは出力層への結合行列であり，yteach， youtは，それぞれ，教師信号および出力層のネットワークの出 力である．なお，yteach，youtは，学習ステップ分の要素から 成る行列である．また，リアプノフスペクトラムを算出する際 に用いるε球の半径rは，ε球内部の点数が10–100点となるよ う調整した．CNNR内のリザバー層におけるカオスニューロ ンのパラメータk，α，θ，ϵは表2中にまとめた．シミュレー ション実験では，リアプノフスペクトラムを求めるニューロン の内部状態の時系列信号x(t)に対して，過渡状態5000 steps を除去し，最大値を104_{とした時間変数τを使用した．} 周期関数の1ステップ予測を行った際のリアプノフスペクト ラムを図2に示す．また，リアプノフスペクトラムの算出時に 使用したリザバー層内から適当に選択した２つのニューロンの 内部状態の時系列データ，リターンマップ，位相平面図の例を 図3に示す．なお，図2および図3におけるCNNR内のカオ スニューロンのパラメータは，k = 0.5，α = 1.0，θ =−0.1， ϵ = 0.1である．これらのパラメータ値は，予備実験により比 較的良い結果が得られた値[10], [11]を用いた． 同様に，入力としてロジスティック写像から得られた時系列 を使用したときのリアプノフスペクトラムと，代表的なニュー ロンの内部状態の時系列データ，リターンマップ，位相平面図 表 2 リアプノフスペクトラム算出時のシミュレーション条件． N 100

u(n) Periodic function : 0.9 sin2₍n

2π)

Logistic function : au(n− 1)(1 − u(n − 1))

u(0) Uniform[−1, 1]

a 3.8

Transient length 5000 steps Teacher signal u(n + 1) x(0) Uniform[−1, 1]

Win

ij 0 (80 %) or Uniform[−1, 1] (20 %)

Wij 0 (80 %) or Uniform[−1, 1] (20 %)

W_ijout(initial) 0 (80 %) or Uniform[−0.01, 0.01] (20 %) Spectral radius 0.98ϵ k Periodic function : 0.9 Logistic function : 0.4 α 1 θ Periodic function :−0.1 Logistic function :−0.2 ϵ 1, 0.02

Training length 995000 steps

𝜆

𝑖

(τ

)

Iterations 𝜏

Maximum Lyapunov exponent：−6.92 × 10−5

図 2 周期関数入力時のリアプノフスペクトラム (k = 0.5，α = 1.0， θ =−0.1，ϵ = 0.1)． を，それぞれ，図4と図5に示す．ここで，CNNR内のカオス ニューロンのパラメータはk = 0.4，α = 1.0，θ =−0.2，ϵ = 1 である． 次に，図2と図4に示したリアプノフスペクトラムを算出し た際のε球の半径rの時間変化を図6に示す．図6より，x(t) のダイナミックレンジが₋₁から1であるのに対し，ε球の半 径rの大きさは10−3から10−4程度であるため，rは十分小さ いと言える．また，図2と図4ではτを1から104の範囲に対 して，1ステップずつヤコビ行列を推定しているため，時間変 位も十分小さいと言える．したがって，図2および図4の結果 は妥当であると考えられ，ヤコビ行列推定によるリアプノフス ペクトラムの算出は有効であると考えられる．また，図3およ び図5より，ニューロンの内部状態の時系列は周期的であるか 低次元のカオスを呈していると考えられる．

Time 𝑡 [steps]

𝑥

₁₈

(𝑡)

𝑥

18

(𝑡

+

1

)

𝑥

18

(𝑡

)

𝑥

78

(𝑡

)

𝑥

₇₈

(𝑡)

𝑥

78

(𝑡

+

1

)

𝑥

₁₈

(𝑡)

𝑥

78

(𝑡

)

(a) (b) (d) (c) 図 3 図 2 を求めたときのリザバー層内の代表的なニューロンの (a)： 内部状態，(b)，(c)：リターンマップ，(d)：位相平面図．

𝜆

𝑖

(τ

)

Iterations 𝜏

Maximum Lyapunov exponent：0.778

図 4 ロジスティック写像から得られた時系列信号入力時のリアプノ フスペクトラム (k = 0.4，α = 1.0，θ =_{−0.2，ϵ = 1)．} 次に，CNNR内のカオスニューロンのパラメータをk = 0.5， α = 1.0，θ =−0.1，ϵ = 0.02として，周期関数の予測を行った ときの代表的なニューロンの内部状態の時系列データ，リター ンマップ，位相平面図を図7に示す．また，ロジスティック写像 から得られた時系列の1ステップ予測において，カオスニュー ロンのパラメータをk = 0.4，α = 1.0，θ =−0.2，ϵ = 0.02 としたときのニューロンの内部状態の時系列データ，リターン マップ，位相平面図を図8に示す．図7および図8に示した時 系列データを使用してリアプノフスペクトラムを求めた際のε 球の半径rの時間変化を図9にまとめて示す． 図7，図8より，ニューロンの内部状態は高次元のカオスを 呈していると見られる．しかし，図9から，rの大きさが10−1 と十分小さくないため，式(7)に示す線形近似が成立していな いと考えられる．したがって，CNNRにおけるリアプノフスペ クトラム解析は，ニューロンの内部状態が周期的あるいは低次 元のカオス的な振舞いを示すときには有効であるが，高次元の カオスでは有効でないと考えられる．

Time 𝑡 [steps]

𝑥

94

(𝑡)

𝑥

94

(𝑡

+

1

)

𝑥

94

(𝑡

)

𝑥

61

(𝑡

)

𝑥

61

(𝑡)

𝑥

6 1

(𝑡

+

1)

𝑥

94

(𝑡)

𝑥

6 1

(𝑡

)

(a) (b) (d) (c) 図 5 図 4 を求めたときのリザバー層内の代表的なニューロンの (a)： 内部状態，(b)，(c)：リターンマップ，(d)：位相平面図．

r

(τ

)

Iterations 𝜏

(a)

r

(τ

)

Iterations 𝜏

(b)

図 6 ε 球の半径 r の時間変化．(a)：周期関数入力時 (図 3)，(b)：ロ ジスティック写像から得られた時系列信号入力時 (図 5)．

4.

順列エントロピー

リアプノフスペクトラムの計算が困難であったCNNRのダイ ナミクスが高次元カオスの場合について，順列エントロピー[12] を用いて評価する．順列エントロピーは時系列データの複雑性 を定量する一つの指標であり，時系列中の各点の大小関係から 時系列データの特徴量を計算する．順列エントロピーの特徴と して，ノイズに頑強であることや，計算コストを抑えられるこ となどが挙げられる．CNNRのダイナミクスに対する順列エ — 4 —

92

-Time 𝑡 [steps]

𝑥

8

(𝑡)

𝑥

8

(𝑡

+

1)

𝑥

8

(𝑡

)

𝑥

63

(𝑡

)

𝑥

63

(𝑡)

𝑥

63

(𝑡

+

1)

𝑥

8

(𝑡)

𝑥

63

(𝑡

)

(a) (b) (d) (c) 図 7 周期関数入力時の (a)：時系列データ，(b)，(c)：リターンマッ プ，(d)：位相平面図．

Time 𝑡 [steps]

𝑥

32

(𝑡)

𝑥

32

(𝑡

+

1)

𝑥

32

(𝑡

)

𝑥

99

(𝑡

)

𝑥

99

(𝑡)

𝑥

99

(𝑡

+

1)

𝑥

32

(𝑡)

𝑥

99

(𝑡

)

(a) (b) (d) (c) 図 8 ロジスティック写像から得られた時系列入力時の (a)：時系列 データ，(b)，(c)：リターンマップ，(d)：位相平面図． ントロピーの算出方法とシミュレーション実験の結果を以下に 述べる． 4. 1 順列エントロピーの算出方法 式(13)のような離散的な時系列データXiを考える． X∈ {X1, X2,· · · , XZ} (13) ここで，Zは時系列データの総数である．式(13)において，d– 順列の確率分布Pから得られる規格化情報エントロピーの総和 Hが順列エントロピーである．d–順列の組合せ数をKとする と，Kはd!通りだけ取りうる．時系列データの中のある組合せ Klの個数をqlとすると，確率plは次式で表現できる．なお，l は組合せ数を番号付けしたときの番号を表し，l∈ {1, 2, · · · , d!} である． pi= qi Z− d + 1 (14) ここで，式(14)の分母は順列の総数を表す．式(14)を全ての順 列の組合せに適用すると，確率分布PはP = (p1, p2,· · · , pd!) となる．確率分布P から求まる情報エントロピーは，

r

(τ

)

Iterations

�

(a)

r

(τ

)

Iterations

�

(b)

図 9 ε 球の半径 r の時間変化．(a)：周期関数入力時 (図 7)，(b)：ロ ジスティック写像から得られた時系列信号入力時 (図 8)． S =− d!

∑

i=1 pilog2pi (15) である．情報エントロピーの最大値はP がpi= 1/d!の等確率 であるときに得られ，Smax= log2(d!)である．順列エントロ ピーHはSを最大値で規格化し，以下のように求められる． H = S Smax (16) ここで，順列エントロピーの変域は0≤ H ≤ 1である． 4. 2 シミュレーション実験 図3，図5，図7および図8に示した時系列データを使用し， リザバー層のN 個のニューロンに対する順列エントロピーH を算出する．周期関数を外部入力としたとき(図3，図7)のH を図10に，ロジスティック写像から得られた時系列を外部入力 としたとき(図5，図8)のH を図11にそれぞれ示す．図10， 図11には，Hの平均値と標準偏差(エラーバー)を図示してい る．ここで，図10および図11では，外部入力が持つ順列エン トロピーの影響を含まないようにするため，入力層と結合して いるリザバー層のニューロンを除去して算出している． 図10，図11より，d≤ 2ではHの範囲が1を超える場合が あることや，図7および図8に示した時系列データ，リターン マップや位相平面図で高次元のカオスとなっていた場合のHよ り，周期的あるいは低次元のカオスとなっていたときのHの方 が大きい値を示していることが分かる．定性的な評価とH の 値が矛盾するため，d≤ 2の範囲ではHを正確に算出できてい ないと考えられる．一方，d≥ 3では，時系列やリターンマッ プを観測したときの評価と整合している．また，dを増加させ

𝑑

𝐻

図 10 図 3(ϵ = 0.02) および図 7(ϵ = 1) の時系列信号を用いた場合 における d を変化させたときの順列エントロピーの変化．

𝑑

𝐻

図 11 図 5(ϵ = 0.02) および図 8(ϵ = 1) の時系列信号を用いた場合 における d を変化させたときの順列エントロピーの変化． ると誤差範囲が低減しているがH 自体も低下している．これ は，dを大きくすることにより，長い時間ステップの時系列か らHを算出することとなり，Hが平滑化されたためであると 考えられる．したがって，本研究では3≤ d ≤ 7の範囲につい て議論する． 図10では，時系列が高次元のカオスとなったϵ = 0.02のと きのHが周期的な時系列を示したϵ = 1よりも大きくなって いる．よって，順列エントロピーにより，高次元のカオスと周 期的な時系列を区別できていると考えられる． 一方，図11では，Hの平均値はϵ = 0.02の方がϵ = 1より も大きな値を示しているが，ϵ = 0.02の分布の最小値がϵ = 1 のときのHの平均値を下回っている．これは，カオス的な外部 入力が与えられたとき，ネットワークにおける各カオスニュー ロンの挙動が，多様なカオス状態や様々な周期状態を取ってい るからであると推測できる．そのため，Hの標準偏差は大きな 値を取るが，ネットワーク全体で見ると，高次元カオスとなっ ていると考えられる．したがって，図11の結果からも順列エ ントロピーにより低次元のカオスと高次元のカオスを差別化で きると考えられる．

5.

ま と

め

CNNRのダイナミクスをリアプノフスペクトラムおよび順 列エントロピーを用いて評価した．リアプノフスペクトラムは CNNRのダイナミクスが周期的あるいは低次元のカオス的振 舞いを示すときは有効であることが分かった．ダイナミクスが 高次元のカオスを呈するときは順列エントロピーにより，低次 元のカオスや周期的なダイナミクスの場合と差別化することが できた． 今後は，他の指標として相互情報量等について検討する．

謝

辞

本研究は東北大学電気通信研究所における共同プロジェクト 研究(H29/A21)による．研究を進めるにあたり，貴重なご助 言を賜りました東京理科大学工学部情報工学科の池口徹教授に 深謝いたします． 文 献

[1] M. Lukoševičius, and H. Jaeger, “Reservoir computing

ap-proaches to recurrent neural network training,” Computer Science Review, vol. 3, pp. 127–149, 2009.

[2] H. Jaeger, “The "echo state" approach to analysing and

training recurrent neural networks,” Technical Report GMD, Report 148, German National research Center for Information Technology, 2001.

[3] T. Tassy, and Y. Horio, “Time series prediction through

chaotic neural network reservoir,” 信学総大, N-1-2, 2018.

[4] K. Aihara, T. Tanabe, and M. Toyoda,“Chaotic neural

net-work,” Physics Letters A, vol. 144, no. 6–7, pp. 333–340, 1990.

[5] Y. Horio, “A brainmorphic computing hardware paradigm

through complex nonlinear dynamics,” in Understanding Complex Systems, V. In, P. Longhini, and A. Palacios, eds., Springer, ISBN 978-3-030-10891-5, Chapter 5, pp.36– 43, DOI: 10.1007/987-3-030-10892-2_5.

[6] 合原一幸編, “カオス時系列解析の基礎と応用,” 産業図書,

pp.163–177, 2005.

[7] J. Sprott, “Chaos and Time-Series Analysis,” Oxford

Uni-versity Press, pp. 116–120, 2003.

[8] J. Boedecker, O. Obst, J. Lizier, N. Mayer, and M. Asada,

“Information processing in echo state network at the edge of chaos,” Theory in Biosciences, vol. 131, no. 3, pp. 205–213, 2012.

[9] M. Yano, N. Homma, M. Sakai, and K. Abe, “Phase-space

reconstruction from observed time series using Lyapunov spectrum analysis,” in Proc. of SICE, vol. 2, pp. 701–706, 2002.

[10] Yoshihiko Horio, “Chaotic neural network reservoir,” in

Proc. of IJCNN, Budapest, Hungary, 2019.

[11] 福田佳祐, 井上理哲人, 堀尾喜彦, “カオスニューラルネットワー

クリザバーにおけるダイナミクスとリザバー性能に関する検討,” 信学総大, N-1-23, 2019.

[12] C. Bandt, and B. Pompe, “Permutation entropy : A

nat-ural complexity measure for time series,” Physical Review Letters, vol. 88, no. 17, 2002.

[13] 恩地拓己,“実験データの新しい解析方法 ―順列エントロピーと

統計的複雑性を用いた時系列データ評価―,”Journal of Plasma and Fusion Research, vol. 93, no. 4, pp. 163–168, 2017.

— 6 —

94