〒 771-1192 徳島県徳島市応神町古川

社団法人 電子情報通信学会

THE INSTITUTE OF ELECTRONICS,

INFORMATION AND COMMUNICATION ENGINEERS

信学技報

TECHNICAL REPORT OF IEICE.

2 種類のテンプレートを用いたセルラーニューラルネットワークの 発振現象と固有値の関係について

細川康輝

西尾芳文

† ^{四国大学経営情報学部}

〒 771-1192 徳島県徳島市応神町古川

†† ^{徳島大学工学部}

〒 770-8506 徳島県徳島市南常三島町 2-1

E-mail: † [email protected], †† [email protected]

あらまし

数多くの改良型セルラーニューラルネットワーク

が提案されているが，改良型

は通常の

に比べ構造が複雑になるため，CNN の利点である集積化容易性が損なわれている．しかしながら，2 種類のテンプ レートを用いた

は一般的な

と概ね同等の構造であるため集積化容易性が損なわれておらず，一般的な

では発振が起こらない状態でも発振現象が観測できる．さらに，発振器結合系として考えた場合，新たな結合系であ ると考えられる．本報告では，2 種類のテンプレートを用いた

で観測されるいくつかの現象を紹介し，4 つのセ ルの場合での発振現象と固有値の関係を報告する．

キーワード

セルラーニューラルネットワーク，発振器結合系，クローニングテンプレート，固有値

Relationship between Oscillatory Phenomena and Eigenvalues in Cellular Neural Networks Using Two Kinds of Cloning Templates

Yasuteru HOSOKAWA

and Yoshifumi NISHIO

† Faculty of Management and Information Science, Shikoku University Furukawa, Ohjin-cho, Tokushima-shi, Tokushima 771–1192 Japan

†† Faculty of Engineering, Tokushima University

2–1 Minami-Josanjima-Cho, Tokushima-shi, Tokushima 770–8506 Japan E-mail: † [email protected], †† [email protected]

Abstract Many kinds of modified Cellular Neural Networks are proposed. A disadvantage of these CNNs is a complexity in structure. This disadvantage means that easiness of integration of CNN circuit is lost. However, Cellular neural network using two kinds of cloning templates is similar to a generic CNN in structure. The easiness of integration is not lost. Oscillatry phenomena observed in this system can not be observed in a generic CNN.

Additionally, we consider that this system is novel coupled system as coupled oscillatory systems. In this report, phenomena in Cellular Neural Networks using Two kinds of cloning templates are introduced and relationship between oscillatory phenomena and eigenvalues in CNN using two kinds of cloning templates is reported.

Key words Cellular neural networks, Coupled oscillatory system, Cloning templates, Eigenvalues

1. は じ め に

セルラーニューラルネットワーク(以下，CNNとする)は 1988年Chuaら[1]によって提案された一種のアナログコン ピュータである．既存のノイマン型コンピュータでは不可能な 処理や並列で処理ができることから画像処理[2]– [3]などへの

応用が研究されている．CNNの動作を決定づけているクロー ニングテンプレートは数多く提案されており，それらの処理の 組み合わせることで有用な処理が可能であることも示されてい る[4]– [8]．そして，提案されている応用のためには，CNNの 実装が必要である．CNNは同一のセルが均等に配置された構 造をもつため，LSIでの実装にも適している[9]– [11].

近年では，さまざまなCNNの改良が提案されている．例 えば，Delayed Cellular Neural Networks [12], Fussy Cellu- lar Neural Networks [13], Quantum Cellular Neural Networks [14] Small-World Cellular Neural Networks [15], Shunting In- hibitory Cellular Neural Networks [16], Two Layer Cellular Neural Networks. [17]などである．基本的にこれらの改良型 CNNは，通常のCNNに比べ複雑な処理ができるが，構造も 複雑になっている．このため，集積回路としての実装を考えた 場合にはその構造が弱点となる．

本研究では，2種類のクローニングテンプレートを使った CNNで観測される発振現象について調査する．このCNNは通 常のCNNと概ね同等の構造であるため，集積回路としての実 装を考えた場合でも，通常のCNNと同程度の技術で実装でき ると考えられる．この系で見られる発振現象は，通常のCNN では発振現象が起こらない対象なテンプレート値で見ることが 可能で，この系を発振器結合系と考えた場合，発振の要素を互 いに共有した構造を持つ新たな結合系であるといえる．

２章ではシステムの構造を紹介し，３章では発振現象につい て，４章では発振現象が起こる最小のセル数4での発振現象と 固有値の関係についてそれぞれ報告し，５章でまとめとする．

2. システムモデル

一般的なCNNとの実装上の違いは，クローニングテンプ レート用の信号線の数だけである．したがって，提案システム は一般的なCNNと同様に集積化に適している．

図1は，提案システムの構造を示している．システムはM 行N列のセルで構成されており，任意のi行j列目のセルを

c(i, j)とする．２種類のクローニングテンプレートのうち一方

をセルα，もう一方をセルβとする．２種類のセルは市松模様 上に配置される．

システムを連続時間系とした場合，状態方程式は解のように 与えられる．

1: i+jが偶数の場合

dxij

dt =−xij+Iα

+ ∑

c(k,l)

Aα(i, j;k, l)ykl

+ ∑

c(k,l)

Bα(i, j;k, l)ukl

(1)

2: i+jが奇数の場合

dxij

dt =−xij+Iβ

+ ∑

c(k,l)

Aβ(i, j;k, l)ykl

+ ∑

c(k,l)

Bβ(i, j;k, l)ukl

(2)

A_{αβ}(i, j;k, l)ykl,B_{αβ}(i, j;k, l)ukl,I_{αβ}はそれぞれ，フ ィードバック係数，コントロール係数，バイアス電流に対応し ている．変数uとyは，セルの入力と出力の変数である．Aα, Bα,Aβ andBβ は，３×３の行列で以下のように記述される．

j

i

M

N

c(i,j)

図1 2種類のクローニングテンプレートを用いたCNN







Aα(i, j;i−1, j−1) Aα(i, j;i−1, j) Aα(i, j;i−1, j+ 1) Aα(i, j;i, j−1) Aα(i, j;i, j) Aα(i, j;i, j+ 1) Aα(i, j;i+ 1, j−1) Aα(i, j;i+ 1, j) Aα(i, j;i+ 1, j+ 1)





 (3)

出力関数は以下のように与えられる．

yij= 0.5(|xij+ 1| − |xij−1|). (4)

3. 発 振 現 象

ニューラルネットワークの専門家にとって発振現象は好まし くない現象であり，基本的に発振しないよう注意を払ってきた．

一方，CNNでの発振現象は発振器結合系として考えた場合，そ の結合は興味深いものであると考えられる．発振器結合系では 一般的に発振器と結合要素で構成されているが，CNNでの発 振は発振器の要素が分割されており，その結合は結合要素と発 振器のパラメータに対応する．さらに，発振の要素は複数の要 素ではすべて共有されている状態となり，一般的な発振器結合 系とは大きく異なる構造を持つ．この点において，新しい発振 器結合系と考えられる．本章では，提案システムで観測される いくつかの現象を紹介する．

図2は，Two Layer CNN [17]で確認されている現象を提案 システムで再現したものである．初期状態は，次のように設定 した．境界条件は0とし,セルの数は16×16初期状態値は，

c(5,5)を1(黒)としそれ以外はすべて0(灰)とした．

Aα=







0.1 0 0.1 0 1.1 −1 0.1 0 0.1





, Aβ=







−0.01 0 −0.01

1 1.04 0

−0.01 0 −0.01





, Bα=Bβ= 0, Iα=Iβ= 0.

(5)

図2 (1)のようにc(5,5)から発生した波は，図2(2)-(10)のよ うにすべての方向に向かって伝搬する．図2 (11)のように波が

(1)τ= 0 (2)τ= 200 (3)τ= 400 (4)τ= 600

(5)τ= 800 (6)τ= 1000 (7)τ= 1200 (8)τ= 1400

(9)τ= 1600 (10)τ= 1800 (11)τ= 2000 (12)τ= 2200

(13)τ= 2400 (14)τ= 2600 (15)τ= 2800 (16)τ= 3000

(17)τ= 3200 (18)τ= 3400 (19)τ= 3600 (20)τ= 3800

(21)τ= 4000 (22)τ= 4200 (23)τ= 4400 (24)τ= 4600

(25)τ= 4800 (26)τ= 5000 (27)τ= 5200 (28)τ= 5400 図2 波動伝搬現象

境界に接触した後も波は反射すること無く，図2 (11)-(23)の ようにc(5,5)から発生され続ける波が広がる続ける．図2 (24) のように，全方向の境界に波が接触した後，図2 (14)-(28)の ように周期的な振動が観測され続ける．

一般的なCNNにおいて，このような動的な現象は非対象な クローニングテンプレートでのみ観測される現象であるが，本 システムにおいては，対象なクローニングテンプレートにおい ても観測することができる．

次に，クローニングテンプレートのパラメータを以下のよう に定義した場合について報告する．

Aα=







−p q −p

q r q

−p q −p





, Aβ=







p −q p

−q r −q p −q p





, Bα=Bβ= 0, Iα=Iβ= 0.

(6)

この定義によってAα，Aβは，それぞれ対象なテンプレー トになる．境界条件は図3のような周期境界（トーラス環状）

とし，初期状態値は乱数とした．入力値は，Bα=Bβ = 0で

図3 周期境界条件

(a) (b) (c) (d) (e)

(f) (g) (h) (i) (j)

図4 コンピュータシミュレーション結果(周期振動状態). p = 2，

q= 4，r= 0. (a)初期状態. (b)-(j)スナップショット.

(a) (b) (c) (d) (e)

(f) (g) (h) (i) (j)

図5 コンピュータシミュレーション結果(周期振動状態). p = 2，

q= 4，r= 0. (a)初期状態. (b)-(j)スナップショット.

あるため，設定する必要はない．いくつかのシミュレーション 結果を以下に示す．

図4と 図5は，p= 2,q= 4,r= 0の時のシミュレーショ ン結果である．初期状態値の違いによって，図4か図5が観 測できる．いずれの場合においても(b)–(j)を繰り返す周期振 動状態となる．ここで，各セルの同期に注目すると，セルは３ つのグループに分けることができる．例えば，図4 (b)のCell c(1,1)の値は，Cellc(3,1), c(1,3),c(3,3)と同じである．こ のグループをCellα1とし，同様にCellc(2,2)のグループを Cellα2，残りをCellβとする.

図6と 図7は図4と 図5の波形を表している．各グループ の波形は1つに重なっており完全に同期していることが分かる．

さらに，2つの図の違いは，Cellα1とCellα2が入れ替わって いることだけである．この結果は，2つのグループが逆相であ ることを示している．加えて，セルβは同期しており，図4の 場合，α2とも同期している．

図8 はクローニングテンプレートの値を，p = 2, q = 3， r= 0とした場合のシミュレーション結果である．準同期状態 となっており，中央部ではバースト状態となっている．

Cell β Cell α 1

Cell α 2

10

10

10

図6 図4の時間波形.p= 2,q= 4，r= 0.

Cell β Cell α 1

Cell α 2

10

10

10

図7 図5の時間波形.p= 2,q= 4，r= 0.

Cell β Cell α 1

Cell α 2

10

10

10

図8 コンピュータシミュレーション結果(バースト状態を含む準同期 状態).p= 2,q= 3，r= 0.

図9はクローニングテンプレートの値をp= 1,q= 1，r= 1 とした場合である．クラスタリングが観測できる．いくつかの セルは発振しており，白，黒あるいは白と黒の発振状態となっ ている．この場合，図10のように初期値によっては収束する．

4. 発振状態と固有値

本章では，２種類のクローニングテンプレートをもつCNN について，周期境界条件で前章で定義した対象なクローニング テンプレートを対象として，固有値に注目して調査を行う．

まず図4のパラメータの場合について，発振現象が確認でき る最も少ないセルの数をコンピュータシミュレーションで調査 し，4つのセルでも発振することを確認した．4つのセルに限 定した場合，図11のようなモデルとなる．図12は，観測され た発振現象の時間波形である．図4，図5の場合と同様に初期

Cell β Cell α 1

Cell α 2

10

10

10

図9 コンピュータシミュレーション結果(クラスタリング).p= 1, q= 1，r= 1

Cell β Cell α 1

Cell α 2

10

10

10

図10 コンピュータシミュレーション結果(収束状態).p= 1,q= 1，

r= 1

c(1,1) c(1,2)

c(2,1) c(2,2)

図11 4セルに限定した場合の2種類のクローニングテンプレートを 用いたCNN.

値によって，2種類の状態が観測できる．

出力関数yijは式(4)で表される区分線形関数としており，

ここで，各線形領域を以下のように定義する．

D⁺ ≡ {x >1}

D⁰ ≡ {1<=x <=−1}

D⁻ ≡ {x <−1}.

(7)

各領域の組み合わせは3⁴ = 81通り考えられるが，解析す るには多すぎるため， 図12の場合について，コンピュータシ ミュレーションによって発振状態での各領域の組み合わせを確 認した．表1は発振状態での各領域の組み合わせの遍歴を表し ている．軌道は数字順にループし，No.12の次にNo.1に戻る．

c(1,1)

c(1,2)

c(2,1)

c(2,2)

図12 4セルに限定した場合の発振現象の時間波形.表2のNo.1の 場合.

c(1,1)

c(1,2)

c(2,1)

c(2,2)

図13 4セルに限定した場合の発振現象の時間波形.表2のNo.2の 場合.

c(1,1)

c(1,2)

c(2,1)

c(2,2)

図14 4セルに限定した場合の発振現象の時間波形.表2のNo.3の 場合.

c(1,1)

c(1,2)

c(2,1)

c(2,2)

図15 4セルに限定した場合の発振現象の時間波形.表2のNo.4の 場合.

なお初期値によって，c(1,1)とc(2,2)が入れ替わった結果も得 られる．領域の組み合わせについて考えると，D⁺とD⁻を入 れ替え，c(1,1)とc(2,2)を入れ替えることで，No.1とNo.7， No.2とNo.8，No.3とNo.9，と番号順に対応していることが 確認できる．

各領域の固有値を計算した結果，No.2とNo.8で−1,7,−9

表1 図12の場合における領域の遷移.

No. Cellα1 Cellβ1 Cellβ2 Cellα2

1 D⁻ D⁻ D⁻ D⁻

2 D⁻ D⁰ D⁰ D⁻

3 D⁻ D⁺ D⁺ D⁻

4 D⁻ D⁺ D⁺ D⁰

5 D⁻ D⁺ D⁺ D⁺

6 D⁰ D⁺ D⁺ D⁺

7 D⁺ D⁺ D⁺ D⁺

8 D⁺ D⁰ D⁰ D⁺

9 D⁺ D⁻ D⁻ D⁺

10 D⁰ D⁻ D⁻ D⁺

11 D⁻ D⁻ D⁻ D⁺

12 D⁻ D⁻ D⁻ D⁰

表2 図12–図15の発振における2つ領域の組み合わせ.

No. Cellα1 Cellβ1 Cellβ2 Cellα2

1-1 D⁻ D⁰ D⁰ D⁰

1-2 D⁻ D⁻ D⁻ D⁰

2-1 D⁰ D⁺ D⁺ D⁺

2-2 D⁰ D⁰ D⁰ D⁺

3-1 D⁰ D⁰ D⁰ D⁻

3-2 D⁰ D⁻ D⁻ D⁻

4-1 D⁺ D⁺ D⁺ D⁰

4-2 D⁺ D⁰ D⁰ D⁰

となった以外は，すべて実数−1の重解であった．したがって，

軌道が各領域において平衡点へと動き，領域が変わっていくこ とで発振現象は起こっていると考えられる．なお，パラメータ をp= 2,q = 3，r = 1とした場合，図4の結果に同期のズ レが生じた状態となり，表1のNo.3とNo.9がそれぞれD⁻， D⁰，D⁰，D⁰とD⁰，D⁰，D⁰，D⁺と変わり，固有値も複素 数となった．この結果から，領域が順次切り替わる周期振動が ベースとなっているが，パラメータによってある領域のみで振 動する要素があり，その場合に同期しないなどの現象が起こり うると考えられる．

次に，パラメータを変更することで経由する領域の数が最も 少なくなる場合について調査し，p= 1,q= 1.05,r= 1の場 合に２つの領域のみでも図12–図15のように発振することを 確認した．この場合，初期値によって４種類のいずれかが確認 できる．表2は，それぞれの発振での2つの領域を示してい る．No.1とNo.3およびNo.2とNo.4は，それぞれのc(1,1) とc(2,2)を入れ替えた場合である．また，No.1とNo.2ある いはNo.3とNo.4を比較すると，D⁺とD⁻を入れ替えた場 合に対応していることが分かる．No.1について固有値を調査 した結果，No.1-1の固有値は，-1,-6,1±2.796で，No.1-2の 固有値は，-1だった．以上の結果から，4つのセルのうち同時 に3つのセルがD⁰となる場合に振動するパラメータが存在し，

対称性から初期値に依存して4パタン考えられること. そして，

パラメータによっては，軌道がそれらの2つあるいは4つを巡 る場合があると考えられる．

5. ま と め

本報告では，2種類のテンプレートを用いたセルラーニュー ラルネットワークについて，発振現象などの振舞いについて紹 介し，さらに一定の条件下での発振現象の解析を行った．結果 として，発振するパラメータでは4種類の発振パタンが考えら れることなどを示した．

今後の課題としては，発振する条件をより明確にすること，

発振しない条件を明確にすること，セルの数が多い場合との違 いの検討などが挙げられる．

文 献

[1] L. O. Chua and L. Yang, ”Cellular neural networks: The- ory,”IEEE Trans. Circuits and Systems, vol. 35, no. 10, pp. 1257–1272, 1988.

[2] L. O. Chua and L. Yang, ”Cellular neural networks: Appli- cations,”IEEE Trans. Circuits and Systems, vol. 35, no. 10, pp. 1273–1290, 1988.

[3] L. O. Chua and T. Roska,Cellular Neural Networks and Vi- sual Computing: Foundation and Applications, Cambridge, UK: Cambridge University Press, 2002.

[4] T. Matsumoto, L. O. Chua, and R. Furukawa, ”CNN cloning template: hole-filler”, IEEE Trans. Circuits and Systems, vol. 37, no. 5, pp. 635–638, 1990.

[5] T. Matsumoto, L. O. Chua, and R. Furukawa, ”CNN cloning template: shadow detector”,IEEE Trans. Circuits and Systems, vol. 37, no. 8, pp. 1070–1073, 1990.

[6] T. Kozek, T. Roska, and L. O. Chua, ”Genetic algorithm for CNN template learning,”IEEE Trans. Circuits and Sys- tems I, vol. 40, no. 6, pp. 392–402, 1993.

[7] K. R. Crounse, T. Roska and L. O. Chua, ”Image halftoning with cellular neural networks,”IEEE Trans. Circuits and Systems II, vol. 40, no. 4, pp. 267–283, 1993.

[8] K. R. Crounse and L. O. Chua, ”Methods for image pro- cessing and pattern formation in Cellular Neural Networks:

a tutorial,”IEEE Trans. Circuits and Systems I, vol. 42, no. 10, pp. 583–601, 1995.

[9] L. Yang, L. O. Chua and K. R. Krieg, ”VLSI implementa- tion of cellular neural networks,”Proc. Int. Symp. Circuits and Systems (ISCAS), vol. 3, pp. 2425–2427, 1990.

[10] J. E. Varrientos, E. Sanchez-Sinencio and J. Ramirez- Angulo, ”A current-mode cellular neural network implemen- tation,”IEEE Trans. Circuits and Systems II, vol. 40, no. 3, pp. 147–155, 1993.

[11] G. C. Cardarilli, R. Lojacono, M. Salerno and F. Sargeni,

”VLSI implementation of a Cellular Neural Network with programmable control operator,”Proc. Midwest Symp. Cir- cuits and Systems (MWSCAS), vol. 2, pp. 1089–1092, 1993.

[12] T. Roska and L. O. Chua, ”Cellular neural networks with nonlinear and delay-type template elements,” Proc. Int.

Workshop on Cellular Neural Networks and Their Appli- cations (CCNA), pp. 12–25, 1990.

[13] T. Yang, L. B. Yang, C. W. Wu and L. O. Chua, ”Fuzzy cellular neural networks: theory,”Proc. Int. Workshop on Cellular Neural Networks and Their Applications (CCNA), pp. 181–186, 1996.

[14] W. Porod, C. S. Lent, G. T´oth, H. Luo, A. Csurgay, Y.- F. Huang and R.-W. Liu, ”Quantum-dot cellular nonlinear networks: computing with locally-connected quantum dot arrays,”Proc. Int. Symp. Circuits and Systems (ISCAS), vol. 1, pp. 745–748, 1997.

[15] K. Tsuruta, Z. Yang, Y. Nishio, A. Ushida, ”Small-world cellular neural networks for image processing applications,”

Proc. European Conf. on Circuit Theory and Design (EC- CTD), vol. 1, pp. 225–228, 2003.

[16] A. Bouzerdoum and R. B. Pinter, ”Shunting inhibitory cel- lular neural networks: derivation and stability analysis,”

IEEE Trans. Circuits and Systems I, vol. 40, no. 3, pp. 215- 221, 1993.

[17] P. Arena, S. Baglio, L. Fortuna and G. Manganaro, ”Com- plexity in a two-layer CNN,”Proc. Int. Workshop Cellular Neural Networks and their Applications (CCNA),pp. 127–

132, 1996.

[18] Zonghuang Yang, Y. Nishio and A. Ushida, ”Templates and algorithms for two-layer cellular neural networks,” Proc.

Int. Joint Conf. Neural Networks (IJCNN)vol. 2, pp. 1946–

1951, 2002.