The Number of Equilibrium Points and TheirBasins of Attraction of Neural Networks with aKind of Cyclic Connection Matrix
5
0
0
全文
(2) 九州 大 学 大学 院 シス テム情 報 科学 研 究科 報 告 第1巻. 第1号. Research. Reports. Electrical. on. Information. Engineering. 平成8年9月. of. Vol.1,. Science. Kyushu. No.1,. and. University. September. 1996. あ る種 の 巡 回 形 結 合 行 列 を もつ ニ ュ ー ラル ネ ッ トワ ー ク の 平 衡 点 の 個 数 と引 き込 み 領 域 に つ い て 高橋規一・*・西 The. Number. of Equilibrium. Neural. Networks. Points. with. a Kind. Norikazu TAKAHASHI. 哲生*. and. Their. of Cyclic. Basins. of Attraction. Connection. of. Matrix. and Tetsuo NISHI. (Received June 24, 1996) Abstract:A method of synthesis of mutually coupled neural networks possessing many equilibrium points whose basins of the attraction are of almost the same size is given. The connection matrix of the network is a cyclic matrix with all diagonal elements vanishing. Keywords:. Hopfield neural networks, Basin of attraction, Memory capacity, Cyclic matrix. る.本 1.は. じ. め. に. 相 互 結 合 型 ニ ュ ー ラ ル ネ ッ トワ ー ク(以 ク と略 す)に. お い て,平. 稿 で は,文. 下 ネ ッ トワ ー. 衡 点 の 個 数 や 引 き込 み 領 域 の 広. さ お よ び 両 者 の 関 係 は,連. 結 果 を拡 張 す る こ と に よ り,引. 想記 憶 等 の 種 々 の応 用 にお い. 衡 点 が 多数. 存 在 す る ネ ッ トワ ー ク の 具 体 的 構 成 法 を 与 え る.さ. ら に,. 平 衡 点 の 個 数 と引 き 込 み 領 域 の 広 さ の 関 係 式 を 決 定 論 的 に 与 え,Hebb則. に も興 味 あ る 問 題 で あ る.. と比 較 す る.. に対 して 確 率 論 的 立 場 か ら得 られ た 結 果. の 問 題 は ネ ッ トワ ー ク の 応 用 の 一 つ で あ る連. 想 記 憶 回路 構 成 に 関 連 し て盛 ん に 研 究 さ れ て お り,Hebb. 2.諸. 則1),射. ニ ュ ー ロ ン の 個 数 を π と し,第. 影 学 習 則2),固. 成 法 に 対 し て,多 か しな が ら,非. 有 構 造 法6)等. の連 想記 憶 回路構. くの 結 果 が 報 告 さ れ て い る3)・4)・5).し. 線 形 回 路 理 論 的 立 場 か ら 言 え ば,こ. れ ら. 定. に お け る 状 態 を ω、(t)∈{1,‑1},第. 値 は す べ て0と. あ り,一 般 論 と し て の 結 果 で は な い.ま. と す れ ば,ネ. 構 成 法 で あ るHebb則. に つ い て は,統. た,最. も簡 単 な. 義. す る.各. 固 有 構 造 法 に つ い て は,理. ら に,射. た,し. きい. ニ ュ ー ロ ンが 同 期 し て 動 作 す る. れ. ず れ も確 率 的. x・(t+1)一. ・g・(Σw・j・. な も の で あ り,具 体 的 な ネ ッ トワ ー ク に 対 して ど の 程 度 適 用 で き る か が 問 題 で あ る.さ. 」 ニ ュ ー ロ ン か ら第. ッ トワ ー クの 動 作 は 次 式 に よ っ て 表 さ れ る.. 計 力学 や 符 号 理 論. を 用 い た 理 論 的 結 果 が 得 ら れ て い る が,い. 乞ニ ュ ー ロ ン の 時 刻 孟. 乞ニ ュ ー ロ ンへ の 結 合 の 係 数 をωη と す る.ま. の 結 果 は い ず れ も特 殊 な 構 成 法 に 対 して 得 られ た もの で. 。(t))(i‑1,…,n)(1). 」=1. 影 学 習 則 お よび. 論 的 考 察 が 難 し く,現 在 の と. 但. し,sgn(0)は. こ ろ 計 算 機 シ ミ ュ レ ー シ ョ ン に 頼 ら ざ る を 得 な い状 況 で. Xn(t)]T∈{1,‑1}nを. あ る.. 態 と し,n×n行. 一方. で定 義 す る直. 接 引 き 込 み 半 径 に 関 して は 完 全 に 等 し い)平. て 基 本 的 か つ 重 要 な 問 題 で あ り,ま た 非 線 形 回 路 理 論 的. 従 来,こ. 献9)の. き 込 み 領 域 の 広 さ が 一互 い に ほ ぼ 等 し い(後. ,非 線 形 回 路 理 論 の 分 野 に お い て は,回. 路が一意. 定 義 し な い.ま. た,x(t)=[Xl(t),…,. ネ ッ ト ワ ー ク の 時 刻tに 列W=[ωio']を. 列 と す る と,(1)式. お け る状. ネ ッ トワー クの 結 合 行. は 次 の よ う に 書 き 換 え ら れ る.. 解 を もつ た め め 条 件 に つ い て は か な り優 れ た 結 果 が 得 ら れ て い るが,解. の 個 数 に 関 す る 研 究 は 少 な い.. 著 者 ら は 以 前,非. x(t十1);sgn(Wx(t))(2). 線 形 回 路 理 論 的 立 場 か ら,結. 合 行列. だ し対 角 項 は す べ て 零)で. あ る相. が 特 殊 な 巡 回 行 列(た. し た が っ て,ネ. ッ ト ワ ー ク の 平 衡 点 は,方. 程 式:. 互 結 合 型 ニ ュ ー ラル ネ ッ トワ ー ク の 平 衡 点 の 個 数 に つ い て 考 察 し,ニ. ュー ロ ン数 と と もに指 数 関 数 的 に増 加 す る. こ と を示 した9).こ. の こ と は,文. 献3)の. x;sgn(Wx)(3). 結 果 と も合 致 す の 解 で あ り,平. 平成8年6月24日 *情 報 工 学専 攻. 受付. 衡 点 集 合 は ネ ッ トワ ー ク の 動 作 が 同 期 式. で あ る か 非 同 期 式 か に 関 わ ら ず,Wか. ら一 意 的 に 決 定 さ.
(3) れ る. 以 下 に,本. 稿 で 用 い る 定 義 を 示 す.. 定 義12つ. の2値. [xl,…,コ. ベ ク ト ルx=[Xl,…,Xn]Tと. ゴ=. (証 明)は. じめ に,D(x,x*)≦kを. トルxに. 対 し てsgn(Wx)=ゴ. が 成 立 す る こ と を 示 す.. 今,D(*x)x)=1(≦k)と. す る.xとx*に. 要 素 の 個 数 がZで. σ初 丁 の 間 の 距 離D(x,xt)を. 満 足 す る あ ら ゆ るベ ク. あ る こ と,お. お いて異 な る. よ び1ω 州=1(i≠. の. よ り, れ. D(x,め. 一1Σ1銑. 嘱l. れ. i=1. れ. Σ ω茜. れ. 一21≦ Σ. ω・j・ 」≦ Σ. 軌 ・・;+21. ゴ=1ゴ=1ゴ=1. と す る. 定 義2ネ. ッ ト ワ ー ク(1)の. (i),(ii)を 径10)と. 各平 衡点. ゴ. 満 足 す る 整 数r(≧o)をx*の い い,R(*)で. に対 して 以 下 の. が 成 立 し,さ. ら に(4)よ. り. れ. 直 接 引 き込 み 半. 表 す. (2k+・)媛. (i)D(x",x)≦rで. 一2」 ≦ Σ. あ る す べ て のxがsgn(W『x)=x*. ω・」X」 ≦(2k+・)婦+2Z(6). ゴ=1. を 満 足 す る. (ii)D(x*,x);r+1で x*を. あ るxの. を 得 る.も. な か に,sgn(Wx)=. し 婿=1な. ら ば,(6)の. 左 側 の 不 等 式 よ り,. 満 足 し な い も の が 存 在 す る. れ. 定 義3結. 合 行 列W=[ω. 司. が Σ. ω ・,xゴ ≧(2k+1)‑21‑2(k‑1)+・. ≧ ・. ゴ=1. 1w・ 」1‑{1:窮. が 成 立 す る の で,sgn(Σ 媒=‑1の. を 満 足 す る と き,Wは に 零 対 角2値 零 対 角2値. 零 対 角2値. 行 列Wが. 行 列 で あ る と い う.特. 巡 回 行 列 で あ る と き,Wは. 巡回. る 平 衡 点 の 引 き 込 み 領 域 と は,十. 分 時 間が 経. て ば そ の 平 衡 点 に 収 束 す る よ う な 初 期 状 態 の 集 合 を い う. しか し,本 稿 で は 簡 単 の た め,専. ら定 義2の. ∬」)=1と. な る.. 場 合 も 上 と 同 様 な 議 論 で,sgn(Σ. 賜)=‑1と. な る.し. ㌍1ωij. た が っ て,D(x*,x)=Z(≦k)を. 満. 足 す る ω に 対 し て 次 式 が 成 立 す る.. 行 列 で あ る と い う.. 本 来,あ. 呈̲1Wiゴ. れ ・g・(Σ. ω ・,・ ・、)一. 媒(i‑1,…,n). フ=1. 直 接 引 き込. み 半径 を 用 い て 議 論 す る. 以 下 で は,Wが. 零 対 角2値. 述 べ た よ う に,本. 行 列 の 場 合 を 扱 う.前 節 で. 稿 の 目 的 は あ る種 の ネ ッ ト ワ ー ク の 存. 次 にD(x*,x)=k+1で sgn(Wx)=ゴ. そ の た め に は,Σ;=1ω13吻. 仮 定1ニ. 示 せ ば 十 分 で あ る.(4)の. ュ ー ロ ン数nは. 必 ず 奇 数 に な る.よ. 偶 数 で あ る.. 偶 数 で あ る と き,Σ っ て,(1)に. 尖. 中 に. を満 足 し な い も の が 存 在 す る こ と を 示 す.. 在 を示 す こ とで あ る か ら,簡 単 の た め 次 を 仮 定 す る.. ニ ュ ー ロ ン数nが. あ る ベ ク ト ルxの. ≠ 婿 を 満 足 す るxの. 存在 を. 第1式:. 、ω乞 凸(t)は. お い てsgn(0)が. 定義 さ. ωllxl十. ω12x峯 十 … 一 ←ω1nX夷=(2k→‑1)x;. れ て い な く と も以 降 の 議 論 で は 問 題 は な い. に お い て,左 3.主. 結. は じめ に,次 補 題1ネ. 果. の 値 を と る.右. の 補 題 を 与 え る.. ッ トワ ー ク(1)の. 辺 の 第1項. 平 衡 点x*が. 一(2k+1)の. の(n‑1)項. 符 号 で あ り,修 Wx*=(2k十1)x*(0≦k)(4). を満 足 す る な らば,. い え る.い. 一k‑1)項. の う ち,傷+k)項 が 爵. の と き,. た は 辺 の 第2 が 婿. と同. と異 符 号 で あ る こ と が. 嘱 一{叢 ∵ 訟1. R(x*)=k(5) が 成 り立 つ.. れ ら の こ と か ら,左. ま,一 般 性 を 失 う こ と な く,. と仮 定 す る.こ. た は 一1. 辺 は 酋 の 値 に 依 っ て2k+1ま. 値 を と る .こ. 項 か ら 第n項. 以 外 は そ れ ぞ れ1ま.
(4) で 与 え られ るベ ク トルxは 満 足 す る.ま. 明 ら か にD(x*,x)=k+1を. た,. フ. が 成 り立 つ か ら,xはsgn(Wx)=ガ. を満 足 し な い.ロ. ー 般 的 に は ,平 衡 点 が(4)を る が,補. 題1は. 満 足 す る こ とは まれ で あ. 本 稿 の 主 結 果 で あ る 定 理1の. 導 出 には有. 用 で あ る. 定 理1n=21mを. 満 足 す る 自 然 数Z(≧2),mが. す る と す る.あ. る1‑1次. 巡 回 零 対 角2値. 行 列Wの. の2値 第1行. 行 ベ ク トル をaと. 存在. を. 平 衡 点 の 個 数 と 直 接 引 き込 み 半 径 の 関 係 が 定 理1よ. 2t2121 ‑. 補 題2巡. 回2値. と き,(8)を 回 行 列 で あ る か ら 第1行. 全 体 が 決 ま る)な. 目 を与 え る と行列. らば,R(x*)=m‑1で. り. 結 合 行 列Wの. 第1行. を(7)で. 満 足 す る平 衡 点 の 個 数 をp(=2り. そ れ ら のp個. 与 える. とお け ば,. の 平 衡 点 の 直 接 引 き 込 み 半径 は,. あ る平 衡 点 が. 21個 存 在 す る. (証 明)Wの. 接 引 き込 み 半 径 と'F衡 点 間 の 距 離. た だ ち に 次 の よ う に 得 られ る.. 0,a,1,一a,1,a,1,一a,…,1,a,1,一a(7) で 与 え る(巡. Fig.1直. お き,. 21竜P‑・(÷1)(・. 第1行. を(7)で. ・). 与 え る と き,Wと で あ る.口. x=[β,β,…,β]T(8). 参 考 の た め,平. (β は 任 意 のZ次2値. 行 ベ ク トル). 衡 点 の 個 数 と直 接 引 き 込 み 領 域 に 関 し. て 確 率 論 的 立 場 か ら得 ら れ た結 果 の 一 つ を 次 に 示 す.. で 表 さ れ る 即 の 積 を 計 算 す る と,. 定 理25)1,‑1が Hebb則. 等 確 率 で 現 れ るp個. の ベ ク トル か ら. に よ っ て ネ ッ トワ ー ク を構 成 す る と き,pが. Wx=(2m‑1)x={2(m‑1)十1}x(9) P〈(1‑2p)2n(0≦p<1/241 09。n)(・ と な る.2(m‑1)+1≧1で. あ る か ら,(8)の. るxは. 平 衡 点 で あ る.(8)の. 形 のxは. る.ま. た(9)お. り,そ れ ぞ れ の 平 衡 点 の 直 接. よ び 補 題1よ. 引 き込 み 半 径 はm‑1で 定 理1のWに. 全 部 で2t個. 存在 す. あ る.□. を満 足 す る な らば,p個 か ら の 距 離 がpπ. 以 内 に あ るす べ て の 状 態 が 一 度 の 更 新. の 周 り に は,D(x*,x)=2mで. あ る よ うな平. 存 在 す る.(す べ て の β*に お い て,あ. る決. の 特 徴 的 な 例 を 用 い て 補 題2と. 比 較 して み る.い. ま,n=2000,Z=8と. 角2値. 第1行. 行 列Wの. き,(8)の. を(7)で. 存 在 し,そ. あ る.一. 方,定. 理2に. す べ て の 平 衡 点 の 直 接 引 き 込 み 半 径 を124に. り,β*が2m個. す る と,(11)式. あ る こ と か ら,D@*,x)=2mと 次 数 が εで あ る の で,そ. 個 存 在 す る.)定 はm‑1で. 理1よ. な る.. の よ う な 平 衡 点 はZ. り,各 平 衡 点 の 直 接 引 き込 み 半 径. あ り,隣 接 す る 平 衡 点 との 距 離 の ほ ぼ 半 分 で. あ る こ と が わ か る(図1参. 照).上. の意 味 で 各 引 き込 み. 領 域 は ほ ぼ 等 し い 広 さ を もつ と い え る.. p〈50.4…. にp=124/2000=0.062を. を得 る.す. な わ ち,た. しか 与 え る こ と が で き な い.こ え る こ と の で き る256個. 回零 対. 与 え る とす る.こ. 形 の 平 衡 点 は256(=28)個. 直 接 引 き込 み 半 径 は124で. 定 理2を. して,巡. ま っ た 要 素 を 一 つ だ け 反 転 し た もの は や は り平 衡 点 で あ. ま た,β*の. れ. 1に 近 付 く.□. 対 す る平衡 点 の一 つ を. x*=[β*,…,β*]T. 衡 点xがZ個. の 平 衡 点 そ れ ぞ れ に つ い て,そ. で そ の 平 衡 点 に 収 束 す る確 率 は π が 大 き くな る に つ れ て. こ こ で,1つ. と お く.ガ. ・). 形 の あ らゆ. よれ ば, しよう と. 代 入 して. か だ か50個. れ は,我. の と. れ らの. の平 衡 点. 々の構 成 法 で 与. に 比 べ て か な り少 な い..
(5) 4.む. す. 本 稿 で は,巡. び 回 零 対 角2値. 行 列 を 用 い る こ と に よ り,. ほ ぼ 等 し い 広 さ の 直 接 引 き込 み 領 域 を もつ 平 衡 点 が 多 数 存 在 す る よ う な ネ ッ トワ ー ク の 具 体 的 構 成 法 を 与 え た. 平 衡 点 の 個 数 と 引 き 込 み 領 域 の 関 係 に 関 す る従 来 の 研 究 で は,確. 率 論 的 立 場 か ら の 考 察 が ほ と ん ど で あ り,具 体. 的 な ネ ッ トワ ー ク を与 え る もの は ほ とん ど見 当 た らな い. 結 合 行 列 の 決 め 方 の 違 い や 決 定 論 と確 率 論 と い う立 場 の 違 い が あ る た め,従 で き な い が,あ. 来 の結 果 と単純 に比較 す るこ とは. る 場 合 に は,従. 来 の構 成 法 に 比べ て か な. り優 れ た 性 質 を も つ ネ ッ ト ワ ー ク が 存 在 す る こ と を 示 した. 本 稿 の ネ ッ ト ワ ー ク の 結 合 行 列 は 非 対 称 で あ る か ら, 大 域 的 安 定 性 は 保 証 さ れ て い な い(実 の 拡 張 は 容 易 に で き る).最. 近 で は,結. 際 に は対 称 行列 へ 合 が非 対称 なネ ッ. トワ ー ク の 動 的 特 性 に 関 す る研 究 も行 な わ れ て お り7),8) ,ネ. ッ トワ ー ク が 大 域 的 に 安 定 で あ る た め の 十 分 条 件 な. ど が 得 られ て い る.非 の 解 析,特. 対 称 結 合 ネ ッ トワ ー ク の 動 的 性 質. に大 域 的 に安 定 で あ るた め の条 件 につ い て検. 討 す る こ と は 今 後 の 課 題 で あ る. 参. 考. 文. 献. 1) J.J. Hopfield : "Neural networks and physical systems with emergent collective computational abilities", Proc. Natl. Acad. Sci. USA, 79, pp.2554-2558 (Apr. 1982).. 2) L. Personnaz , I. Guyon and G. Dreyfus : "Collective computational properties of neural networks: New learning mechanisms", Phys. Rev. A, 34, pp.4217-4228 (Nov. 1986). 3) J. Bruck and V.P. Roychowdhury : "On the number of spurious memories in the Hopfield model", IEEE Trans. Information Theory, IT-36, 2, pp.393-397 (Mar. 1990). 4) Y.S. Abu-Mostafa and J.S. Jacques : "Information capacity of the Hopfield model", IEEE Trans. Information Theory, IT-31, 4, pp.461-464 (Jul. 1985). 5) R.J. McEliece , E.C. Posner , E.R. Rodemich and S.S. Venkatesh : `The capacity of the Hopfield associative memory", IEEE Trans. Information Theory, IT-33, 4, pp.461-482 (Jul. 1987). 6) J.H. Li , A.N. Michel and W. Porod : "Analysis and synthesis of a class of neural networks: Variable structure systems with infinite gain", IEEE Trans. Circuits Syst., CAS36, 5, pp.713-731 (May 1989). 7) L.O. Chua and T. Roska : "Stability of a Class of Nonreciprocal Cellular Neural Networks", IEEE Trans. Circuits Syst., CAS37, 12, pp.1520-1527 (Dec. 1990). 8) E. Kaszkurewicz and A. Bhaya : "On A Class Of Globally Stable Neural Circuits", IEEE Trans. Circuits Syst. I, CAS41, 2, pp.171-174 (Feb. 1994). 9) T. Nishi and N. Takahashi : "On the Number of Solutions of a Class of Nonlinear Equations Related to Neural Networks with Tapered Connections", IEICE Trans. Fundamentals, E78-A, 10, (Oct. 1995). 10) Y. Kamp and M. Hasler : "Recursive Neural Networks for Associative Memory", pp.6, John Wiley & Sons, 1990..
(6)
関連したドキュメント
[r]
[r]
一つの村を見て何が言えるのかという批判があることを知りながら，私はここ 25
抄 録 67 少：女にHormon剤を綴績白勺に投與せしも其 副作用を認めず。 割穣せる乳観血尿症の1例 大森周三郎
2βs ecの精度 で時間変化 の記録 に 成功 した｡ この測定 には レーザ ー光 の散乱 によるラデ ィアル ･ プロフ ィルの測定 を援用 している｡ 従来か らアル ゴン原子 ビーム法 による電子温度
第四番 第 ︼兢 ︵光○︶ 九〇
経済政策に関する一考察
