ニューラルネットの特性関数とその近似関数

全文

(1)情報処理学会第67回全国大会. ニューラルネットの特性関数とその近似関数. 4F-7. 角田和彦日本大学生産工学部数理情報工学科. １．緒言. また、シグモイド関数にネットワーク温度と呼. 神経回路網のニューロンをモデル化しているニューラルネットは、現在、理工学の種々の分野に適. ばれるパラメータを導入し、熱力学的な立場から論じられるボルツマン・マシンも提案されている。. 用されている [1],[2] 。ニューロンのモデル化の際、入出力関係の特性関数として、ステップ関数やＳ字型のシグモイド関数が多用されている。また、流れ現象の解析において、移流拡散系の方程式を解く際、移流が卓越する場合に上流化などの工夫を施す必要がある [3],[4] 。その際に、coth 関数などが導出される。その上流化に際して導出された関数をニューロンの入出力関数として用い、図 1: ニューロンモデル. その特性関数の性質が示された [5] 。本研究では、導出された関数の近似関数及び微分量を検討し、そ. ３．流体力学的立場の特性関数及びその近似関数. の特性を明らかにすることを目的としている。. 文献 [5] において、その入出力関係の特性関数と. ２．ニューロンの特性関数ニューラルネットワークのモデル化として、一般に神経回路網の素子が用いられ (F ig.1)、その素. して、移流拡散系の特徴を有する次のような関数を提示してきた。. 1 (1 + g(v)) 2 1 g(v) = coth(γ) − γ. 子の入出力関係は特性関数 h によって次式で与え. h(v) =. られる。. Uj =. n . Vj = h(Uj ). (1). Sij wij + Ij − Tj. (2). i=1. ただし、Vj は j 番目の素子からの出力値、Sij は. j 番目の素子への n 個の入力値、wij はそれぞれの入力に関する重み、Ij はバイアス値、Tj は閾値を表す。ここで、特性関数 h としては次のようなものが. 異性を有するが、ロピタルの定理により g(0) = 0 となる。また、k → 0 の極限ではステップ関数に収束する。その特性関数 (5) の関数分布をシグモイド関数とともに F ig.2 に示す。式 (6) は移流拡散系の最適な関数であるが、その近似関数は次式で与えられる [4] 。. gˆ(v) = 1 −. (3). (7). その特異性を除去した関数として次式が提案されている [6] 。. g˜(v) = 1 −. (4). 1 γ+1. (8). 式 (8) を式 (5) に代入し、v の正負を考慮すること. I/O Characteristic function and its approximation for neural network Kazuhiko Kakuda, Nihon University. 1 γ. 上式 (7) は v = 0 で特異性を有する関数であるが、. シグモイド関数 (連続値モデル）. v 1 h(v) = (1 + tanh( )) 2 2. (6). ただし、γ = v/2k 、k > 0。この関数は v = 0 で特. 用いられている。ステップ関数 (離散値モデル） 1 v>0 h(v) = 0 v<0. (5). により次の特性関数を得る。 1 1 2 (2 − 1+|γ| ) γ ≥ 0 h(v) = 1 1 γ<0 2 ( 1+|γ| ). 1−239. (9).

(2) F ig.3 には式 (9) の関数分布をシグモイド関数とともに示す。この関数も k → 0 の極限ではステップ関数に収束する。また、式 (9) の微分量は次式で与えられ、その関数分布は F ig.4 に示される。. h (v) =. 1 1 4k (1 + |γ|)2. (10). 図 4: 式 (9) の微分量 (10). (1) 最適な関数は特異性を有するが、その近似関数には特異性が除去されている。. (2) 特性関数の引数はペクレ数 (あるいは、レイノルズ数) を表す。. (3) 拡散 (あるいは、粘性) パラメータ k → 0 の極限ではステップ関数に収束する。. 図 2: 入出力関係の特性関数 (式 (5)). 参考文献. [1] M.A. アービブ, 訳：金子隆芳, ニューラルネットと脳理論, サイエンス社, 1994.. [2] 伊庭斉志, 探索のアルゴリズムと技法, サイエンス社, 2002.. [3] Brooks, A. and Hughes, T.J.R., Streamline Upwind / Petrov-Galerkin Formulations for Convection Dominated Flow with Particular Emphasis on the Incompressible NavierStokes Equations, Comp. Meths. Mech. Engng., 32 (1982), 199-259.. Appl.. [4] Zienkiewicz, O.C. and Taylor, R.L., The Finite Element Method, Vol.3, BH, 2000. [5] 角田和彦, 流体力学的アプローチのニューラルネットワークへの応用, 日本機械学会第 15 回. 図 3: 式 (9) の特性関数. 計算力学講演論文集, (2002), 529-530.. [6] Mizukami, ４．結言ニューラルネットワークの入出力関係のモデル化に対し、その特性関数を流体力学的立場から構成し、さらに、その近似関数についての幾つかの性質が得られた。. 1−240. A.,. An. Implementation. of. the Streamline-Upwind/Petrov-Galerkin Method for Linear Triangular Elements, Comp. Meths. Appl. Mech. Engng., 49 (1985), 357-364..

(3)