むすび

第 5 章 結論

 本論文では、従来の積分器型ニューロン素子に比べより生体の神経細胞に近いモデ ルであるパルスニューロン素子の時系列情報処理能力に着目し、工学的な利用を前提 とした三種類の新しい階層型ネットワークモデルを提案した。

強化学習に基づく学習アルゴリズムをパルスニューラルネットワークに導入するこ とで広範な応用範囲を持つシステムを構築するというアプローチと、新しい生理学的 知見をパルスニューロン素子に導入してその工学的な利用価値を模索するというアプ ローチという、二つの側面から研究を行った。

前者のアプローチに基づいて考案した二つのネットワークモデルでは、パルスニュー ラルネットワークへの強化学習アルゴリズムの導入と、ネットワークの動的な拡張に よる学習処理を達成した。

第一のネットワークは、摂動的なパルスを各ニューロンに加えることで、偶発性を 利用して時系列的な入出力空間の探索を行うモデルであり、入力層、隠れ層、出力層 の三層からなる。学習としては、外部から与えられる強化信号に基づいて行われる結 合荷重の修正に加え、入出力関係に対応した隠れ層ニューロンを動的に追加し、ネッ トワークの拡張を行いながら望ましい出力を学習していく。計算機実験により、時系 列的な入力を処理して適切な出力を学習することができるということが確認された。

第二のネットワークは四層構造の階層型ネットワークであり、二層の隠れ層をそれ ぞれ減衰率の異なるパルスニューロン素子で構成することを特徴とする。一番目の隠 れ層が同時に入力される情報を処理し、二番目の隠れ層が連続的に入力される情報を 処理することで、部分観測マルコフ決定過程における曖昧な状態の識別を行う。この モデルでは、摂動を用いる代わりに出力層への結合で確率的な処理を行う。また、各 ニューロンが二次的な強化信号を発生することにより、従来の強化学習における価値 関数の時間的な伝搬と類似した学習が可能となっている。計算機実験により、完全観 測マルコフ決定過程および部分観測マルコフ決定過程の両方において、このモデルが 有効に働くことが確認された。

後者のアプローチに基づいて考案した第三のネットワークは、生体のシナプスにお ける短期抑圧現象を導入した階層型ニューラルネットワークであり、短期抑圧現象の

特徴を利用することで並列処理を前提とした注視制御を行うものである。このモデル では学習は行わず、設定されたパラメータに応じて結合荷重が予め固定される。入力 としては実時間に更新される低解像度・多階調の白黒画像を受け取り、画像中の注視 するべき領域を、簡易ながら高速に選定し出力する。この動作は、パルスニューロン 素子におけるSTSD現象の特徴と、ネットワーク構造の組み合わせとによって実現さ れている。計算機実験により、短期抑圧現象の導入によって注視領域の選定が適切に 行われているということが確認された。

パルスニューラルネットワークは、従来型のニューラルネットワークでは扱えなかっ たような高度な知的情報処理を実現できるのではないかと期待されている。しかし、

その挙動にはまだ未解明の要素が多く残されており、工学的な利用は殆んど行われて いないのが現状である。このような現状に対し、本論文では、工学的な利用を目的と した三種類の異なるパルスニューラルネットワークモデルを提案し、それぞれ良好な 情報処理能力を確認した。

謝辞

 萩原将文先生に。本研究を進めるにあたり常に適切なアドバイスを下さっただけで なく、大学生活全般について親身になって相談に乗って下さったことに心から感謝致 します。先生の今後ますますのご活躍を祈願致します。

査読をして頂いた先生方、小沢慎治先生、櫻井彰人先生、岡浩太郎先生に。論文を 完成させるにあたり、先生方には様々な角度からの多数の貴重な御指摘を頂きました。

心より御礼申し上げます。

萩原研究室の皆様に。特に、長名優子先生には多くのご助言を頂きました。皆様に ディスカッション・発表練習・論文添削といったことで助けて頂いただけでなく、家 族のような暖かい雰囲気の中で研究をさせて頂いたことがこの成果につながりました。

どうもありがとうございました。

父と母に。今の私があるのも二人のお蔭です。私を生み育ててくれたことに尽きぬ 感謝を捧げます。

参考文献

[1] W.S.McCulloch and W.H.Pitts, “A logical calculus of the ideas immanent in ner-vous activity,” Bulletin of Mathematical Biophysics, vol.5, pp.115-133, 1943.

[2] E.D.Adrian, “The impulses produced by sensory nerve endings,” Journal of Phys-iology, vol.61, pp.49-72, 1926.

[3] E.D.Adrian, “The Basis of Sensation,” W.W.Norton, New York, 1928.

[4] V.B.Mountcastle, “Modality and topographic properties of single neurons of cat’s somatosensory cortex,” Journal of Neurophysiology, vol.20, pp.408-434, 1957.

[5] D.H.Hubel and T.N.Wiesel, “Receptive fields of single neurons in the cat’s striate cortex,” Journal of Physiology, vol.148, pp.574-591, 1959.

[6] D.O.Hebb, “The Organization of Behavior,” New York: John Wiley, 1949.

[7] F.Rosenblatt, “The perceptron: A probablistic model for information storage and organization in the brain”, Psychological Review, vol.65, no.6, pp.386-408, 1958.

[8] F.Rosenblatt, “Principles of Neurodynamics,” Spartan Books, 1962.

[9] M.Minsky and S.Papert, “Perceptrons”, MIT PRess, Cambridge, 1969.

[10] A.M.Turing, “Computing machinery and intelligence,” Mind, 59, no.236, pp.433-460, 1950.

[11] A.Newell, J.C.Shaw and H.A.Simon, “Chess-playing programs, and the problem of complexity”, IBM Journal of Research and Development, vol.2, no.4, pp.320-335, 1958.

[12] J.J.Hopfield, “Neural networks and physical systems with emergent collective computational abilities”, Proceedings of National Academic Science, USA, vol.79, no.8, pp.2554-2558, 1982.

[13] T.Kohonen, “Self-organized formation of topologically correct feature maps,” Bi-ological Cybernetics, vol.43, no.1, pp.59-69, 1982.

[14] G.E.Hinton, T.J.Sejnowski and D.H.Ackley, “Boltzmann machines: Constraint satisfaction networks that learn,” Technical Report CMU-CS-84-119, Carnegie-Mellon University, 1984.

[15] D.H.Ackley, G.E.Hinton, T.J.Sejnowski, “A learning algorithm for Boltzmann machines,” Cognitive Science, vol.9, pp.147-169, 1985.

[16] D.Rumelhart, D.Hinton and G.Williams, “Learning internal representations by error propagation,” in D.Rumelhart and F.McClelland, eds., Parallel Distributed Processing, vol.1, MIT Press, 1986.

[17] T.J.Sejnowski, C.R.Rosenberg, “NETtalk: A parallel network that learns to pro-nounce English text”, Complex Systems, 1, pp.145-168, 1987.

[18] S.Amari, “Theory of adaptive pattern classifiers,” IEEE Transactions on Elec-tronic Computers, EC-16, no.3, pp.299-307,1967.

[19] G.Carpenter and S.Grossberg, “A massively parallel architecture for a self-organizing neural pattern recognition machine,” Computer Vision, Graphics, and Image Processing, vol.37, no.1, pp.54-115, 1987.

[20] A.L.Hodgkin and A.F.Huxley, “A quantitative description of membrane current and its application to conduction and excitation in nerve,” Journal of Physiology, vol.117, pp.500-544, 1952.

[21] W.Maass, “Networks of spiking neurons: the third generation of neural network models,” Neural Networks, vol.10, no.9, pp.1659-1671, 1997

[22] W.Maass and C.M.Bishop, “Pulsed Neural Networks,” Cambridge, MA: M.I.T.

Press, 1999.

[23] R.Eckhorn, R.Bauer, W.Jordan, M.Brosch, W.Kruse, M.Munk and H.J.Reitboeck, “Coherent oscillations: A mechanism of feature linking in the visual cortex?” Biological Cybernetics, vol.60, no.2, pp.121-130, 1988.

[24] W.Bialek, F.Rieke, R.R. de Ruyter van Stevenick and D.Warland, “Reading a neural code,” Science, vol.252, pp.1854-1857, 1991.

[25] M.Abeles, “Firing rates and well-timed events,” in E.Domany, K.Schulten and J.L.van Hemmen, eds., Models of Neural Networks 2, Springer, New York, pp.121-140, 1994.

[26] R.Lestienne, “Determination of the precision of spike timing in the visual cortex of anaesthetised cats,” Biological Cybernetics, vol.74, no.1, pp.55-61, 1996.

[27] S.Thorpe, D.Fize and C.Marlot, “Speed of processing in the human visual sys-tem,” Nature, vol.381, pp.520-522, 1996.

[28] 黒柳奨, 岩田彰, “音源方向定位聴覚神経系モデルによるITD,ILDの脳内マッピン グの実現,” 電子情報通信学会論文誌 DII, vol.J79-DII, no.2, pp.267-276, 1996.

[29] 塚田稔, “海馬記憶神経回路と学習則,” 日本神経回路学会誌, Vol.4, No.3, pp.126-135, 1997.

[30] 関根好文, 山崎昭広,黒澤開輝,佐藤典子, “Λ形トランジスタを用いた汎用形ハー ドウェアニューロンモデル,”電子情報通信学会論文誌, J78-DII, no.1, pp.131-139, 1995.

[31] M.Hanagata, Y.Horio and K.Aihara, “Asynchronous pulse neural network model for VLSI implementation,” IEICE Transactions on Fundamentals, E81-A, no.9, pp.1853-1859, 1998.

[32] H.Hikawa, “A digital hardware pulse-mode neuron with piecewise linear activation function,” IEEE Transactions on Neural Networks, vol.14, no.5, pp.1028-1037, 2003.

[33] K.Aihara, T.Takabe and M.Toyoda, “Chaotic neural networks,” Physics Letters A, vol.144, no.6/7, pp.333-340, 1990.

[34] N.Ichinose and K.Aihara, “Asynchronous Chaotic Neural Netoworks”, ‘Towards the Harnessing of Chaos’ editted by M. Yamaguchi, Elsevier, pp.353-355, 1994 [35] 市瀬夏洋, 合原一幸, “非同期カオスニューラルネットワークにおけるパルス伝搬

ダイナミックスの解析,” 電子情報通信学会誌A, J78-A, no.3, pp.373-380, 1995.

[36] H.Kitajima, T.Yoshinaga, K.Aihara, H.Kawakami, “Chaotic bursts and bifurca-tion in chaotic neural networks with ring structure,” Internabifurca-tional Journal of Bifurcation and Chaos, vol.11, no.6, pp.1631-1643, 2001.

[37] 元木誠, 濱上知樹, 小圷成一, 平田廣則, “パルスニューラルネットワークにおける 破局的な忘却の抑制を考慮したヘブ型学習則,”電気学会論文誌C, vol.123-C, no.6, pp.1124-1133, 2003.

[38] B.Ruf and M.Schmitt, “Self-organization of spiking neurons using action potential timing”, IEEE Transactions on Neural Networks, vol.9, no.3, pp.575-578, 1998.

[39] 雨森 賢一, 石井 信, “精緻な時空間スパイク列の自己組織化学習と想起,” システ ム制御情報学会論文誌, vol.13, no.7, pp.308-317, 2000.

[40] C.Panchev and S.Wermter, “Sequential processing in neuroscience inspired mod-els,” Proceedings of Third International Workshop on Current Computational Architectures Integrating Neural Networks and Neuroscience, pp.84-88, 2000.

[41] R.C.O’Reilly, “Biologically plausible error-driven learning using local activation differences: the generalized recirculation algorithm,” Neural Computation, vol.8, no.5, pp.895-938, 1996.

[42] B.Ruf and M.Schmitt, “Learning temporally encoded patterns in networks of spiking neurons,” Neural Processing Letters, vol.5, no.1, pp.9-18, 1997.

[43] R.S.Sutton and A.G.Barto, “Reinforcement Learning: An Introduction,” MIT Press, 1998.

[44] R.S.Sutton, “Learning to predict by the methods of temporal differences,” Ma-chine Learning, vol.3, no.1, pp.9-44, 1988.

[45] C.J.Watkins and P.Dayan, “Technical Note: Q-Learning,” Machine Learning, vol.8, no.3/4, pp.279-292, 1992.

[46] R.J.Williams, “Simple statistical gradient following algorithms for connectionist reinforcement learning,” Machine Learning, vol.8, no.3, pp.229-256, 1992.

[47] A.G.Barto, R.S.Sutton and P.S.Brouwer, “Associative search network: a rein-forcement learning associative memory,” Biological Cybernetics, vol.40, no.3, pp.201-211, 1981.

[48] A.G.Barto, R.S.Sutton and C.W.Anderson, “Neuronlike adaptive elements that can solve difficult learning control problems,” IEEE Transactions on Systems, Man, and Cybernetics, Vol.13, No.5, pp.834-846, 1983.

[49] W.Schultz, P.Dayan and P.R.Montague, “A neural substrate of prediction and reward,” Science, vol.275, pp.1593-1599, 1997.

[50] K.Doya, “Metalearning and neuromodulation,” Neural Networks, vol.15, no.4-6, pp.495-506, 2002.

[51] D.Gorse, D.A.Romano-Critchley and J.G.Taylor, “A pulse-based reinforcement algorithm for learning continuous functions,” Neurocomputing, vol.14, no.4, pp.319-344, 1997.

[52] H.B.Barlow, “Single units and sensatioperceptual psychology?,” Perception, Vol.1, pp.371-394, 1972.

[53] A.K.Engel, P.Konig, A.K.Kreiter, T.B.Schillen and W.Singer, “Temporal coding in the visual cortex: new vistas on integration in the nervous system,” Trends In Neuroscience, Vol.15, No.6, pp.218-226, 1992.

[54] W.Singer, C.Gray, A.Engel, P.Konig, A.Artola and S.Brocher, “Formation of cor-tical cell assemblies,” Cold Spring Harbor Symposium on Quantitative Biology, Vol. LV., Cold Springer Harbor Laboratory Press, pp.939-952, 1990

[55] H.Fujii, H.Ito, K.Aihara, N.Ichinose and M.Tsukada, “Dynamical Cell Assembly Hypothesis-Theoretical Possibility of Spatio-temporal Codeing in the Cortex,”

Neural Networks, Vol.9, No.8, pp.1303-1350, 1996.

[56] 櫻井芳雄, “ニューロン集団の相関活動をみる,” 科学, Vol.66, no.11, pp.784-792, 1996.

[57] A.Waibel, “Modular construction of time delay neural networks for speech recog-nition,” Neural Computation, Vol.1, no.1, pp.39-46, 1989.

[58] A.Cleeremans, D.Servan-Schreiber and J.McClelland, “Finite state automata and simple recurrent networks,” Neural Computation, Vol.1, no.3, pp.372-381, 1989.

[59] 重松征史,松本元, “時系列連想記憶の自己組織化 -時系列学習の生理学的な可能性 について-,” 信学技報, NC94-131, pp.131-138, 1995.

[60] 武田治,黒柳奨, 岩田彰, “階層構造を持つパルス駆動型ニューロンモデルを用いた 時系列符号化,” 信学技報, NC97-117, pp.125-132, 1998.

[61] A.G.Barto and P.Anandan, “Pattern recognizing stochastic learning automata,”

IEEE Transactions on Systems, Man, and Cybernetics, Vol.15, No.3, pp.360-375, 1985.

[62] A.G.Barto, R.S.Sutton and C.W.Anderson, “Neuronlike adaptive elements that can solve difficult learning control problems,” IEEE Transactions on Systems, Man, and Cybernetics, Vol.13, No.5, pp.834-846, 1983.

[63] P.J.Werbos, “Backpropagation through time: what it does and how to do it,”

Proceedings of the IEEE, vol.78, no.10, pp.1550-1560, 1990.

[64] M.Abeles, “Role of the cortical neuron: integrator or coincidence detector?,” Israel Journal of Medical Sciences, vol.18, no.1, pp.83-92, 1982.

[65] F.C.Hoppensteadt and E.M.Izhikevich, “Thalamo-cortical interactions modeled by weakly connected oscillators: could the brain use FM radio principles?,”

BioSystems, vol.48, no.1-3, pp.85-94, 1998.

[66] M.Schmitt, “On the implications of delay adaptability for learning in pulsed neural networks,” NeuroCOLT Technical Report, NC-TR-00-069, 2000.

[67] M.Samuelides, S.Thorpe and E.Veneau, “Implementing hebbian learning in a rank-based neural network,” Proceedings of 7th International Conference on Ar-tificial Neural Networks, pp.145-150, 1997.

[68] T.W.Berger, M.Baudry, R.D.Brinton, J-S.Liaw, V.Z.Marmarelis, Y.Park, B.J.Sheu and A.R.Tanguay Jr., “Brain-implantable biomimetic electoronics as the next era in neural prosthetics,” Proceedings of the IEEE, vol.89, no.7, pp.993-1012, 2001.

[69] A.Ueno, K.Hori and S.Nakasuka, “Simultaneous learning of situation classification based on rewards and behavior selection based on the situation,” Proceedings of the 1996 IEEE/RSJ International Conference on Intelligent Robots and Systems, vol.3, pp.1510-1517, 1996.

[70] C.Gaskett, D.Wettergreen and A.Zelinsky, “Q-Learning in continuous state and action spaces,” Proceedings of the 12th Australian Joint Conference on Artificial Intelligence, pp.417-428, 1999.