ニューラルネットワーク

Shukugawa Gakuin College

NII-Electronic Library Service

Shukugawa 　Gakuln 　College

中元 ^{：ニ ュ} ー_{ラル ネッ トワ}ー_ク

ニ ュ ー ラ ^ル ネ ッ トワ ^ー ク

中　元　信　之

1． は じめに

　21世 紀^は 『脳^の世紀』^といわ れ^{てい る}。 現在、 医学関連^はも ちろん、生 化 学、薬^{理 学}、分 子 生物学、神 経 解 剖 学、神 経 生 理 学、認 知 科 学、心 理 学、言 語 学、電 子 ・_{通 信工学}、情報 科学、

人^工知能、物理 学 な ど 多 数^の学 問 領 域 が 脳^の解 明^に、或^いは新^しい 知 見^の応 用^に関与^{し て き て}

い る。

　脳^の解^{明とい って も非}常^{に その} 範囲^は広い 。解 剖、生 体 計 測^によ る 解 析 的 な 解 明、分 子 ^レベ

ル で^の構^成 ・機 能 （情^報伝達 も当 然 含 まれる〉^の解 明、知 覚 ・_{学 習} ・_{認 知 等で の} （機 能^の一_部

で あ^る） 情 報 伝達機 構^{へ の ア} プ^ロ ー_{チ等が あ る} （甘利俊一他）。 理 工学的^な分 野で は、脳の ダ イ ナ ミッ ク^ス な状態^での計測法^の 開発^が行^われる と ともに、 脳^モデ^ル による脳^の情 報 処 理^{シ ミ}

ュ レー_シ

ョ ンが20世 紀 後 半^か ら盛^{ん に な}っ て き た。 こ の中^で、 脳^の知的機能^{をコ ン ピュ} ー_タ上

で実^{現し活 用 されて きたの が人工知}能^である。一方、脳^の情 報 処 理 機 構^か ら脳^の機 能^{の モデル} を構築^{し て} 、^{こ の モデル に}適 応^した解析手法 を考案^{し て コ ン}ピ^ュ ー_{タ上で シ ミュ レ} ー_{シ ョ ン を} 行^い実 験結果 ^と比較す^{る とい}っ た^モ デル シ ミュ レー_シ

ョ ン の手 法 が ある。^モデ^{ル シ} ミュ レー_シ

ョ ンを用^い ると、生 理 体^に対^{し て}直 接 実 施 出 来^ない 特 定 条件^{の テ ス ト}、^{た と えば}、^{あ る}神経細 胞 （^ニ ュ ー_{ロ ン）に障 害 を 持た せ た脳の機 能テス ト}等^{に よ}り新^しい 知見 を得^ることも出来^る

（SpitZer，M ．）。^{こ の}種^のアプ^ロ ー_{チ では}、脳^の実 体^に対 応 ^{し た}理 論^で な け れば^{な ら ない ので}、 脳^に関す^る生 理学的^な知見^はも^{と よ}り実験的知 見^の幅広^い理解^が重要と なる。

　^{こ こで は}、神経細^胞 （^{ニ ュ} ー_{ロ ン}）^{の シ ミュ レ}ー_シ

ョ ン モデル で あ る^{ニ ュ} ー_{ロ ネ}

ッ トワー_ク

の概 略 を解 説^し、今 日^{で はパ ソコ ン}上^で 実 現^{で き る}そ^の簡単^な例 を 1^〜2取 り^上げ^{て み る}。

2．神 経細胞 （^{ニ ュ ーロ ン}）^とそ^{の モデル}

（1 ）神 経 細 胞 〔^{ニ ュ} ー_{ロ ン}）

重 量、概 ね1400グ ラ^ム程 度^{の ヒ トの}脳^に100_{億 個}とも250億個^とも^{い わ}れ^{てい る}神経細胞 （^ニ

ュ ー_{ロ ン}）^{が集っ てい る}。図 1 （Alberts，^{et　al）に神 経 細 胞 （ニ ュ} ー_{ロ ン） を示 す}

。 ニ _ュ ー_ロ

ン は細 胞 体 （直 径、約100_μm 一_数

μm 程 度 ）^{と その突}起か ら な る。 ニ ュ ー_{ロ ン の}細胞体^{か ら}

一 43 一

N工 工一_{Eleotronlo 　Llbrary}

出 る突 起 に は枝分 れ をした樹状突起 と、太 さほ ぼ一_定で電線^の形 を示すも軸索^{がある。こ の}軸 索 と^これ を 囲 む被膜 な ど を合わせた ものを神経繊維^とい う。 神経細胞 （^ニ ュ ー_{ロ ン}）^は他^の神 経細 胞 （^ニ ュ ー_{ロ ン）か らの神 経 性 刺 激}、或^いは外 界^か らの非 神 経性刺激を感受す^{る こ と が}出 来^{る と}同時^に、自^ら他^のニ ュ ー_{ロ ンあ るいは非ニ}

ュ ー_{ロ ン に刺 激 を伝 達}す^るこ とが出来^る。

　^{神 経 細 胞 （ニ ュ ーロ ン）は アセチル コ リ ン、 ノ ル ア ドレナ リ ン、 ドーパ ミ ン、}γ 一_{ア ミノ酪} 酸 （GSVA ）、^{グ リシ ン}、^{エ ンケフ} ァ リ^ンな ど^の物 質 を生 合 成 ^し、そ れらを化 学 的伝達物質 （神 経伝達物質）^{と し て}利用 ^{し てい る}。

c

25_μm

図1　^{神 経 細 胞} （Alberts，^et　al）

　軸 索^は別^の神 経 細 胞 （^{ニ ュ} ー_{ロ ン）に結 合 し て 巨 大 な網 目}構造 を形成^{してい る}。

一_{つ の}神経 細 胞 （^ニ ュ ー_{ロ ン}）^に結 合 す る 他^の神 経 細 胞 （^ニ ュ ー_{ロ ン）の数 は}、数 千 程 度にも なると言 わ れて^いる。

　^{神経細胞 （ニ ュ ーロ ン）が他の神経 細 胞 （ニ ュ ーロ ン）か} ら刺 激 を 受 け興 奮す^{る と電}気^{パ ル}

ス が発生^{し て}軸索を伝播^し、 これ^が軸索^の 末端^に到達す^{る と}あ る種^の神 経 伝 達 物 質 が放出^され る。 こ の 部 位 を^シナ^{プス と}呼^び、一_{つ の ニ}

ュ ー_{ロ ン の}神 経 突 起 が 前^シナプ^ス と なり、他^{の ニ} ュ ー

ロ ン の 樹状^{突 起が後シ ナプス となっ て}、前者^{か ら後}者^に向^{か う}伝達^が行 わ れ^る 。結合^され^てい る神 経 細 胞 （^ニ ュ ー_{ロ ン）がこ の}神 経 伝 達 物 質 を受 け取 り、ある状^態 （閾値 ）を超 ^{え る と}興奮 す^る。 こ の興奮状態^が神経回路網上 を次々 に伝播す^る。 こ の興奮信 号^の神 経 回 路 網 上^の伝^播に よっ て、脳 は 高 度 な情 報 処 理 を行 う^のであ る。^シナ プ^ス にお ける信号^の伝わ り^やす^{さ が}変化す

る^ことに よっ て、学 習 や 記 憶 が行 わ れ る と考 え られてい る，

Shukugawa Gakuin College

NII-Electronic Library Service

Shukugawa 　Gakuin 　College

　 　 　 　 中元 ^{： ニュ} ー_{ラルネッ トワ}ー_ク

（2）神 経 細 胞 （^{ニ ュ} ー_{ロ ン}）^{の モ}デ^ル

　^{こ の よ う な脳の}情報処^理 を^{コ ン ピ}ュ ー_{タ で シ ミ}

ュ レー_シ

ョ ン し、^{ヒ トの}脳^の機 能 解 明や、新 た な情報処 理技術^の開 発^に役 立^てよ うと^い う^の が^ニ ュ ー_{ラ ル ネッ トワ}ー_{ク で あ る}

。神経細胞 （^ニ

ュ ー_{ロ ン}）^の単純^モデル化 は 図 2と考 えられる。

y

図2　 ^{ニ ュ} ー_{ロ ンのモ デ ル}

　^{このモデル は多数の他の神 経 細 胞 （ニ ュ ーロ ン）か らの入 力 刺}激　^{Xl、　X2、…　 、k 、…　 、}

k を受 け^て一_{つ の}

出 力、即 ち、一入 カー出力^の演算素子^で、^以下^これを単^にニ ュ ー_{ロ ンと呼ぶ}

こと にす^る。 こ こ で は、i番 目^の入 力 を k、各 入力^{の シナ}プ^ス結合^の強度 を表す結合荷重 をWi

とする。^ニ ュ ー_{ロ ン の} 内部状^態 （興奮状態）^{u は}、各^入 力信号^{にこ の}結 合 係 数 を掛 け、全 入 力 に^つ いて総和 を^{と る こ と に}よ り決 定 され る。

（3）^{ニ ュ} ー_{ロン の特 性 関 数}

　^{ニ ュ ーロ ン か ら はこの内部状態に依存し た信 号が出 力され、結 合 し て い る}隣^{の ニ ュ} ー_{ロ ンへ}

の入 力信 号 と なる。内部状^{態 u か ら}出力 y を決定す^{る関 数}を^ニ ュ ー_{ロ ン の特 性 関 数 と呼ぶ}

。 特

性関 数^{に は}式 （1）^で表^され る よ うな^ス テッ プ関 数^がよ く用^い られるが、^この場合^にニ ュ ー_ロ

ン の 出 力 は ｛O，1｝^{の 二}値 と なる。

f（^・）^一 ｛

芻

一 45 一

N工 工一_{Eleotronio 　Library}

　^{出 力 を ｛−1， li と し たス テ ッフ゜関 数が用い ら れ る場合もあ る。 また、 次の式 （}2）^で 与^{え ら} れ^{るロ ジス テ} ィ ック関数^{も よ く}用^{い られるが}、^{こ の}場 合^の 出 力 は ｛O，1｝^{閲の連 続 値 をとる。}

　 　 　 　 1

　　　　　　 ^{− 一一一一一一一}（2_） 　　　　　　　 ブ（η）^＝

　　　　　　　1^＋ e一_η

ス テッ プ関数^{とロ ジス テ} ィ ッ ク関 数^の形 を 図3、図4 に示 す。

η

図 3　 段 階 関 数

図4 　^{ロ ジス テ ィ ッ ク}関数

Shukugawa Gakuin College

NII-Electronic Library Service

Shukugawa 　Gakuln 　College

　 　 　 　 中 元^{：ニ ュ} ー_ラルネ

ッ トワー_ク

（4） ^{ニ ュ} ー_{ロ ン モデル の数 式 化} 　^図 2を用^{い て のニ} ュ ー_{ロ ンモ デル の}

数 式 化 を 行 う。入 力 信 号^に関 わる^ニ ュ ー_{ロ ンが n} 個^{あ る}

と き、^それ^に対応す る 結 合 荷 重 もn 個存^在す^る。

　^{ニ ュ} ー_{ロ ンに は膜 電 位があ り}、入 力 信 号 k によっ て膜^電位^が上昇^{し て}行 く。 そ れ ぞ れ^{の 入}力 に結 合 荷 重Wiの値をか け て総和 を^{と る}。^これ を一_{般に ネ}

ッ ト値 と言 わ れ 、次式 （3）^で示^さ れ^る。

γ^・　Zx^{，　m，一一一一一一一一（3）}

　 　 1＝₁

　^{膜電位 （つ まり ネッ ト値 ）がある閾 値 を超 え る とニ ュ ーロ ン は}発 火 す^る。 生 態 系^でい え ば、 神 経 細 胞^が興 奮^して ^シ ナプ^ス を通^じ次^の神経 細 胞^に興奮信号^を伝播^{で き る}状態 を、^ニ ュ ー_{ロ ネ}

ッ トワー_{ク で は 『発 火}』^{とい う}。 閾値 を^θとす^{る と}、（Y 一θ）^が正^であ れ ば 発火す^る。

　^{先で述べ た特性関 数の 一つ で あるス テ ップ 関 数 を用い る と}、ネッ ト値^が閾値を 超^{えて い} れ ば

「lj 、超 え^{て い} な けれ ば 「0」を出力す^る。^これ を^{ニ ュ} ー_{ロ ン の 入}力信号 k ^と結合荷 重Wi で

あ ら わ す と、式 （4）^{と な る}。 但^し 、0番目^の入力^Xoは 「1_{」 結 合 荷 重}W ^。は 「一_θ」^{と し て あ}

る。

ア^＝ 〆^（Σ^{x，nつ一一一一一一（4）}

　 　 　 i＝0

　^{こ の よう に、ニ ュ ーロ ン の} 出力値^に変換す^る出力関数^{に は}階段関 数 や^{ロ ジ}ス テ ィッ ク関 数 が 用^い られる が 、多^くの場合^{ロ ジ}ス テ ィッ ク関 数 を用^い る。

3．^ニ ュ ーラ^ル ネッ トワー ク とは

　^{多数のニ ュ ーロ ン が互い に}相 互 作 用 す る回 路 網 を^ニ ュ ー_{ラ ル ネ}

ッ トワー_{ク とい う}

。 現 実^の脳

も^{ニ ュ} ー_{ロ ン間で}相互作用 ^{し てい る が}、^ニ ュ ー_{ラ ル ネ}

ッ トワー_{クとして考 えること は}多く^ない。

こ の言葉^は主^に数 理 的 な^モ デ^{ル に}用^い ら れる。脳に関し て知られた事実 を使っ て、回 路 網 を含 め^た数 理^モ デ^ル を提案^し、^その回路網^{と して の}機 能 を 議 論 する場合^{にこ の}神経回路網 を^ニ ュ ー

ラ ル ネッ トワー_{クとい う}。脳^の 中^{に あ る}莫大^な数^のニ ュ ー_{ロ ンの各々 は}、そ れ ぞ れ が 数 千の結 合を通^{し て}他^のニ ュ ー_{ロ ンか ら入}力 信 号 を 受 け、細 胞 膜 電位^{によっ て}出力信号を生^み出 ^し、多 数^{の シ}ナ プ^ス結 合 を 通^{し て}他^{のニ ュ} ー_{ロ ンに}信号を伝^{え る}。

一 47 一

N工 工一_{Eleotronlo 　Llbrary}

4．い ろい ろ なネ^{ッ ト ワー ク}

　^{これ まで}、構^造、特性^{関 数}、学 習 法^の違^{い に よ} り多数^{のニ ュ} ー_{ラル ネ}

ッ トワー_{クが提 案 され}

て き て^い る。大 き く分 け る^と、階 層 型^ニ ュ ー_{ラル ネッ トワ}ー_ク （^パ ー_{セプ トロ ン}、^マ ダ リ^ン、

ア ダリ^ン、^バ ッ クプ^{ロ パ} ゲー_シ

ョン等）と相互 結 合 型^{ニ ュ} ー_ラルネ

ッ ト^ワー_ク （ホッ プフ ィー

ル ド、LVQ 等）^{が あ る}。 それらの中^の 代 表 的^な も^の を紹介す^る。

（1）階 層 型^{ニ ュ} ー_ラルネ^{ッ トワ}ー_クと相^{互 結 合 型ニ ュ} ー_{ラル ネッ トワ}ー_クの違い

　^ニ ュ ー_{ラル ネッ トワ} ー_{ク の} 結合方^{法に は}、階層型^と相互結合型^{と が}ある。 図5に示すよ うに、 順方^{向の層のニ ュ} ー_{ロ ン に完 全に結}合す^るネッ トワー_クを階層型と^{い い} 、自分 自 身^の層や次^の 層^の、更^{にその次の}層^まで結合す^るネッ トワー_クを 相 互 結 合 型 は と^{い い} 、そ^の比較^が表1で あ

る。

図 5　階 層 型^{ニ ュ} ー_{ラ ルネッ トワ}ー_{ク （}上 図 ） と相 互 結 合 型^{ニ ュ} ー_{ラルネッ トワ}ー_{ク （下 図}） 表^ユ　階層^{型ニ ュ} ー_{ラルネッ トワ}ー_クと相^互結合 型^{ニ ュ} ー_{ラルネッ トワ}ー_{クの比 較}

階層型^{ニ ュ} ー_{ラルネッ トワ}ー_{ク 相 互 結 合 型ニ} ュ ー_{ラルネッ トワ}ー_ク 例

パー_{セプ トロ ン}

、バ ックプ^ロパゲー_ショ

ン、^アダ^{リ ン} 、^マ ダリ ン

ホ ップフィー_{ル ド}

、 LVQ

特徴

計^{算 プロ セ スへ の}定式化^は比較的容易。

実 際の神 経 細 胞 網は あ ま り見^{ら れ ない} ネ^{ッ トワ}ー_ク

実際の神 経 細 胞 網に近^い 。 LVQ は パ ター_{ン認 識に}優^{れてい る}

応 用

制 御、 認 識 予 測、最 適 化 解 検 索、同 定 分類

デー_{タ圧 縮}

Shukugawa Gakuin College

NII-Electronic Library Service

Shukugawa 　Gakuln 　College

　 　 　 　 中 元^{：ニ ュ} ー_{ラ ルネッ トワ}ー_ク

〔²）^{階 層型ニ ュ ーラル ネッ ト ワーク 　ア}）概 要

　階層型^{ニ ュ} ー_ラルネ

ッ トワー_{ク は}図6に示す^{よ う に}、^{ニ ュ} ー_{ロ ン を}階層構造に並^べて結 合^し た も^ので、 特性関数^{に はロ ジス テ} ィ ッ ク関数を使^う。 入力層^{のニ ュ} ー_{ロ ンへ は}外部^か ら^の信号 が 入 力 され、出 力 は次^の層^の入 力 と^して次^{々 に}後^の層^に伝 え られ、最 後^の出 力層^{か ら}結 果^が出 力^され^る。 入力層^と出力層^の問^{に は}、中間層^{と か}隠^れ層^と呼^{ば れる}層^が何層^{か設 け られる}。

入 力層 中間層 出力層

↓ ^{↓ ↓}

図 6　^パ ー_{セプ トロ ン}

　^{こ のニ} ュ ー_{ロネッ トワ}ー_{ク では}、^入力^と出 力^の間^に隠^され^た関 数 関係^が分^{か る と と}もに、入

力信号^{の パ タ}ー_ンを 予 め 決 め られ たカ テ ゴ リ に分 類する^こと^がで き る。 　^イ） ^{学 習 法の ア ル ゴ リズム}

  ネッ トワ ー_{ク の 全 て の}結合荷^{重に ラ ン ダムな}値^を初期^{設 定}す^る。

  　^{ネッ トワ} ー_{ク の入 力 層に学 習 用の 入 力パ タ}ー_ンを入れ、結 合 荷 重^と特 性 関 数^によ り ネッ ト ワー_{ク の 出 力 を す る}

。

  ^この 出力^と教師信号との誤 差 が 小 さ く なるように、結 合 荷 重^の値 を徐^{々 に}調 整 ^{し て い} く。

上 記  ^{か ら  につ いて こ}れを学習 用 デー_{タ の}

数^{だ け}繰 り返す．

学習^が進^{む につ れて}、 誤^差は少^しず^つ 減 少^{し て 正しい 入}出 力 関 係 を獲 得 する。学 習^が き ち^{ん と} 終 わ る、^つ ま り、正^しい入 出 力 関 係 を獲得 す^{る と}、学 習^用の デー_{タ と は}異^{な る}デー_{タ 入}力^に対

し て も学習^{し た}関数 関係^に対応 し た出力信号 を^示す^{よ う に な る}。

一 49 一

N工 工一_{Eleotronlo 　Llbrary}