ニューラルネットワークの関数近似におけるシグモイド関数の問題点

全文

(1)

(2) !. "#. % '. . ( ) ) ". * . *

(3) . %"+,-. .

(4)

(5) . .

(6) . . . . . . . . . . . . . .

(7) .

(8) . . . .

(9) . .

(10) . . .

(11) . !

(12) .

(13) .

(14) . . "

(15) . . .

(16)

(17)

(18) . . . #. . . $ !

(19) $ . . . .

(20)

(21) . . ! . . . . # %. # . . . . . #$%&'()*+,-./-0123. 4'567896. " '. . . - . ( . . ) . ( . . , $. / . *+,-./:;< =>?. &&.

(22) .

(23)

(24)

(25) . .

(26) . . . . . . .

(27) !"#$%&'()*+,-.-(/01

(28) 2+34/015 :;<=>.. . )*6'+34789. ?@AB CD9 ECFG2. 9H

(29) I0H JKL&'MNO'9.

(30) 9PQH. RH

(31) . )*S&'MT.9+UVWXYZ[\M]^_`789Ma . b=+&'MT;c9d.)*Mef>c;cg7h2. Mi;cjH. kl+NDN2S7h2Mi;c. 89mnopq)*rs+tu+`H 7cfv)*wxS !"#$%\yz{M|f> }~Mef> 7h2Mi;cjR-mnD+j7 h2Mb>R-89+. N+ !"#$%M

(32) +.;|b> ?+.

(33) 7I0. c.M? C. D9. EC G297. !"#. G E $%&'E?@!"#$% E G9H9 . &'98997G(+j)*(8a-. 19.-IH. . &' b+)*¡¢¡£.

(34)

(35) . !"#$%&'()*+,+-./0123. 456701589:;<=7>7?@ABCD EF6GHIJKI

(36) LMNO& PQRST01BUV156W!"#X(YZ[\#]67 5?^B_`WF6GHa7b01Bc6W d V1e@A5fghijB@AkSl7mnoa V1e >7@ABCD F6

(37) p01BcE6Wd. EF6GHIa7qr5,Bs7EF6 5Jtuvw@Axyz{JKIa75!"#X (YZ[\#]|}U~U,67)*+5!"#$%SV1 67. NO&PQRS501jo6jo !"#X(YZ[\#];<6WNO&PQRS? {I p p01@A1 <456;<p 01@A55 6b ;

(38) LM?T7 ~67 d e,67e {RS dFFRS . <bF6BW 7@ANO& PQRS5019

(39) E ~,RBjoaF 5 ¡ ¡ a¢ £ ¢ 56W5OX¤ ¥6~¦l7§joa¡ ¥6¢ 5 6W¨©ª«joaB¨©p¬ 7Bj oB®¯,Eij6¢ °<7B¨© ª«5joE. !"#X(YZ[\#]5RS«±²NO&PQRS5©. .

(40)

(41) . . .

(42) . . . .

(43)

(44) . !"#$%&'()#*+,-

(45) ./. 1 2 1 2 3 456789#:;*(% 3<= >?

(46) 5 /0 1 2 3CD6

(47) .1237 @A0B

(48) .. . 1 2 . F. 3EF. . EF. 6F6 0B

(49) .. 6F6 E. B

(50) GH37 >IJ +KL

(51) . 1

(52) 2M 1 NO

(53) 2. 12.

(54) .PQ3 1 2 1 2 1 2 MRRS1 T MR O 2. 12. 6UVW +XY

(55) /0B

(56) .89#: Z7IJ[\] 1 2. ^_`VW3 12 1 2 1 2 MRS1 T O 2. 12. a/=+bcde

(57) . 1 2 . <6^h . . 1 2 . 1 2 . . 1 2 . +fg

(58) /

(59) .. <=i=. 1 2 1 2 j 1 2MOkl l . . 12. !"#$%&'()#*. . EF. 7. !"#$%&'()#*6 mn op

(60) 6qrs. .

(61) . .

(62)

(63)

(64). ! "# . $ . . %& .

(65). . %

(66) '()*+",-. /01

(67) 2 2 2 2 . 34&567. . 89. . . . . . 7 2 . . :(3;< 7 2 . . . . %&=>">"?@"AB C

(68) D# =>">"?@AB EF

(69) =>

(70) $. . . ! "# . %&GHIJKL MN:(OP" .

(71). . %

(72) QR)*+",-. /01

(73) 2 2 . . %

(74) 7 89 7 2 2 . &ST . . 2 $ . . .

(75) . . .

(76) . .

(77) . . . !"#$.

(78) %

(79)

(80). &

(81). . '( )*+,'-./0+,'1 2345 678!"#$ 798:!;<= 2345678>?=98@A78

(82)

(83)

(84)

(85)

(86) ( B-C-

(87)

(88)

(89)

(90)

(91) . . ( DE@FG ( . . . 23456>?=DE@98F78H,IJKL( M7 8M98>NOP )*QRPSM. TMTUVWX!YZF* [\:(=]P3456>?$ PWX^(_` S98@78

(92)

(93)

(94)

(95)

(96) ( abQ

(97) &

(98) :!c7=

(99)

(100)

(101)

(102)

(103) . . de5fghijk5lmn> opqr. .

(104)

(105)

(106) . . !" . .

(107) . # $%&'() . . ($

(108)

(109)

(110)

(111)

(112)

(113)

(114)

(115)

(116)

(117)

(118)

(119)

(120)

(121)

(122) *. .

(123) .

(124) . .

(125).

(126)

(127)

(128) .

(129) . .

(130)

(131)

(132) .

(133) . .

(134)

(135)

(136) .

(137) . .

(138) . . .

(139) . . .

(140)

(141)

(142) !"#$%!

(143) &'( (()*%+$,-./01!234 56(()$ . *%+789:;)< =>?!34@$. ABCDEFGH IJ6 KLM)NFGH9IO ( () P . . 5Q! RS!T5PU5 V !. WX UP#!YZ9[\N]\Q6. ^_`abcd e fgh. !iL?jklmn+%9OK opqr. &'/0jsgtju fgh. cd9:

(144) vwxyz{$|}~. +9 #/09:

(145) + 9. 9# /09:

(146) /01 $,./019OK H$ . /0+$ = . !" . HQp`9 e fgh. qr9.

(147)

(148)

(149) &'5 9/0+!" K. qr

(150) /0)#$ . 2 $

(151) /0) .

(152) qr H! fgvwxyz+!jklmn+. .

(153)

(154)

(155) . !"#$%&&'()*. +,-.! . &'()

(156) /0&'() 1) 234"5 &")6 '. !".!. &'78"4'("19:"9+,. ;<='4'()

(157) . . >? @. . >? @. >? @. >? @.

(158) ! "#$%&'( ) *. ! "#$%&'( ) *. ! "#$%&'( ) *. ! "#$%&'( ) *. . ! "#$%&'( ) *. ! "#$%&'( ) *.

(159)

(160) . .

(161) . .

(162) . . .

(163) . .

(164) . .

(165) . .

(166) . .

(167) .

(168) u vwx y

(169) z{|}~; . u vwx y

(170) z{|}~; . u vwx y

(171) z{|}~; . u vwx y

(172) z{|}~; . . .

(173) . . !"# $ %&'() *+,-. /!. 01

(174) %23"4567289: ; ! "# $< 4%=>?! @AB: C#DE@A9 F GH IJ#%KLM )N. O POCBQARSB!TUVW)#B. NX9YQARZ[

(175) X\] 4%^_`9! * +,-. /0a KLbcL! defghijklfm defghijklfm /nopq*+,-. /rst. .

(176)

(177) . #$ %& '(% )*+,! ". %./012 34% . #$ 56". %& 7!89:656;<=>% 2? '@A56'BCDEFGHI2JK%BLM% ='NO& PQRSTUVWXY2%8Z. '[\%6]^4:269_ `aUbc'de& ,f1 %g' ,f1hi652jk'lme%6!ZNL n. opqr stu%. tuvw<4x<5yz{!|! }~B h' %p!2 "]$ RWT"$PQRWTQRTa ¡¢ £¤ ¥ ¦§R .

(178) .

(179) . . .

(180) ¦ . . ¨©ª«¬PQRS®¯B°±¢ £¤ ¥ ¦§R . .

(181)