ニューラルネットワークにおけるシグモイド関数のk(温度)を利用した学習の加速化

全文

(1)

(2) !"#$ %&. '(. #. $ . . %

(3) . . & ' . ' . $()*. .

(4) . . . . .

(5)

(6) . . .

(7) . . . . . . .

(8)

(9). .

(10) .

(11).

(12) . . . . . .

(13) .

(14). . . .

(15). . . . . . .

(16) . . ! . . . ()*+,-./01. 23. 4567. 8+9:;<=:. $

(17). .

(18) . . . % . . + . , .

(19) /01. 23>?@A B@""-C .D. ".

(20)

(21) . !"#$%&'()*+,(-.+/012 3. 4 (56$78 (9:(;<= ).>?@4AB4C!DE F. %. GH ;<IC!

(22) JK LMNOP Q 78 (RS(TU V4C!(WX+Y*Z F;<IC[\%](^_ ](àbc47d(e V4C!fIg(e% h i4-jk-l*m. C[\$n!. o%pq r =)Ks-l*t %)u*v w(xy(z{A|}~}FdgI ! . @&%&'(C _ 34^_ ^&Cq 124f(~ &2& $n!C2}( $n! 2(%~i gI% ¡ ¢ 4 C£¤¥t¦§ t¤¥ ¨!©ªd& «¬%9d® %FdgI !d& ®R%WX&«¬$ ¯¯ !°± £²³t´ µ ¨ FI¶4ª ·¸g¹º £»¼12¨ )*+,. A|¸g¹ F2(½«¬(;<¾¿I ! "#$%ÀÁ¡ gI -.+/012Âi4}$ª £¨¨ V&Ã f(£Ä £Å. £ ¨¨&¨ÆÇÈÉ£ AÊ4

(23) FË (ÌÍDE F« ¬R«¬9:(;<Í

(24) FË®RAB4C!Î F«¬ 9:(;<56%Ï(q $Ð'C!«¬R½®R(® 4ÑuJmÒ(Ó· IC£Ô7tÕ "tÖt×.

(25) .

(26)

(27) . . !"#$ %&'( )* +,-. &./. 0123456789:;4< 1=>?@. 1C&D EFG A7;BA !" . HI)*.&'JKL?:;4< MN. 1C&D EF7;BA . G B'J @OPGKL&MN01Q?

(28) RSTRS. UV@AWXY GZ[?0. 1JQ&D\D]^ _à )*.&( ]^ bc G7d KL&MNEF 8ef?1KL? gh?01JQ&D\D %?i jkl. mno&Dpq rs < 7tuvpq G?w' rs xM01KLRS. 01yz{|}y~p'Q&. DsM?DG & Ym_`p@D }TMEFG WXY *01Q&WX1_ày < 01!'JKLI p@0 1Q&D} V!'Mp@ 01Q&D00G N\ \Myz{|} y~pD. ¡¢£{}¤¥¦§¨}©ª« !i ¬N' ®Q?!"¯¢ 7 ¢ ¯ 7 7 1& ¢ 7 7 ¢ 7 7 ¢ 7 1?\ D¯°DMN 7 7 7 G 1/&*N±² ?D . G¢mn ¢ ³´BDEF. µgh?;BA 7 1G¢mn ¢ ¶·¸¹p £{}¤¥¦§¨}©ª«_` V.

(29) \ ]. ^_àbcdef`g.

(30) !"#$%&'( $) *

(31) +*,-./ 012234'3!"#,-56$789: ;1<$ =>? @:A B$$CD

(32) ECDF'1@GDHI+*JK$ LCDHI M . . M N . . . N . . . . . . . . . OP$ =>? $7QRGD3!"#$STUVWXY . . R GD=>? GD3HIF'B$Z[ %F'. .

(33) . . . . . . . . .

(34) .

(35)

(36) . . . . . . . . . . . . . . . . . . . . . . .

(37) . . . . . . !"#$%&'

(38) . . . (&')*

(39) +. . ,-./ 012*345)*66 . 66 66

(40) 345) 789:;<=>)* 45) ?@ABC 6 66 66 D6 6 D6 6 6 6 D6 6 6 DE FDE FD. E F . 6 6. 6 6. 6 6. 6 6. 6 6 D6 6 . . D. . . . D. D . . 6 D6 6 6 6 6 GHIJKLMNOIP QRSTU. .

(41) . . .

(42)

(43)

(44) )*+,-..

(45) ! "#$%&'(. / 012 34. 56789 :;<=78>?@A . BC3 D 34 EFG8HI ( JG8KLM N .

(46) 34 I

(47) ! PG8 I( . (.O. EFG8H . . EFG8H Q= BC3 RS. TUVW X YO.

(48) !ZS B [ \. E]^_`M . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

(49) . . .

(50) . !"#$. . . % . .

(51) &''($ )*+,(-./0.1$ . . . . . . . . . . . . .

(52) 2*

(53) $ % .

(54) &''( . % . . 3$ 4. . 3$ 9 7 $ 3$ 5/6 7 8$ :;<=

(55) '

(56) >(?@ A. !. . % . . . % . . . . % . . . . . . . . . . . . . . . BCDEFGHIJDKLMNO PQ.

(57).

(58) . RS+:bcdefg$:GlRS. .

(59) . . !"#$%&'( ". )*+,-./0 )123 45678

(60) 9 !"#$+:; <=>1 ?%+ 9@AB19 C9 +D+@AE ? $" 9FGHI!"#$ $3 *J9*J9FGHK!"#$3 %+ C9+LMN +H1 OP'Q; +:; !"#$%&+RS HKTUVW3 XYZ+:; !"#$ +[. \]+^_ `!"#$%&a; ?Q+ . !"#$ " bcdefg$+['.hi. jkQ; ^ `^ `^ `l'( Q3 +mnKo !"#$+['pq l3 '( +mnI+1 3 rsl^tslùv'^wxysz `bcdefg${ |M2 }~+: Q3 ' ^C` O P>+:; 13OP+:; . .

(61)

(62)

(63) . !"# $%

(64) &'. ( $. )*+,!-./

(65) 0123456789 :;<=>?@ABC/DEF GHIJKLFMNOPFQRS?T U VWXYZ[ORU VWX67\]R Û ^S/$ 012345$$_à % %bcNOdcBefg ([O $%DEFGH IJKLFMNO WX:;h/ h/. [OiCCj89 klm$%bn\]Ropoqà r\ U. s*+,!-.tXuopvw/xy . eB U *+,!zY{!|}WXR<Xj . . NO~QFIJKWX. . S?T?WXBCPFQ?[Oq. . q . ! *+,! R U . . "#q . *+,!-.s q ^. 01234567. . . . . . . . . . . . . . . . DEFGHIJKLFMSn89

(66) .

(67).

(68) . .

(69) . . !. . "#$%&' ()*+,

(70) - ./0. 1

(71) 2&%3456*+,

(72) 789#2&%:;456 <

(73) 340=>?@, A. )BC?56. D?@ EF) 2&%,G HIJKBC

(74) LM 2&% NOP,QR<

(75) S TU1,<1VWXYZ4=> [ 2&%,GUW !\M=> D?@ E 2&% F56<

(76) 789#: F56*+BC 789#0NOP)]^)9#) HIJ)_`

(77) . .

(78) [ 2&%, 0<

(79) )[a)XYZ4,Gbc G`0<W

(80) 0 K)de)[f

(81) ?@ TU1gh,<Wijkl. m

(82) [ 2&%,n1VW_`0VW

(83) Ko pWXYZ4)=>qhrs=> tu0)

(84) vw)=>?@opW: K,xy z4 m

(85) {|0

(86) }~

(87) {|0 <W<h0ph 0 m

(88) ),<W

(89) ,z<Wp1.

(90)

(91) tu1, ,G<W

(92) -a) a pBCnw

(93) XYZ4

(94) ) (-<1VW

(95) .

(96). .

(97) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

(98) . .

(99) . .

(100) . .

(101)

(102). .

(103)

(104)

(105)

(106)

(107) . . . !"#$%& '()!*

(108) +,-./. *

(109). 01

(110) 23451

(111) '6

(112) 789:. . . ;

(113) <=>6*

(114) ? 5@/@. . .

(115) *

(116) 23ABC;DEFGH I J6K1

(117) J"#

(118) 0 LMNO

(119) - . -. M P;

(120) 5@/@ Q -R ST UVGEWXYG6Z[23 \]^.

(121) .

(122)

(123) .

(124) .

(125) . . !"

(126) #$. %&'($)*+,- ./01 23,-0145 678 879 9

(127) #$*+,- ./01. ./:"0 8 879 ;<#$ =>?. !"0@AB CDE3. F GHIJKGLM *N#$OPQR. STUVWXYZ[\ ]^_`KGLM%& a

(128)

(129) b23,- cd?ef$%&g hi01jklmn- . / . opef$]^qrs/Z$STUVWXlm " t+ cd?Z#$uv7wxyz{ 9|e}~f? 0 Z 2 3 , -

(130) # $

(131) 7 97 97 97 9 7 97 97 97 97 9 . . Z""#$ X 00jklm*N :0 :3$%&g0ZU0~f @0jkn-#"ZZ$%&g $ ¡ZZ¢f$ABZf . !". y 7 923,- cd?£DZ$0@jkn-. ./¤!F *N :0 $ $ $. $ 0Z$jkn-#". .

(132) . . . . . . . . . . . . . . . . . . . . . .

(133) % .

(134) % .

(135) %

(136) %

(137) %

(138) % .

(139) !"#$ &'()%* + ( ),-. /01 2 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . &'()%* + ( ) . . . . . &'()%* + ( ) . . &'()%* + ( ) . . &'()%* + ( ) . . &'()%* + ( ) . .

(140) . .

(141)

(142) !"#! $%&'())* ./ 01 23 +,- ./ 01 (45678* 9:;<=> ?@ ABC D( EFG<*56H IJ<K'A< LMN O()P*QRST+,- . UV*'9 <WFGKD'(<XY'+,- . <Z[IJ MNL KD'(56 IJ<&'@<*LMNL. \O(EFG / 0<]&( / 0 MNL. . . . . ^_ à bàc d ` a

(143).

(144)

(145)

(146)

(147)

(148)

(149)

(150)

(151)

(152) .

(153) . .

(154) . .

(155)

(156)

(157)

(158)

(159)

(160)

(161)

(162)

(163)

(164)

(165) .

(166)

(167) . .

(168) . .

(169)

(170)

(171) . . .

(172)

(173)

(174)

(175)

(176)

(177)

(178)

(179)

(180) .

(181)

(182)

(183) . efg. h .

(184)

(185)

(186)

(187)

(188)

(189)

(190)

(191) . . .7856 1

(192)

(193)

(194).

(195)

(196)

(197)

(198) .56 1

(199).

(200) 1234 .

(201) . c<c && /c

(202)

(203) .

(204)

(205).

(206)

(207)

(208) . . . .

(209)

(210)

(211)

(212).

(213)

(214)

(215)

(216)

(217)

(218)

(219)

(220)

(221)

(222).

(223)

(224)

(225)

(226)

(227) .

(228)

(229)

(230)

(231) .

(232)

(233)

(234)

(235)

(236)

(237)

(238)

(239)

(240)

(241)

(242)

(243)

(244)

(245)

(246)

(247)

(248)

(249)

(250). .

(251) .

(252)

(253)

(254) . BQR H . & .

(255) .

(256) .

(257)

(258)

(259) .

(260) . .

(261) .

(262) . !"

(263) #$

(264) %&'(")*+. ,-./01234 56 %78&9:;<

(265) =>?)@ A

(266) ) B9:;CD*+ EF1234 56 %'(" G

(267) )H IJ KLMNOP4& &E?QRP. STUIVW

(268) XY

(269) ZZ[[

(270) \] >^ &STU_`0aZb )%c& a%d> 78 <V\]ef gbhi>%&jklmnop 0q

(271) r * % s 9:;< &t1234 Eu3Bvw xQRy' 0Hbyzbhi>%c c& {*. 0|1234 ope*56

(272) } %9:;<

(273) &~W}fb B&V

(274) iH 1234 ope *

(275) r

(276) b( % >i56& g 9:&Dm]. .

(277) .

(278)

(279) ! "#$%&'()

(280) ' *

(281) +,-. #/012345+,'67 89 #1: ;()<1)/ =7134&0 >?# 1 @ 'A(1BC5DE'FG #HI

(282) J # */ @

(283) J01KLJM NOP=Q #BC5DR#& 2>S' /T= U VW

(284) X / BC5 5#&MY;/34Z[\ ]

(285) J0. . .

(286). . . +,/ BC5+, fuv wxy g 345

(287) 5cz 5cz cz 5cz 5cz cz. 534 534 534. . 345. . 534. 534. 534

(288) 534 5cz. . !"#$. $ %&' ()*+ . ^_à b'cd-. Xef gf gf g. f gf gf gf gf g f ghXe . #5 i# j/XUVW B C k l m X / n M o p 5 q r s Xe . h

(289) J0

(290) trsXeh

(291) J nMop. .

(292) . ab

(293) 't_ @. F G. . .

(294)

(295). F G. :,;.

(296) . . . abR+t_ @. :,;. . . .

(297) .

(298) . .

(299) . . .

(300)

(301). .

(302)

(303)

(304)

(305)

(306) . .

(307)

(308)

(309). . . .

(310)

(311) .

(312) !"# $%&'( )*+ ,-. -%&* ,/012.3'

(313) 4

(314) ' 5246+

(315)

(316) 7898: ;.<=>?@ABCDE,F: ; : ;: ;: ;: ;: ;: ; : ;G,F . : ;. G, HIJKLM AN OP *4QR

(317) + JK LM*4JKLMS+AT+ ,FG DU'+V.WXR+( YZ [)6 +: ;OP\

(318) R]+^ _A/012.`3ab

(319) '. 5246+8c defghijklmn+opqrs. .

(320)

(321) . !"# $%&'()* +,-./0

(322). 12 34

(323)

(324) 5657 89:*0;<=>"4?@A* BC7 87 87 8 7 87 87 87 87 87 8DBC JGH K; . . D E

(325) BFGHIB 4#L

(326) 9M;4NJJ9OP?@A *Q# E

(327) GHIB R>"B '(STU V W. . B +,-.4XYQ#Z[7GHI R>8 . \. . GHI. ) *. R>.

(328) .

(329). . . . . . .

(330) . . . . . . . . . . .

(331)

(332) . . . . .

(333) .

(334) . . .

(335) .

(336)

(337) . . .

(338) . . .

(339) .

(340) .

(341) . .

(342) . . .

(343) .

(344). . . .

(345) .

(346).

(347) .

(348) . . .

(349) . . .

(350) . . .

(351) . . . .

(352) . . . . . . . . . R>.

(353). .

(354)

(355). . R>. . . . .

(356) . . . . . . . . . .

(357). . . .

(358) . . . . . . . . . . . . . .

(359) . . .

(360). .

(361).

(362) . . .

(363).

(364) .

(365) .

(366) .

(367).

(368) . .

(369)

(370)

(371)

(372) . !"#$%&!"'( )*+,. -(*.

(373) /0*,)1%&!"'( )*+,-( *

(374) 2 3 4 5 6 7 8 9 : ;< . . . = >)? ; @A,B CD . E

(375) . CDFGH? IJ,KL?MN89:O%?; H?

(376) CDPQ,B.?; H

(377) ?; H

(378) 7R7FG IJ,K S,TU. *+,3 V?CDW@A,B XY*+,VZ[,K*+, -(L?%&!"\] *O%^_(6K)àVb* ? cB ?TU *+,VO%XYHdeb* ,f067* g?MhCDW. ? ? ? @A,B?; (6 à? i

(379) 3)O%^_j*+, kKl?

(380) 2lj*89:H ;< . = ,KL?CDW. lj*+àH? m2l3n m2%&!"cB ?!"Ho,K*? ?m 2%&!"cB HCDpqk )K)rs,f067* l3ntu*,vwCDWxk)y1 zB) CDW . @A. ; (6 àO%XYCDW @A

(381) . . .

(382). . !.

(383) . .

(384).

(385) . . . . . . . . . . . .

(386) . . . ". . . . . . .

(387)

(388). . .

(389). . . . . .

(390). .

(391) . {|}~}lj*CD U. .

(392) wx . !. . z{. y +[

(393) ~. H. . .

(394) .

(395) . .

(396)

(397) . ! z{. . . . .

(398)

(399)

(400)

(401) . . .

(402) .

(403) . . . . .

(404) . ! "#

(405) $%&'. ()*+,. -. !."/ "01. 23456789:;<6= . >?@ABCDEF0. 1G ABCDEF01@2H)*+,IJKL1 >?@MNOPQRH ST."/ '+. !UVWXY. Z0)*[\(]^_+,'"%&(. &@`&ab[c1&@defH ghi

(406) jk,[ ."/. ! l"@ghm 0nMo5p6. MqrZ@ stnuvi wx@yz{."/. ! &@defH

(407) @y. | } ?[~ ` &ghi

(408) ?+,[defH t i A@y

(409) ?@ UV @. . Y@ 0. !@ UVWX&@ 0WXZ#[tw.

(410) ()*. i()*? J . ?. . .

(411) . . %&9J:;D'jk$@ c. ?. d. efgh . .

(412) .

(413) . .

(414) . .

(415) .

(416)

(417)

(418) .

(419)

(420) . . . . . . . . ` ab ()*` a b%&. ()*. J . . . .

(421)

(422) .

(423)

(424)

(425). . . .

(426)

(427) .

(428)

(429)

(430)

(431)

(432)

(433)

(434)

(435) . c. d. efgh .

(436)

(437). .

(438)

(439) .

(440)

(441)

(442).

(443)

(444).

(445) .

(446)

(447)

(448)

(449) .

(450)

(451) .

(452) . . .

(453) .

(454)

(455) . . . . .

(456) . !"#$%&' ()* +,-.!/. 0 1#.23-.#$ 456.27#8"#$()*-. 9:;<=>' ?. @ .23 AB0C00D':;<=. EFG -.!/HI :;J'

(457) JCK -.LMNO1#$0 HI :;<=E-.!/#PQRSTI'$0 UVWXYZ[\]W^K().2_. .

(458) * +

(459) .

(460)

(461). .

(462) . .

(463) . .

(464). .

(465) . .

(466) .

(467) .

(468) . .

(469) [ m n Q. . o. UV . p. .

(470) . . .

(471) . .

(472)

(473) . . . . . .

(474) .

(475) . . qrst. .

(476) .

(477) .

(478) . . . . . . . . . . .

(479) . .

(480) . . .

(481)

(482) . . .

(483) . . . . .

(484) . .

(485) . . . . . . . . . . . . . . . .

(486) . ! "#$%&'(). *+,-./01*+2 %&'3," #$ %"%456789:8;< => "1 . ?@ABCDEF"1, G2%HIJK%LM N,O/ G2PQ%RS T%U VW,. . X/YX/O. Z[\Z\ ]?^? _`,. 7ab9/O. U V. c,

(487) ,d/ @ABCDEF. ""JYc eN YXfg@hijQ% k ,&'3,"#$8b R, @ABCDEF" G2P Q%RSYX18l G2RSW U VW,d/@AB. .

(488) :; 67H.

(489) IJ. 2<=>?@AB2 C &DEFG 67H. IJEF K . . . . . . ! . .

(490) IJ. . . .

(491) IJ. L. M. NOPQ. .

(492) .

(493). .

(494)

(495). . . . . .

(496) .

(497) .

(498) . .

(499). .

(500). . . .

(501). . .

(502) .

(503) .

(504) . . . . . .

(505)

(506). . .

(507) . . .

(508). . . . . . . . . . ! . C R . .

(509) . . .

(510) .

(511) . .

(512) . .

(513) . . .

(514) .

(515) . .

(516). .

(517).

(518)

(519). .

(520) . . . . . . . . ! . C R . .

(521) .

(522) . . . .

(523) . . .

(524) .

(525) .

(526) . . . .

(527). . . . . . .

(528) IJ. . . ! . C R . .

(529) . .

(530) . .

(531) .

(532) .

(533) .

(534)

(535) .

(536) . . .

(537) . . . . .

(538) IJ. .

(539). ! . C R . .

(540) . .

(541) .

(542) . .

(543) . . . .

(544) .

(545) . . . .

(546) . . . .

(547) . . C R . .

(548)

(549)

(550) . !"

(551) #$%&'.

(552)

(553). %("

(554) )*+,-./0+1234567 89. .

(555) .

(556) . . . . . . . . !". . #$% & ' ( ) & '.

(557)

(558) . .

(559) .

(560) .

(561) .

(562)

(563) . . .

(564)

(565)

(566)

(567)

(568) .

(569)

(570) . *+ . . . #$% & ' ( ) & '. . . . .

(571) .

(572)

(573) .

(574) . . . .

(575)

(576)

(577) .

(578) . *+ . .

(579). #$% & ' ( ) & '.

(580) . . .

(581)

(582)

(583) . . .

(584)

(585)

(586)

(587).

(588) . *+ . . #$% & ' ( ) & '. .

(589)

(590).

(591) .

(592) .

(593) . . .

(594) *+ . . #$% & ' ( ) & '. .

(595)

(596) . . .

(597)

(598) . .

(599)

(600) .

(601)

(602)

(603) .

(604) *+ . . . #$% & ' ( ) & '.

(605)

(606)

(607)

(608)

(609)

(610)

(611) . . .

(612)

(613)

(614) . .

(615) .

(616)

(617) .

(618)

(619)

(620) .

(621) *+ . . #$% & ' ( ) & '.

(622)

(623)

(624) . . .

(625)

(626) . . .

(627) .

(628) . . .

(629) 23Z . . . . .

(630) .

(631) . V+ 23Z . .

(632)

(633) .

(634) . .

(635) .

(636)

(637) . .

(638) . !" # $ %!&'()*. (!+,-./01 23)4!56

(639) 7 89. ,:!-./0 ;<(!(= !>. : !>?: !>, :!-./0@AB CDE FG568H)I!56!+7JKL8MN8O P-.:7QRI7ST) U . (!+ V+ (-.1 W. !56 $%!XY'()4!5. 623Z7 !>: !>: !> :9[568H )(7H=

(640) \3(. @]-.1!+. JKLMNOP:,QRI8H) ^_U(=!V+ (!23Z (= /0 `H56:,:8H)!+ aL(b ,!V+ JKLI@:,QRI7@K ). cdSe fgh@,ij klmno p!qr!stuv(= wx

(641) yz{! |e}Mst~V+ ! vd~ ! ()/0wj w ij klmno pd!3 . .

(642)

(643) . !"#$%&'()*+,-!

(644) .. /,%0123456789:;<=>?@ABCDEF GHI JKL MNOPQRST,U. . !"VW1XYZ[G 7\QR

(645). ]. !". ^_à .bcd Eefg!hg!ijklm9nopqrsm9 tubcviwm9xyzqr{|}zqr~8 4,gg 6! _g! ". @>I ¡¢0£¤¥ } ¦§@I" .

(646) . . .

(647) . ! ¨©ª«¬®¯° Ug ±²³´1µ¶Tg!·¸¹ º¶»¼Y½¾¿ÀÁ9ÂÃÄ "£ÅÆ} ¦§" ÇÈÉÊËÌ£¤¥} ¦§ @ I" nopÍÎÏÐ¡ÑÒÓÊÃÔÕ£Öq×ØÙÚÂÛ} ¦§" .ÜÝ¯ÍÞßàáâãäåæYç¾ÐÐ¡Ñ£i¤m9×ØÂ }¦§" è¶é#§ê¾ë@ìíIº¶ ¡¢0Ô Õ£¤¥} ¦§". $.

(648)