知能科学：ニューラルネットワーク

知能科学：ニュー ラルネットワーク 平井 慎一 目次 ニューロンモデル 近似定理 学習 まとめ

知能科学：ニューラルネットワーク

平井 慎一

立命館大学 ロボティクス学科

知能科学：ニュー ラルネットワーク 平井 慎一 目次 ニューロンモデル 近似定理 学習 まとめ

講義の流れ

1

ニューロンモデル

2

近似定理

3

学習

4

まとめ

知能科学：ニュー ラルネットワーク 平井 慎一 目次 ニューロンモデル 近似定理 学習 まとめ

ニューラルネットワーク

ニューラルネットワーク (Neural Network)

信号を扱う基本技術の一つ

深層学習 (Deep Learning) の発展

深層学習 (Deep Learning)

アルファ碁で使用

データを与えて，規則を自動獲得

(犬と猫の画像を与えて，犬と猫を区別する）

知能科学：ニュー ラルネットワーク 平井 慎一 目次 ニューロンモデル 近似定理 学習 まとめ

線形

x

y

データ

知能科学：ニュー ラルネットワーク 平井 慎一 目次 ニューロンモデル 近似定理 学習 まとめ

線形

x

y

直線で近似

知能科学：ニュー ラルネットワーク 平井 慎一 目次 ニューロンモデル 近似定理 学習 まとめ

線形

x

y

線形関数 y = ax + b

知能科学：ニュー ラルネットワーク 平井 慎一 目次 ニューロンモデル 近似定理 学習 まとめ

非線形

x

y

データ

知能科学：ニュー ラルネットワーク 平井 慎一 目次 ニューロンモデル 近似定理 学習 まとめ

非線形

x

y

曲線で近似

知能科学：ニュー ラルネットワーク 平井 慎一 目次 ニューロンモデル 近似定理 学習 まとめ

非線形

x

y

非線形関数 ?

知能科学：ニュー ラルネットワーク 平井 慎一 目次 ニューロンモデル 近似定理 学習 まとめ

非線形

x

y

非線形関数

ニューラルネットワーク

知能科学：ニュー ラルネットワーク 平井 慎一 目次 ニューロンモデル 近似定理 学習 まとめ

ニューロン（神経細胞）モデル

w

b

x

σ

y

y = σ(wx + b)

x

入力

y

出力

w

重み

b

バイアス

w ，b は定数

知能科学：ニュー ラルネットワーク 平井 慎一 目次 ニューロンモデル 近似定理 学習 まとめ

シグモイド関数

σ(x ) =

1

1 + e

−x

-0.2

0

0.2

0.4

0.6

0.8

1

1.2

-10

-5

0

5

10

知能科学：ニュー ラルネットワーク 平井 慎一 目次 ニューロンモデル 近似定理 学習 まとめ

ニューロン（神経細胞）モデル

w2

b

y

x1

x2

x3

w1

w3

σ

y = σ(w

1

x

1

+ w

2

x

2

+ w

3

x

3

+ b)

x

1

, x

2

, x

3

入力

y

出力

w

1

, w

2

, w

3

重み

b

バイアス

w

1

, w

2

, w

3

，b は定数

知能科学：ニュー ラルネットワーク 平井 慎一 目次 ニューロンモデル 近似定理 学習 まとめ

ニューロン（神経細胞）モデル

w2

b

y

x1

x2

x3

w1

w3

σ

y = σ(w

1

x

1

+ w

2

x

2

+ w

3

x

3

+ b)

x

1

, x

2

, x

3

入力

y

出力

w

1

, w

2

, w

3

重み

b

バイアス

w

1

, w

2

, w

3

，b は定数

知能科学：ニュー ラルネットワーク 平井 慎一 目次 ニューロンモデル 近似定理 学習 まとめ

ニューロン（神経細胞）モデル

w2

b

y

x1

x2

x3

w1

w3

σ

y = σ(w

T

x + b)

x =





x

x

1

2

x

3





w =





w

w

1

2

w

3





入力ベクトル

重みベクトル

知能科学：ニュー ラルネットワーク 平井 慎一 目次 ニューロンモデル 近似定理 学習 まとめ

ニューラルネットワーク

(1

入力

1

出力

)

x

y

知能科学：ニュー ラルネットワーク 平井 慎一 目次 ニューロンモデル 近似定理 学習 まとめ

ニューラルネットワーク

(3

入力

2

出力

)

x1

y1

x2

x3

y2

知能科学：ニュー ラルネットワーク 平井 慎一 目次 ニューロンモデル 近似定理 学習 まとめ

ニューラルネットワーク

(3

入力

2

出力

)

y1

y2

x1

x2

x3

入力信号を出力するニューロンを導入

知能科学：ニュー ラルネットワーク 平井 慎一 目次 ニューロンモデル 近似定理 学習 まとめ

ニューラルネットワーク

(3

入力

2

出力

)

y1

y2

x1

x2

x3

入力ニューロン

知能科学：ニュー ラルネットワーク 平井 慎一 目次 ニューロンモデル 近似定理 学習 まとめ

ニューラルネットワーク

(3

入力

2

出力

)

y1

y2

x1

x2

x3

出力ニューロン

知能科学：ニュー ラルネットワーク 平井 慎一 目次 ニューロンモデル 近似定理 学習 まとめ

ニューラルネットワーク

(3

入力

2

出力

)

y1

y2

x1

x2

x3

隠れニューロン

知能科学：ニュー ラルネットワーク 平井 慎一 目次 ニューロンモデル 近似定理 学習 まとめ

ニューラルネットワーク

(3

入力

2

出力

)

y1

y2

x1

x2

x3

複数の隠れ層

知能科学：ニュー ラルネットワーク 平井 慎一 目次 ニューロンモデル 近似定理 学習 まとめ

ニューラルネットワークの出力

y1

y2

x1

x2

x3

出力信号 y

1

, y

2

∈ [ 0, 1 ]

知能科学：ニュー ラルネットワーク 平井 慎一 目次 ニューロンモデル 近似定理 学習 まとめ

総和ニューロン

w2

b

y

Σ

x1

x2

x3

w1

w3

y = w

1

x

1

+ w

2

x

2

+ w

3

x

3

+ b

x

1

, x

2

, x

3

入力

y

出力

w

1

, w

2

, w

3

重み

b

バイアス

w

1

, w

2

, w

3

，b は定数

知能科学：ニュー ラルネットワーク 平井 慎一 目次 ニューロンモデル 近似定理 学習 まとめ

ニューラルネットワークの出力

y

x

σ

σ

σ

σ

y

x

σ

Σ

σ

σ

出力ニューロン：シグモイド

総和

出力信号：y

∈ [ 0, 1 ]

y

∈ (−∞, ∞)

知能科学：ニュー ラルネットワーク 平井 慎一 目次 ニューロンモデル 近似定理 学習 まとめ

例

y

x

σ

5

6

4

-3

-3

-2

2

1

4

5

u

1

= σ(5x + 5)

u

2

= σ(

−3x + 6)

u

3

= σ(

−2x + 4)

y

= σ(2u

1

+ u

2

+ 4u

3

− 3)

0

0.2

0.4

0.6

0.8

1

-10

-5

0

5

10

y

x

知能科学：ニュー ラルネットワーク 平井 慎一 目次 ニューロンモデル 近似定理 学習 まとめ

例

y

x

-3

_Σ

-2

2

1

4

5

5

6

4

-3

u

1

= σ(5x + 5)

u

2

= σ(

−3x + 6)

u

3

= σ(

−2x + 4)

y

= 2u

1

+ u

2

+ 4u

3

− 3

-3

-2

-1

0

1

2

3

4

-10

-5

0

5

10

y

x

知能科学：ニュー ラルネットワーク 平井 慎一 目次 ニューロンモデル 近似定理 学習 まとめ

基本定理

ニューラルネットワークの近似定理

隠れ層が 1 層のニューラルネットワークは，

任意の関数を任意の精度で近似することができる

y

x

y1

y2

x1

x2

x3

知能科学：ニュー ラルネットワーク 平井 慎一 目次 ニューロンモデル 近似定理 学習 まとめ

ニューロンモデルの挙動

y = σ(wx + b)

w = 1.00

b = 0.00

-0.2

0

0.2

0.4

0.6

0.8

1

1.2

-10

-5

0

5

10

知能科学：ニュー ラルネットワーク 平井 慎一 目次 ニューロンモデル 近似定理 学習 まとめ

ニューロンモデルの挙動

y = σ(wx + b)

w = 5.00

b = 0.00

-0.2

0

0.2

0.4

0.6

0.8

1

1.2

-10

-5

0

5

10

知能科学：ニュー ラルネットワーク 平井 慎一 目次 ニューロンモデル 近似定理 学習 まとめ

ニューロンモデルの挙動

y = σ(wx + b)

w = 10.00

b = 0.00

-0.2

0

0.2

0.4

0.6

0.8

1

1.2

-10

-5

0

5

10

知能科学：ニュー ラルネットワーク 平井 慎一 目次 ニューロンモデル 近似定理 学習 まとめ

ニューロンモデルの挙動

y = σ(wx + b)

w = 50.00

b = 0.00

-0.2

0

0.2

0.4

0.6

0.8

1

1.2

-10

-5

0

5

10

知能科学：ニュー ラルネットワーク 平井 慎一 目次 ニューロンモデル 近似定理 学習 まとめ

ニューロンモデルの挙動

y = σ(wx + b)

w = 50.00

b = 0.00

-0.2

0

0.2

0.4

0.6

0.8

1

1.2

-10

-5

0

5

10

知能科学：ニュー ラルネットワーク 平井 慎一 目次 ニューロンモデル 近似定理 学習 まとめ

ニューロンモデルの挙動

y = σ(wx + b)

w = 50.00

b =

−50.00

-0.2

0

0.2

0.4

0.6

0.8

1

1.2

-10

-5

0

5

10

知能科学：ニュー ラルネットワーク 平井 慎一 目次 ニューロンモデル 近似定理 学習 まとめ

ニューロンモデルの挙動

y = σ(wx + b)

w = 50.00

b =

−100.00

-0.2

0

0.2

0.4

0.6

0.8

1

1.2

-10

-5

0

5

10

知能科学：ニュー ラルネットワーク 平井 慎一 目次 ニューロンモデル 近似定理 学習 まとめ

ニューロンモデルの挙動

y = σ(wx + b)

wx + b = 0

−b/w = 2

-0.2

0

0.2

0.4

0.6

0.8

1

1.2

-10

-5

0

5

10

知能科学：ニュー ラルネットワーク 平井 慎一 目次 ニューロンモデル 近似定理 学習 まとめ

パルス関数の生成

-0.2 0 0.2 0.4 0.6 0.8 1 1.2 -10 -5 0 5 10

× 1

+

-0.2 0 0.2 0.4 0.6 0.8 1 1.2 -10 -5 0 5 10

× (-1)

=

-0.2 0 0.2 0.4 0.6 0.8 1 1.2 -10 -5 0 5 10

知能科学：ニュー ラルネットワーク 平井 慎一 目次 ニューロンモデル 近似定理 学習 まとめ

パルス関数の生成

-0.2 0 0.2 0.4 0.6 0.8 1 1.2 -10 -5 0 5 10

× 7

+

-0.2 0 0.2 0.4 0.6 0.8 1 1.2 -10 -5 0 5 10

× (-7)

=

-1 0 1 2 3 4 5 6 7 8 9 10 -10 -5 0 5 10

知能科学：ニュー ラルネットワーク 平井 慎一 目次 ニューロンモデル 近似定理 学習 まとめ

パルス関数の生成

y

x

Σ

σ

σ

50

50

7

-7

0

-50

₀

=

-1 0 1 2 3 4 5 6 7 8 9 10 -10 -5 0 5 10

知能科学：ニュー ラルネットワーク 平井 慎一 目次 ニューロンモデル 近似定理 学習 まとめ

パルス関数の生成

-0.2 0 0.2 0.4 0.6 0.8 1 1.2 -10 -5 0 5 10

× 4

+

-0.2 0 0.2 0.4 0.6 0.8 1 1.2 -10 -5 0 5 10

× (-4)

=

-1 0 1 2 3 4 5 6 7 8 9 10 -10 -5 0 5 10

知能科学：ニュー ラルネットワーク 平井 慎一 目次 ニューロンモデル 近似定理 学習 まとめ

パルス関数の生成

y

x

Σ

σ

σ

50

50

4

-4

-50

-100

₀

=

-1 0 1 2 3 4 5 6 7 8 9 10 -10 -5 0 5 10

知能科学：ニュー ラルネットワーク 平井 慎一 目次 ニューロンモデル 近似定理 学習 まとめ

階段関数の生成

-1 0 1 2 3 4 5 6 7 8 9 10 -10 -5 0 5 10

+

-1 0 1 2 3 4 5 6 7 8 9 10 -10 -5 0 5 10

=

-1 0 1 2 3 4 5 6 7 8 9 10 -10 -5 0 5 10

知能科学：ニュー ラルネットワーク 平井 慎一 目次 ニューロンモデル 近似定理 学習 まとめ

階段関数の生成

y

σ

σ

50

50

7

-7

0

-50

x

σ

σ

50

50

4

-4

-50

-100

0

Σ

₌

-1 0 1 2 3 4 5 6 7 8 9 10 -10 -5 0 5 10

知能科学：ニュー ラルネットワーク 平井 慎一 目次 ニューロンモデル 近似定理 学習 まとめ

関数の近似

x

y

知能科学：ニュー ラルネットワーク 平井 慎一 目次 ニューロンモデル 近似定理 学習 まとめ

関数の近似

x

y

⇒

x

y

知能科学：ニュー ラルネットワーク 平井 慎一 目次 ニューロンモデル 近似定理 学習 まとめ

関数の近似

x

y

⇒

x

y

⇓

x

y

+

x

y

+

· · ·

+

知能科学：ニュー ラルネットワーク 平井 慎一 目次 ニューロンモデル 近似定理 学習 まとめ

出力シグモイドニューロン

y

∈ (−∞, ∞)

y

∈ [ 0, 1 ]

-3 -2 -1 0 1 2 3 4 -10 -5 0 5 10 y x

σ

=

⇒

⇐=

σ

−1

0 0.2 0.4 0.6 0.8 1 -10 -5 0 5 10 y x

知能科学：ニュー ラルネットワーク 平井 慎一 目次 ニューロンモデル 近似定理 学習 まとめ

出力シグモイドニューロン

y

∈ (−∞, ∞)

y

∈ [ 0, 1 ]

-3 -2 -1 0 1 2 3 4 -10 -5 0 5 10 y x

σ

=

⇒

⇐=

σ

−1

0 0.2 0.4 0.6 0.8 1 -10 -5 0 5 10 y x

y

x

-3

_Σ

-2

2

1

4

5

5

6

4

-3

知能科学：ニュー ラルネットワーク 平井 慎一 目次 ニューロンモデル 近似定理 学習 まとめ

出力シグモイドニューロン

y

∈ (−∞, ∞)

y

∈ [ 0, 1 ]

-3 -2 -1 0 1 2 3 4 -10 -5 0 5 10 y x

σ

=

⇒

⇐=

σ

−1

0 0.2 0.4 0.6 0.8 1 -10 -5 0 5 10 y x

y

x

-3

_Σ

-2

2

1

4

5

5

6

4

-3

y

x

σ

5

6

4

-3

-3

-2

2

1

4

5

知能科学：ニュー ラルネットワーク 平井 慎一 目次 ニューロンモデル 近似定理 学習 まとめ

二変数関数の近似

二次元ステップ関数を生成するネットワーク

⇓

任意の二次元関数を近似できる．

知能科学：ニュー ラルネットワーク 平井 慎一 目次 ニューロンモデル 近似定理 学習 まとめ

二変数関数の近似

y = σ(a

1

x

1

+ a

2

x

2

+ c)

− σ(a

1

x

1

+ a

2

x

2

− c)

-2 -1.5 -1 -0.5 0 0.5 1 1.5 2 -2 -1.5 -1 -0.5 0 0.5 1 1.5 2

知能科学：ニュー ラルネットワーク 平井 慎一 目次 ニューロンモデル 近似定理 学習 まとめ

二変数関数の近似

y = σ(a

1

x

1

+ a

2

x

2

+ c)

− σ(a

1

x

1

+ a

2

x

2

− c)

-2 -1.5 -1 -0.5 0 0.5 1 1.5 2 -2 -1.5 -1 -0.5 0 0.5 1 1.5 2

知能科学：ニュー ラルネットワーク 平井 慎一 目次 ニューロンモデル 近似定理 学習 まとめ

二変数関数の近似

y = σ(a

1

x

1

+ a

2

x

2

+ c)

− σ(a

1

x

1

+ a

2

x

2

− c)

-2 -1.5 -1 -0.5 0 0.5 1 1.5 2 -2 -1.5 -1 -0.5 0 0.5 1 1.5 2

知能科学：ニュー ラルネットワーク 平井 慎一 目次 ニューロンモデル 近似定理 学習 まとめ

二変数関数の近似

y = σ(a

1

x

1

+ a

2

x

2

+ c)

− σ(a

1

x

1

+ a

2

x

2

− c)

-2 -1.5 -1 -0.5 0 0.5 1 1.5 2 -2 -1.5 -1 -0.5 0 0.5 1 1.5 2

知能科学：ニュー ラルネットワーク 平井 慎一 目次 ニューロンモデル 近似定理 学習 まとめ

二変数関数の近似

帯状関数の重ね合わせ N = 8

1 1 2 3 -2 -1.5 -1 -0.5 0 0.5 1 1.5 2 -2 -1.5 -1 -0.5 0 0.5 1 1.5 2

知能科学：ニュー ラルネットワーク 平井 慎一 目次 ニューロンモデル 近似定理 学習 まとめ

二変数関数の近似

帯状関数の重ね合わせ N = 16

2 4 6 -2 -1.5 -1 -0.5 0 0.5 1 1.5 2 -2 -1.5 -1 -0.5 0 0.5 1 1.5 2

知能科学：ニュー ラルネットワーク 平井 慎一 目次 ニューロンモデル 近似定理 学習 まとめ

二変数関数の近似

帯状関数の重ね合わせ N = 32

4 8 -2 -1.5 -1 -0.5 0 0.5 1 1.5 2 -2 -1.5 -1 -0.5 0 0.5 1 1.5 2

知能科学：ニュー ラルネットワーク 平井 慎一 目次 ニューロンモデル 近似定理 学習 まとめ

二変数関数の近似

帯状関数の重ね合わせ N = 360

20 20 40 100 -2 -1.5 -1 -0.5 0 0.5 1 1.5 2 -2 -1.5 -1 -0.5 0 0.5 1 1.5 2

知能科学：ニュー ラルネットワーク 平井 慎一 目次 ニューロンモデル 近似定理 学習 まとめ

教師信号と誤差

y

x

b1

b

w11

w12

w13

w21

w22

w23

b3

b2

y

u1

u2

u3

u

1

= σ(w

1

1

x + b

1

)

u

2

= σ(w

2

1

x + b

2

)

u

3

= σ(w

3

1

x + b

3

)

y = σ(w

₁

2

u

1

+ w

2

2

u

2

+ w

3

2

u

3

+ b)

知能科学：ニュー ラルネットワーク 平井 慎一 目次 ニューロンモデル 近似定理 学習 まとめ

教師信号と誤差

y

x

b1

b

w11

w12

w13

w21

w22

w23

b3

b2

y

u1

u2

u3

+

-t

E

t

教師信号

E =

1

2

(y

− t)

2

_誤差

知能科学：ニュー ラルネットワーク 平井 慎一 目次 ニューロンモデル 近似定理 学習 まとめ

教師信号と誤差

y

x

b1

b

w11

w12

w13

w21

w22

w23

b3

b2

y

u1

u2

u3

+

-t

E

学習

誤差 E が最小になるように，重みとバイアスを修正

知能科学：ニュー ラルネットワーク 平井 慎一 目次 ニューロンモデル 近似定理 学習 まとめ

最急降下法

関数 f (x, y ) が最小になる (x, y ) を求める．

min f (x , y )

漸化式：

現在の値 (x

n

, y

n

) から次の値 (x

n+1

, y

n+1

) を計算

x

n+1

= x

n

− α

∂f

∂x

(x

n

, y

n

)

y

n+1

= y

n

− α

∂f

∂y

(x

n

, y

n

)

α：小さな正の定数

知能科学：ニュー ラルネットワーク 平井 慎一 目次 ニューロンモデル 近似定理 学習 まとめ

シグモイド関数の微分

シグモイド関数

σ(x ) =

1

1 + e

−x

このとき

1

− σ(x) =

e

−x

1 + e

−x

シグモイド関数の微分

σ

′

(x ) =

−(−e

−x

₎

(1 + e

−x

)

2

=

1

1 + e

−x

·

e

−x

1 + e

−x

= σ(x )(1

− σ(x))

知能科学：ニュー ラルネットワーク 平井 慎一 目次 ニューロンモデル 近似定理 学習 まとめ

勾配の計算

w

b

x

y

b

σ

y = σ(

· · · + wx + · · · + b)

∂y

∂x

= σ

′

₍

_{· · · ) · w}

= σ(

· · · ) {1 − σ(· · · )} w

= y (1

− y)w

知能科学：ニュー ラルネットワーク 平井 慎一 目次 ニューロンモデル 近似定理 学習 まとめ

勾配の計算

w

b

x

y

b

σ

y = σ(

· · · + wx + · · · + b)

∂y

∂w

= σ

′

₍

_{· · · ) · x = y(1 − y)x}

∂y

∂b

= σ

′

₍

_{· · · ) · 1 = y(1 − y)}

知能科学：ニュー ラルネットワーク 平井 慎一 目次 ニューロンモデル 近似定理 学習 まとめ

勾配の計算

w

b

x

y

b

σ

y = σ(

· · · + wx + · · · + b)

∂y

∂x

= y (1

− y)w

∂y

∂w

= y (1

− y)x

∂y

∂b

= y (1

− y)

知能科学：ニュー ラルネットワーク 平井 慎一 目次 ニューロンモデル 近似定理 学習 まとめ

勾配の計算

∂E

∂w

2

1

= (y

− t)

∂y

∂w

2

1

y = σ(

· · · + w

2

1

u

1

+

· · · )

∂y

∂w

2

1

= y (1

− y)u

1

∂E

∂w

2

1

= (y

− t)y(1 − y)u

1

知能科学：ニュー ラルネットワーク 平井 慎一 目次 ニューロンモデル 近似定理 学習 まとめ

勾配の計算

∂E

∂b

= (y

− t)

∂y

∂b

y = σ(

· · · + b)

∂y

∂b

= y (1

− y)

∂E

∂b

= (y

− t)y(1 − y)

知能科学：ニュー ラルネットワーク 平井 慎一 目次 ニューロンモデル 近似定理 学習 まとめ

勾配の計算

∂E

∂w

1

1

= (y

− t)

∂y

∂w

1

1

重み w

1

1

の値を変えると u

1

の値が変わる．

u

1

の値が変わると，y の値が変わる．

∂y

∂w

1

1

=

∂y

∂u

1

∂u

1

∂w

1

1

y = σ(

· · · + w

2

1

u

1

+

· · · )

∂y

∂u

1

= y (1

− y)w

₁

2

知能科学：ニュー ラルネットワーク 平井 慎一 目次 ニューロンモデル 近似定理 学習 まとめ

勾配の計算

u

1

= σ(

· · · + w

1

1

x +

· · · )

∂u

1

∂w

1

1

= u

1

(1

− u

1

)x

∂E

∂w

1

1

= (y

− t)y(1 − y)w

₁

2

u

1

(1

− u

1

)x

=

∂E

∂w

2

1

w

₁

2

(1

− u

1

)x

知能科学：ニュー ラルネットワーク 平井 慎一 目次 ニューロンモデル 近似定理 学習 まとめ

勾配の計算

∂E

∂b

1

= (y

− t)

∂y

∂b

1

バイアス b

1

の値を変えると u

1

の値が変わる．

u

1

の値が変わると，y の値が変わる．

∂y

∂b

1

=

∂y

∂u

1

∂u

1

∂b

1

y = σ(

· · · + w

₁

2

u

1

+

· · · )

∂y

∂u

1

= y (1

− y)w

₁

2

知能科学：ニュー ラルネットワーク 平井 慎一 目次 ニューロンモデル 近似定理 学習 まとめ

勾配の計算

u

1

= σ(

· · · + b)

∂u

1

∂b

1

= u

1

(1

− u

1

)

∂E

∂b

1

= (y

− t)y(1 − y)w

₁

2

u

1

(1

− u

1

)

=

∂E

∂b

w

2

1

u

1

(1

− u

1

)

知能科学：ニュー ラルネットワーク 平井 慎一 目次 ニューロンモデル 近似定理 学習 まとめ

誤差逆伝搬法

出力ニューロンの重みとバイアスに関する偏微分

∂E

∂w

2

k

= (y

− t)y(1 − y)u

k

∂E

∂b

= (y

− t)y(1 − y)

隠れニューロンの重みとバイアスに関する偏微分

∂E

∂w

1

k

=

∂E

∂w

2

k

w

_k

2

(1

− u

k

)x

∂E

∂b

k

=

∂E

∂b

w

2

k

u

k

(1

− u

k

)

誤差逆伝搬法 (Back Propagation)

知能科学：ニュー ラルネットワーク 平井 慎一 目次 ニューロンモデル 近似定理 学習 まとめ

誤差逆伝搬法

出力ニューロンの重みとバイアスの更新

w

_k

2

:= w

_k

2

− α

∂E

∂w

2

k

b := b

− α

∂E

∂b

隠れニューロンの重みとバイアスの更新

w

_k

1

:= w

_k

1

− α

∂E

∂w

1

k

b

k

:= b

k

− α

∂E

∂b

k

誤差逆伝搬法 (Back Propagation)

知能科学：ニュー ラルネットワーク 平井 慎一 目次 ニューロンモデル 近似定理 学習 まとめ

例

入力と教師データ

x

−2 −1 0

1

2

t

0.5 0.2 0.6 0.9 0.3

隠れニューロン 50 個

α = 0.1

知能科学：ニュー ラルネットワーク 平井 慎一 目次 ニューロンモデル 近似定理 学習 まとめ

例

1 回目

-2 -1.5 -1 -0.5 0 0.5 1 1.5 2 0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1

知能科学：ニュー ラルネットワーク 平井 慎一 目次 ニューロンモデル 近似定理 学習 まとめ

例

10 回目

-2 -1.5 -1 -0.5 0 0.5 1 1.5 2 0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1

知能科学：ニュー ラルネットワーク 平井 慎一 目次 ニューロンモデル 近似定理 学習 まとめ

例

100 回目

-2 -1.5 -1 -0.5 0 0.5 1 1.5 2 0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1

知能科学：ニュー ラルネットワーク 平井 慎一 目次 ニューロンモデル 近似定理 学習 まとめ

例

1000 回目

-2 -1.5 -1 -0.5 0 0.5 1 1.5 2 0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1

知能科学：ニュー ラルネットワーク 平井 慎一 目次 ニューロンモデル 近似定理 学習 まとめ

例

10000 回目

-2 -1.5 -1 -0.5 0 0.5 1 1.5 2 0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1

知能科学：ニュー ラルネットワーク 平井 慎一 目次 ニューロンモデル 近似定理 学習 まとめ

例

20000 回目

-2 -1.5 -1 -0.5 0 0.5 1 1.5 2 0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1

知能科学：ニュー ラルネットワーク 平井 慎一 目次 ニューロンモデル 近似定理 学習 まとめ

例

50000 回目

-2 -1.5 -1 -0.5 0 0.5 1 1.5 2 0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1

知能科学：ニュー ラルネットワーク 平井 慎一 目次 ニューロンモデル 近似定理 学習 まとめ

例

結果

-2 -1.5 -1 -0.5 0 0.5 1 1.5 2 0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1

知能科学：ニュー ラルネットワーク 平井 慎一 目次 ニューロンモデル 近似定理 学習 まとめ

テクスチャーの識別

ロボット指と触覚センサ

8 種類のテクスチャー

知能科学：ニュー ラルネットワーク 平井 慎一 目次 ニューロンモデル 近似定理 学習 まとめ

テクスチャーの識別

センサ信号

ウェーブレット変換

上：デニム地

下：写真用紙

知能科学：ニュー ラルネットワーク 平井 慎一 目次 ニューロンモデル 近似定理 学習 まとめ

テクスチャーの識別

1

2

3

4

5

6

7

8

1

90

2

77

5

3

10

11

85

8

6

4

73

5

12

5

19

100

6

80

5

7

9

5

20

89

8

100

正解率

86.5 %

知能科学：ニュー ラルネットワーク 平井 慎一 目次 ニューロンモデル 近似定理 学習 まとめ

まとめ

ニューロンモデル

シグモイド関数 シグモイドニューロン

ニューラルネットワーク

入力層 隠れ層 出力層

近似定理

隠れ層が 1 層のニューラルネットワーク

学習

誤差逆伝搬法 (Back Propagation)