前半
29
0
0
全文
(2) ファジイラベル はじめに ファジイ理論 ファジイ集合 ファジイ集合の表記. ファジイ集合の表記. 通常、メンバーシップ関数には、“名前” がついており、これをファ ジイラベルという。. ファジイ関係の合成 ファジイルール ファジイ推論. たとえば、通常の集合では「100 以上の数」というのに対して、「大き な数」といった名前がファジイラベルである。. FF 型 NN. ファジイ集合の表記. 有限集合の場合: メンバーシップ関数 μS を持つファジイ集合 S を. ファジイ関係. S = μS (x1 )/x1 + · · · + μS (xn )/xn =. ファジイ関係の合成 ファジイルール. n . μS (xi )/xi. i=1. ファジイ推論 通常の推論との違い. 通常の推論との違い. ニューラルネットワーク. ファジイ集合. 非ファジイ化. 非ファジイ化 ファジイ制御の例. ファジイ理論. ファジイ演算. ファジイ演算 ファジイ関係. はじめに. ファジイラベル A に対応したメンバーシップ関数を μA で表わす。 また、ファジイラベルとファジイ集合はしばしば同一視される。. ファジイ制御の例 ニューラルネットワーク. と書く。 /, + は、足し算・割り算の意味ではなく、単なる記号である。. FF 型 NN. SA とボルツマンマシン. SA とボルツマンマシン. Hopfield NN と連想記憶. Hopfield NN と連想記憶. 自己組織化ネットワーク. 自己組織化ネットワーク. 遺伝的アルゴリズム. 遺伝的アルゴリズム. 遺伝的プログラミング. 遺伝的プログラミング. 多目的最適化と GA. 多目的最適化と GA. 進化戦略. 進化戦略. 無限集合の場合: メンバーシップ関数 μS を持つファジイ集合 S を S= μS (x)/x X. と書く。これも単なる約束事である。. 2009 年後期 – 5 / 115. ソフトコンピューティング. ファジイ集合の演算 (min-max 法) (1) はじめに. ファジイ演算. はじめに. . ファジイ集合 ファジイ集合の表記. ファジイ集合の演算 (min-max 法) (2). 集合和:. ファジイ理論. . A∪B =. μA (x) ∨ μB (x)/x =. max(μA (x), μB (x))/x. 非ファジイ化. μB. 通常の推論との違い ファジイ制御の例 ニューラルネットワーク. FF 型 NN. 非ファジイ化 通常の推論との違い. A ⊂ B : μA (x) ≤ μB (x), ∀x A = B : μA = μB. ファジイ制御の例. FF 型 NN. μA (x) ∧ μB (x)/x =. SA とボルツマンマシン. min(μA (x), μB (x))/x. 自己組織化ネットワーク. Hopfield NN と連想記憶. その他、“代数積-代数和法” もある。. 自己組織化ネットワーク. 遺伝的アルゴリズム. A ∪ B : μA (x) + μB (x) − μA (x)μB (x). 遺伝的アルゴリズム. μA. 遺伝的プログラミング 多目的最適化と GA. μAIB. 1 − μA (x)/x. 相当関係:. ニューラルネットワーク. A∩B =. μA (x)/x =. 包含関係:. ファジイ推論. μA. . ファジイ演算. ファジイルール. 集合積:. SA とボルツマンマシン Hopfield NN と連想記憶. ファジイ集合の表記. ファジイ関係の合成. μAUB. ファジイ推論. A¯ =. ファジイ集合. ファジイ関係. ファジイルール. 補集合:. ファジイ理論. ファジイ関係 ファジイ関係の合成. 2009 年後期 – 6 / 115. ソフトコンピューティング. A ∩ B : μA (x)μB (x). 遺伝的プログラミング. μB. 多目的最適化と GA. 進化戦略. 進化戦略. ソフトコンピューティング. 2009 年後期 – 7 / 115. ソフトコンピューティング. 2009 年後期 – 8 / 115.
(3) ファジイ集合演算の性質 はじめに ファジイ理論 ファジイ集合 ファジイ集合の表記 ファジイ演算 ファジイ関係 ファジイ関係の合成 ファジイルール ファジイ推論 非ファジイ化 通常の推論との違い ファジイ制御の例 ニューラルネットワーク. FF 型 NN SA とボルツマンマシン Hopfield NN と連想記憶 自己組織化ネットワーク. ファジイ関係. 反射率 A ⊂ A 反対称律 A ⊂ B, B ⊂ A → A = B 推移率 A ⊂ B, B ⊂ C → A ⊂ C べき等律 A ∪ A = A, A ∩ A = A 交換律 A ∪ B = B ∪ A, A ∩ B = B ∩ A 結合律 (A ∪ B) ∪ C = A ∪ (B ∪ C), (A ∩ B) ∩ C = A ∩ (B ∩ C) 吸収律 A ∪ (A ∩ B) = A, A ∩ (A ∩ B) = A ∩ B 分配律 A ∪ (B ∩ C) = (A ∪ B) ∩ (A ∪ C), A ∩ (B ∪ C) = (A ∩ B) ∪ (A ∩ C) 乗数法則 A ∪ X = X, A ∩ X = A, A ∩ φ = φ, A ∪ φ = A ¯=A 二重否定の法則 A ¯ ∩ B, ¯ A ∩ B = A¯ ∪ B ¯ ド・モルガンの法則 A ∪ B = A. 遺伝的アルゴリズム 遺伝的プログラミング 多目的最適化と GA 進化戦略. はじめに ファジイ理論 ファジイ集合 ファジイ集合の表記 ファジイ演算 ファジイ関係 ファジイ関係の合成 ファジイルール 非ファジイ化 通常の推論との違い ファジイ制御の例. FF 型 NN. 相補律. ¯ = X, A ∩ A¯ = φ」は一般に成り立たない。 「A ∪ A. Hopfield NN と連想記憶. ファジイ推論 非ファジイ化 通常の推論との違い ファジイ制御の例. μR : X × Y → [0, 1]. 多目的最適化と GA. ファジイ理論 ファジイ集合 ファジイ集合の表記 ファジイ演算. のグラフは、f のグラフと Z の直積集合、g のグラフと X の直積集合 の交点集合を Y に沿って X × Z に射影したものである。 z z = g( f(x)). ファジイ関係 ファジイルール ファジイ推論 通常の推論との違い ファジイ制御の例. FF 型 NN. FF 型 NN. SA とボルツマンマシン. SA とボルツマンマシン. y. 自己組織化ネットワーク. 遺伝的アルゴリズム. 遺伝的アルゴリズム. 遺伝的プログラミング. 遺伝的プログラミング. ソフトコンピューティング. y = f(x). をファジイ関係の合成という。. (注意). ファジイ集合論における ◦ は通常と逆の順番に書く。. min-max 法では、 μR◦S = max min(μR (x, y), μS (y, z)). Hopfield NN と連想記憶. 自己組織化ネットワーク. x. y. 非ファジイ化. ニューラルネットワーク. Hopfield NN と連想記憶. R を X × Y のファジイ関係、S を Y × Z のファジイ関係とすると、 R ◦ S = μR◦S /(x, z) = ∨{μR (x, y) ∧ μS (y, z)}/(x, z). ファジイ関係の合成. ニューラルネットワーク. 進化戦略. 2009 年後期 – 10 / 115. ソフトコンピューティング. はじめに. g ◦ f = g(f (x)). 多目的最適化と GA. で表わされる。すなわち、X × Y 上でのファジイ集合で表わされる。. 進化戦略. ファジイ関係の合成 (2). 通常の関数 f : X → Y , g : Y → Z の合成関数、. ファジイ演算. ファジイルール. X から Y へのファジイ関係は、. 自己組織化ネットワーク. 2009 年後期 – 9 / 115. ファジイ集合の表記. ファジイ関係の合成. では、ファジイな関係とはなんであろうか?. SA とボルツマンマシン. 遺伝的プログラミング. ファジイ集合. ファジイ関係. によって表わされる。. ニューラルネットワーク. ファジイ関係の合成 (1). ファジイ理論. R = {(1, 2), (1, 3), (2, 3)}. ファジイ推論. 遺伝的アルゴリズム. 成り立たない法則:. ソフトコンピューティング. はじめに. 通常の集合でまず考えよう。 たとえば、集合 X = {1, 2, 3, 4, 5}, Y = {1, 2, 3} において、 「∼より小さい」: x < y (x ∈ X, y ∈ Y ) という “関係” は、直積集合 X × Y 上での部分集合、. z = g(y). y. となる。. 多目的最適化と GA 進化戦略. 2009 年後期 – 11 / 115. ソフトコンピューティング. 2009 年後期 – 12 / 115.
(4) ファジイ関係によるファジイ集合の写像 はじめに ファジイ理論 ファジイ集合 ファジイ集合の表記 ファジイ演算 ファジイ関係 ファジイ関係の合成 ファジイルール. ファジイルール. A ⊂ X をファジイ集合、R を X × Y のファジイ関係とすると、A を Y 上に写像したものは、 A ◦ R = μA◦R /y = ∨{μA (x) ∧ μR (x, y)}/y x. 通常の推論との違い. Hopfield NN と連想記憶. これも、◦ は通常と逆の順番に書くようである。. ファジイ関係の合成 ファジイルール. ニューラルネットワーク. SA とボルツマンマシン. min-max 法では、 μA◦R. 自己組織化ネットワーク. これを、ファジイ関係で表わす。 A ⊂ X, B ⊂ Y に対して、直積、. R=A×B = μR (x, y)/(x, y) = μA (x) ∧ μB (y)/(x, y) (⊂ X × Y ) は、上記のファジイルールを表現するファジイ関係である。 μR. 遺伝的アルゴリズム. x. 遺伝的プログラミング. となる。. 多目的最適化と GA. 進化戦略. 進化戦略. μA. μB x. 2009 年後期 – 13 / 115. ソフトコンピューティング. ファジイ集合 ファジイ集合の表記 ファジイ演算 ファジイ関係 ファジイ関係の合成 ファジイルール. 「x が A ならば」というルールに部分的にマッチしているファジイ集合 P が与えられたときに、それはどのように推論されるであろうか? → ファジイ関係によるファジイ集合の写像を使う ファジイルール “if x is A then y is B” の x にファジイ集合 P を与 えたときのファジイ推論:. ファジイ制御の例. ファジイ集合. y 2009 年後期 – 14 / 115. ファジイ集合の表記 ファジイ演算 ファジイ関係 ファジイ関係の合成. ファジイルールに対しファジイでない命題 x = x0 を与えたとき: 1, x = x0 μP (x) = 0, x
(5) = x0. ファジイルール. を代入すると、. μQ = μA (x0 ) ∧ μB (y). 通常の推論との違い ファジイ制御の例. ニューラルネットワーク. 自己組織化ネットワーク. ファジイ理論. 非ファジイ化. Q=P ◦R. 通常の推論との違い. Hopfield NN と連想記憶. はじめに. ファジイ推論. 非ファジイ化. SA とボルツマンマシン. x. 非ファジイな事実からのファジイ推論. ファジイ推論. FF 型 NN. y. ソフトコンピューティング. ファジイ推論. ファジイ理論. 前件部 後件部. Hopfield NN と連想記憶. = max min(μA (x), μR (x, y)) . 遺伝的プログラミング. はじめに. x is A: y is B:. if x is A then y is B. ファジイ関係. FF 型 NN. 遺伝的アルゴリズム. ファジイルール:. ファジイ演算. ファジイ制御の例. (注意). 自己組織化ネットワーク. 多目的最適化と GA. ファジイ集合の表記. 通常の推論との違い. FF 型 NN SA とボルツマンマシン. ファジイ集合. 非ファジイ化. と定義され、Y 上の新たなファジイ集合となる。. ファジイ制御の例 ニューラルネットワーク. ファジイ理論. ファジイ推論. ファジイ推論 非ファジイ化. はじめに. ニューラルネットワーク. μQ = ∨[μP (x) ∧ {μA (x) ∧ μB (y)}] = ∨[{μP (x) ∧ μA (x)} ∧ μB (y)] x. x. FF 型 NN SA とボルツマンマシン Hopfield NN と連想記憶. = [∨{μP (x) ∧ μA (x)}] ∧ μB (y). 自己組織化ネットワーク. x. 遺伝的アルゴリズム. 遺伝的アルゴリズム. 遺伝的プログラミング. 1. 多目的最適化と GA 進化戦略. A P. 1. ソフトコンピューティング. x. 遺伝的プログラミング 多目的最適化と GA 進化戦略. Q. A^P 0. B. 0. y 2009 年後期 – 15 / 115. ソフトコンピューティング. 2009 年後期 – 16 / 115.
(6) 多重ファジイ推論 はじめに. 多重ファジイ推論の例. 複数の前件部に部分的にマッチした場合はどうなるのであろうか?. はじめに. ファジイ理論. ファジイ理論. ファジイ集合. ファジイ集合. ファジイ集合の表記 ファジイ演算 ファジイ関係 ファジイ関係の合成. ファジイルール: if x is A1 then y is B1 , if x is A2 then y is B2 ,. . .. ファジイ演算. 非ファジイ化. i x. 通常の推論との違い. 通常の推論との違い. = ∨[∨{μP (x) ∧ μAi (x)}] ∧ μBi (y). ファジイ制御の例 ニューラルネットワーク. FF 型 NN. Q=. μQ /y =. 自己組織化ネットワーク. ファジイ制御の例. i x. ニューラルネットワーク. . FF 型 NN. i. [∨{μP (x) ∧ μAi (x)}] ∧ μBi (y)/y x. 進化戦略. ソフトコンピューティング. 2009 年後期 – 17 / 115. 通常の推論との違い. 実際にファジイ推論を用いるときは、ファジイ推論の結果得られたファ ジイ集合 Q を通常の数値に直さなくてはならない。 この操作を非ファジイ化 (defuzzification) という。. ファジイ関係 ファジイ関係の合成 ファジイルール ファジイ推論 非ファジイ化 通常の推論との違い ファジイ制御の例 ニューラルネットワーク. FF 型 NN SA とボルツマンマシン. ファジイ理論 ファジイ集合. ✔ ✔. ルール同士が AND ではなく OR 結合 “if A then B” が、A¯ ∨ B でなく、A ∧ B. ファジイ集合の表記 ファジイ演算 ファジイ関係の合成 ファジイルール ファジイ推論. その結果、矛盾するルールでも推論結果が得られることがある。 [例] 「正面に障害物が見えたら、右か左に大きくハンドルを切る」 if x is ZO then y is NL, および if x is ZO then y is PL. 非ファジイ化. NL. 通常の推論との違い. NM NS. ZO. PS. PM. PL. ファジイ制御の例 ニューラルネットワーク. FF 型 NN. Эˑᢿ. SA とボルツマンマシン Hopfield NN と連想記憶. 自己組織化ネットワーク. 遺伝的プログラミング. はじめに. ファジイ関係. 重心法による非ファジイ化: ファジイ集合 Q を非ファジイ化した値は、 yμQ (y)dy y0 = μQ (y)dy. Hopfield NN と連想記憶. 遺伝的アルゴリズム. 2009 年後期 – 18 / 115. ソフトコンピューティング. 非ファジイ化. ファジイ演算. y. Hopfield NN と連想記憶. 多目的最適化と GA. 進化戦略. ファジイ集合の表記. 0. x. 遺伝的プログラミング. ルール同士は OR 結合. 多目的最適化と GA. ファジイ集合. x0. 遺伝的アルゴリズム. 遺伝的プログラミング. ファジイ理論. 0. SA とボルツマンマシン. 自己組織化ネットワーク. 遺伝的アルゴリズム. はじめに. Y1 Y2 Y3 Y4. 1. ファジイ推論. μQ = ∨ ∨[μP (x) ∧ {μAi (x) ∧ μBi (y)}]. 非ファジイ化. X1 X2 X3 X4. 1. ファジイ関係の合成 ファジイルール. ファジイ推論. Hopfield NN と連想記憶. ファジイ集合の表記 ファジイ関係. に対する推論結果:. ファジイルール. SA とボルツマンマシン. if x is X1 then y is Y1 , if x is X2 then y is Y2 , if x is X3 then y is Y3 , if x is X4 then y is Y4. 自己組織化ネットワーク. 1 次モーメントを 0 次モーメントで割る = 重心を求める操作. 多目的最適化と GA. 進化戦略. 進化戦略. 2009 年後期 – 19 / 115. ZO. PS. PM. PL. 遺伝的プログラミング. 多目的最適化と GA. ソフトコンピューティング. NL NM NS. 遺伝的アルゴリズム. もっとも、推論結果を 重心法で非ファジイ化 すると、障害物にぶつ かってしまうが...。. ࢸˑᢿ. ソフトコンピューティング. 2009 年後期 – 20 / 115.
(7) ファジイ制御の例 (1). ファジイ制御の例 (2). はじめに. はじめに. z -1. ファジイ理論 ファジイ集合 ファジイ集合の表記 ファジイ関係 ファジイ関係の合成 ファジイルール ファジイ推論 非ファジイ化. v. + + -. Δe e. Fuzzy Controller. Δu. u. + +. Controlled Object. y. ZO. PS. PM. NL NM NS. ZO. PS. PM. PL. ファジイ演算 ファジイ関係 ファジイ関係の合成 ファジイルール ファジイ推論 非ファジイ化. z -1. 通常の推論との違い. ファジイ制御の例. ファジイ制御の例. ニューラルネットワーク. SA とボルツマンマシン. NM NS. ファジイ集合の表記. 通常の推論との違い. FF 型 NN. NL. ファジイ集合. -. ファジイ演算. 前件部・後件部のメンバーシップ関数. ファジイ理論. ニューラルネットワーク. z −1 は時間遅れ要素. FF 型 NN SA とボルツマンマシン. Hopfield NN と連想記憶. Hopfield NN と連想記憶. 自己組織化ネットワーク. 自己組織化ネットワーク. 遺伝的アルゴリズム. 遺伝的アルゴリズム. 遺伝的プログラミング. 遺伝的プログラミング. 多目的最適化と GA. 多目的最適化と GA. 進化戦略. 進化戦略. 2009 年後期 – 21 / 115. ソフトコンピューティング. ソフトコンピューティング. PL. 2009 年後期 – 22 / 115. ニューラルネットワークとは はじめに. はじめに. ファジイ理論. ファジイ理論. ニューラルネットワーク. ニューラルネットワーク. NN とは 神経細胞 神経細胞のモデル Hebb 則 Hebb 則の意味. NN とは 神経細胞 神経細胞のモデル Hebb 則 Hebb 則の意味. FF 型 NN. FF 型 NN. ニューラルネットワーク. SA とボルツマンマシン. SA とボルツマンマシン. Hopfield NN と連想記憶. Hopfield NN と連想記憶. 自己組織化ネットワーク. 自己組織化ネットワーク. 遺伝的アルゴリズム. 遺伝的アルゴリズム. 遺伝的プログラミング. 遺伝的プログラミング. 多目的最適化と GA. 多目的最適化と GA. 進化戦略. 進化戦略. ソフトコンピューティング. 2009 年後期 – 23 / 115. ニューラルネットワーク (Neural network) とは、 脳機能の (一部の) 特性を計算によって表現することを目指した数 学モデル 何に使えるか? ✔ ✔ ✔ ✔ ✔ ✔. 関数学習 最適化 連想記憶 クラスタリング カオスダイナミクスの実現 その他.... ソフトコンピューティング. 2009 年後期 – 24 / 115.
(8) 神経細胞 はじめに. 典型的な神経細胞:. ファジイ理論 ニューラルネットワーク. NN とは 神経細胞 神経細胞のモデル Hebb 則 Hebb 則の意味. ᠆ኧ. FF 型 NN. FF 型 NN. SA とボルツマンマシン. SA とボルツマンマシン. ᅕኺኬᏘ. Hopfield NN と連想記憶. 自己組織化ネットワーク. 遺伝的アルゴリズム. 遺伝的アルゴリズム. 遺伝的プログラミング. 遺伝的プログラミング. 多目的最適化と GA. 多目的最適化と GA. ✔ ✔ ✔. 樹状突起: 神経細胞の周りに発達する突起。他の神経細胞からの信 号を受け取る部分。 軸索: 神経細胞から長く伸びる部分。他の神経細胞に信号を伝 える。 シナプス: 軸索先端と樹状突起の間で形成される、信号の受け渡し 部分。電気的なシナプスもあるが、多くは、化学物質による伝達。. 進化戦略. ニューラルネットワーク. NN とは. 遺伝的アルゴリズム 遺伝的プログラミング. 1 0.9. f (x) =. 1 1 + e−kx. (k > 0). 0.8. . 0.7 0.6 0.5. -4. -2. 0. x. 2. 4. 2009 年後期 – 26 / 115. Hebb 則 (2). y = φ(x) なる関数を学習したい。. はじめに. 正しい (x, y) のペアの列が与えられたとする。そのときの y を (ニ 「教師信号」とよぶ。 ューロンの実際の出力と区別して)、y¯ と書き、 これらより、重み係数 wi とオフセットを「学習」したい。. Hebb 則:. シグモイド関数の微分:. ファジイ理論 ニューラルネットワーク. f (x) =. wi,new = wi,old − η¯(y − y¯)y(1 − y)xi. Hopfield NN と連想記憶. θnew = θold − η¯(y − y¯)y(1 − y). 自己組織化ネットワーク 遺伝的アルゴリズム 遺伝的プログラミング. 多目的最適化と GA. 多目的最適化と GA. 進化戦略. 進化戦略. 2009 年後期 – 27 / 115. ke−kx = kf (x)(1 − f (x)) (1 + e−kx )2. よって、Hebb 則は、以下のように書ける。. SA とボルツマンマシン. wi xi + θ)xi wi,new = wi,old − η(y − y¯)f ( θnew = θold − η(y − y¯)f ( wi xi + θ) . ソフトコンピューティング. xN. シグモイド関数:. ソフトコンピューティング. FF 型 NN. 自己組織化ネットワーク. i=1. f (·): シグモイド関数 θ: オフセット wi : 重み. wN. 0. FF 型 NN. Hopfield NN と連想記憶. . 0.1. Hebb 則 Hebb 則の意味. SA とボルツマンマシン. y. 0.2. NN とは 神経細胞 神経細胞のモデル Hebb 則 Hebb 則の意味. 神経細胞のモデル. ニューロンのモデル: N y=f wi xi + θ. w1. 0.3. Hebb 則 (1). 神経細胞. w2. 0.4. 2009 年後期 – 25 / 115. ソフトコンピューティング. ファジイ理論. x2. Hopfield NN と連想記憶. 自己組織化ネットワーク. はじめに. x1. ニューラルネットワーク. ǷȊȗǹ. NN とは 神経細胞 神経細胞のモデル Hebb 則 Hebb 則の意味. 進化戦略. 実際の神経細胞のモデル化というより、役に立つ神経細胞モデル. ファジイ理論. ཞᆳឪ. f(x). はじめに. 神経細胞のモデル. ただし、η¯ = kη. ソフトコンピューティング. 2009 年後期 – 28 / 115.
(9) Hebb 則の意味 はじめに ファジイ理論. はじめに. 評価関数:. E=. ニューラルネットワーク. NN とは 神経細胞. ファジイ理論. 1 (y − y¯)2 → min 2. ニューラルネットワーク. 神経細胞のモデル. Hebb 則 Hebb 則の意味. w = (w1 , . . . , wN ),. x = (x1 , . . . , xN )T. FF 型 NN SA とボルツマンマシン. とすると、. Hopfield NN と連想記憶. 自己組織化ネットワーク 遺伝的アルゴリズム 遺伝的プログラミング 多目的最適化と GA 進化戦略. ∂E ∂w. T. ∂E = (y − y¯)f (wx + θ) ∂θ. = (y − y¯)f (wx + θ)xT ,. FF 型 NN パーセプトロン パーセプトロンの限界 階層型 NN 階層型 NN の表現能力 オフセットの取り扱い 階層型 NN の学習 誤差逆伝播法の意味 慣性項の付加 過学習. フィードフォワード型ニューラルネット ワーク. SA とボルツマンマシン Hopfield NN と連想記憶 自己組織化ネットワーク. したがって、Hebb 則は以下のように書ける。. wi,new = wi,old − η. ∂E ∂w. T. 遺伝的アルゴリズム 遺伝的プログラミング. ,. θnew. ∂E = θold − η ∂θ. 多目的最適化と GA 進化戦略. つまり、Hebb 則は評価関数 E に対する最急降下法。 2009 年後期 – 29 / 115. ソフトコンピューティング. パーセプトロン はじめに. パーセプトロンの限界 (1) はじめに. x1. ファジイ理論 ニューラルネットワーク. x2. ニューラルネットワーク. y1. x3. y2. x4. y3. FF 型 NN パーセプトロン パーセプトロンの限界 階層型 NN 階層型 NN の表現能力 オフセットの取り扱い 階層型 NN の学習 誤差逆伝播法の意味 慣性項の付加 過学習. SA とボルツマンマシン. SA とボルツマンマシン. x5. Hopfield NN と連想記憶. 自己組織化ネットワーク. 遺伝的アルゴリズム. 遺伝的アルゴリズム. 多目的最適化と GA 進化戦略. ✔ ✔. y=f. N . wi xi + θ. i=1. が 0.5 を超える領域は、
(10) N . wi xi + θ > 0 x. i=1. Hopfield NN と連想記憶. 自己組織化ネットワーク. 遺伝的プログラミング. パーセプトロンの出力:. ファジイ理論. wij. FF 型 NN パーセプトロン パーセプトロンの限界 階層型 NN 階層型 NN の表現能力 オフセットの取り扱い 階層型 NN の学習 誤差逆伝播法の意味 慣性項の付加 過学習. 2009 年後期 – 30 / 115. ソフトコンピューティング. 重み wij とオフセット θj を Hebb 則で学習 出力層が 1 つのニューロンの場合は、単純パーセプトロンと呼ば れる。. y > 0.5. . 遺伝的プログラミング 多目的最適化と GA. つまり線形分離できる関数 しか学習できない. 進化戦略. y < 0.5. ソフトコンピューティング. 2009 年後期 – 31 / 115. ソフトコンピューティング. 2009 年後期 – 32 / 115.
(11) パーセプトロンの限界 (2) はじめに. 階層型ニューラルネットワーク はじめに. 線形分離できない関数の例: XOR 関数. ファジイ理論 ニューラルネットワーク. FF 型 NN パーセプトロン パーセプトロンの限界 階層型 NN 階層型 NN の表現能力 オフセットの取り扱い 階層型 NN の学習 誤差逆伝播法の意味 慣性項の付加 過学習. 0Y1=1 1Y1=0. SA とボルツマンマシン. SA とボルツマンマシン. Hopfield NN と連想記憶. Hopfield NN と連想記憶. 0Y0=0. 自己組織化ネットワーク 遺伝的アルゴリズム. 1Y0=1. 進化戦略. 2009 年後期 – 33 / 115. 階層型ニューラルネットワークには、パーセプトロンのような制限がな いことが示される。. Funahashi の定理: N 次元実空間内の有界集合 S 上で定義された任 意の連続関数 z = φ(x) に対し、3 層型ニューラルネットワークは、 中間層のニューロンを増やすことによって、写像 z = φ(x) を任意 の精度で近似できる。すなわち、任意の (> 0) に対し、. z − g(W O f (W H x + θ H ) + θ O ) < . 遺伝的プログラミング. y4. z3. ධຊᒙ ฟຊᒙ. y5. yj = f. N . H wj,k xk. +. θjH. k=1. 行列表現では、. z = g(W O f (W H x + θ H ) + θ O ). ୰㛫ᒙ. ✔ ✔. f (·) は、シグモイド関数であることが多い。 g(·) は、恒等写像かシグモイド関数であることが多い。出力の範囲 を (0, 1) に制限したいときにはシグモイド関数を使う。 2009 年後期 – 34 / 115. ソフトコンピューティング. はじめに ファジイ理論 ニューラルネットワーク. FF 型 NN パーセプトロン パーセプトロンの限界 階層型 NN 階層型 NN の表現能力 オフセットの取り扱い 階層型 NN の学習 誤差逆伝播法の意味 慣性項の付加 過学習 SA とボルツマンマシン. となる、M , W H , W O , θ H , θ O が存在する。. 入力層および中間層において、常に 1 という値を持つニューロンを付加 する。 xN +1 = 1, yM +1 = 1 そして、 O O wi,M +1 = θi ,. H H wj,N +1 = θj. とおくと、. ⎛. M +1 . zi = g ⎝. Hopfield NN と連想記憶. 自己組織化ネットワーク 遺伝的アルゴリズム. z2. y3. . オフセットの取り扱い. SA とボルツマンマシン Hopfield NN と連想記憶. x2. j=1. z1 y2. 多目的最適化と GA. このような関数はパーセプトロンでは実現できない では、複数のパーセプトロンの出力の和では実現できないだろうか? → 階層型ニューラルネットワーク. 階層型ニューラルネットワークの表現能力. FF 型 NN パーセプトロン パーセプトロンの限界 階層型 NN 階層型 NN の表現能力 オフセットの取り扱い 階層型 NN の学習 誤差逆伝播法の意味 慣性項の付加 過学習. x1. wijO. 遺伝的プログラミング. ソフトコンピューティング. ニューラルネットワーク. wijH. 遺伝的アルゴリズム. 多目的最適化と GA. ファジイ理論. y1. 自己組織化ネットワーク. 遺伝的プログラミング. はじめに. ⎞ ⎛ M O O zi = g ⎝ wi,j yj + θi ⎠. ニューラルネットワーク. 0 0 = 0, 0 1 = 1, 1 0 = 1, 1 1 = 0. FF 型 NN パーセプトロン パーセプトロンの限界 階層型 NN 階層型 NN の表現能力 オフセットの取り扱い 階層型 NN の学習 誤差逆伝播法の意味 慣性項の付加 過学習. 進化戦略. 3 層ニューラルネットワークの例:. ファジイ理論. j=1. ⎞ O wi,j yj ⎠ ,. yj = f. N +1 . H wj,k xk. k=1. 自己組織化ネットワーク. K.Funahashi: On the approximation realization of continuous mappings by neural networks, Neural Networks, 2(3), 183–192 (1989). 遺伝的アルゴリズム. 多目的最適化と GA. 多目的最適化と GA. 進化戦略. 進化戦略. ソフトコンピューティング. 2009 年後期 – 35 / 115. のように簡単に書ける。. 遺伝的プログラミング. ソフトコンピューティング. 2009 年後期 – 36 / 115.
(12) 階層型ニューラルネットワークの学習 (1) はじめに ファジイ理論 ニューラルネットワーク. FF 型 NN パーセプトロン パーセプトロンの限界 階層型 NN 階層型 NN の表現能力 オフセットの取り扱い 階層型 NN の学習 誤差逆伝播法の意味 慣性項の付加 過学習. 階層型ニューラルネットワークの学習において、教師信号は出力層のみ に与えられる。つまり、単純な Hebb 則は中間層=出力層間の結合重み の学習にしか適用できない。 出力層の学習: (Hebb 則) O. W. 自己組織化ネットワーク. O. = WO. ¯ e =z−z O. 遺伝的アルゴリズム. 進化戦略. O. ただし、diag(·) は引数ベクトルの各要素を対角成分に持つ対角行列で、. Hopfield NN と連想記憶. 多目的最適化と GA. O. O O ˆ )ˆ yT W new = W old − η diag(e )g (W y. SA とボルツマンマシン. 遺伝的プログラミング. 階層型ニューラルネットワークの学習 (2). . ˆ = (y1 , . . . , yM , 1)T , θO , y. はじめに ファジイ理論 ニューラルネットワーク. FF 型 NN パーセプトロン パーセプトロンの限界 階層型 NN 階層型 NN の表現能力 オフセットの取り扱い 階層型 NN の学習 誤差逆伝播法の意味 慣性項の付加 過学習. Rumelhart らの誤差逆伝播法 (Backpropagation): 中間層ニューロンに対する誤差信号: O. y ˆ) eH = W O diag(eO )g (W 入力層=中間層間重みの更新: (eH を用いた Hebb 則) H. H. H. H H ˆ )ˆ xT W new = W old − η diag(e )f (W x. SA とボルツマンマシン Hopfield NN と連想記憶 自己組織化ネットワーク. ¯ は教師信号) · · · (誤差信号, z. 遺伝的アルゴリズム. . また、g (·) は引数の各成分に g (·) を適用してできたベクトルを表すと する。. 遺伝的プログラミング 多目的最適化と GA 進化戦略. 中間層のニューロンに対しても、誤差信号に相当するものを生成す る必要がある。 2009 年後期 – 37 / 115. ソフトコンピューティング. 誤差逆伝播法の意味 はじめに ファジイ理論. FF 型 NN パーセプトロン パーセプトロンの限界 階層型 NN 階層型 NN の表現能力 オフセットの取り扱い 階層型 NN の学習 誤差逆伝播法の意味 慣性項の付加 過学習. E=. 自己組織化ネットワーク 遺伝的アルゴリズム. はじめに ファジイ理論. 1 1 T ¯ )T (z − z ¯ ) = eO eO → min (z − z 2 2. ニューラルネットワーク. に対する最急降下法。. . O W new. SA とボルツマンマシン Hopfield NN と連想記憶. 慣性項の付加. 実は、誤差逆伝播法による学習も、評価関数. ニューラルネットワーク. H. W new. T ∂E ∂z O = − ηO = − η O H ∂z ∂ W ∂W T T H H ˆ ∂E ∂E ∂ y H H = W old − η = W old − η H H ˆ ∂W ∂y ∂W O W old. T. ∂E. . O W old. 遺伝的プログラミング 多目的最適化と GA 進化戦略. FF 型 NN パーセプトロン パーセプトロンの限界 階層型 NN 階層型 NN の表現能力 オフセットの取り扱い 階層型 NN の学習 誤差逆伝播法の意味 慣性項の付加 過学習. 2009 年後期 – 39 / 115. 誤差逆伝播法による学習は、“その学習データの下での” 最急降下方向 に、重みを修正する方法。 本来は、全ての学習データの下での評価関数の総和 (あるいは最大値) の最急降下法が望ましい。 そこで、過去の修正を、引き続き加え続ける方法が提案された。 [O,H]. [O,H]. ΔW (k). Hopfield NN と連想記憶 自己組織化ネットワーク 遺伝的アルゴリズム. 多目的最適化と GA. [O,H]. W (k+1) = W (k). SA とボルツマンマシン. 遺伝的プログラミング. ∂E T ∂E T ここで、 = eO , = eH 。つまり、誤差信号として eH を用い ˆ ∂z ∂y ればよい。これらの式は、実際は行列では表すことができずテンソルが 必要。転置は縦横を入れ替えるぐらいの意味と考えて欲しい。 ソフトコンピューティング. 2009 年後期 – 38 / 115. ソフトコンピューティング. ✔ ✔. = −η. [O,H]. + ΔW (k) ∂E [O,H] ∂W. [O,H]. T. [O,H]. + α[O,H] ΔW (k−1). 水色の項 · · · 誤差逆伝播法による修正項 赤色の項 · · · 慣性項. 進化戦略. ソフトコンピューティング. 2009 年後期 – 40 / 115.
(13) 過学習 はじめに ファジイ理論. ✔. ニューラルネットワーク. FF 型 NN パーセプトロン パーセプトロンの限界 階層型 NN 階層型 NN の表現能力 オフセットの取り扱い 階層型 NN の学習 誤差逆伝播法の意味 慣性項の付加 過学習. ✔. 学習の仕方によっては、汎化がうまくいかないことがある。 たとえば...、 ✔. SA とボルツマンマシン Hopfield NN と連想記憶 自己組織化ネットワーク 遺伝的アルゴリズム 遺伝的プログラミング 多目的最適化と GA 進化戦略. 階層型ニューラルネットワークは入出力データの組を学習し、 その写像の近似を生成することができる。 与えられた入出力データ以外の点においても、適当に補間した 値を出力してくれることが期待できる。(汎化). ✔. 中間ニューロン数が比較的多いにもかかわらず、少ない入出力デー タの組で繰り返し学習した場合。 入出力データに比較的大きめのノイズが乗っているにもかかわら ず、少ない入出力データの組で繰り返し学習した場合。. 少ない入出力データの組で繰り返し学習した場合、別の検証用デー タでの誤差は、始めは減少するが、その後増加していくことがある。 ⇒ 過学習. はじめに ファジイ理論 ニューラルネットワーク. FF 型 NN SA とボルツマンマシン 有限の状態数の場合 巡回セールスマン問題 SA とは 状態近傍 遷移確率 SA アルゴリズム マルコフ連鎖 SA の収束性の証明 ボルツマンマシン ボルツマンマシンの動き SA との等価性 自己ループの解消 TSP の場合. 焼きなまし法とボルツマンマシン. Hopfield NN と連想記憶 自己組織化ネットワーク 遺伝的アルゴリズム 遺伝的プログラミング 多目的最適化と GA 進化戦略. ソフトコンピューティング. 2009 年後期 – 41 / 115. ソフトコンピューティング. 有限の状態数の場合の最適化問題 はじめに ファジイ理論 ニューラルネットワーク. FF 型 NN SA とボルツマンマシン 有限の状態数の場合 巡回セールスマン問題 SA とは 状態近傍 遷移確率 SA アルゴリズム マルコフ連鎖 SA の収束性の証明 ボルツマンマシン ボルツマンマシンの動き SA との等価性 自己ループの解消 TSP の場合. 巡回セールスマン問題. ここでは、有限の選択肢の中から、ある評価関数を最適化するもの を選ぶ問題を考える。. はじめに ファジイ理論 ニューラルネットワーク. FF 型 NN. [例 1] たとえば x = (0, 1, 1, 0, 0, 1, 1, 0, 1, ..., 0, 1) のような、有限長のビット列に対し、評価関数: F (x) を最小化するよ うな最適化問題を考えることができる。. [例 2] たとえば、アルファベット A,B,C,...,X,Y,Z を任意の順番で、 並び替えた x =(J,F,L,...,K,Q,D,E) のようなものの中から、最適なも のを見つけ出す。. SA とボルツマンマシン 有限の状態数の場合 巡回セールスマン問題 SA とは 状態近傍 遷移確率 SA アルゴリズム マルコフ連鎖 SA の収束性の証明 ボルツマンマシン ボルツマンマシンの動き SA との等価性 自己ループの解消 TSP の場合. Hopfield NN と連想記憶. Hopfield NN と連想記憶. 自己組織化ネットワーク. 自己組織化ネットワーク. 遺伝的アルゴリズム. 遺伝的アルゴリズム. 遺伝的プログラミング. 遺伝的プログラミング. 多目的最適化と GA. 多目的最適化と GA. 進化戦略. 進化戦略. ソフトコンピューティング. 2009 年後期 – 42 / 115. 2009 年後期 – 43 / 115. 巡回セールスマン問題 (TSP, Traveling Salesman Problem) とは? いくつかの都市があり、それらの都市の間の移動距離が与えられて いるものとする。セールスマンは全ての都市を 1 回づつ訪問し、最 後は元の都市に戻るとして、その合計移動距離を最小化するよう な、訪問順はどのようなものか? 前ページ [例 2] のような定式化をして、. x = (x1 , . . . , xN ) とおく。ただし、xi は i 番目に訪問する都市の番号を表し、xi
(14) = xj (i
(15) = j) である。そのとき、. F (x) =. N . d(xi , xi+1 ). (ただし、xN +1 = x1 ). i=1. を最小化する問題。 ※ d(xi , xj ) は xi の都市と xj の都市の間の移動距離 ソフトコンピューティング. 2009 年後期 – 44 / 115.
(16) 焼きなまし法とは はじめに. 状態近傍 はじめに. 焼きなまし法 (SA, Simulated Annealing) とは、. ファジイ理論 ニューラルネットワーク. FF 型 NN SA とボルツマンマシン 有限の状態数の場合 巡回セールスマン問題 SA とは 状態近傍 遷移確率 SA アルゴリズム マルコフ連鎖 SA の収束性の証明 ボルツマンマシン ボルツマンマシンの動き SA との等価性 自己ループの解消 TSP の場合. ファジイ理論. ✔ ✔ ✔ ✔. このような大域的最適化問題に対する、確率的メタアルゴリズム。 大域的最適解に対して、よい近似を与える。 S.Kirkpatrick, C.D.Gelatt, M.P.Vecchi ら (1983) および V.Cerny(1985) 金属工学における “焼きなまし” から来ている。. 最初は温度が高い = 大きく動き局所的な極小値から脱出、広く探査 ⇓ 徐々に最初を下げる = より良い極小値に収束 ᗘࡀ㧗࠸ . Hopfield NN と連想記憶. ᗘࡀప࠸ . 自己組織化ネットワーク. ᒣୗࡾἲ࡛ࡼࡾⰋ࠸ᴟᑠ್㏆. ホ౯್ࡀᝏ࠸᪉ྥືࡃ☜⋡ࡣࢮ࡛ࣟࡣ࡞࠸ ᴟᑠ್. 遺伝的アルゴリズム. ニューラルネットワーク. FF 型 NN SA とボルツマンマシン 有限の状態数の場合 巡回セールスマン問題 SA とは 状態近傍 遷移確率 SA アルゴリズム マルコフ連鎖 SA の収束性の証明 ボルツマンマシン ボルツマンマシンの動き SA との等価性 自己ループの解消 TSP の場合 Hopfield NN と連想記憶 自己組織化ネットワーク. 遺伝的プログラミング. ᇦⓗ᭱㐺Ⅼ. 多目的最適化と GA. 多目的最適化と GA. 進化戦略. FF 型 NN SA とボルツマンマシン 有限の状態数の場合 巡回セールスマン問題 SA とは 状態近傍 遷移確率 SA アルゴリズム マルコフ連鎖 SA の収束性の証明 ボルツマンマシン ボルツマンマシンの動き SA との等価性 自己ループの解消 TSP の場合. ただし、近傍に動くことで評価関数が大きく変わってしまうように 状態近傍を定義すると、焼きなまし法は機能しない。 巡回セールスマン問題では、「訪問順において任意の隣り合った 2 つの 都市を交換したもの」を近傍として定義することが多い。. ソフトコンピューティング. 2009 年後期 – 45 / 115. 遷移確率 (1). ニューラルネットワーク. / N (x) 仮定 1: x ∈ 仮定 2: 任意の 1 つの状態からその「状態近傍」, 「状態近傍のある点 に対する状態近傍」,... のように、状態近傍を次々に辿ることで、S の 全ての状態に到達できる。 仮定 3: x ∈ N (x) ならば、x ∈ N (x )。. 進化戦略. ソフトコンピューティング. ファジイ理論. 探索空間を S とおく。 ある状態 x ∈ S に対し、その状態近傍 N (x) を、S の要素からなる集合 として与える。. 遺伝的アルゴリズム. 遺伝的プログラミング. はじめに. 基本的には確率的な探索だが、闇雲に探索しても意味はない。 現在の状態の「近く」に動いて探索 = 徐々に良い値を得る. 遷移確率 (2). 遷移確率: P (x, x , T ) 今、状態 x にいるとして、x に移るべきかどうかの確率。 ただし、T は「温度」。 ✔ ✔. ✔. F (x ) < F (x) ならば、「状態遷移したほうが得」なので、遷移確率 は大きくなる。 F (x ) > F (x) ならば、「状態遷移したほうが損」なので、遷移確率 は小さくなる。特に、T → 0 ならば、この場合の遷移確率もゼロに 近づく。(逆に言えば、T > 0 のときは、状態遷移したほうが損で も、遷移する確率はゼロでない。) T が高いと、遷移確率は 1/2 に近づく。(必須ではない). はじめに ファジイ理論. 1 · exp(−F (x)/T ) exp(−F (z)/T ) z∈S. g(x, T ) = . FF 型 NN SA とボルツマンマシン 有限の状態数の場合 巡回セールスマン問題 SA とは 状態近傍 遷移確率 SA アルゴリズム マルコフ連鎖 SA の収束性の証明 ボルツマンマシン ボルツマンマシンの動き SA との等価性 自己ループの解消 TSP の場合 Hopfield NN と連想記憶. 自己組織化ネットワーク. 自己組織化ネットワーク. 遺伝的アルゴリズム. 遺伝的アルゴリズム. 遺伝的プログラミング. 遺伝的プログラミング. 多目的最適化と GA. 多目的最適化と GA. 進化戦略. 進化戦略. 2009 年後期 – 47 / 115. Gibbs 分布:. ニューラルネットワーク. Hopfield NN と連想記憶. ソフトコンピューティング. 2009 年後期 – 46 / 115. T → 0 のとき、g(x, T ) → 0 (x ∈ / O), g(x, T ) → 1/Nopt (x ∈ O) となる。ただし、Nopt は最適状態の数。 ✔ 水色部分は T のみに依存する定数。 ✔. 遷移確率の例 (ボルツマンの受理関数):. g(x , T ) 1 P (x, x , T ) = B = g(x, T ) 1 + exp((F (x ) − F (x))/T ) ただし、B(s) = s/(s + 1)。上記の水色部分は約分されて消える。. ソフトコンピューティング. 2009 年後期 – 48 / 115.
(17) 焼きなまし法のアルゴリズム. マルコフ連鎖 (1). はじめに ファジイ理論 ニューラルネットワーク. FF 型 NN SA とボルツマンマシン 有限の状態数の場合 巡回セールスマン問題 SA とは 状態近傍 遷移確率 SA アルゴリズム マルコフ連鎖 SA の収束性の証明 ボルツマンマシン ボルツマンマシンの動き SA との等価性 自己ループの解消 TSP の場合 Hopfield NN と連想記憶 自己組織化ネットワーク. はじめに. 焼きなまし法のアルゴリズム: 1. まず、初期状態 x(0) を決め、k := 0 とする。 2. x(k) の近傍 N (x(k)) から一点を選び、x (k) とする。 3. 繰り返し回数 k によって温度 T (k) を決定する。 4. [0, 1] の一様乱数を発生し、それが P (x(k), x (k), T (k)) より小さ ければ、x(k +1) = x (k) に遷移。そうでなければ x(k +1) = x(k) とし、元の状態に留まる。 5. k := k + 1 とし、あらかじめ決められた繰り返し回数 kmax 以上 ならば、終了。そうでなければ、ステップ 2 に戻る。 ✔ ✔. 遺伝的アルゴリズム 遺伝的プログラミング. ✔. 多目的最適化と GA. T (k) は徐々に温度を下げ、最後はゼロになるようにスケジュール される。 繰り返しの中での一番評価関数が小さい x(k) が最適解の候補。(最 良状態を 1 つだけ記憶しておく) 実際は、温度スケジュール, 評価関数の定義, 近傍の定義, 遷移確率 の定義によって結果は大きく変わる。. 進化戦略. ニューラルネットワーク. FF 型 NN SA とボルツマンマシン 有限の状態数の場合 巡回セールスマン問題 SA とは 状態近傍 遷移確率 SA アルゴリズム マルコフ連鎖 SA の収束性の証明 ボルツマンマシン ボルツマンマシンの動き SA との等価性 自己ループの解消 TSP の場合. 遺伝的アルゴリズム 遺伝的プログラミング 多目的最適化と GA. ソフトコンピューティング. 多目的最適化と GA. ニューラルネットワーク. は p の値によらず、ある決まった値に収束する。. ✔. ✔. FF 型 NN. k→∞. 自己組織化ネットワーク. 2009 年後期 – 50 / 115. 仮定:. ファジイ理論. lim pM k. Hopfield NN と連想記憶. 遺伝的プログラミング. はじめに. マルコフ連鎖のエルゴード定理: k によらない遷移確率行列 M が既約かつ非周期的ならば、. ✔. x(k) を確率変数とみなす。 p(x(t)) を確率変数 x(t) の確率分布とし、S の要素の数の長さの行 ベクトルである。たとえば、n-都市の TSP では、S の要素の数は 全ての組み合わせ n! であるので、p(x(t)) は n! の長さの行ベクトル になる。i 番目の要素は x(t) が特定のある状態 xi ∈ S にある確率 を表し、総和は 1 となる。 未来の挙動 p(x(t )) が現在の x(t) (t > t) のみによって影響される (p(x(t )|x(t)) = p(x(t )|x(τ ), τ ≤ t)) 場合、「マルコフ過程」とい う。この場合、特に状態数が有限で時間も離散的なので、「マルコ フ連鎖」という。 時刻 k において、xi ∈ S から xj ∈ S に遷移する確率を m(xi , xj , k) とする。m(xi , xj , k) を (i, j) 要素とする行列を M (k) とおく (マル コフ連鎖の遷移確率行列)。各行の要素の総和はおのおの 1 で、 p(x(k)) = p(x(k−1))M (k−1) = p(x(k−2))M (k−2)M (k−1) = · · · となる (チャップマン=コルモゴルフの方程式)。ただし、実際に M (k) を計算するのは得策ではない。. 焼きなまし法の収束性の証明. p(x(k + m)) = p(x(k))M m. FF 型 NN. 遺伝的アルゴリズム. ✔. 自己組織化ネットワーク. 2009 年後期 – 49 / 115. M (k) が k によらないなら、. ニューラルネットワーク. SA とボルツマンマシン 有限の状態数の場合 巡回セールスマン問題 SA とは 状態近傍 遷移確率 SA アルゴリズム マルコフ連鎖 SA の収束性の証明 ボルツマンマシン ボルツマンマシンの動き SA との等価性 自己ループの解消 TSP の場合. ✔. Hopfield NN と連想記憶. マルコフ連鎖 (2). ファジイ理論. ✔ ✔. 進化戦略. ソフトコンピューティング. はじめに. SA の収束性を議論するために、マルコフ連鎖の考え方が必要。. ファジイ理論. 既約 (エルゴード的) とは、任意の (i, j) に対し、m が存在し、M m の (i, j) 成分が正となること。⇒ 任意の xi から任意の xj に到達 可能。 非周期的とは、i を決めて、M n の (i, i) 成分が正となるような全て n の最大公約数が 1。⇒ 周期的の場合は xi から xi に戻れる時間が 最大公約数の倍数しかない。. 進化戦略. SA とボルツマンマシン 有限の状態数の場合 巡回セールスマン問題 SA とは 状態近傍 遷移確率 SA アルゴリズム マルコフ連鎖 SA の収束性の証明 ボルツマンマシン ボルツマンマシンの動き SA との等価性 自己ループの解消 TSP の場合 Hopfield NN と連想記憶 自己組織化ネットワーク 遺伝的アルゴリズム 遺伝的プログラミング. ✔. 全ての状態に対し、その近傍の数 L は一定である。⇒ xi のとき xj が選択される確率は、常に 1/L 遷移確率として、K(g(x , T )/g(x, T )) を採用。ただし、K(·) は 0 ≤ K(s) ≤ 1 (s ≥ 0), K(0) = 0, K(s) = sK(1/s)。. SA に対し、マルコフ連鎖の遷移確率行列が存在し、既約かつ非周期的 となる (証明省略)。よって、ある 1 つの確率分布に収束する。 また、 P (x, x , T )g(x, T ) = P (x , x, T )g(x , T ) つまり、Gibbs 分布はマルコフ連鎖の平衡状態分布。 焼きなまし法によって、固定した T に対し、確率分布は Gibbs 分布 に収束する。 ゆっくりと T → 0 とすることで、大域的最適状態に確率的に収束。. 多目的最適化と GA 進化戦略. ソフトコンピューティング. 2009 年後期 – 51 / 115. ソフトコンピューティング. 2009 年後期 – 52 / 115.
(18) ボルツマンマシン. ボルツマンマシンの動き wi,i = 0 wi,j = wj,i W = [wi,j ] W は対称行列で 対角成分がゼロ. はじめに ファジイ理論 ニューラルネットワーク. FF 型 NN. x1. SA とボルツマンマシン 有限の状態数の場合 巡回セールスマン問題 SA とは 状態近傍 遷移確率 SA アルゴリズム マルコフ連鎖 SA の収束性の証明 ボルツマンマシン ボルツマンマシンの動き SA との等価性 自己ループの解消 TSP の場合. x2. x4 x5 wij. 遺伝的プログラミング 多目的最適化と GA. FF 型 NN. xi の値の更新は、一度に 1 つのニューロンに対してのみで、そのニュー ロンはランダムに選ばれる。. 進化戦略. SA とボルツマンマシン 有限の状態数の場合 巡回セールスマン問題 SA とは 状態近傍 遷移確率 SA アルゴリズム マルコフ連鎖 SA の収束性の証明 ボルツマンマシン ボルツマンマシンの動き SA との等価性 自己ループの解消 TSP の場合. ニューラルネットワーク. FF 型 NN SA とボルツマンマシン 有限の状態数の場合 巡回セールスマン問題 SA とは 状態近傍 遷移確率 SA アルゴリズム マルコフ連鎖 SA の収束性の証明 ボルツマンマシン ボルツマンマシンの動き SA との等価性 自己ループの解消 TSP の場合. 自己組織化ネットワーク 遺伝的アルゴリズム 遺伝的プログラミング 多目的最適化と GA. ソフトコンピューティング. 2009 年後期 – 53 / 115. x の近傍 x との擬似エネルギーの差: x の i 番目のビットが反転したとする。 ✔. はじめに. 遺伝的アルゴリズム. 遷移確率に、. ファジイ理論 ニューラルネットワーク. 0 → 1 の場合:. P (x, x , T ) =. FF 型 NN. E(x ) − E(x) = −. n . SA とボルツマンマシン 有限の状態数の場合 巡回セールスマン問題 SA とは 状態近傍 遷移確率 SA アルゴリズム マルコフ連鎖 SA の収束性の証明 ボルツマンマシン ボルツマンマシンの動き SA との等価性 自己ループの解消 TSP の場合. wi,j xj + θi. j=1. ✔. 1 → 0 の場合: E(x ) − E(x) =. 2009 年後期 – 54 / 115. 焼きなまし法との等価性 (2). n . wi,j xj − θi. j=1. Hopfield NN と連想記憶 自己組織化ネットワーク. を最小化する状態に確率的に収束。 ただし、Θ = (θ1 , . . . , θn )T 一種の焼きなまし法を実行している。 ビット列の 1 ビットを変えたものが状態近傍 K(·) として B(s) = s/(s + 1) を採用した場合に相当。. Hopfield NN と連想記憶. 焼きなまし法との等価性 (1). ファジイ理論. ✔ ✔ ✔. ニューロンの数 (= n) の長さのビット列が状態: x = (x1 , . . . , xn ) 擬似エネルギー 1 E = − xW xT + xΘ 2. 進化戦略. ソフトコンピューティング. はじめに. ✔ ✔. ニューラルネットワーク. → シグモイド関数が確率を決 める. x6. 自己組織化ネットワーク 遺伝的アルゴリズム. ファジイ理論. ニューロンの出力 xi : 0 or 1 xi が 1 となる確率: 1 . wi,j xj − θi 1 + exp − T. x3. Hopfield NN と連想記憶. はじめに. 1 1 + exp((E(x ) − E(x))/T ). を使った場合、. ⎧ 1 ⎪ ⎪ . ⎪ ⎪ wi,j xj − θi ⎪ ⎪ ⎨ 1 + exp − T P (x, x , T ) = 1 ⎪ ⎪ . ⎪ ⎪ wi,j xj − θi ⎪ ⎪ ⎩ 1 + exp T. (0 → 1 の場合) (1 → 0 の場合). Hopfield NN と連想記憶. ※ wi,i = 0, wi,j = wj,i なる式を使った。. 自己組織化ネットワーク 遺伝的アルゴリズム. 遺伝的プログラミング. 遺伝的プログラミング. 多目的最適化と GA. 多目的最適化と GA. 進化戦略. 進化戦略. ソフトコンピューティング. 2009 年後期 – 55 / 115. ソフトコンピューティング. 2009 年後期 – 56 / 115.
(19) 焼きなまし法との等価性 (3) はじめに ファジイ理論. 一方、ボルツマンマシンにおいて、xi (k + 1) = 1 となる確率は、. 1 . wi,j xj − θi 1 + exp − T. ニューラルネットワーク. FF 型 NN SA とボルツマンマシン 有限の状態数の場合 巡回セールスマン問題 SA とは 状態近傍 遷移確率 SA アルゴリズム マルコフ連鎖 SA の収束性の証明 ボルツマンマシン ボルツマンマシンの動き SA との等価性 自己ループの解消 TSP の場合 Hopfield NN と連想記憶 自己組織化ネットワーク 遺伝的アルゴリズム. 自己ループの解消 はじめに ファジイ理論 ニューラルネットワーク. FF 型 NN. xi (k + 1) = 0 となる確率は、 1 1 . =. 1− wi,j xj − θi wi,j xj − θi 1 + exp − 1 + exp T T 焼きなまし法の遷移確率と一致し、焼きなまし法と等価であること が確認できた。. SA とボルツマンマシン 有限の状態数の場合 巡回セールスマン問題 SA とは 状態近傍 遷移確率 SA アルゴリズム マルコフ連鎖 SA の収束性の証明 ボルツマンマシン ボルツマンマシンの動き SA との等価性 自己ループの解消 TSP の場合 Hopfield NN と連想記憶 自己組織化ネットワーク 遺伝的アルゴリズム. 遺伝的プログラミング. 遺伝的プログラミング. 多目的最適化と GA. 多目的最適化と GA. 進化戦略. 進化戦略. ソフトコンピューティング. 実は、wi,i
(20) = 0 の場合でも、条件を満たす等価な重み係数が得られる。. xi = 0 or 1 であることに着目すると、x2i = xi 。よって、エネルギー 関数の x2i の項は xi と書ける。 疑似エネルギー関数. 1 ¯ T ¯ x + xΘ E = − xW 2 に対し、. ¯ = W + Wdiag W. と分解する。ただし、Wdiag は対角成分で、W はそれ以外。その とき、 1 ¯ − (w E = − xW xT + x(Θ ¯1,1 , . . . , w ¯n,n )/2) 2. ソフトコンピューティング. 2009 年後期 – 57 / 115. 2009 年後期 – 58 / 115. 巡回セールスマン問題のエネルギー関数 はじめに ファジイ理論 ニューラルネットワーク. FF 型 NN SA とボルツマンマシン 有限の状態数の場合 巡回セールスマン問題 SA とは 状態近傍 遷移確率 SA アルゴリズム マルコフ連鎖 SA の収束性の証明 ボルツマンマシン ボルツマンマシンの動き SA との等価性 自己ループの解消 TSP の場合. N 都市の場合、N × N のニューロン xi,j (i, j = 1, . . . , N ) を用意する。 i 番目に訪れる都市が j ならば xi,j = 1 でそれ以外ならばゼロ。. はじめに. ✔ ✔. FF 型 NN. 総距離数を E1 とする。 i 番目は 1 つの都市のみなので、. E2 = K 2. N . ⎛ ⎝1 −. N . Hopfield NN と連想記憶 Hopfield 型ネットワーク エネルギー関数 連想記憶とは パターンを記憶する しきい値 θ の求め方 Hopfield 型ネットワーク による連想記憶. ⎞2 xi,j ⎠. j=1. E3 = K 3. 自己組織化ネットワーク. N j=1. 1−. N . Hopfield 型ネットワークと連想記憶. 自己組織化ネットワーク. j 番目の都市は 1 回しか訪れないので、. Hopfield NN と連想記憶. ニューラルネットワーク. SA とボルツマンマシン. i=1. ✔. ファジイ理論. 遺伝的アルゴリズム. 2. 遺伝的プログラミング 多目的最適化と GA. xi,j. 進化戦略. i=1. 遺伝的アルゴリズム 遺伝的プログラミング 多目的最適化と GA 進化戦略. 総エネルギー関数は、E = E1 + E2 + E3 。K2 ,K3 は制約を満たす程度 に大きくする。 ソフトコンピューティング. 2009 年後期 – 59 / 115. ソフトコンピューティング. 2009 年後期 – 60 / 115.
(21) Hopfield 型ネットワーク. Hopfield 型ネットワークのエネルギー関数. はじめに ファジイ理論 ニューラルネットワーク. FF 型 NN. x1. SA とボルツマンマシン Hopfield NN と連想記憶 Hopfield 型ネットワーク. x2. エネルギー関数 連想記憶とは. x3. パターンを記憶する しきい値 θ の求め方 Hopfield 型ネットワーク による連想記憶. x4. 自己組織化ネットワーク 遺伝的アルゴリズム. x5. 遺伝的プログラミング 多目的最適化と GA. wij. 進化戦略. x6. wi,i = 0 wi,j = wj,i W = [wi,j ] W は対称行列で 対角成分がゼロ. はじめに ファジイ理論. SA とボルツマンマシン Hopfield NN と連想記憶 Hopfield 型ネットワーク エネルギー関数 連想記憶とは パターンを記憶する しきい値 θ の求め方 Hopfield 型ネットワーク による連想記憶. 遺伝的プログラミング 多目的最適化と GA 進化戦略. 2009 年後期 – 61 / 115. ✔. ボルツマンマシンは、確率的に動作し、焼きなまし法に等価で、大 域的に収束。 Hopfield 型ネットワークは、確定的に動作し、離散状態での山下り 法と等価で、極小値に収束。. 2009 年後期 – 62 / 115. ソフトコンピューティング. パターンを記憶する (1) はじめに. Hopfield 型ネットワークは、連想記憶としても動作する。. ファジイ理論. ニューラルネットワーク. ニューラルネットワーク. FF 型 NN. FF 型 NN. SA とボルツマンマシン. SA とボルツマンマシン. Hopfield NN と連想記憶 Hopfield 型ネットワーク エネルギー関数 連想記憶とは パターンを記憶する しきい値 θ の求め方 Hopfield 型ネットワーク による連想記憶. Hopfield NN と連想記憶 Hopfield 型ネットワーク エネルギー関数 連想記憶とは パターンを記憶する しきい値 θ の求め方 Hopfield 型ネットワーク による連想記憶. 自己組織化ネットワーク. 自己組織化ネットワーク. 遺伝的アルゴリズム. 遺伝的アルゴリズム. ࠶ࡿࣃࢱ࣮ࣥࢆ ࠼ࡿ. 進化戦略. よって E(·) は単調減少。. ✔. ファジイ理論. 多目的最適化と GA. n. . E(x ) − E(x) = − wi,j xj − θi j=1. 遺伝的アルゴリズム. 連想記憶とは. 遺伝的プログラミング. ボルツマンマシンと同じ ビット列が変化した場合:. 自己組織化ネットワーク. xi の値の更新は、一度に 1 つのニューロンに対してのみで、そのニュー ロンはランダムに選ばれる。 ボルツマンマシンとは違い、ニューロンの選択を除けば確定的に動く。. はじめに. 1 E = − xW xT + xΘ 2. FF 型 NN. ニューロンの出力 xi : 0 or 1 wi,j xj − θi xi = f 1 (s ≥ 0) f (s) = 0 (s < 0). ソフトコンピューティング. Hopfield 型ネットワークのエネルギー関数:. ニューラルネットワーク. グ᠈ࡉࢀࡓࣃࢱ࣮ࣥࡀ ㉳ࡉࢀࡿ. 遺伝的プログラミング 多目的最適化と GA. まず、0/1 のビット列を ±1 の形に変形する。. z = (z1 , . . . , zN ),. zi = 2xi − 1. 記憶したいパターン (±1 からなるベクトル): z˜ とする。このとき、 重み行列: W = z˜T z˜ − I エネルギー関数:. 1 E = − zW z T = −2xW xT + 2xW eT − eW eT 2 e = (1, . . . , 1). 進化戦略. を考える。(−eW eT は定数になる) ࡇࢀࡽࡢ」ᩘࡢࣅࢵࢺิࡢ ࣃࢱ࣮ࣥࢆグ᠈ࡉࡏ࡚࠾ࡃ ソフトコンピューティング. 2009 年後期 – 63 / 115. ソフトコンピューティング. 2009 年後期 – 64 / 115.
(22) パターンを記憶する (2) はじめに. パターンを記憶する (3). ニューラルネットワーク. このようにして得られた重み行列は、対称行列かつ対角成分はゼロ。 (zi は ±1 なので zi2 = 1 となるから....). FF 型 NN. ✔. ファジイ理論. SA とボルツマンマシン Hopfield NN と連想記憶 Hopfield 型ネットワーク エネルギー関数 連想記憶とは パターンを記憶する しきい値 θ の求め方 Hopfield 型ネットワーク による連想記憶 自己組織化ネットワーク 遺伝的アルゴリズム 遺伝的プログラミング 多目的最適化と GA 進化戦略. z = ±˜ z のとき: zz T = ±z z˜T = z˜z˜T = N なので、. ファジイ理論. SA とボルツマンマシン. z
(23) = ±˜ z のとき: zz T = z˜z˜T = N , |z z˜T | = L < N なので、. Hopfield NN と連想記憶 Hopfield 型ネットワーク エネルギー関数 連想記憶とは パターンを記憶する しきい値 θ の求め方 Hopfield 型ネットワーク による連想記憶 自己組織化ネットワーク. 1 1 E = − zW z T = − {(z z˜T )(z z˜T )T − zz T } = (−L2 + N )/2 2 2. 多目的最適化と GA 進化戦略. 2009 年後期 – 65 / 115. Hopfield NN と連想記憶 Hopfield 型ネットワーク エネルギー関数 連想記憶とは パターンを記憶する しきい値 θ の求め方 Hopfield 型ネットワーク による連想記憶 自己組織化ネットワーク. M. k=1. e = (1, . . . , 1) であるから、. 遺伝的プログラミング. 進化戦略. FF 型 NN. 2009 年後期 – 66 / 115. ✔. Hopfield NN と連想記憶 Hopfield 型ネットワーク エネルギー関数 連想記憶とは パターンを記憶する しきい値 θ の求め方 Hopfield 型ネットワーク による連想記憶. ⇓ 初期値に近い極小値 (∼ 学習パターンのどれか?) に収束する。 問題点: ✔. 多目的最適化と GA 進化戦略. ✔. 2009 年後期 – 67 / 115. 学習パターンが Hopfield 型ネットワークのエネルギー極小値に なっていることを期待 Hopfield 型ネットワークは山下り法で、エネルギーは単調減少. SA とボルツマンマシン. 遺伝的プログラミング. とすればよい。. ソフトコンピューティング. ✔. ニューラルネットワーク. 遺伝的アルゴリズム. k=1. 多目的最適化と GA. ファジイ理論. 自己組織化ネットワーク. 1 eW (k) 2 M. Θ = (θ1 , . . . , θN ) =. となる。. ソフトコンピューティング. はじめに. 1 E=− zW (k) z T 2 k=1 M 1 1 1 − xW (k) xT + xW (k) eT + eW (k) eT =4 2 2 4. 遺伝的アルゴリズム. E = E (1) + · · · + E (M ). Hopfield 型ネットワークによる連想記憶. はじめに. SA とボルツマンマシン. で、総エネルギー関数は. 遺伝的プログラミング. しきい値 θ の求め方. FF 型 NN. を記憶する場合を考えよう。. 多くの場合、各々のエネルギー関数の最小値 z˜(k) が、総エネルギー 関数 E の極小値になっていることが期待できる。 特に、相異なる z˜(k) 同士が直交している場合、E は、M 個の最小 値 z˜(k) を持つ。. ソフトコンピューティング. ニューラルネットワーク. z˜(1) , . . . , z˜(M ). z˜(k) に対する重み行列・エネルギー関数をそれぞれ W (k) = (˜ z (k) )T z˜(k) − I, E (k) = −zW (k) z T /2 とすると、求める重み行 列は、 W = W (1) + · · · + W (M ). 遺伝的アルゴリズム. z = ±˜ z のとき、E は最小値を持つ。. ファジイ理論. 複数のパターン. ニューラルネットワーク. FF 型 NN. 1 1 E = − zW z T = − {(z z˜T )(z z˜T )T − zz T } = (−N 2 + N )/2 2 2 ✔. はじめに. パターンを記憶する時に, 記憶パターン以外にも安定平衡点を生じ る場合がある → 偽記憶 記憶できるパターン数: 0.14N より下。. ソフトコンピューティング. 2009 年後期 – 68 / 115.
(24) 自己組織化写像 はじめに. はじめに. ファジイ理論. ファジイ理論. ニューラルネットワーク. ニューラルネットワーク. FF 型 NN. FF 型 NN. SA とボルツマンマシン. SA とボルツマンマシン. Hopfield NN と連想記憶. Hopfield NN と連想記憶. 自己組織化ネットワーク. SOM の構造 SOM の学習 SOM の学習結果 格子形状について SOM の使い道. 遺伝的アルゴリズム. 遺伝的アルゴリズム. 遺伝的プログラミング. 遺伝的プログラミング. 多目的最適化と GA. 多目的最適化と GA. 進化戦略. 進化戦略. 2009 年後期 – 69 / 115. ソフトコンピューティング. 競合層の各ニューロンは、n 次元ベクトル. ファジイ理論. ➇ྜᒙ. FF 型 NN. . SA とボルツマンマシン Hopfield NN と連想記憶. 自己組織化写像. 遺伝的プログラミング 多目的最適化と GA. x2. ͐. yi = (yi,1 , . . . , yi,n ). を重みとして持つ。→ その 「重み」を学習. ͐. 自己組織化ネットワーク. x1. xn. 競合層は格子状に並んでおり、ニューロン間の距離が定義される。 勝者ユニット (BMU, Best Matching Unit): 入力ベクトル x = (x1 , . . . , xn ) と一番近い yi,j を持つニューロンが勝者ユニット. 進化戦略. i∗ = argmin x − yi,j = argmin i=1,...,M. の写像を作成する。 SOM の用途としては、 ✘ ✘. クラスタリング ベクトル量子化. などがあげられる。. 2009 年後期 – 70 / 115. SOM の学習 (1). はじめに. ධຊᒙ. ✔. ソフトコンピューティング. SOM の構造. 遺伝的アルゴリズム. n-次元入力ベクトル ⇒ 2 次元メッシュ. 自己組織化写像. 自己組織化ネットワーク. SOM の構造 SOM の学習 SOM の学習結果 格子形状について SOM の使い道. SOM の構造 SOM の学習 SOM の学習結果 格子形状について SOM の使い道. ✔. ここでは、自己組織化 (特徴) 写像 (SOM, Self-Organizing Map, Self-Organizing Feature Map, コホーネンの自己組織化ネットワー ク) について学ぶ。 SOM は、教師なし学習で、. 自己組織化ネットワーク. 自己組織化写像. ニューラルネットワーク. ✔. i=1,...,M. . はじめに ファジイ理論 ニューラルネットワーク. FF 型 NN SA とボルツマンマシン. 1. まず、競合層の各ニューロンの重みをランダムに初期化。k := 1 と する。 2. 入力ベクトル x(k) を入力層に入力し、勝者ユニット yi∗ を決定。 3. 勝者ユニットおよびその近傍ユニットの重みを x(k) によって修正. Hopfield NN と連想記憶. (k+1). yi. 自己組織化ネットワーク. (k). = yi. (k). + α(k)γ (k) (i, i∗ )(x(k) − yi ). 自己組織化写像. SOM の構造 SOM の学習 SOM の学習結果 格子形状について SOM の使い道 遺伝的アルゴリズム. 4.. ここで、0 ≥ α(k) < 1 は学習係数で k に関して単調減少。γ (k) (·, ·) は、近傍を定義する写像。 予め決めた繰り返し回数に k が到達していれば終了。そうでなけれ ば、k := k + 1 として、2 に戻る。. 遺伝的プログラミング 多目的最適化と GA 進化戦略. (x1 − yi,1 )2 + · · · + (xn − yi,n )2. M : 競合層のニューロン (= ユニット) の数. ソフトコンピューティング. 2009 年後期 – 71 / 115. ソフトコンピューティング. 2009 年後期 – 72 / 115.
関連したドキュメント
線遷移をおこすだけでなく、中性子を一つ放出する場合がある。この中性子が遅発中性子で ある。励起状態の Kr-87
In this section, we gives an affirmative answer to an open problem posed by Sa¨ıdi concerning bounds of p-rank of vertical fibers posed by Sa¨ıdi if G is an arbitrary finite
当第１四半期連結累計期間の世界経済は、新型コロナウイルスの感染状況が小康状態を保ちつつ、経済活動が本
基本的金融サービスへのアクセスに問題が生じている状態を、英語では financial exclusion 、その解消を financial
tÿ 5 -mA(pAErf yAd^ vdAHykArZmlA ev BEvtmhEt mvAEddÿ fnA,. t/ B}AtO tAvt^ sMyEµbfA-/dfnEvroDApE, svlokA<ypgtdYþAmAybAD.. anBv _Ep s ev tAvdnBv, kSpEyt&y,. )
Other Key Features – Ayre SA3291 also supports the following features: directional processing, built−in feedback path measurement, cross fading between audio paths for
9 時の館野の状態曲線によると、地上と 1000 ｍとの温度差は約 3 ℃で、下層大気の状態は安 定であった。上層風は、地上は西寄り、 700 ｍ から 1000 ｍ付近までは南東の風が
回収数 総合満足度 管理状況 接遇 サービス 107 100.0 98.1 100 98.1 4
