=嘱
S: Φ̀→ 夢
.(11.4) を 定 義 し 、 不 等 式
∀k∈K,∀x∈Mk,ヨak∈R,ヨck∈R, 一1<h一(x)==a
k≦0≦h+(x)=ck<一 トー1(115)
を 満 た す2つ の 実 数 値 閾 値 関 数 h一,h・:M‑R1・'・(ll.6)
を 導 入 す る 。 条 件 式(11.2).を 満 た す 実 数 値 パ タ ー ン φ ∈ Φ に つ い て 、 式(11。4)の 写 像Sと 、 式 (11.6)の2つ の 閾 値 関 数h一,h+と を 用 い て 、
∀ ψ ∈ Φ,∀k∈K,∀x∈Mk,(Tq)(x)=
'一1if(Sg))(x)=b
k〈h一(x)=ak O
ifh一(x)=ak≦(Sψ)(x)==bk≦h+(x)=6垂'
十1if(Sq)(x)=bk>h+(x)=ck齟 『(11.7)
where『
bk∈{0,d/supldkl}fbranyk∈K『 『(11.8)
と 定 義 さ れ る 写 像
T:Φ → Φ 『 ・(11.9)
が モ デ ル 構 成 作 用 素 で あ る こ と は 、 次 の 定 理11が 指 摘 し て い る 。 そ の 前 に 、 補 助 定 理11を 『証 明 し て お こ う 。
[補 助 定 理11](3値 不 動 点 定 理) 3値 条 件
∀k∈K,∀x∈Mk,ψ(x)=dk∈lO,一1,十1}"(11.1'O)
を 満 た す パ タ ー ンq∈ Φ に 対 し 、 式(11.3)で 定 義 さ れ る 式(11.4)の 写 像Sと 、・式(11.7)で 定 義 さ れ る 式(11.9)の 写 像Tに つ き 、 不 動 点 方 程 式
Sg)=Tψ=ψ 幽 『(11.11)
が 成 り 立 つ 。
(証 明)3値 条 件 式(11.10)を 満 た す ψ に つ い て は 、
ψ=o⇔Sψ=0⇔Tφ=0『 』(11.12)
が 成 立 す る こ と は 、 ψ の 条 件 式(11。2),h㍉h+の 不 等 式(1.5),2写 像S,Tの 定 義 式(11.3>,(i1.7) か ら 明 ら か で あ る 。
よ っ て 、3値 条 件 式(ll.9)を 満 た し、 且 つ 、 ψ ≠0な る パ タ ー シqの 場 合 を 考 え よ う 。 こ の 場 合 、
∀k∈K,∀x∈Mk,ψ(x)ゴ0,±1
⇒ ∀k∈K,∀x∈Mk(Sq)(x)=0,±1(複 号 同 順)
⇒ ∀k∈K,∀x∈Mk(Tq)(x)=O,±1(複 号 同 順)(11.13)
の 成 立 がqの 条 件 式(11.2),h},h+の 不 等 式(11.5),2写 像S,Tの 定 義 式(11.3),(11.7)か ら 明 ら
か で あ る 。 、 『 齟 □
[定 理11](3値 パ タ ー ン モ デ ル 定 理)
式(1ゴ7)で 定 義 さ れ る 式(11.9)の 写 像Tは 、axiom1の(i),(ii),(iil)の3後 半,並 び に 、 (iv)を 満 た す 。
[定 理11の 系1](2値 パ タ ー ン モ デ ル 定 理) 特 に 、 ψ ∈ Φ の 条 件 式(11.2)に お い て 、
∀k∈K,dk≧0'(11.14) で あ れ ば 、
∀k∈K,∀x∈Mk,(Sq)(x)≧0(11.15)
が 成 り立 ち 、 よ っ て 、
∀k∈K,∀x∈Mk,(Tq)(乂)=bk∈{0,十1}(11.16)
が 成 り立 ち 、 パ タ ー ン モ デ ルTgPは2値 パ タ ー ン で あ る 。 (証 明)axiom1の(i)の 後 半:
ψ=O⇒Tq=0(11.17)
の 成 立 が 補 助 定 理11か ら わ か る 。
axiom1の(ii)の 後 半:aを 任 意 の 正 実 定 数 と す る 。
ψ=0の 場 合 は 、a・ ψ=0を 得 、 よ っ て 、 補 助 定 理11を 適 用 し て 、 T(a・ ψ)=0=Tψ(11ユ8)
.が 得 ら れ,る。 ま た 、 ψ ≠0の 場 合 は 、2写 像S,Tの 定 義 式(11.3),(11.7)か ら S(a。 ψ)=(a。dk)/supia・dkI
=dk/sup亅 .dkl=Sq)「 』(11.19)
∴T(a.9))一Tq 、 、..(11・20)
が 得 ら れ る 。
axiom1の(iii)の 後 半:Tq=0の 場 合 は 、 補 助 定 理1.1を 適 用 し て 、
(ψ=0⇒)Tq‑0⇒T(Tq)一 〇一Tgp1‑ .・1(11.21)
'が 得 ら れ る
。
ま た 、 η ≡Tq≠0の 場 合 は 、
∀k∈K・ ∀ ・ ∈M・1η(・)∈{・1±1}1
.'、 、 ・(ll・22)
で あ る か ら 、 補 助 定 理11を 適 用 し て 、』
Tη 一 η ∴T(Tq)==Tq・ ・ ●(ll・23>
が 得 ら れ る6
.axiom1の(iv):3値 条 件 式(11.10)を 満 た し 、 且 つ 、 ψ ≠0な る パ タ ー ンqの 場 合 を 考 え れ ば 、 補 助 定 理1.1か ら 明 ら か で あ る 。
(定 理11の 系1の 証 明)
2写 像S,Tの 定 義 式(11.3),(11.7)か ら 明 ら か で あ る 。 . 、.「 □
第k∈K番 目 の 、 式(11.2)の 実 定 数dkの 正 成 分d'、 負 成 分dfは 、 dk+≡[dk十ldkl]!2
‑d・ifd・ ≧0
,一 〇ifd・<0 ..・(11・24) d鎗 ≡≡[dk‑ldk1]12
==Oifdk≧0
,一:=dkifbk<0.'(11.25) と 定 義 さ れ 、
∀k∈K,dk==dk+十.dど 一tt'幽.(11.26).
が 成 り 立 つ 。 定 理11の 系1に お い て 、 式(Il.14)のdkは 実 は 、dk+の こ と で あ る 「と 考 え れ ば よ い 。
12.1次 独 立 な 系{Ψ β}￠∈Lを 利 用 し た 場 合 の パ タ ー ン モ デ ルTψ
集 合Lは 高 々 可 算 集 合 とす る 。 夢 で の 内 積 、 ノ ル ム を 各 々 、(,),llII≡ ≡》て7ヲ と 表 す 。 定 数 山 の 組{山 髭 ∈Lに つ い て 、
盈dゼ ψ・一 ・⇒ ∀4∈ 恥 一 ・.』 、 』1(12ユ)
が 成 り 立 つ と い う 意 味 で 、'拿 の 元 吻 か ら な る 系{ψ 虚.Lは1次 独 立 で あ る と し よ う 。 パ タ ー ン ψ ∈ Φ ⊂ 拿 に 対 し 、
Ilψ嚥dグ 釧1
を 最 小 な ら しめ る 各1次 結 合 係 数 山(4∈L)は 、 連 立1次 方 程 式 混(ψ ・・ψ・)・d・=(卿 ・)・k∈L
(12.2) (12.3)
を 解 い て 求 ま る 。 連 立1次 方 程 式(12.3)の 解{de}e.Lを{de(q)}e.Lと 表 す 。 こ の と き 、 パ タ ー ン ψ ∈ Φ ⊂ 夢 は 、 各 吻(4∈L)に よ る1次 結 合 表 現
ヨ(;P⊥∈ 夢suchthat∀e∈L,(ψ ⊥,ψ ∂=0, ψ 、 暑
。de(ψ)・sbe+gp・ 二(12・4) と 表 さ れ る 。
(ψ 、,ψ の 一 〇ifk≠e,>Oifk‑e…(12.5)
を 満 た す 系{ψ6}e∈Lは 直 交 系 で あ る と い わ れ る 。 直 交 系{sbe}e.Lは1次 独 立 で あ る 。 直 交 系{ψ6}e.Lに つ い て は 、 連 立1次 方 程 式(12.3)の 解lde(ψ)}e。Lは 、
d,@)一(ψ,ψ ∂/(ψ ・,ψ ・),e∈L .・(12・6)
と 与 え ら れ る 。 特 に 、
(ψ ・,ψ ・)一lf・ ・anye∈.L 』1.(12・7)
で あ る よ う な 庫 交 系 .{sbele.Lを 正 規 直 李 系 と い う 。 特 に 、 夢=L2(M,dm)'と 選 び 乱
L=K(高 々 可 算 集 合),(12.8) ψ4(x)=
1/∫dln(x)>Oifx∈Me
ぞ
Oifx∈Mkforanyk∈L一{4}(12.9)
の 場 合 、{sbele。Lは 正 規 直 交 系 で あ る こ と が わ か り 、 de(ψ)=(9♪,ψ の
=∫dm(x)ψ(x)1∫dm(x)・(12.10)
ゑ ゑ ヒ
を 得 、L・=K(高 々 可 算 集 合)と 考 え る と 、 各de(ψ)は 条 件 式(ll.2)のd4た 一 致 し、 定 理11の 拡 張 が 次 の 定 理12で あ る こ と に な る 。
条 件 式
∀4∈L,de(q)∈R(実 数 全 体 の 集 合)(12.11) の 下 で 、
u(q,の=
卜i蹴{1{に:・
ど し・.・ ・血h)
が パ タ ー ンq∈ Φ か ら 抽 出 さ れ る 第e∈L番 目 の 特 徴 量 で あ る よ う な 特 徴 抽 出 写 像 u:Φ ×L→R'「'、.(12.12)
を 定 義 し 、 不 等 式
.∀4∈L,
一1<h}(4)≦0≦h+(4)<十1鹽"(12
.13) を 満 た す2つ の 実 数 値 閾 値h一(の,h+(の の 組
h一(の,h+(の,4∈L .(12.14)
を 導 入 す る 。
3値 特 徴 量uノ(ψ,の を u■(ψ,の=
一1ifu(ψ
,4)〈h一(4)
Oifh一(4)≦u(〜 ρ,4)≦h+(の
+1if・(ψ,の>h+(の 馳(12 .15)
と 定 義 す る 。
条 件 式(12.11)を 満 た す 実 数 値 パ タ ー ≧ 望 ∈ Φ に つ い て 、 式(12.15)で 定 義 さ れ る3値 特 徴 抽 出 写 像
(12.16) u.Φ ×L→{0,±1}
を 用 い て 、
∀ ψ ∈ Φ ・Tψ=裁Uノ ゆ ・の 吻
(12.17)
と定 義 され る式(11.9)の 写 像Tが モ デ ル構 成 作 用 素 で あ る こ と は 、 次 の 定 理12が 指 摘 して い る 。
そ の 前 に 、 あ る 場 合 、 補 助 定 理11の 拡 張 に な っ て い る 補 助 定 理12を 証 明 し て お こ う 。尚 、 式(12.17)のTgPは 、 式(12.4)の パ タ ー ン ψ か ら雑 音q⊥ を:取 り除 い た 表 現 q『q・ 「 暑。de(ψ)・ ψ・
の 近 似 で あ る こ と に 注 意 し て お く。
[補 助 定 理12](1次 独 立 な 系1'Vele∈Lを 用 い た 不 動 点 定 理) 3値 条 件
∀e∈L,qe∈{0,±1}
を 満 た す パ タ ー ン gz,=e暑。qe'ψ ・
に つ い て は 、 式(12.17) .で定 義 さ れ る 写 像Tに つ い て 、 不 動 点 方 程 式 Tgp=ψ
が 成 り 立 つ 。 (証 明)
独 立 で あ る か ら 、 de(ψ)=qe,e∈L が い え る 。 よ っ て 、
suplde(ψ)1∈{0,1}
ゼ し
で あ り 、uの 定 義 式(12.11)か ら 、
∀e∈L,u(ψ,e)==qe
が 成 り 立 つ 。 従 っ て 、 不 等 式(12.13)と 、 ガ の 定 義 式(12 .15)と か ら 、'
∀e∈L,un(q,の=u(9),の=qe
が 成 り 立 つ 。 結 局 、Tの 定 義 式(12.17)か ら 、
(12.18)
(12.19) (12.20) (12.21)
連 立1次 方 程 式(12.3)の 右 辺 に 、 式(12.20)を 代 入 す る と わ か る よ う に 、{ψ 虚 。、が1次
(12.22) (12.23)
(12.24)
(12.25)
.Tgp=
,暑 、 ガ(9・ ・e)・ ψ ・'..・t.t・ ・tttt:t・ …..・/・ ・…̲・1..
=Σqe'ψe
・・ ぞさし
=ψ..・:』 ."・ 「.(12.26)
が 得 ら れ 、 証 明 が 終 わ っ た 。 ・三1'tt・,・.・ □
[定 理12](1次 独 立 な 系Iy,21e∈Lを 用 い た パ タ ー ン モ デ ル 定 理)
武(12.17)で 定 義 さ れ る 式(11.7)の 写 像 丁 は 、axiom1の(i),・ ・(ii),(iii)1の3後 半,並 び に 、 (iv)を 満 た す 。
匚定 理12の 系1](1次 独 立 な 系1Ψele∈Lを 用 い た2値 パ タ ー ン モ デ ル 定 理) 特 に 、 連 立1次 方 程 式(12.3)の 解{de(ψ)}e。Lに お い て 、
∀e∈L,de(ψ)≧0(12.27) で あ れ ば 、
∀e∈L,u(ψ,の ≧0・(12.28) が 成 り 立 ち 、 よ っ て 、
∀4∈L,uノ(ψ,の ∈{0,+1}
が 成 り立 ち 、 パ タ ご ン モ デ ルTψ は2値 の1次 結 合 係 数uノ@,の を 備 え る こ と に な る 。 (証 明)axiom1の(i)の 後 半:式(11.17)の 成 立 が 補 助 定 理12か ら わ か る 。 axiom1の(ii)の 後 半:aを 任 意 の 正 実 定 数 と す る 。
ψ=0の 場 合 は 、a・ ψ=0を 得 、 よ っ て 、 補 助 定 理12を 適 用 し て 』、' T(a・ ψ)=〜 ρ=0=T(;ρ ・
(12.29)
(12.30)
が 得 ら れ る 。 ま た 、 ψ ≠0の 場 合 は 、 連 立1次 方 程 式(12.3)の 両 辺 にaを か け る と 、{ψ 虚 ・Lが1次 独 立 で あ る か ら 、
'
∀4∈L,d〜(。 ・φ)一 。・d、(ψ)・ 『』.、"『 ・ 一1』(12.31)
が 得 ら れ る 。 よ つ て 、 写 像uの 定 義 式 く12.11)か ら.
1∀
4∈Lu(a・ φ,4)ヨh@,4)・'「 二'一 砿一 幽 ・…(12.32)
を 得 、 写 像u'の 定 義 式(12.15)か ら 、
∀4∈L,uノ(a・ ψ,の=u!((;ρ,の(12.33) も 得 、 写 像Tの 定 義 式(12.17)か ら 、
T『(a● ψ)=T9:)』.』 『1'・ ・(12.34)
が 得 ら れ る 。 ・
axiom1の(iii)の 後 半:Tψ=0の 場 合 は 、 補 助 定 理11を 適 用 し て 、 式(11.21)が 得 ら れ る 。 ま た 、 η ≡≡Tψ ≠0の:場 合 は 、 連 立1次 方 程 式(12.3)の 右 辺 に 写 像Tの 定 義 式(12.17)か ら 定 ま る η を 代 入 す る と 、{ψ 虚 。Lが1次 独 立 で あ る か ・ら 、
∀4∈L,d,(η)イ(ψ,の ∈{0,±1}(12・35) の 成 立 が わ か る 。 よ っ て 、 補 助 定 理12を 適 用 し て 、
士 η 一 η ・∴ 』T(Tψ)一 ⑩ ・=・ ….(12・36)
・が 得 ら れ る
。
axiom1の(iv):3値 条 件 式(12.19)を 満 た し 、 且 つ 、 ψ ≠0・ な る パ タ ー ン ψ の 場 合 を 考 え れ ば 、 補 助 定 理12か ら 明 ら か で あ る 。
(定 理12の 系1の 証 明)
3写 像u,u',Tの 定 義 式(12.11),(12.15),(12.17)か ら 明 ら か で あ る 。「 ㌧ ・ □
13.次 独 立 な 系{Wele∈Lを 利 用 し た 場 合 の1次 結 合 係 数 の 絶 対 値Ide(2)1の2値 化 に よ る パ タ ー ン モ デ ルTψ
系{ψ ε}e。Lが1次 独 立 で あ る 場 合 で 、 連 立1次 方 程 式(12.3)の 解{de(ψ)}e∈Lの 絶 対 値 (absolutevalue)を と り 、suplde(q)iで 規 格 化 し て 、 式(12.11)のu(q,の の 代 り に 、
e∈L u(ψ,の=
Oifsup 、[de(ψ)1==O ゼ し
lde(ψ)11suplde(ψ)1
だ し
ifsup[de(ψ)1>0鹽(13.1)
ゼ し
を 考 え て み よ う 。 不 等 式
∀e∈L,0≦h(の 〈 十1』(13.2) を 満 た す 実 数 値 閾 値h(の の 組
h(の,4∈L(13。3) を 導 入 す る 。
2値 特 徴 量uノ(ψ,の を Uノ(ψ,の=
OifO≦u(ψ,の ≦h(の
+1ifu(q,の>h(の 鹽 .(13.4)
と 定 義 す る 。
複 素 数 値 で あ っ て も構 わ な い パ タ ー ン ψ ∈ Φ に つ い て ぐ 式(13.4)の よ う に 定 義 さ れ る 式 (12,'16)の 特 徴 抽 出 写 像 ガ を 用 い て 、 式(12.17)で 定 義 さ れ る 写 像Tが モ デ ル 構 成 作 用 素 で あ る こ と は 、 次 の 定 理13が 指 摘 し て い る 。 そ の 前 に 、 補 助 定 理13を 証 明 し て お こ う 。
[補 助 定 理13](1次 独 立 な 系{Ψe}e∈Lを 利 用 し た 場 合 の1次 結 合 係 数 の 絶 対 値lde(2)1の2値 化 に よ る パ タ ー ン モ デ ル 不 動 点 定 理)
2値 条 件 式
∀e∈L,qe∈{0,1} ,(13.5)
を 満 左 す 式(12.20)の パ タ ー ン ψ に つ い て は 、 式(13.4)の よ う に 定 義 さ れ る 式(12.16)の 特 徴 抽 出 写 像u'を 用 い て 、 式(12.17)『 で 定 義 さ れ る 写 像Tに つ い て 、 不 動 点 方 程 式(12.21)が 成 り立 つo
(証 明)連 立1次 方 程 式(1.29)の 右 辺 に 、 式(12.17)を 代 入 す る と わ か る よ う に 、{ψ4}e。Lが 1次 独 立 で あ る か ら 、 式(12.22)が い え る 。 よ っ て 、 式(12.23)が 成 立 し、uの 定 義 式(13.1)'か
、ら、 式(12.24)が 成 り立 つ 。 従 っ て 、 不 等 式(13.2)と 、uの 定 義 式(13.4)と か ら 、 式(12.25) が 成 り立 つ 。 結 局 、Tの 定 義 式(12.17)か ら 、 式(12.26)が 得 ら れ 、 証 明 が 終 わ っ た 。 □
[定 理13](1次 独 立 な 系{iVe}e∈Lを 利 用 し た 場 合 の1次 結 合 係 数 の 絶 対 値Ide(2)1の2値 化 に よ る パ タ ー ン モ デ ル 定 理)
ヰ(13.4)の よ う に 定 蕁 さ れ る 式(12.16)の 特 徴 抽 出 写 像 ガ を 用 い て 、 式(12。17)で 定 義 さ れ る 式(11.7>の 写 像Tは 、axiom1の(i),(ii),(iii)の3後 半,並 び に 、(iv)を 満 た す 。
[定 理12の 系1](1次 独 立 な 系{Ψ 幽 ∈Lを 用 い た2値 パ タ ー ン モ デ ル 定 理) 特 に 、 連 立1次 方 程 式(12.3)の 解lde(q)le.Lに お い て 、
∀4∈L,d4(ψ)≦0(13.6)
で あ っ て も 、 式(12.28)が 成 り立 ち 、 よ っ て 、 式(12.29)が 成 り立 ち 、 パ タ ー ン モ デ ルTψ は2値 の1次 結 合 係 数uノ(ψ,の を 備 え る こ と に な る 。
(証 明)axiom1の(i)の 後 半:式(11.17)の 成 立 が 補 助 定 理13か ら わ か る 。 axiom1の(ii)の 後 半:aを 任 意 の 正 実 定 数 と す る 。
g=0の 場 合 は 、a・ψ 』0を 得 、 よ っ て 、 補 助 定 理13を 適 用 し て 、 式(12.30)が 得 ら れ る 。 ま た 、 ψ ≠0の 場 合 は 、 連 立1次 方 程 式(12.3)の 両 辺 にaを か け る と 、{ψ4}6。Lが1次 独 立 で あ る か ら 、 式(12.31)が 得 ら れ る 。 よ っ て 、 写 像uの 定 義 式(13.1)か ら 式(12.33)を 得 、 写 像uノ の 定 義 式
(13.4)か ら、 式(12.33)も 得 、 写 像Tの 定 義 式(12.17)か ら 、 式(12.34)が 得 ら れ る 。 axiom1の(iii)の 後 半:Tψ=0の 場 合 は 、 補 助 定 理13を 適 用 し て 、 式(11.21)が 得 ら れ る 。
ま た 、 η …≡Tψ ≠0の 場 合 は 、 連 立1次 方 程 式(12.3)の 右 辺 に 写 像Tの 定 義 式(12.17)か ら 定 ま る η を 代 入 す る と 、{ψ 翫 。Lが1次 独 立 で あ る か ら 、
∀4∈L,d・(η)一uノ@,の ∈{0,1}(13・7)
の 成 立 が わ か る 。 よ っ て 、 補 助 定 理13を 適 用 し て 、 式(12.36)が 得 ら れ る 。
axiom1の(iv):2値 条 件 式(13.5)を 満 た し、 且 つ 、 ψ ≠0な る パ タ ー ン ψ の 場 合 を 考 え れ ば 、 補 助 定 理13か ら 明 ら か で あ る 。
(定 理13の 系1の 証 明)
3写 像u,u〜Tの 定 義 式(13.1),(13.4),(12.17)か ら 明 ら か で あ る 。 、 □
付 録J.最 急 降 下 法 に募 つ くパ タ ー ンモ デ ルTψ の 自己組 織化 構 成
パ タ ー ン ψ ∈ Φ を 、 各1次 独 立 な 元(パ タ ー ン形 状 素)ψkの 一 次 結 合 式 ΣCk・ ψkで 近 似 す る と
し
きの 自乗 ノ ル ム誤 差 の 関 数 を極 小 とす る各1次 結 合 係 数(複 素 定 数)Ck@)を 使 用 して 、axiom1を 満 たす パ タ ー ンモ デ ルTqが2種 類(連 続 値1次 展 開パ タ ー ンモ デ ル,3値 化1次 展 開 パ ター ンモ デ
ル)、2定 理J1,」2で 構 成 さ れ る 。 こ の よ う に、 本 付 録 」で は、 ヒ ル ベ ル ト空 間L2(M;dm)に お け る最 小 自乗 近 似 法 の 、 可 分 な 一 般 抽 象 ヒ ル ベ ル ト空 間 夢 で の 一 般 化 が 研 究 され る 。 そ の 後 、 各1 次 展 開係 数Ck(ψ)が 実 数 値 で あ る 場 合 、 最 急 降 下 法 を 適 用 して 、 逐 次 的 に決 定 す る手 法(パ ター ンモ デ ルTgpの 、 自己 組 織 化 学 習 的 決 定 法)が 研 究 さ れ る 。
J1.最 小 自 乗 近 似 法 の 一 般 化 1実 変 数uの 関 数f(u)が 、2条 件
(条 件C1)f(u)=Oifu<0
(条 件C2)O・f(0)〈f(u)foranyu>0 を 満 た す も の と す る 。
可 分 な ヒ ル ベ ル ト空 間 夢(L,(M;dm)と は 限 ら な い)の 元 ψkの 、式(L3.13)の 組{ψk}k。Lは 、1次 独 立 で あ る と す る 。 パ タ ー ン ψ ∈ Φ ⊂ 夢 を 、 各 ψkの 一 次 結 合 式
ΣCk・ ψk.(」1.1)
し
で 近 似 す る と き の 自 乗 ノ ル ム 誤 差 .・
e((ii);Ck,k∈L)≡llψ 一 ΣCk・ ψkll2(J12) k∈L
の 関 数
E≡E(Ck,k∈L)
≡f([1ψ 職 §
。C・・ψ・II2) 一f(e(ψ;乙 、,k∈D)、(」1.3)
を 極 小 とす る 各1次 結 合 係 数(複 素 定 数)Ckは 、 パ タ ー ン ψ に 依 存 す る 故 、Ck(ψ)と 書 こ う 。 例 え ば 、 通 常 の 最 小 自乗 近 似 法 で は 、'2条 件C1,C2を 満 た す 関 数f(u)は 、
f(u)=Oifh<0,=uifu≧0『 ・1ご.(J1.4) と 設 定 さ れ る こ と に な る 。
.J2.正 規 化1次 展 開 係 数Ck'@)と2つ の パ タ ー ン モ デ ルTψ
処 理 の 対 象 とす る 問題 の パ タ ー シ ψ の 集 合 Φ を可 分 な ヒ ルベ ル ト空 間 頓 の 、 零 元 を含 む或 る 部 分 集 合 とす る。
前 章 で 求 め られ た各Ck(ψ)の 正 規 化 cガ(ψ)≡
c、@)/suplc、(ψ)l
k∈L
… ヨ4∈L
,c〆 ψ)≠0の 場 合
0… ∀4∈L,c2@)=0の 場 合.・(」2 .1)
を用 意 す る と、 次 の2定 理J1,一」2の成 立 が 容 易 に確 か め られ る。
[定理 」1】(正定 数 倍 規 格 化 連 続 値1次 展 開 パ タ ー ン モ デ ルTψ の構 成 定 理)
Tψ ≡
、暑、Cピ@)'ψ ・(JZ2)
と 定 蕁 さ れ る 写 像T:『 Φ → Φrは 、aXiOlh1の(i『),(ii),(iii)1の3後 半 、 『並 び1ごぐ(iV)の4性 質
(つ ま り、 付 録K,K3章 の4性 覃 ① 〜 ④)を 満 た す 。 □
[定 理J2](3値 化1次 展 闘 パ タ ー ン モ デ ルTψ の 構 成 定 理) 各3値 化1次 展 開 係 数d、(ψ)を 、 不 等 式
、<どf<0<・ 茫く+1 、'一(J2.3) を 満 た す 各 閾 値 ε若 が 選 定 ・固 定 の 下 で 、
dk(ψ)≡
一1… 一1≦Ck■(9)<ε π の と き
0… εr≦Ck‑(ψ)≦ ε才 の と き ・(J2.4)
+1… ε'<Ckノ@)≦+1の と き と用 意 し て 、
Tψ ≡、暑、d・@)・ ψk驢(J2・5)
と定 義 さ れ る 写 像T:Φ → Φ は 、axiom1の(i),(ii),(iii)の3後 半 、 並 び に 、(iv)の4性 質
を 満 た す 。 □
J3.パ タ ー ンモ デ ルTψ の 、自 己組 織 化 学 習 的 決 定(最 急 降 下 法 を適 用 して の 、各 実 数 値 係 数Ck(ψ) の 決 定)
本 章 で は 、 パ タ ー ンモ デ ルTψ を、 自己 組 織 化 学 習 の 働 きで 決 定 す る 手 法 を研 究 し よ う。 そ れ
に は、 添 字 集 合Lが 有 限 集 合 で あ り、 各1次 展 開係 数Ck(ψ)が 実 数 値 で あ る場 合 、 ニ ュ ー ラ ル ネ
ッ トに お け る誤 差 逆 伝 播 学 習[B2]で 適 用 さ れ て い る最 急 降 下 法 を適 用 して、 逐 次 的 に 決 定 す る
手 法 が 説 明 さ れ れ ば よ い 。 定 理J1に は 、 各1次 展 開 係 数Ck@)を 使 っ て 、 パ タ ー ン モ デ ルTψ を 構 成 す る 手 法 が 述 べ ら れ て い る か ら で あ る 。
IKlは 、 集 合Kに 含 ま れ る 要 素 の 総 数
、Re[…]は 、 … の 実 部
と し て 、 任 意 のk∈Lに つ い て 、 初 期 条 件 ・ 、 cf@;t)L.。=1/IKI(J3.1)
の 下 で 、
ck(￠);t十 △t)=ck(ψ;t)十 △ck(￠);t)(J3.2) こ こ に 、
△t>0は 十 分 小 と 選 ば れ て お り 、
△Ck(ψ;t)=(△t)・ τk(t)・2
・df(u)/d
ulu̲e(9;ce(9;t),e∈L)・
Re[(ψ 一 ΣCe((;P;t)・ ψ4,ψk)](J3.3)
ど し
を 求 め て ゆ く と 、 各 τk(t)>0が 適 切 に 選 ば れ て い れ ば 、
ck(ψ)=limck(ψ;t) .(J3.4)
セ
が 成 立 す る 。 以 上 が 、 最 急 降 下 法 に 基 づ く各1次 展 開 係 数Ck(ψ)の 求 め 方 で あ る 。 以 下 に 、 そ の 証 明 を 行 う。
以 後 、Ck(ψ;t)を 簡 単 に 、Ck〈t>、 或 い は 、Ckと 書 く こ と が あ る 。
式(J1・3)の 誤差Eに 注意 し・微 分方程彗系(暈 急降 下的学習方程 式系) 一
(dcVdt)=一 τk(t)・∂E!∂ck,k∈L(J3.5) を 用 意 し よ う 。 こ の と き 、 不 等 式
dEldt==Σ ∂E/∂Ck・dc♂4t ぞ し
=一 Σ τk(t)・[∂E!∂Ck]2≦0
.・ 、 .(」3.6)
どを し
を 得 て 、 式(」1.3)の 誤 差Eは 微:分 方 程 式 系(J35)の 解 曲 線 の 上 で 決 し て 増 加 し な い こ と が 判 明 す る か ら 、 こ の 微 分 方 程 式 系(J3.5)を 解 く こ と 、 つ ま り 、 十 分 時 間tが 経 過 し た と き のCkを 、 式(J3.4)の ご と く 、 求 め れ ば よ い こ と に な る 。
結 局 、 初 期 条 件 式(J3.1)の5で 、 微 分 方 程 式 系(」35)の 離 散 近 似 表 現 Ck〈t十 △t>
=Ck〈t>十(△t)・[一 τk(t)]・∂E/∂ck(J3 .7)
を 解 け ば よ い 。
△Ck〈t>≡(△t)・[一 τk(t)]・∂E/∂Ck・(J3.8)
と 置 い た も の が 、 式(J3.2)で あ り、 式(」3.8)内 に 登 場 し て い る 偏 微 分 係 数 ∂E1∂Ckの 具 体 的 表 現 と し て 、
∂E/∂Ck
=(一2)・df(u)/du}u==e(9;c ,,e∈L)
・Re[(ψ 一 ΣCe'sbe ,ψk)].‑(J3.9)
ぞ し
が 以 下 の2式(J3.10),(J3.11)で 示 さ れ 、 式(J3.9)を 式(J3.8)に 代 入 す る と 、 式(J3.3)が 得 ら れ る 。,'、
式(J3.9)を 求 め よ う 。
∂E/∂Ck
=df(u)1dulu=e(ψ;c ,,2∈L)' '∂IIψ ⊃ §
、C・'釧21∂ ・・
∵ 式(J1.3)(J3.10)
で あ る が 、蕉 はCkの 複 素 共 役 で あ る が 、 仮 定 よ り 、 蕉=Ckが 成 立 し て い る こ と に 注 意 す る と 、
∂llψ ⊃ 書
、卿 ・IIη ∂ ・・
=(∂/∂ ・・)(吃 暑
、C醜 ψ 一藷C・ ・ψ ・)
=(∂/∂ ・・[ψ}
,書、Cグ ψ・]・ψ 一謁C・ ・ψ ・) +(ψ 粛C醜
∂/∂ 蕉[ψ 一農
、C・ ・ψ ・])
=(一 ψ・1ψ 盛
。CmOψ ・) +(ψ 一
、書、C・●ψ ド ψ・)
=一2.[(ψ 、 書
。C醜 ψ ・)](J3・11) で あ る 。
J4.2式(L2.4),(L2.6)の 成 立 に つ い て
パ タ ー ン ψ か ら抽 出 さ れ る 第k∈L番 目 の 特 徴 量u(ψ,k)を 、 u(ψ,k)
≡ 式(」2 .1)のCk'(ψ)或 い は 、 式(J2.4)のdk@)
(J4.1)
と定 義 す る と 、2定 理U,L2よ り 、 式(L3.19)の パ タ ー ン モ デ ルTψ が 定 義 さ れ る が 、 こ の と き 、 式(L3.22)の よ う に 定 義 さ れ る パ タ ー ン 集 合 Φ 上 の2項 関 係 墜 は 半 順 序 関 係 で あ る 。
・同 値 関 係 ψ 〜 η は 、
吟 η⇔ ∀4∈L,・(ψ,の 一u(η,4)
⇔Tψ=Tη
(J4.2) (J4.3)
と表 さ れ 、 ψ 〜 η な る2つ の パ タ ー ン ψ,η は 同 一 の 特 徴 量 の 組 を 備 え て お り(式(J4.2>)、2つ の パ タ ー ン モ デ ルT〜o,Tη は 、 一 致 す る こ と(式(J4.3))が わ か る 。
次 の 命 題L1が 成 立 ち 、 パ タ ー ン ψ ∈ Φ か ら 抽 出 さ れ る 式(L3.4)の 各 特 徴 量u@,k)を 採 用 し た と き 、 各Ck(ψ)が ±1で あ る よ う な パ タ ー ン ψ は 、 式(L3.22)の 半 順 序 関 係 墜 の 極 大 要 素 で あ る こ と を 指 摘 し て い る 。
[命 題L1](半 順 序 関 係 魅 に 関 す る 極 大 要 素 の 存 在)
∀k∈L,c、 ・(ψ)∈{一1,+1}
で あ る よ う な ψ ∈ Φ に つ い て 、
∀ 〜ρ∈ Φ,(ア Ω⊆ψ.囗
こ の と き 、 付 録K,K3章 の 性 質 ③ よ り、 式(L3.26)が 成 り立 っ て い る こ と は 、 式(L3.13)の パ タ ー ン 形 状 素 ψkの 組{ψk}k。Lの1次 独 立 性 よ り直 ち に 確 か め ら れ る 。
付 録K,K3章 の 性 質 ③ の 成 立 に 注 意 す る と 、 式(J4.3)か ら 、2式(L2.4),(L2.6)の 成 立 が わ か る 。
付 録Kモ デ ル 構成 作 用 素 丁,類 似 度 関 数SMと 、 最 大 類 似 度 認 識 法
本付 録Kで は 、 モ デ ル構 成 作 用 素T,類 似 度 関 数SMの 満 た す べ き諸 性 質 、SMの 各'々の1構 成 例 を指 摘 し、 、簡 単 な認 識 法 と して の 最 大 類 似 度(認 識)法[B3],[B4]が 説 明 され る 。
K1.処 理 の 対 象 と す る パ タ ー ンqの 集 合 Φ
本 研 究 で は 、 こ れ ま で の 設 定 通 り[B1]〜[B6]、 ・パ タ ー ン ψ は あ る 可 分 な(separable)ヒ ル ベ ル ト(Hilbert)空 間 夢 の 元 と し ょ う 。 例 え ば 、 内 積(q,η),llψIlが 、
(ψ,η)一 ∫dm(・)ψ(・)・
万(・) 1[ψIl≡vf(lqi;一IE,q)
こ こ に 、 万 は η の 複 素 共 役 で あ り 、
M:n次 元 ユ ー ク リ ッ ド空 間Rnの 可 測 部 分 集 合
dm(x):正 値Lebesgue‑Stieltjes式 測 度 『(K1.1) と す る ヒ ル ベ ル ト空 間 夢=L2(M;dm)を 考 え て お け ば 良 い6『
処 理 す る パ タ ー ン ψ の 集 合 Φ は 、 可 分 な ヒ ル ベ ル ト空 間 夢 の(零 元 を含 む)あ る 部 分 集 合(部 分 空 間 と は 限 ら な い)で あ る:
Φ(∋0)⊆ 拿.̀=層 』(K1.2)
例 え ば 、 簡 単 な 可 分 な 実 ヒ ル ベ ル ト空 間 夢 を 挙 げ て お こ う 。 M≡{1,2,・1・,n},dm(x)=1ifx∈M(K1.3)
と す る と 、 内 積(ψ,η)は ▽
晩 η)==kSlak'bk,'r‑ ..(K'・4)
こ こ に 、
ψ=col(ala2…q。)(実 数 列 と し て の 列 ベ ク ト ル) U==・ ・1(b,b・ …b。)(K1・5)
と表 わ され ・ こ の 内積@・ η)を 採 用 す る ・次 元 ユ ー ク!丿ッ 啌 問R"1ま 醗 な実 晒 べ!レ ト空 間 拿で あ る こ と に注 意 して お く。
K2.代 表 パ タ ー ン集 合 Ω
Φ の 任 意 の 元 で あ る パ タ ー ン ψ は カ テ ゴ リ集 合 旦 ≡{(Σ」lj∈J}(K2.1)
の い ず れ か1つ に 帰 属 し て い る と し、 第j∈ 」番 目 の カ テ ゴ リ(Σj9)作 表 パ タ マ ン ωjの 集 合 Ω ≡{ωjlj∈J}丁(K2.2)
を 導 入 す る 。 式(K2.1)の カ テ ゴ リ集 合 旦 は 以 後 常 に 、2つ 以 上 の 要 素 を 持 っ と 仮 定 す る 。 ま た 、 確 率 条 件 式
∀j∈ エ ・<P(◎ ・)〈
、書、P(◎ ・)=1・(K23)
を 満 た す 各 カ テ ゴ リ(Σjの 生 起 確 率p(◎j)を も導 入 し て お く 。
初 め て 目 に す る 事 物 に そ れ に 相 応 し い ラ ベ ル を 与 え る と 言 っ た 場 面 に 含 ま れ る 認 知 機 能 を 、 心 理 学 で は カ テ ゴ リ作 用(categorization)と 呼 ぶ が 、 本 研 究 で は パ タ ー ン 認 識(pattemrecognition)
と 呼 ぶ 。 本 研 究 で は 、 典 型(prototype)を 中 心 と し て 事 例 パ タ ー ン 集 合 が 序 列 づ け ら れ た カ テ ゴ