、i,p・・bl9・/T・ip}・1・9・p・ ・blG・/Tq'1】IB・84)
=Σprob{T(;P}・
ア
【一
Σprob{(iS]j}・log,prob{(iS]j}
き
一{一 Σprob{(S
.j/TgP}・10geprob{(S..j/T(;P}}】(B.85) エ
と 変 形 さ れ る 。 個 々 の パ タ ー ン モ デ ルTgp∈TΦ に 関 し、 不 等 式 一 Σprob{(Σj}・lo9
,prob{(Σj}
≧ 一 Σprob{(}j1Tgp}・logeprob{(Svj/Tq7}(B.86)
が 必 ず し も 成 立 し な い が 、 成 立 し な い よ う な パ タ ー ン 認 識 の 働 き は こ の パ タ ー ン ψ ∈ Φ に つ い て は そ の 機 能 が 有 効 に 発 現 し て い な い と考 え ら れ よ う 。
AAMI(◎;T・ Φ)の 、 各 出 現 確 率probITq}に 関 す る 平 均 化 の 対 象 成 分 に つ い て 、 各 パ タ ー一一・一ン モ デ ルTψ ∈TΦ 毎 に
一 Σprob{(S
vjl・lo9,prob{(Slj}
一{一 Σprol){(S vj/TgP}・lo9。prob{(Svj/TCp}}…(B.87)
=[カ テ ゴ リ集 合E≡{(Σjlj∈J}の
持 つ 平 均 的 不 確 定 さ]一 [パ ター ン モ デ ルTq∈TΦ の 帰 属 す る カ テ ゴ リ に 関 す る平 均 的不 確 定 さ].(B.88)
=パ タ ー ンモ デ ルTq∈TΦ の帰 属 す る カ テ ゴ リ の
持 つ 平 均 的不 確 定 さ に 関 し、 取 り去 られ た平 均 的 不 確 定 さ(B.89)
を 可 能 な 限 り 最 大 に す る の が 、4.1節 の 最 大 事 後 確 率 認 識 法 で あ る こ と は 、 パ タ ー ン 認 識 の こ の 働 き の 理 想 が
probi(1;j/Tg:)}=1〈[∀i∈J‑lj},prob{(芭i/TgP}=0](B.90)
で あ る よ う な カ テ ゴ リ 番 号j∈Jを 決 定 す る こ と で あ り、 こ の と き 、 一 Σprob{◎ 」1Tψ}・log.prob{(芭j/T(;P}=O(B.91)
.・.j∈J
AAMI(旦;T・ Φ)
==一 Σprob{(Ejl'10geprob{(iSlj}(B .92)
が 成 立 し、 式(5.1)の カ テ ゴ リ 集 合 旦 の 持 つ 平 均i青報 量 一 Σprob{9j}・logeprob{◎j}が 平 均 相 互
j∈J
情 報 量 と して 獲 得 され る こ とか ら わか る 。
各 カ テ ゴ リ事 後 確 率prob{(Svj/TgP}が 式(4.69)で 与 え ら れ る4章 の部 分 空 間法 的 単 段 階 量 子 認 識 系 で は 式(B.90)の 成 立 は必 ず し も期 待 され な い が 、7章 の 部 分 空 間 法 的 多段 階 量 子 認 識 系 で は 、 一 意 的 に あ る1つ の カ テ ゴ リ に帰 属 す る よ う な正 常 なパ タ ー ン に つ い て は式(B.90)の 成 立 が 認 め られ る。
B6.状 態 集 合{q,lrl一 、 の 有 す る 情 報 の ど れ ほ ど が パ タ ー ン モ デ ルTqの 集 合ITqlT9∈TΦ に 伝 え ら れ る か?
完 全 正 規 直 交 系 ゆ.}簿1に よ る パ タ ー ン モ デ ルTψ ∈ ・bつい て は 、 フ ー リ ェ 式 直 交 展 開 式(6.25) と 、Bessel等 式(6.26>が 成 立 し 、
∀ ψ ∈ Φ,P[Tψ](iZP。=[(〜p。,Tψ)1(Tψ,Tq)]・Tψ(B.93)
(P[Tψ]ψn,ψn)
=1(ψ n,T(;P)121(Tq,Tgp)
=1(T9
,ψn)121Σ1(T9冫,ψn)12
ロ ニ ユ
∵ 式(6.26)(B.94) が 成 立 す る 。 よ っ て 、
∀ ψ∈ Φ,
[∀n∈{1,2,…},0≦(P[Tq]gp.,ψn)≦1]
〈[Σ(P[Tψ]ψn,qn)∈{0,1}]
ロコ
が 得 ら れ 、Tgpが 確 保 さ れ た 条 件 の 下 で 、 ψ.の 条 件 付 き 出 現 確 率probiq、rrq}を prob{gPn/TgP}≡(P[Tψ]qn,qo.)
と お け る こ と が わ か る 。
(B.95) (B.96) (B.97)
よ っ て 、 パ タ ー ン モ デ ル 集 合TΦ と 完 全 正 規 直 交 系{q.}簿1と の 間 の 平 均 相 互 情 報 量(average amountofmutUalinfommation)AAMI(TΦ;{q.}臥1)を 、
≡… ΣP2(T〜 ρ)・ Σ(P[Tψ]ψn,qn)・
ニ ユ り ゆ
109e(P[Tψ]ψn,ψn)1Pl(97n)
…≡… Σp2(Tq)・AAMI(lqn臣11Tψ)≧0(B.98)
ゲ
と 定 義 で き る 。 登 場 し たTψ の 出 現 確 率p2(Tq)に よ る 平 均 化 成 分AAMI(Iq.}簿1/Tψ)に つ い て は 、
AAMI({ψn}『̲1/T〜 ρ)
≡ 一 Σ(P[Tψ]ψn
,〜ρn)・logePl(〜ii)n)
む
一{一 Σ(P[TgP](;P
n,qn)・10ge(P[Tψ]qn,qn)}(B.99)
が ニ ス
で あ る が 、AAMI({9フn}曽=1/Tψ)は 、 状 態 集 合lq、}新 」1の 有 す る 情 報 の ど れ ほ どが 個 々 の パ タ ー ン モ デ ルTqに 伝 え ら れ る か を 表 す 平 均 情 報 量 で あ る と 解 釈 で き'、
AAMI(T9:);{ψn}簿1)=
=Σp2(Tψ)・AAMI({〈ii7 、}誰ilTq)≧0'(B.100)
ぢ
は 、 状 態 集 合lq、}誰1の 有 す る 情 報 の ど れ ほ ど が パ タ ー ン モ デ ルTqの 集 合ITq}Tq∈TΦ に 伝 . え ら れ る か を 表 す 平 均 情 報 量 で あ る 。
尚 、 非 負 性
AAMI(TΦ;{〜on}窪1)≧0(B.101) は 、
[∀Tψ ∈TΦ ⊂i9},0<p2(TSP)<1](B.102)
〈 Σp2(T(;P);1(B.103)
Tgt∈TΦ
並 び に 、
[∀n∈ll,2,…},0<P1(q。)<1]
.(B.104)
〈 Σp1(qn)=・1(B.105)
ニ ユ
な どを考 慮 す れ ば 、 従 来 の証 明 と同 じ よ う に証 明 され る 。
付 録C.特 徴 抽 出 に お け る不 確 定 性 原 理
本 付 録Cで は 、 情 報 関 数 の 、位 置 と周 波 数 成 分 との2つ の微 分 エ ン トロ ピ ー の和 が 零 に な らな く て 、 常 に 非 負 と な る と い う"量 子 力 学 に お け る 不 確 定 原 理 の 別 表 現"(C1章)を 指 摘 し、 そ の 後 、 大 局 的 ・ 局 所 的 な特 徴 を抽 出 す る2つ の特 徴 抽 出 の働 き(C2章)を 特 徴 エ ン トロ ピー で 特 性 化 す る。
C1.エ ン トロ ピ ー に よ る 不 確 定 性 原 理 の 表 現
量 子 力 学 で は 、2つ の物 理 量 を 同 時 に観 測 す る と,い ず れ か 一 方 の 物 理 量 が あ る値 以 上 の 不 確 定 ざ を もつ て観 測 さ れ る こ とが あ る.不確 定 性 の 原 理 と称 さ れ る こ の事 実 と等 価 な 表 現 は,2つ の物 理 量 の 各 々 の エ ン トロ ピ ーの 和 は 常 に 正 の 値 で あ る とい う"不 確 定 性 の 情 報 エ ン トロ ピ ー 表 示"で あ る 。
1実 変 数(一 ∞ 〈)t(<+。 。)の複 素 数 値 情 報 関 数 ψ(t)は 、 そ の フ ー リ ェ変 換 キ
ψ^(ω)、dt・xp[一Ff・2π一 〇Q ωt]・・q(t)(C.1)' を 使 っ て 、
キ
〜ρ(t)=∫dωexp[V匚一 ◎o 丁 ・2π ωt]・(;P^(ω)(C.2)
と展 開 表 現 で き る。
粒 子 の 位 置 、 運 動 量 の 観 測 に関 し、 一 方 が 確 定 す れ ば 、 他 方 が 確 定 しな い と い う量 子 力 学 上 の 不 確 定 性 に 関 し、 そ の 情 報 微 分 エ ン トロ ピ ー 表 示 が フ ー リ ェ変 換 を使 っ て 与 え られ る2式(C.6),
(C.7)のS(q),S(q^)で あ る 。
次 の 定 理C1は 、 情 報 信 号 ψ(t)が 表 現 して い る もの が 存 在 して い る位 置tと 、 そ の周 波 数 成 分 ω とが 一 方 が 確 定 す れ ば、 他 方 が確 定 しな い こ と(不 確 定 性)を エ ン トロ ピー で 表 した もの で あ る 。
[定理C1](エ ン トロ ピ ー に よ る不 確 定 性 原 理 の 表 現 定 理) 3条 件 ホ
∫dtIq)(t)12=1'(C.3)
;瓮
∫dtt2・1(;P(t)12<∞'(C.4) 罵∫
dωt2、 ψ^(ω)i2〈oo(C.5)
一 〇〇
を満 た す 情 報 信 号q(t)に つ い て 、2つ の 微 分 エ ン トロ ピー
S(ψ)≡ …一 ∫dtI(P(t)12・logelψ(t)12(C.6)
一 〇〇
S(q^)
キ
≡ 一 ∫dω1〜ii)^(ω)12・lo9,.1ψ^(ω)12(C.7)
一◎○
を 考 え る と 、 不 等 式
S(ψ)十S(ψ^)≧lo9,(e12)>0(C.8) .が 成 り立 つ 。
(証 明)文 献[A36],p.137,定 理6.1で あ る 。 □
C2.大 域 的 特 徴 と 局 所 的 特 徴 と の 抽 出 に お け る 不 確 定 性 原 理
前 節 と 同 様 な 不 確 定 性 原 理 が パ タ ー ン 認 識 に お け る 特 徴 抽 出 の 働 き に 関 し 、 成 立 す る こ と を示 そ う.
0・logeO=0と 約 束 し 、 直 交 系{ψk}k。Lの 下 で 、 ETPY(ψ;{ψk}k∈L)
≡ 「、書。p(ψ,;ψk)・1・9・p(免;ψ ・)(C・9)
と 定 義 さ れ る パ タ ー ン ψ の エ ン ト ロ ピ ー を 考 え る こ と が で き る 。 こ こ に, P(〜ρ,;ψ ∂=
1(ψ ・ψ∂121
、書。1(ψ;ψ ・)【2
… ヨk∈L ,(ψ;ψk)≠0の と き 0∀k∈L,(ψ;ψk)=0の と き.(C.10)
そ う す れ ば,次 の 定 理C2が 成 立 し,そ れ は 特 徴 抽 出 に お け る 不 確 定 性 原 理 と い え よ う。 量 子 力 学 上 の 不 確 定 性 が 特 徴 抽 出 に 関 し、 エ ン トロ ピ ー 表 示 で 成 立 す る こ と に な っ た 。
[定 理C2](和 エ ン ト ロ ピ ー 正 定 理;特 徴 抽 出 に お け る 不 確 定 性 原 理)
2つ の 完 全 正 規 直 交 系{ψk}k.L,{ηk}k.Lを 考 え れ ば,任 意 の パ タ ー ン ψ∈ 拿 に つ い て 各 々 直 交 展 開 ψ 一、暑。(ψ,ψk)・ ψ・(C・11)
ψ 「 Σ。(ψ・ ηの ・η・(C・12) が 成 立 す る が,2条 件
① ∀k,ヨ4(1),ヨ4(2)(4(1)≠40)), (ψk,η4(1))≠0〈(ψk,η4(2))≠0
② ∀4,ヨk(1),ヨk(2)(k(1)≠k(2)), (ψ ・(1),ηの ≠0〈(ψ ・(・),η・)≠0