●
puti Nodej Mlode
ん2…,1 j=0,1,2… 」 k=O,Y 2・
/
.一旧庁... 」 曳、 ノ ㌧.
.一.一 →ノ ㌧...
図4.11
学習の階層構造
Node67.63567359937597 Node70.3407526670223767 SigmoidMade1
工nputsneighし3 Threshold‑1.294097552$969007 墨lode4‑1.91466356300884工3 Node5‑6.884349054753835 Node6‑6.621562778284169 Node7S.Oi896622B432047 SigmoidNode2
InpuCs旧 已iqht}ヨ Threshold‑0.0701404553386685 Node4‑4.492089943332922 N「o己巳53.8234600416535工07 Node6‑2.270500089688041 Node7‑1.37208135511696エ7 5igmaidBode3
工nputs Threshold Node弓 Nodes Node6 Node7
Weights
O.3278248847380488 3.323854529493211
‑1.9959185429018196
‑2 .38032165963989
‑5 .5320745611189 Si中 血oid匡Node4
1npuしs可 ∈fights Threshold‑1.8574637263223932 nLしし【ib工 ℃enlO.4150B⊥37040798139 且,しし=ib工 ℃巳n2‑3.≡}640009⊥9803工456 Aし し亡ib工tem3‑1幽7412618368726294 く
図4.12
算 出 した重み と閾値
多 層 パ ー セ プ トロ ン に よ る ニ ュ ー ラル ネ ッ トワー ク よ り算 出 した 項 目毎 に お け る相 関 関係 を 基 に教 師 信 号 の な い デ ー タ と教 師信 号 の あ るデ ー タ に 対 して の 重 み 付 け の 修 正 を行 う.出 力 値 の 算 出 にお い て,次 節 に て述 べ る ク ラ ス タ リン
グ結 果 を分 か りや す くす るた め,以 下 の 式 に て求 め た.
エ
N・deb=
1。lnpu鴨+ら
コ
Nodeズ=再
。Nod騎+θ ズ
Output=Mast(Node, k=4,1,2…,K
出 力 結 果 を 図4.13に 示 す.
コ旦 。・旧.」tem5
エ229146:器 ニー 蕗l
164.2749 JJ
130.8476 1×0.662
46一37
11x.2491;45
1271.2016[241
156.8487 182.0542「3457 163.0655i44
215.5219i53i
l19鰐 器一 囎l
t204.367‑ 一 一 百 可 「 184.9684151
膣 霧薯Eヨ 劉
115.036315 [236.4日3日i56[
‑i‑ 『 『 「}㎜}}「
図4.13重 み付 け後 のデ ー タ こ の様 に,ロ グデ ー タ の点 数 化 を行 い 出力 値 の決 定 を行 う.
4.3ク ラ ス タ リ ン グ
提 案 手 法 で は,重 み 付 け後 のデ ー タに 対 して,ク ラス タ リン グ を行 い ユ ー ザ モ デ ル の構 築 を行 う.
ク ラ ス タ リ ン グ と は,分 類 対 象 の 集 合 を 内 的 結 合(intemalcohesion)と 外 的 分 離(extemalisolation)が 達 成 さ れ る よ う な 部 分 集 合 に 分 割 す る こ と で あ る(図 4.14)[27][28].ク ラ ス タ リ ン グ 手 法 は,以 下 の 観 点 か ら2つ に 大 別 さ れ る.
・ 階 層 的 ク ラ ス タ リ ン グ1ク ラ ス タ が 入 れ 子 と な る よ う に 階 層 的 に ク ラ ス タ を 生 成 し て い く 手 法(例,最 短 距 離 法,ウ ォ ー ド法)
・ 非 階 層 的 ク ラ ス タ リ ン グ:フ ラ ッ トに 複 数 ク ラ ス タ を 生 成 す る 手 法(例 , K‑means法,EMア ル ゴ リ ズ ム)
こ れ ら の 手 法 を 用 い て ク ラ ス タ を 発 見 す る こ と が 可 能 と な る.し か し,ク ラ ス タ リ ン グ は 探 索 的 な デ ー タ 解 析 手 法 で あ っ て,分 割 は 何 ら か の 主 観 や 視 点 に 基 づ い て い る.よ っ て,ク ラ ス タ リ ン グ の 結 果 は,絶 対 的 で も,普 遍 的 で も,客 観 的 で も な い.ク ラ ス タ リ ン グ の 結 果 の 妥 当 性 は,そ の 分 割 の 利 用 目 的 な ど, 外 的 な 知 識 に よ っ て 判 断 さ れ る[29].
分離 対象集 合 分割 した結果
図4.14ク ラ ス タ リ ン グ
提 案 手 法 にお い て は,EMア ル ゴ リズ ム に よ るク ラス タ リン グ を行 う.
EMア ル ゴ リズ ム は,確 率 モ デ ル のパ ラ メ0タ を最 尤 法 に基 づ い て推 定 す る手 法 で あ り,観 測 不 可 能 な 潜 在 変 数 に確 率 モ デ ル が 依 存 す る 時 に使 用 され る.ユ ー ザ モ デル を構 築 す る上 で,人 の生 活 は個 々 に よ って,そ れ ぞ れ 存 在 し うるた め, 観 測 され て い な い デ ー タ の有 無 の 可 能 性 を考 慮 して,提 案 す る シ ス テ ム に お い て はEMア ル ゴ リズ ム を使 用 す る.
与 え られ るデ ー タ が,背 後 に あ る完 全デ ー タ の不 完 全 な観 測 に よっ て 得 られ て い る こ とを想 定 す る.こ の 時,EMア ル ゴ リズ ム は,そ の よ うな 不完 全 な観 測
か らの統 計 的 推 定 問題 を解 く際 に,も し仮 に完 全 デ ー タが 観 測 され て い た と し た ら推 定 が 簡 単 に な る場 合 に有 効 とな る.
一 般 の 場 合 に は
,完 全 デ ー タyか ら不 完 全 デ ー タxへ の多 対 一 の 既 知 の写 像 が あ る と考 え,あ るxに 対 応 す るy全 体 の集 合Y(x)と す る.EMア ル ゴ リズ ム は, xの 分 布p(x;θ)に 関す る最 適 化 問題 を,yの 分 布p(y;θ)に 関す る最 適 化 問題 の繰 り返 し演 算 に帰 着 させ る方 法 で あ り,次 の よ うな2つ の ス テ ップか らな る.
こ こでt朋 嚥 り返 しで 得 られ た パ ラメ ー タ の値 を1[b)と す る.
①Expectationス テ ッ プ:以 下 のQを 計 算 す る.
Q(θ1♂t))=E[1・9P(y}θ)iX.6t)]
二 人(x)P(ylx}6t))1・gP(y}θ)dy
②Maximizationス テ ッ プ:Qを 最 大}こ す る よ うな θ を 求 め6t+1)と お く.
θ(t+1)=argemaxQ(θ16t))
ま た,EMア ル ゴ リズ ム は,評 価 関数 の 最適 化 に お い て も有 効 で あ る.評 価 関 数 の最 適 化 は,EMア ル ゴ リズ ム に 限 らずNewton法 や 勾 配 法 な どが あ るが,以 下 の2点 に お い て有 利 で あ る.
① 評 価 関 数(尤 度)が 単調 に増 加 す る
② イ ンプ リメ ンテ ー シ ョンが簡 単(計 算 量 が少 な い)
① の性 質 は他 の方 法,例 えばNewton法 な どで は必 ず しも満 た され て は い な い.
た だ し,Newton法 は最 適 解 の 近 傍 で2次 の収 束 を示 す の に対 し,EMア ル ゴ リ ズ ム は 勾 配 法 と同様 の1次 の 収 束 しか しな い.そ の た め,デ ー タの 不 完 全 性 が 高 い程,そ の 時 に精 度 が 要 求 され る場 合 に は あ ま り向 い て い な い.し か しな が ら,繰 り返 しス テ ップ の早 い段 階 で はNewton法 並 み の収 束 を行 い,ま た単 調 性 は アル ゴ リズ ム の安 定 を示 して い る.特 定 の サ ンプル 点 に 分 散 が 非 常 に小 さい 正規 分布 をお く と尤 度 は い く らで も大 き くな っ て しま う.不 安 定 な アル ゴ リズ ム で は こ の よ うな 解 に 発 散 して い く危 険 性 が あ る た め,単 調 性 よ りア ル ゴ リズ ム の 安 定 が 示 され て い るEMア ル ゴ リズ ム が 望 まれ る.
② の 性 質,イ ンプ リメ ンテ ー シ ョンの容 易 さは,複 雑 な 不 完 全 デ ー タ に 関す る最 適 化 を単 純 な 完 全 デ ー タ に 関す る最 適化 に置 き換 えた た め に得 られ た メ リ
ッ トで あ る.Newton法 で は,評 価 関数 の2回 微 分 の 逆 行 列 が必 要 とな るた め, 計 算 量 が 多 くな り結 局1ス テ ップ あ た りの 計 算 量 が 大 き くな っ て しま うこ とが 多 い[30].
これ らの観 点 を考 慮 して,本 研 究 にお け る提 案 手 法 で は ク ラ ス タ リン グの ア ル ゴ リズ ム と してEMア ル ゴ リズ ム を用 い る.