こ の 章 で は,word2vecに よ る分 散 表 現 の 学 習 と そ れ に よ る 単 語 ベ ク トル の 獲 得 に つ い て 説 明 す る.単 語 の 分 散 表 現 の 概 要 は2.2.1節 で 述 べ た の で こ こで は,具 体 的 に 式 な ど を 交 え て 解 説 す る.
4.1フ ィ ー ド フ ォ ワ ー ドニ ュ ー ラ ル ネ ッ ト ワ ー ク
最 初 に,基 本 的 か つ よ く使 わ れ る ネ ッ トワ ー ク で あ る,フ ィ ー ド フ ォ ワ ー ドニ ュ ー ラ ル ネ ッ ト ワ ー ク に つ い て 説 明 す る.こ の ネ ッ ト ワ ー ク は,層 状 に 並 べ た ユ ニ ッ ト が 隣 接 層 間 で の み 結 合 し た 構 造 を 持 ち,情 報 が 入 力 側 か ら 出 力 側 に 一 方 向 に の み 伝 播 す る ニ ュ ー ラ ル ネ ッ ト ワ ー ク で あ る.図4.1に3層 の フ ォ ー ド フ ォ ワ ー ドネ ッ
トワ ー ク を 示 す.∬ の 層 を 入 力 層,ん の 層 を 隠 れ 層,〃 の 層 を 出 力 層 と 呼 ぶ.各 ユ ニ ッ ト は 図4.2の よ う に,複 数 の 入 力 を 受 け 取 り,1つ の 出 力 を 計 算 す る.図4.2
の 場 合,隠 れ 層 の1つ の ユ・ニ ッ ト1zゴ は,3つ の 入 力Xl,x2,x3を 受 け取 り,出 力 層 に 出 力 ん9幅 を 渡 す.2
X
h V
図4.13層 の フ ォ ー ド フ ォ ワ ー ド ネ ッ ト ワ ー ク の 図 。
1 X
X2
3 X
Z
図4.21つ の ユ ニ ッ ト の 図.
硬 一 ω ・gc・+ω2x2+ω3x3+b(4・1・1) ん9賜L!(lzl・n')(4・1・2)
各 入 力 に 異 な る 重 み ω1,ω2,ω3を 掛 け た も の を 全 て 加 算 し,そ れ に バ イ ア スb を 足 し合 わ せ た も の 入 力 と し て 活 性 化 関 数 に 入 れ る.入 力 層 か ら 隠 れ 層 へ の 重 み を
ま と め てwxh,隠 れ 層 か ら 出 力 層 へ の 重 み を ま と め てwhyと 表 す.活 性 化 関 数 に は 以 下 の よ う な 関 数 が 用 い ら れ る.
1
(4.1.3)!(X)=logis七ic(X)=
1十e‑m
砂‑e 一ωe
(4.1.4)!(ar)=tanh(x)=
ea,十e‑x
隠 れ 層 か ら 出 た 出 力 層 を 入 力 と し て 同 じ 計 算 が 出 力 層 の ユ ニ ッ ト 防 で さ れ る.
理 想 と す る 出 力 層 の 正 解 ち と上 の 過 程 に よ り求 め た 出 力 層 の 出 力 〃。撹 の 二 乗 誤 差 の サ ン プ ル 平 均 を 」 と して 誤 差 を 定 義 す る.
」一 島ll鰯 副2(4・1・5)
i=1
フ ィ ー ドフ ォ ワ ー ドニ ュ ー ラ ル ネ ッ トワ ー ク は 逆 誤 差 伝i搬法(BackPropagation) に よ り,重 み を 更 新 し学 習 す る[24].学 習 率 α を 使 っ て 以 下 の よ う に 重 み を 更 新 す る.
ω̲一 ω一α霧(鯛
順伝 播 と逆誤差伝搬法 を繰 り返 す ことによって,学 習誤 差 を単調減 少 させ る こ と が出来 る.一 方で,そ れ に よってテ ストデー タを解析 した時 の誤差(汎 化誤差)が 減 少す る とは限 らない.学 習 を繰 り返 す とある時点で 汎化 誤差が最小値 を取 り,以 降 は増加 してい くこ とが知 られてい る.こ れ を過学習 と呼ぶ.
4.2ContinuousBag‑of‑Words(CBOW)
こ の 節 か らword2vecで 実 装 さ れ て い る ニ ュ ー ラ ル ネ ッ トワ ー ク に つ い て 説 明 す る.図4.3にCBOWモ デ ル の ネ ッ ト ワ ー ク を 示 す.タ ー ゲ ッ ト単 語Wtの 前 後2 単 語Wt̲2,Wt̲1,Wt+1,Wt+2を"文 脈"と 呼 び,こ れ ら の1‑of‑kベ ク トル を 入 力
と して,タ ー ゲ ト単 語 娩 を 出 力 とす る よ う な ニ ュ ー ラ ル ネ ッ トワ ー ク を 学 習 す る モ デ ル で あ る.
隠 れ 層 の 出 力 を 計 算 す る と き,入 力 コ ン テ キ ス トの 単 語 ベ ク トル を 直 接 使 用 す る 代 わ りに,CBOWモ デ ル は 入 力 コ ン テ キ ス トの 単 語 ベ ク トル の 平 均 を 隠 れ 層 の 入
Wt‑2
Wt .1
Wt+1
Wt+2
入 力 出力
Wt
図4.3CBOWモ デ ル の 図.
力 とす る.そ れ に,隠 れ 重 み 行 列wxyと 平 均 ベ ク トル の 積 を 使 用 して 隠 れ 層 の 出 力 ん とす る.
h一 きwT(w・‑2+Wt‑1+Wt+・+ω ・+2)(4・2・1)
こ こ で,0は コ ン テ キ ス ト内 の 単 語 の 数,Wt̲2,...,Wt+2は コ ン テ キ ス ト内 の 単 語 の1‑of‑kベ ク トル を 表 す.出 力 層 の 出 力 は,隠 れ 層 の 出 力 ベ ク トルhにwhy を 掛 け 合 わ せ てyout計 算 さ れ る.そ し て 出 力 層 の 出 力youtに ソ フ トマ ッ ク ス 関 数 を 掛 け て 真 ん 中 の 単 語 を 予 測 す る.
yin=「07hyhT(4.2.2) yout=sof七max(yin)(4.2.3)
exp(x)(4
.2.4)softmax(x)一 Σexpx
CBOWモ デ ル が 予 測 し た 単 語 と実 際 に あ る 単 語 と の 差 を 誤 差 逆 伝 搬 す る こ と で, 単 語 ベ ク ト ル を 学 習 し て い く.
4.3Skip‑gram
こ の 節 で はword2vecで 実 装 さ れ て い る も う1つ ニ ュ ー ラ ル ネ ッ トワ ー ク で あ る Skip‑gramモ デ ル に つ い て 説 明 す る.図4。4にSkip‑gramモ デ ル の ネ ッ トワ ー ク を 示 す.こ れ は,CBOWが タ ー ゲ ッ ト単 語Wtを 出 力 す る の に 対 し て,タ ー ゲ ッ ト 単 語Wtの1‑of‑kベ ク トル を 入 力 と し て そ の 前 後2単 語Wt̲2,ωt̲1,Wt+1,Wt+2
を 出 力 す る よ う な ニ ュ ー ラ ル ネ ッ ト ワ ー ク を 学 習 す るモ デ ル で あ る.
隠 れ 層 の 出 力 を 計 算 す る と き,タ ー ゲ ッ ト単 語 の1‑of‑kベ ク トル を 隠 れ 層 の 入 力 とす る.そ れ に,隠 れ 重 み 行 列wxhと 平 均 ベ ク トル の 積 を 使 用 し て 隠 れ 層 の 出 力 ん とす る.
ん=wxhxt
(4.3.1)
Wt
入力 出力
Wt ‑2
Wt 。1
Wt+1
Wt+2
図4.4Skipgramの 図.
出 力 層 の 出 力CBOWと 同 様 に,隠 れ 層 の 出 力 ベ ク トルhにwhyを 掛 け 合 わ せ てyO'Lt計 算 され る.そ し て 出 力 層 の 出 力youtに ソ フ トマ ッ ク ス 関 数 を 掛 け て 前 後 の 単 語 を 予 測 す る.Skip‑gramモ デ ル が 予 測 し た 単 語 と実 際 に あ る前 後 単 語 と の 差 を 誤 差 逆 伝 搬 す る こ とで,重 み 行 列wmh,wh'Jを 更 新 し て い く.入 力 層 か ら 隠 れ 層 の 重 み ベ ク トルwxhの 各 行 が そ の 番 号 に 対 応 す る 単 語 の 単 語 ベ ク トル と な る.