1508【音声研究会】pdf 最近の更新履歴 Ryo Masumura: Web

Latent Words Recurrent Neural Network

言語モデル 提案 音声認識 適用

増村 亮 _† ‡ _, 浅見 一 _†, 大庭 隆伸 _†,

政瀧 浩和 _†, 阪内 澄宇 _†, 伊藤 彰則‡

† ^{NTT メデ ンテリジェンス研究所}

‡ 東 大学大学院工学研究科

本研究

言語モデル モデル構造 高度 研究 焦点

� _{�− � �−} � _� � _�+ � _�+

Back-off N-gram LM

� � = � � _� |� _� , � _ng 高度

�

�=

� _�

言語モデル 主 課題

大量 学習デヸタ い 、

言い回 をカバヸ い

⇒ 少 いデヸタ 様々 言い回 をカバヸ い

デヸタスパヸスネス

制約 局所性

短い単語文脈 _(N-1 単語 ₎

を制約 、

長距 文脈を反映 い

⇒ 文脈情報を柔軟 捉え い

ドメ ン依存性

学習デヸタ ドメ ン

モデル制約 強く依存 、

ドメ ン 異 性能 低い

⇒ マルチドメ ン ロバスト い

モデル構造 高度 研究

• Maximum Entropy LM [Rosenfeld+, 1996]

• Decision Tree LM [Potamianos+, 1998]

• Random Forest LM [Xu+, 2004]

• Neural Network LM [Bengio+,2003][Schwenk+,2007]

• Recurrent Neural Network LM [Mikolov+, 2010]

識別モデルベヸス モデル構造

生成モデル _(Bayesian モデル ₎ ベヸス モデル構造

• Hierarchical Pitman-Yor LM [Teh, 2006]

• Bayesian Class-based LM [Su, 2011]

• Dirichlet Class LM [Chien+, 2011]

• Latent Words LM [Deschacht+, 2011]

本研究 概要

Recurrent Neural Network LM Latent Words LM

識別モデルベヸス 生成モデルベヸス

Latent Words Recurrent Neural Network LM

新 言語モデルを提案

ジェンダ

3. ^{改善 デ 提案手法}

1. ^概要

2. RNNLM LWLM ^{概要 課題}

4. CSJ ^評価実験

5.

観測単語空間

Recurrent Neural Network LM

[Mikolov+, 2010]

• ^{再帰的 ネットワヸク 長距 文脈を考慮可能}

� _�− � _�− � _� � _�+ � _�+

� _�− � _�− � _� ^� �+

� _�−

k-1 ^番目

単語

1-of-N ^表現

直前

隠 層

出力

入力 保持

生成

確率

hidden(k)

Output(k)

input(k)

hidden(k-1)

� � = � � _� |� _�− , � _�− , � _rnn

�

�=

k ^{番目 単語 生成確率}

観測単語空間

潜在変数空間

� _�− � _� � _�+ � _�+

� _�−

ℎ _{�− ℎ �−} ℎ _� ℎ _�+ ℎ _�+

� � = � � _� |ℎ _� , � _lw � ℎ _� |� _� , � _lw

ℎ _�

�

�=

Latent Words LM

[Deschacht+, 2011]

• ^{潜在語 基 く柔軟 構造を持ち、少 い学習デヸタ}

様々 言い回 をカバヸ 、学習デヸタ 異 ドメ ン 頑健

潜在語 い _N-gram 構造

語彙サ ズ 同数

潜在変数 ₍ 潜在語 ₎ モデル

潜在語 ユニグラム

潜在語 観測語

生成確率を持 、 、観測語

潜在語を一意 決定 い

RNNLM LWLM

音声認識 適用方法

• RNNLM ^{： N-gram 近似} [Deoras+, 2011]

ワンパスデコヸデ ング 利用

リスコ リング 利用

• LWLM ^{：仮説 裏 隠 潜在語系列を推定 、}

仮説 潜在変数系列 同時生成確率を求 _(Vitebi 近似 ₎

[Masumura+, 2013]

• RNNLM ^{：仮説 対 直接確率値を求}

[Mikolov+, 2010]

• LWLM ^{： N-gram 近似} [Masumura+, 2013]

RNNLM LWLM ^{利点 点}

RNN ^{構造 基 長距 関係を}

柔軟 捉え 可能

潜在変数空間を持 、観測単語系列 裏 隠

関係性を明示的 捉え い い

RNNLM

潜在変数空間 基 くソフトクラス 構造 、

裏 隠 潜在変数 関係を考慮可能

潜在変数間 モデル _N-gram 構造 あ 、

潜在変数間 長距 関係を考慮 い い

LWLM

ジェンダ

3. ^{改善 デ 提案手法}

1. ^概要

2. RNNLM LWLM ^{概要 課題}

4. CSJ ^評価実験

5.

改善 デ

RNNLM LWLM ^{両者 点を 補う 、}

両者 利点を結合 い ？

RNN ^{構造 基 長距 関係を}

柔軟 捉え 可能

潜在変数空間 基 くソフトクラス 構造 、

裏 隠 潜在変数 関係を考慮可能

RNNLM

LWLM

利点

結合

Latent Words

Recurrent Neural Network LM ^提案

観測単語空間

潜在変数空間

� _�− � _� � _�+ � _�+

� _�−

ℎ _�− ℎ _�− ℎ _� ℎ _�+ ℎ _�+

ℎ _�− ℎ _�− ℎ _� ℎ _�+

ℎ _�− ^{潜在語 い RNN 構造}

一 前 潜在語 、

一 前 中間層 出力

潜在語 生成確率 決

潜在語 ユニグラム

潜在語 観測語

生成確率を持 、 、観測語

潜在語を一意 決定 い

� � = � � _� |ℎ _� , � _lrn � ℎ _� |� _�− , ℎ _�− , � _lrn

ℎ _�

�

�=

従来手法 関係

� � = � � _� |ℎ _� , � _lrn � ℎ _� |� _�− , ℎ _�− , � _lrn

ℎ _�

�

�=

• ^{潜在変数空間 基 くソフトクラス構造 RNNLM}

• ^{潜在変数空間 RNN 構造 モデル LWLM}

LWLM

LWRNNLM

� � = � � _� |ℎ _� , � _lw � ℎ _� |� _� , � _lw

ℎ _�

�

�=

RNNLM

� � = � � _� |� _�− , � _�− , � _rnn

�

�=

LWRNNLM ^{実現 あ}

識別モデル (Neural Network) ^{生成モデル} (Bayesian Modeling)

を組 合わ 構造を持 、

学習方法や音声認識 適用方法 工 必要

学習方法

音声認識 適用方法

• ^{潜在変数系列 推定 、}

Recurrent Neural Network ^{パラメヸタ推定 ？}

• ^{ワンパスデコヸデ ング う利用 ？}

• ^{リスコ リング う利用 ？}

LWRNNLM ^学習方法

LWRNNLM ^{を学習デヸタ 直接推論}

困 あ 、 _LWLM 学習時 パラメヸタを応用

最初 学習デヸタ

LWLM ^を学習

潜在変数系列

n-gram ^{構造を除去}

潜在変数系列

RNN ^{構造を推定}

LWRNNLM ^{音声認識 適用方法}

ワンパスデコヸデ ング 利用

• LWRNNLM N-gram ^近似

• ^{確率過程 大量} テキストデヸタをランダムサンプリング

生成 、生成デヸタ _N-gram モデルを構築

リスコ リング 利用

• LWLM ^{を用い 単語系列 裏 隠 潜在語系列 候補を推定 、}

候補 中 _LWRNNLM 潜在語系列を決定 、

同時生成確率を求

• ^{基本的 LWLM 同時併用 前提}

• LWRNNLM Viterbi ^近似

ジェンダ

3. ^{改善 デ 提案手法}

1. ^概要

2. RNNLM LWLM ^{概要 課題}

4. CSJ ^評価実験

5.

実験概要

CSJ ^{を用い 音声認識性能 評価}

、

Out-Of-Domain ^{け 性能 同時 評価}

学習デヸタ _CSJ2672 講演 (700M words)

開発デヸタ (In-Domain) CSJ10 ^講演 (20K words)

テストデヸタ (In-Domain) CSJ10 ^講演 (20K words)

テストデヸタ (Out-Of-Domain) ^{ボ スメヸルタスク} (20M words)

デコヸダ VoiceRex (WFST-based)

音響モデル DNN-HMM with 8 layers

実験条件

比較対象

MKN3g Modified Kneser-Ney 3-gram LM

RNN ^{隠 層 500 ノヸドヷ 500 クラス RNNLM}

RNN3g ^{RNN3g 3-gram 近似}

LW ^{潜在変数 モデル 3-gram LWLM}

LW3g ^{LW 3-gram 近似}

LRN ^{隠 層 500 ノヸドヷ 500 クラス RNN 構造 LWRNNLM}

LRN3g ^{LRN 3-gram 近似}

評価 ： ワンパスデコヸデ ング ₍ ○○ _3g) 比較

評価 ： リスコ リングを含 比較

23

23.5

24

24.5

25

25.5

26

26.5

27

27.5

28

MKN3g RNN3g LW3g LRN3g RNN3g LW3 ALL3g

ワンパスデコヸデ ング 比較

～ _In-Domain け 性能 ～

W E R (%)

LRN3g

単体 性能

LW3g ^劣

従来法 _{提案法 従来法 + 提案法}

LRN3g

RNN3g ^や LW3g

改善効果を与え

全 を組 合わ

MKN3g

1.5 ^{ポ ント程度改善}

24.74

26.24

24.54 ^24.66

24.79

24.27

23.42

29

29.5

30

30.5

31

31.5

32

32.5

33

33.5

34

MKN3g RNN3g LW3g LRN3g RNN3g

+LRN3g

LW3

+LRN3g

ALL3g

ワンパスデコヸデ ング 比較

～ Out-Of-Domain ^{け 性能 ～}

W E R (%)

従来手法

高い性能

を実現

従来法 提案法 _{従来法 + 提案法}

RNN3g ^や LW3g

組 合わ

改善

MKN3g

3 ^{ポ ント程度改善}

32.31

31.96

30.42

29.95

29.78 29.68

29.32

22

22.5

23

23.5

24

24.5

25

25.5

26

MKN3g ALL3g ALL3g

+RNN

ALL3g

+LW

ALL3g

+LW

+LRN

ALL3g

+RNN

+LW

28

29

30

31

32

33

34

MKN3g ALL3g ALL3g

+RNN

ALL3g

+LW

ALL3g

+LW

+LRN

ALL3g

+RNN

+LW

リスコ リングを含 比較

In-Domain Out-Of-Domain

リスコ リング

ワンパス ワンパス リスコ リング

W E R (%)

24.79

23.42

23.20 ^23.24

23.02

32.31

29.32

29.05

28.86

28.60

LRN ^{改善効果、}

潜在変数系列 同時確率

を利用 _LW+LRN

Out-Of-Domain ^頑健

N-gram ^近似

得 い改善効果

を得

29.02

23.34

ジェンダ

3. ^{改善 デ 提案手法}

1. ^概要

2. RNNLM LWLM ^{概要 課題}

4. CSJ ^評価実験

5.

Recurrent Neural Network LM

Latent Words LM ^{利点を組 合わ}

Latent Words Recurrent Neural Network LM ^を提案

• モデル構造ヷ学習方法ヷ音声認識 適用方法を提案

• LWRNNLM ^{単体 性能 ほ 高く い 、}

RNNLM ^、 LWLM ^{組 合わ 、}

N-gram ^近似、 Viterbi ^{近似 両者 い 改善効果を得}

• Out-Of-Domain ^{い 、特 高い改善効果を得}

実験結果

概要

ジェンダ

3. ^{改善 デ 提案手法}

4. Penn Treenbank ^{コヸパス 評価実験}

1. ^概要

2. RNNLM LWLM ^{概要 課題}

5. CSJ ^評価実験

6.

実験概要

多く ベンチマヸクテスト 利用 い

Penn Treebank ^{コヸパスを用い 基本性能を評価}

学習デヸタ Section 0-20 (930K words)

開発デヸタ Section 21-22 (74K words)

テストデヸタ Section 23-24 (82K words)

• ^{各デヸタ 語彙数 10K 統一 、未知語 含 い}

• ^{パヸプレキシテ 評価}

実験条件

比較対象

MKN5g Modified Kneser-Ney 5-gram LM

RNN ^{隠 層 200 ノヸド RNNLM}

RNN5g ^{RNN5g 5-gram 近似}

LW ^{潜在変数 モデル 5-gram LWLM}

LW5g ^{LW 5-gram 近似}

LRN ^{隠 層 200 ノヸド RNN 構造 LWRNNLM}

LRN5g ^{LRN 5-gram 近似}

評価 ： _N-gram 構造 ₍ ○○ _5g) 範囲 比較

評価 ： 全体 比較

N-gram ^構造 ( ^○○ 5g) ^{範囲 比較}

110

115

120

125

130

135

140

145

150

155

160

MKN5g RNN5g LW5g LRN5g RNN5g LW5g ALL5g

P e rp le x it y

LRN5g

単体 性能

あ 高く い

従来法 提案法 _{従来法 + 提案法}

LRN5g

RNN5g ^や LW5g

改善効果を与え

N-gram ^構造

範囲

通常 _MKN5g

大 く改善

141.2

148.3

134.3

144.2

138.5

132.5

120.5

全体 比較

P e rp le x it y

300

350

400

450

500

550

600

650

700

LW LRN LW

+LRN

90

100

110

120

130

140

150

160

MKN5g ALL5g RNN ALL5g

+RNN

ALL5g

+LW

+LRN

ALL5g

+RNN

+LW

+LRN

Viterbi ^近似

141.2

120.5

112.5

101.2

112.7

97.7

○○ _5g

LW LRN ^を

組 合わ

改善効果 ^{RNN 強力}

ALL5g+ ^以外

RNN ^ヷ LW ^ヷ LRN ^、

○○ _5g 異

特徴を持ち、

改善効果 あ