1503【ASJ2015S オーラル】pdf 最近の更新履歴 Ryo Masumura: Web

n-gram ^{混合モデル} RNN ^{混合モデル 同時併用}

基 く言語モデル教師 適応 検討

NTT ^{メデ ンテリジ ンス研究所}

○増村 亮 _, 浅見太一 _, 大庭 隆伸 _, 政瀧浩和 _, 阪内澄宇

1-1.

言語モデル 分 、

Recurrent Neural Network ^{言語モデル}

近年大流行

1-2. RNN LM

前 単語

1-of-N ^表現

直前

隠 層 出力

音響モデル け GMM-HMM -> DNN-HMM ^{対 、}

言語モデル N-gram -> RNN ^{言わ い}

次 入力 保持

単語

予測確率分布

hidden(t)

Output(t)

input(t)

hidden(t-1)

 ^{再帰的 ネットワヸク構造 効率的 長距離文脈 考慮}

 ^{文脈情報 連続値表現 捉え こ デヸタスパヸスネス 回避}

ポ ント

1-3. N-gram RNN ^関係

50

60

70

80

90

100

Test 1 Test 2 Test 3

N-gram RNN N-gram+RNN

RNN N-gram ^{両者 併用 こ 、}

高い性能 実現 こ 知 い

学習デヸタ

N-gram _RNN

N-gram

+RNN

線形補間

パ

ー

プ

レ

キ

シ

テ

ィ

1-4. ^{本研究 動機}

教師 適応 行うこ 想定 場合、

N-gram ^ヷ RNN ^{う扱 い ？}

言語モデル教師 適応

一方 、 _{N-gram RNN} 併用 前提 教師 適応

( ^{両者 同時 教師 適応} ) ^{こ 検討さ い い}

 N-gram ^{ヷ RNN 共 、 教師 適応 効くこ 既知}

[Bellegarda+, 2003.] [Kombrink+, 2011.]

音声認識結果

言語モデル

デコヸデ ング

教師 適応

1-5. ^{本研究 概要}

N-gram RNN ^{併用 前提 教師 適応}

取 組 課題

プロヸチ

N-gram ^{混合モデル} RNN ^{混合モデル 同時併用}

 N-gram ^{ヷ RNN 同 土俵 同時適応可能}

両者 併用 適応 こ 有効 ？

適応後 _{N-gram RNN} 相補的 関係 ？

明 いこ

ジ ンダ

3. ^評価実験

4.

1. ^研究背

2. ^{具体的 プロヸチ}

2-1. ^{混合モデル 基 く教師 適応}

ヷヷヷヷヷヷヷ

音声認識結果 混合モデル 生成さ 仮定

� � _� |� _� , � , ⋯ , � _� = � � _� |� _� , � _� � �

�

log � � = ⋯ + log � � _� � _� , � _{� �} + log � � _�

+ log � � _�+ � _�+ , � _{� �+1} + log � � _�+ + ⋯

混合 可変パラメヸタ あ 、

調整 こ 適応化 可能

log � � ^最大化 � �) EM ^{ルゴリズム 推定}

こ 教師 適応 実現

� � � _�

混合モデル

コンポヸネントモデル

2-2. RNN ^{混合モデル}

前 単語

1-of-N ^表現

hidden(t,1)

予測確率分布

ヷヷヷヷ

input(t) hidden(t,2)

hidden(t,Z)

ヷヷヷヷ

Output(t,1)

Output(t,2)

Output(t,Z)

各コンポヸネント _RNN 再学習 こ い 、

教師 適応 適 枠組 あ

Output(t)

各 _RNN 層 独立

確率分布 計算 統合

[Mikoliv+, 2011.][Shi+, 2013.]

2-3. ^{提案 教師 適応}

N-gram RNN ^{同 土俵 扱 上 、}

両者 組 合わ 際 最適 適応化 実現

ヷヷヷ

適応後モデル

RNN RNN

N-gram _{N-gram RNN}

コンポヸネントモデル

N-gram

+RNN

N-gram

ヷヷヷ

N-gram ^、 RNN ^{関係 く、}

全体 音声認識結果

最適 う 混合

2-4. ^{コンポヸネントモデル 構築方法}

学習デヸタ

ヷヷヷヷ

RNN RNN ヷヷヷヷ _RNN

N-gram N-gram _N-gram

ドキュメントクラスタリング

Latent Dirichlet Allocation

基 くトピックへ 寄与度基準

� = arg max

�

� �|�

� �

コンポヸネント _RNN

学習デヸタ全体 学習 _RNN

リトレヸニング こ 構築

コンポヸネント _N-gram

学習デヸタ全体 学習

N-gram ^{線形補間 こ 構築}

様々 話題 対応可能 コンポヸネントモデル

同一 語彙サ ズ 構築可能

語彙サ ズ 同一

コンポヸネントモデル

ジ ンダ

3. ^評価実験

4.

1. ^研究背

2. ^{具体的 プロヸチ}

3-1. ^実験条件

学習デヸタ CSJ: 2472 ^講演 ( ^約 700 ^万形態素 )

テストデヸタ _{1 CSJ:} 学会 ₁₀ 講演

テストデヸタ _{2 CSJ:} 学会 ₁₀ 講演

テストデヸタ _{3 CSJ:} 模擬 ₁₀ 講演

デコヸダ VoiceRex (WFST-based)

音響モデル

Context dependent DNN-HMM

7 hidden layers of 2048 nodes

LDA ^{クラスタサ ズ} 50

パヸプレキシテ 単語誤 率 評価

( ^※ RNN ASR ^{利用 際 リスコ リング 適用} )

学習デヸタ全体

構築 _N-gram

N-gram

+ RNN

パ

ー

プ

レ

キ

シ

テ

ィ

3-2. ^{ベヸスラ ンモデル 評価}

こ 報告通 、 _{N-gram RNN} 相補的 関係

単

語

誤

り

率 ₍

％ ₎

50

60

70

80

90

100

Test 1 Test 2 Test 3

15

17

19

21

23

25

Test 1 Test 2 Test 3

学習デヸタ全体

構築 _RNN

3-3. ^{混合モデル 基 く教師 適応 評価}

パ

ー

プ

レ

キ

シ

テ

ィ

単

語

誤

り

率 ₍

％ ₎

N-gram RNN

Adapted N-gram Adapted RNN

N-gram + RNN

50

55

60

65

70

Test 1

22

22.5

23

23.5

24

24.5

25

Test 1

Adapted N-gram + RNN

RNN N-gram ^{含 全体 適応化 こ 最高性能、}

適応後 _{N-gram RNN} 相補的 関係

3-4. ^考察

適応後 _{N-gram RNN} 相補的 関係 持 ？

50

52

54

56

58

60

62

64

66

Test 1

パ

ー

プ

レ

キ

シ

テ

ィ

Adapted N-gram

Adapted N-gram + Baseline RNN

Adapted N-gram + Adapted RNN

長距離文脈 反映さ 状態

通 _RNN 効く

※ _N-gram 適応

= ^{長距離文脈 反映さ 効果 持}

相補的 関係 理由 、

RNN ^{連続値表現 基 くスムヸジング 起因 面 大 い}

ジ ンダ

3. ^評価実験

4.

1. ^研究背

2. ^{具体的 プロヸチ}

 ^{N-gram ヷ RNN 片方 適応 、}

両者 同時併用 適応 こ 最高性能 実現

N-gram ^{混合モデル} RNN ^{混合モデル 同時併用}

基 く教師 適応 検討

 ^{LDA 利用 N-gram ヷ RNN 混合モデル化 、}

両者 組 合わ 混合モデル 混合 最適化

ジ ンダ

3. ^評価実験

4.

1. ^研究背

2. ^{具体的 プロヸチ}

N-gram LM RNN LM ^違い

組 合わ こ 改善効果 、

観点 起因 い 分 い

スムヸジング 観点

N-gram ^{基本的 単語カ ント 最尤推定 基 く 、}

コンテキスト 考慮 スムヸジング項 付与

RNN ^{単語 連続表現 捉え こ スムヸジング}

長距離文脈 考慮 観点

N-gram ^前 N-1 ^単語 ( ^{日本語 通常、前} 2 ^単語 ) ^考慮

RNN ^{再帰的 ネットワヸク 、}

長いコンテキスト 考慮可能