LM masumura 最近の更新履歴 Ryo Masumura: Web

国際会議 INTERSPEECH2015 ^報告

言語モデルヷ音声言語理解

NTT Media Intelligence Laboratories

増村 亮

1

注目 べ 文献

 ^{音声言語理解}

• ^{音声認識結果 ラテ スを直接扱う} [Svec+, IS2015]

 ^{音声言語処理 しい拡張}

 マルチタスクラヸニング ₍ そ 中 工夫 ₎

• ^{単語系列 予測 ラベル 予測} [Tam+, IS2015]

• ^{意図決定 スロットフ ルタリング} [Liu+, IS2015]

 ^{言語モデル}

• ^{単語系列 サブワヸド系列を同時 利用} [Arisoy+, IS2015]

時間 関係上、深層学習関連 絞 ₄ 文献を紹

簡単 ３ 基本モデルを い

※ 後段 文献紹 必要

そ 前

3

基本モデル

 ^単語系列 生成モデルㄥ言語モデルㄦ

� � � �

Output Layer

(softmax layer)

Word embedding

Recurrent Layer

� � � </s>

RNN or LSTM ^例

� � , … , � _� ^{をモデル化}

<s>

�

基本モデル

 ^{系列ラべリングモデル}

 ^{スロットフ ルタリング}

� � � �

Output Layer

(softmax layer)

Word embedding

Recurrent Layer

� _{� � �}

RNN or LSTM ^例

� � , … , � _� |� , … , � _� ^{をモデル化}

5

基本モデル

 ^{文 意図推定}

� � � �

 ^{文 ( 可変長単語系列 ) 分類モデル}

� =

RNN or LSTM ^例 _CNN ^例

� � � �

Pooling

Convolution

(window size:2)

�

� =

�

Word

embedding

Word

embedding

Recurrent

Layer

Output Layer

Output

Layer

� �|� , … , � _� ^{をモデル化}

文献紹

 ^{音声言語理解}

• ^{音声認識結果 ラテ スを直接扱う} [Svec+ IS2015]

 ^{音声言語処理 しい拡張}

 マルチタスクラヸニング ₍ そ 中 工夫 ₎

• ^{単語系列 予測 ラベル 予測} [Tam+ IS2015]

• ^{意図決定 スロットフ ルタリング} [Liu+ IS2015]

 ^{言語モデル}

• ^{単語系列 サブワヸド系列を同時 利用} [Arisoy+ IS2015]

7

[Arisoy+, IS2015] ^概要

� � _� �

� � _� </s>

<s>

�

<s> � � � � � � � �

単語

系列

文

系列

日 ₊ キョウ ₊ ハ 晴 ₊ ハレ ₊ デス を メヸジ

サブワヸドや品詞情報を使う研究

あ 、非同期 扱う点 新しい

※基本モデル 拡張

○モチベヸション： 言語モデル 性能を高 い

[Arisoy+, IS2015] ^概要

(3-gram LM)

キヸワヸド検索

性能

性能的 ンパクト あ い 、

初期的検討 後 発展 期待

○実験：音声認識性能 評価

9

文献紹

 ^{音声言語理解}

• ^{音声認識結果 ラテ スを直接扱う} [Svec+ IS2015]

 ^{音声言語処理 しい拡張}

 マルチタスクラヸニング ₍ そ 中 工夫 ₎

• ^{単語系列 予測 ラベル 予測} [Tam+ IS2015]

• ^{意図決定 スロットフ ルタリング} [Liu+ IS2015]

 ^{言語モデル}

• ^{単語系列 サブワヸド系列を同時 利用} [Arisoy+ IS2015]

� _{� � �}

Output Layer

(softmax layer)

Word embedding

Recurrent Layer

� � _{� � � � �} </s>

[Tam+, IS2015] ^概要

単語系列ラベル系列 同時分布

� � , … , � _� , � , … , � _� ^{をモデル化 試 新しい}

※ 基本モデル 融合

○モチベヸション：

単語 ラベル 付い 学習デヸタを増やし い

11

[Tam+, IS2015] ^概要

ヷ _CRF ベヸス 分類器 _RNN ベヸス 分類器

性質を組 込 可能

ヷ既 _CRF ベヸス 分類器をシステム的 変え 済

○利用方法：ランダムサンプリング 疑似的

^ラベル付 テキストデヸタを水増し

○実験：スロットフ ルタリング 評価

CRF with ^元デヸタ

CRF with

元デヸタ ₊ 生成デヸタ

RNN with ^元デヸタ

文献紹

 ^{音声言語理解}

• ^{音声認識結果 ラテ スを直接扱う} [Svec+ IS2015]

 ^{音声言語処理 しい拡張}

 マルチタスクラヸニング ₍ そ 中 工夫 ₎

• ^{単語系列 予測 ラベル 予測} [Tam+ IS2015]

• ^{意図決定 スロットフ ルタリング} [Liu+ IS2015]

 ^{言語モデル}

• ^{単語系列 サブワヸド系列を同時 利用} [Arisoy+ IS2015]

13

� _{� �} �

� _{� � �}

pooling

�

系列 個々 ラベル 文ラベルを同時 予測

� �, � , … , � _� � , … , � _� ^{をモデル化}

※基本モデル 融合

[Liu+, IS2015] ^概要

Recurrent

convolution layer

(window size:3)

○モチベヸション：意図決定 スロットフ ルタリング

^{を同時 学習 相乗効果を出し い}

[Liu+, IS2015] ^概要

SVM ^{ベヸス 意図推定や}

CRF ^{ベヸス スロットフ ルタリング 比較し 有効}

※ マルチタスク学習自体 有効性 従来研究 記述

○実験：

^{意図推定 スロットフ ルタリング 評価}

SVM Intent Accuracy 94.34

Multi-task

Recurrent Convolution NN Intent Accuracy ^94.49

CRF Slot F1 88.38

Multi-task

Recurrent Convolution NN F1 ^89.29

15

文献紹

 ^{音声言語理解}

• ^{音声認識結果 ラテ スを直接扱う} [Svec+ IS2015]

 ^{音声言語処理 しい拡張}

 マルチタスクラヸニング ₍ そ 中 工夫 ₎

• ^{単語系列 予測 ラベル 予測} [Tam+ IS2015]

• ^{意図決定 スロットフ ルタリング} [Liu+ IS2015]

 ^{言語モデル}

• ^{単語系列 サブワヸド系列を同時 利用} [Arisoy+ IS2015]

[Svec+, IS2015] ^概要

� /0.4 � /1.0

� /0.6

� /1.0

� � � � ^Prob

� ^{1 0 0 0 0.6}

� ^{0 1 0 0 0.6}

� ^{0 0 1 0 0.4}

� ^{0 0 0 1 1.0}

� ^{1 1 0 0 0.6}

� ^{0 1 0 1 0.6}

� ^{0 0 1 1 0.4}

○モチベヸション：認識結果 複数仮説ㄥラテ スㄦ

^{を利用 文分類 性能を上 い}

� � � � � � � �

�

pooling

ラテ ス 様々 窓 を実施し

ベクトル (Bag-Of-Words ^{表現 ) を作 、}

そ を _CNN ベヸス 扱う

ラテ ス

17

[Svec+, IS2015] ^概要

正解文

1-best

ラテ ス

ラテ スを直接利用し モデル化 、

従来 _1-best を使う場合 性能改善

○実験：文分類タスク 評価

^※ _1-best ^{単語正解精度} _63%