識別モ ル 回帰モ ル以外
深層学習 使い方
増村 亮
概要
深層学習 (Deep Learning) 、
識別モ ル 回帰モ ル以外 使うこ
特徴量 出器 し Deep Learning
Sequence モ ル し Deep Learning
Sequence to Sequence モ ル し Deep Learning
Output
Input
学習済みネッ ワ ク 中間層や最終層 出力 し 、
入力情報 特徴ベク ル化 利用可能
特徴量 出器 し Deep Learning
Input 系列
Output 系列
Tandem-MLP feature [Hermansky, 2000.] Bottleneck feature [Grezl+, 2008.]
中間層 出力
し ベク ル化
最終層 出力
し ベク ル化
系列全体 ベク ル化
識別 た 学習
したモ ル 使う
Sequence モ ル し Deep Learning
<S>
</S>
今日 晴
今日 晴
シンボル系列 生成確率
� , , ⋯ ,
�モ ル化 利用可能
� , , ⋯ ,
�=
��
�|
�−, �
�−�=
• RNN Language Model [Mikolov+, 10.]
• LSTM Language Model [Sundermeyer+ ,12.]
前 シンボル 前 中間層 出力
次 シンボル 生成確率 得
Seq2Seq モ ル し Deep Learning
今日 晴 </S> It is sunny today
</S>
長さ 異 入力系列 得た際 出力系列 生成確率
� , ⋯ ,
�| , ⋯ ,
�モ ル化 利用可能
• Sequence to Sequence RNN [Sutskever+, 14.]
• RNN Encoder-Decoder [Cho+, 14.]
• Neural Machine Translation [Bahdanau+, 14.]
• Connectionist Temporal Classification [Graves+, 06.]
It is sunny today � , ⋯ ,
�
| , ⋯ ,
�=
��
�|
�−, �
�−�=
入力系列 情報
中間層 出力 し込 、
あ Sequenceモ ル 同様
RNN 2つ使う
