1502【IS2014レビュー】pdf 最近の更新履歴 Ryo Masumura: Web

Interspeech2014 ^参加報告

言語モデルヷ 音辞書

NTT ^{メデ ンテリ ン 研究所}

増村 亮

 ^{LSTM 基 く言語モデリン ツヸル 紹介 性能調査}

 ^{LSTM 利点}

 ^{通常 RNN 長距離文脈 反映可能}

 ^{LSTM言語モデル自体} Interspeech2012 ^{筆者 提案}

 ^{ツヸル ㆁ様}

 ^GPUベヸ (RNNLM toolkit CPU )

 ^{NNLM 同様} Projection layer ^{導入 い}

 ^{ラ 導入 こ 高速化}

 ^{通常 RNNLM 学習可能}

 ^性能

 ^{Treebankコヸパ 評価} 通常 _RNN 高い性能 実現

rwthlm ^– The RWTH Aachen University

Neural Network Language Modeling Toolkit

前 ₁単語 入力

Language Modeling with Sum-Product Networks

 Sum-Product Network (SPN) ^{使 言語モデル 提案}

 ^{DNN １種 加算ノヸド ㆂ 乗算ノヸド 持} [Gens+, NIPS 2012]

 ^{Treebankコヸパ 評価}

ロン コンテキ ト 情報 用い こ く高い性能 実現

通常 隠 層 各ユニット 出力単語 対応 語彙サ こ ユニット数 一致

1-of-K^{表現 連続値 ベ トル化} 隠 層 出力 ₂乗 加味

(^{入力 複雑 関係 さ 捉え い}) ほ い部分 _{y 1} 立 テ ベヸ ョン

Word-Phrase-Entity Language Models:

Getting More Mileage out of N-grams

 ^{文脈 応 フレヸ 化や ラ 化 行 n-gram 構築}

 ^{固有表現抽出器 活 こ こ 研究 ポ ント}

 ^{単語系列 ラ 系列 同時確率 最大 う}

ラ 化やフレヸ 化 実施

デ “brad+pitt+and+angelina+jolie^{” いう}1^{単語 録 方} “ACTOR and ACTOR” い ラ 化 行う い

^{一般的 文脈} ACTOR ^{ラ “} angelina+jolie ^{” 入 方 い}

ラ _n-gram

ラ 単語や

フレヸ 出 確率

One Billion Word Benchmark for Measuring Progress

in Statistical Language Modeling

 ^{大規模テキ ト 言語モデル 構築 際} Comparative Study

 ^{Webサ ト 集 デヸタ}

 ^{約8億単語 異 語彙数80万}

 ^{学習用 開 用 テ ト用 整備さ い}

 ^{n-gram 最大 ントロピヸモデル RNN パヸプレキテ 比較}

 ^{大規模デヸタ 学習 一番 ネッ あ} RNNLM^{等 高速化 工夫 実施}

Speech Recognition without a Lexicon ^– Bridging the Gap between Graphemic and Phonetic Systems

 ^{音素 概念 用い こ く 音辞書 構築 方法 提案}

 ^{音声 書 起こ (書記素系列) 組 あ こ 想定}

書記素 音 初期 書記素 音響モデル 作

デコヸド 各単語 書記素 振

G2P(Grapheme 2 Phoneme Conversion) ^学習 Pronunciation Mixture Model ^{複数読 推定}

A. ^{書記素ベヸ}

D. ^音素ベヸ (^{専門家 知識あ} )

C. ^{音響モデル リ ラ メント 再学習} B. ^{提案法 音辞書構築}

A. B. C. D.