実験結果

各モデルにおいて用いる長短期記憶ネットワークとXGBoostのハイパーパラメータを それぞれ表 5.3と表 5.4に示す．またn-gram長は10とする．

データセット各問に対する各言語モデルのNDCGのスコアを表 5.5に示す．問11に 関してはメモリ制約により実験が行えなかったため，問13に関しては実験プログラムが 終了しなかったため一部空欄となっている．各問のスコアについて最も大きい値を太字 で示した．

モデルによって得意とする問題が異なっており，総合的な性能を測るために全スコア を合計するとニューラル& n-gram合成型言語モデルはn-gram言語モデルとニューラル ネットワーク言語モデルのどちらよりも高い合計スコアとなった．混合分布言語モデル に基づいたn-gram言語モデルとニューラルネットワーク言語モデルの合成による精度向 上は，SPiCeデータセットにおいても有効であることが確かめられた．

XGBoostを用いたモデルにおいて問11が空欄となっているのはメモリオーバーフロー

を起こしたためである．問11はアルファベットサイズが6093ととても大きく，シンボ ルをワンホット表現へ変換するととても巨大なベクトルになる．一方でXGBoostは系列 性を意識した構成ではないため，言語モデルとして扱うためには系列単位で入力が必要 となる．このためシンボルを表すベクトルサイズが増加すると入力サイズも乗算で増え ていき，アルファベットサイズが非常に大きいと訓練時にメモリオーバーフローを起こ してしまう．長短期記憶ネットワークは系列性のある入力に対応しているため，ネット ワークに対してシンボル単位で入力が可能である．

問11を除いてスコアを合計すると，ニューラルネットワーク言語モデルは

9.161，XG-Boostを用いた言語モデルは9.299であり，XGBoostの方がスコアが高くなっている．こ

のことから混合分布言語モデルに基いてXGBoostを用いた提案モデル3種は，ニューラ

ル & n-gram合成型言語モデルと同等かそれ以上のスコアを得ることが期待されていた

が，どのモデルもそれぞれの言語モデル単体で実験を行った時に比べてスコアを落とす結 果となってしまった．これはSPiCeデータセットを用いた全ての実験を通して，XGBoost

のハイパーパラメータを統一して設定したこと原因と考えられる．ニューラルネットワー

クやXGBoostなどの分類器を単体で言語モデルに利用する場合と，混合分布言語モデ

ルに基づいて他の言語モデルと組み合わせて利用する際には分類器に要求する能力が異 なってくる．その点でニューラルネットワークは単体で言語モデルに利用する場合でも，

n-gram言語モデルと組み合わせて利用する場合でも，同様に能力を発揮できる分類器で

あったのに対し，XGBoostはハイパーパラメータを変える必要があったと考えられる．

表 5.3: XGBoostのパラメータ（実験1）

parameter value step size shrinkage 0.1

subsample 0.5 colsample bytree 0.6

max depth 10

maximum delta step 10

表 5.4: LSTMのパラメータ（実験1）

parameter value

epoch 20

unit 256

batchsize 20 BPTT length 35 grad clip 5 optimizer Adam

表 5.5: SPiCeデータセットにおける各手法の比較実験結果

問 Ngram NN XGB NN/Ng XGB/Ng NN/XGB NN/XGB+Ng

1 0.836 0.914 0.879 0.911 0.700 0.470 0.841

2 0.822 0.913 0.888 0.910 0.680 0.675 0.772

3 0.780 0.881 0.848 0.885 0.689 0.605 0.724

4 0.554 0.589 0.590 0.564 0.139 0.247 0.279

5 0.651 0.750 0.787 0.767 0.166 0.363 0.404

6 0.744 0.729 0.698 0.852 0.242 0.301 0.359

7 0.668 0.577 0.783 0.630 0.229 0.351 0.401

8 0.593 0.637 0.609 0.642 0.102 0.378 0.327

9 0.895 0.922 0.890 0.956 0.494 0.651 0.613

10 0.465 0.559 0.595 0.542 0.185 0.240 0.336

11 0.335 0.509 - 0.489 - -

-12 0.728 0.677 0.623 0.770 0.441 0.415 0.465

13 0.429 0.455 0.400 0.496 - -

-14 0.331 0.371 0.376 0.370 0.309 0.281 0.371

15 0.259 0.155 0.263 0.260 0.123 0.169 0.174

total 9.090 9.670 9.299 10.045 4.500 5.145 6.067