5. 時系列の複数の属性を考慮した損失関数による FFNN の学習法
5.8. まとめ
FFNN が時系列の時間構造を考慮したモデルパラメータを獲得できるようにするため，
時系列の複数の属性を考慮した損失関数によるFFNNの学習法を提案した．対数基本周波 数とメルケプストラムを対象として，合成音声の韻律と音質を評価する聴取実験と，対数基 本周波数とメルケプストラムの予測誤差により，提案法と従来法を比較した．その結果，提 案法は従来法と同等以上の知覚的に優れた対数基本周波数やメルケプストラムの予測を可 能にした．これにより，3.2.3で述べた計算資源が限られた音声特徴量予測部のFFNNによ る合成音声の音質の問題を解決した．
92
表 5.11 対数基本周波数についてのMATS損失関数の各損失関数の挙動を確認したときのパラメータの組み合わせ 条件 パラメータ一覧（表記のないものは使用していない）
DC1 𝜔DC= 1
TD1 𝜔DC= 1, 𝜔TD= 1, 𝑤2= 1, 𝐿TD= −1, 𝑅TD= 0 （TD6との比較用．DC損失関数とTD損失関数の併用は禁止）
TD2 𝜔DC= 1, 𝜔TD= 1, 𝑤2= 5, 𝐿TD= −1, 𝑅TD= 0 （TD7との比較用．DC損失関数とTD損失関数の併用は禁止）
TD3 𝜔DC= 1, 𝜔TD= 1, 𝑤2= 10, 𝐿TD= −1, 𝑅TD= 0 （TD8との比較用．DC損失関数とTD損失関数の併用は禁止）
TD4 𝜔DC= 1, 𝜔TD= 1, 𝑤2= 15, 𝐿TD= −1, 𝑅TD= 0 （TD9との比較用．DC損失関数とTD損失関数の併用は禁止）
TD5 𝜔DC= 1, 𝜔TD= 1, 𝑤2= 20, 𝐿TD= −1, 𝑅TD= 0 （TD10との比較用．DC損失関数とTD損失関数の併用は禁止）
TD6 𝜔TD= 1, 𝑤1= 1, 𝑤2= 1, 𝐿TD= −1, 𝑅TD= 0 TD7 𝜔TD= 1, 𝑤1= 1, 𝑤2= 5, 𝐿TD= −1, 𝑅TD= 0 TD8 𝜔TD= 1, 𝑤1= 1, 𝑤2= 10, 𝐿TD= −1, 𝑅TD= 0 TD9 𝜔TD= 1, 𝑤1= 1, 𝑤2= 15, 𝐿TD= −1, 𝑅TD= 0 TD10 𝜔TD= 1, 𝑤1= 1, 𝑤2= 20, 𝐿TD= −1, 𝑅TD= 0
GV1 𝜔TD= 1, 𝑤1= 1, 𝑤2= 20, 𝐿TD= −1, 𝑅TD= 0, 𝜔GV= 1 GV2 𝜔TD= 1, 𝑤1= 1, 𝑤2= 20, 𝐿TD= −1, 𝑅TD= 0, 𝜔GV= 2 GV3 𝜔TD= 1, 𝑤1= 1, 𝑤2= 20, 𝐿TD= −1, 𝑅TD= 0, 𝜔GV= 4 GV4 𝜔TD= 1, 𝑤1= 1, 𝑤2= 20, 𝐿TD= −1, 𝑅TD= 0, 𝜔GV= 8
LV1 𝜔TD= 1, 𝑤1= 1, 𝑤2= 20, 𝐿TD= −1, 𝑅TD= 0, 𝜔LV= 1, 𝐿LV= −4, 𝑅LV = 4 LV2 𝜔TD= 1, 𝑤1= 1, 𝑤2= 20, 𝐿TD= −1, 𝑅TD= 0, 𝜔LV= 1, 𝐿LV= −8, 𝑅LV = 8 LV3 𝜔TD= 1, 𝑤1= 1, 𝑤2= 20, 𝐿TD= −1, 𝑅TD= 0, 𝜔LV= 1, 𝐿LV= −12, 𝑅LV= 12 LV4 𝜔TD= 1, 𝑤1= 1, 𝑤2= 20, 𝐿TD= −1, 𝑅TD= 0, 𝜔LV= 2, 𝐿LV= −4, 𝑅LV = 4 LV5 𝜔TD= 1, 𝑤1= 1, 𝑤2= 20, 𝐿TD= −1, 𝑅TD= 0, 𝜔LV= 2, 𝐿LV= −8, 𝑅LV = 8
93
表 5.11 対数基本周波数についてのMATS損失関数の各損失関数の挙動を確認したときのパラメータの組み合わせ LV6 𝜔TD= 1, 𝑤1= 1, 𝑤2= 20, 𝐿TD= −1, 𝑅TD= 0, 𝜔LV= 2, 𝐿LV= −12, 𝑅LV= 12
LV7 𝜔TD= 1, 𝑤1= 1, 𝑤2= 20, 𝐿TD= −1, 𝑅TD= 0, 𝜔LV= 4, 𝐿LV= −4, 𝑅LV = 4 LV8 𝜔TD= 1, 𝑤1= 1, 𝑤2= 20, 𝐿TD= −1, 𝑅TD= 0, 𝜔LV= 4, 𝐿LV= −8, 𝑅LV = 8 LV9 𝜔TD= 1, 𝑤1= 1, 𝑤2= 20, 𝐿TD= −1, 𝑅TD= 0, 𝜔LV= 4, 𝐿LV= −12, 𝑅LV= 12 LV10 𝜔TD= 1, 𝑤1= 1, 𝑤2= 20, 𝐿TD= −1, 𝑅TD= 0, 𝜔LV= 8, 𝐿LV= −4, 𝑅LV = 4 LV11 𝜔TD= 1, 𝑤1= 1, 𝑤2= 20, 𝐿TD= −1, 𝑅TD= 0, 𝜔LV= 8, 𝐿LV= −8, 𝑅LV = 8 LV12 𝜔TD= 1, 𝑤1= 1, 𝑤2= 20, 𝐿TD= −1, 𝑅TD= 0, 𝜔LV= 8, 𝐿LV= −12, 𝑅LV= 12
94
条件 代表例 𝔼DC 𝔼GV 𝔼MS
DC1
TD1
TD2
TD3
TD4
TD5
0 1 2 3 4 0 0.1 0.2 0 0.02 0.04 0.06 0 10 20 30
時間（秒） （dB）
図 5.18 対数基本周波数についてのMATS損失関数の各損失関数の挙動を確認したときの結果
95
条件 代表例 𝔼DC 𝔼GV 𝔼MS
TD6
TD7
TD8
TD9
TD10
GV1
0 1 2 3 4 0 0.1 0.2 0 0.02 0.04 0.06 0 10 20 30
時間（秒） （dB）
図 5.18 対数基本周波数についてのMATS損失関数の各損失関数の挙動を確認したときの結果
96
条件 代表例 𝔼DC 𝔼GV 𝔼MS
GV2
GV3
GV4
LV1
LV2
LV3
0 1 2 3 4 0 0.1 0.2 0 0.02 0.04 0.06 0 10 20 30
時間（秒） （dB）
図 5.18 対数基本周波数についてのMATS損失関数の各損失関数の挙動を確認したときの結果
97
条件 代表例 𝔼DC 𝔼GV 𝔼MS
LV4
LV5
LV6
LV7
LV8
LV9
0 1 2 3 4 0 0.1 0.2 0 0.02 0.04 0.06 0 10 20 30
時間（秒） （dB）
図 5.18 対数基本周波数についてのMATS損失関数の各損失関数の挙動を確認したときの結果
98
条件 代表例 𝔼DC 𝔼GV 𝔼MS
LV10
LV11
LV12
0 1 2 3 4 0 0.1 0.2 0 0.02 0.04 0.06 0 10 20 30
時間（秒） （dB）
図 5.18 対数基本周波数についてのMATS損失関数の各損失関数の挙動を確認したときの結果
99
表 5.12 メルケプストラムについてのMATS損失関数の各損失関数の挙動を確認したときのパラメータの組み合わせ 条件 パラメータ一覧（表記のないものは使用していない）
DC1 𝜔DC= 1
TD1 𝜔DC= 1, 𝜔TD= 1, 𝑤2= 0.5, 𝐿TD= −1, 𝑅TD= 0 TD2 𝜔DC= 1, 𝜔TD= 1, 𝑤2= 1, 𝐿TD= −1, 𝑅TD= 0 TD3 𝜔DC= 1, 𝜔TD= 1, 𝑤2= 2, 𝐿TD= −1, 𝑅TD= 0 GV1 𝜔DC= 1, 𝜔GV = 1
GV2 𝜔DC= 1, 𝜔GV = 2 GV3 𝜔DC= 1, 𝜔GV = 4
LV1 𝜔DC= 1, 𝜔LV = 1, 𝐿LV= −1, 𝑅LV = 1 LV2 𝜔DC= 1, 𝜔LV = 1, 𝐿LV= −2, 𝑅LV = 2 LV3 𝜔DC= 1, 𝜔LV = 1, 𝐿LV= −4, 𝑅LV = 4 LV4 𝜔DC= 1, 𝜔LV = 1, 𝐿LV= −8, 𝑅LV = 8 LV5 𝜔DC= 1, 𝜔LV = 2, 𝐿LV= −1, 𝑅LV = 1 LV6 𝜔DC= 1, 𝜔LV = 2, 𝐿LV= −2, 𝑅LV = 2 LV7 𝜔DC= 1, 𝜔LV = 2, 𝐿LV= −4, 𝑅LV = 4 LV8 𝜔DC= 1, 𝜔LV = 2, 𝐿LV= −8, 𝑅LV = 8 LV9 𝜔DC= 1, 𝜔LV = 4, 𝐿LV= −1, 𝑅LV = 1 LV10 𝜔DC= 1, 𝜔LV = 4, 𝐿LV= −2, 𝑅LV = 2 LV11 𝜔DC= 1, 𝜔LV = 4, 𝐿LV= −4, 𝑅LV = 4 LV12 𝜔DC= 1, 𝜔LV = 4, 𝐿LV= −8, 𝑅LV = 8 GC1 𝜔DC= 1, 𝜔GC= 1
100
表 5.12 メルケプストラムについてのMATS損失関数の各損失関数の挙動を確認したときのパラメータの組み合わせ GC2 𝜔DC= 1, 𝜔GC= 2
GC3 𝜔DC= 1, 𝜔GC= 4
LC1 𝜔DC= 1, 𝜔LC= 1, 𝐿LC= −1, 𝑅LC= 1 LC2 𝜔DC= 1, 𝜔LC= 1, 𝐿LC= −2, 𝑅LC= 2 LC3 𝜔DC= 1, 𝜔LC= 1, 𝐿LC= −4, 𝑅LC= 4 LC4 𝜔DC= 1, 𝜔LC= 1, 𝐿LC= −8, 𝑅LC= 8 LC5 𝜔DC= 1, 𝜔LC= 1, 𝐿LC= −1, 𝑅LC= 1 LC6 𝜔DC= 1, 𝜔LC= 1, 𝐿LC= −2, 𝑅LC= 2 LC7 𝜔DC= 1, 𝜔LC= 1, 𝐿LC= −4, 𝑅LC= 4 LC8 𝜔DC= 1, 𝜔LC= 1, 𝐿LC= −8, 𝑅LC= 8 LC9 𝜔DC= 1, 𝜔LC= 1, 𝐿LC= −1, 𝑅LC= 1 LC10 𝜔DC= 1, 𝜔LC= 1, 𝐿LC= −2, 𝑅LC= 2 LC11 𝜔DC= 1, 𝜔LC= 1, 𝐿LC= −4, 𝑅LC= 4 LC12 𝜔DC= 1, 𝜔LC= 1, 𝐿LC= −8, 𝑅LC= 8
DD1 𝜔DC= 1, 𝜔DD= 1, (𝑤DD)𝑑(𝑚)は式（2.9）の「freqt」に従う（𝐷1= 60, 𝛼1= 0.55, 𝐷2= 1025, 𝛼2= 0.0）． DD2 𝜔DC= 1, 𝜔DD= 2, (𝑤DD)𝑑(𝑚)は式（2.9）の「freqt」に従う（𝐷1= 60, 𝛼1= 0.55, 𝐷2= 1025, 𝛼2= 0.0）． DD3 𝜔DC= 1, 𝜔DD= 4, (𝑤DD)𝑑(𝑚)は式（2.9）の「freqt」に従う（𝐷1= 60, 𝛼1= 0.55, 𝐷2= 1025, 𝛼2= 0.0）．
101
条件 代表例（15次のメルケプストラム） 𝔼DC 𝔼GV 𝔼MS
DC1
TD1
TD2
TD3
GV1
GV2
0 1 2 3 4 0.07 0.09 0.11 0 0.02 0.04 0.06 6 10 14 18
時間（秒） （dB）
図 5.19 メルケプストラムについてのMATS損失関数の各損失関数の挙動を確認したときの結果
102
条件 代表例（15次のメルケプストラム） 𝔼DC 𝔼GV 𝔼MS
GV3
LV1
LV2
LV3
LV4
LV5
0 1 2 3 4 0.07 0.09 0.11 0 0.02 0.04 0.06 6 10 14 18
時間（秒） （dB）
図 5.19 メルケプストラムについてのMATS損失関数の各損失関数の挙動を確認したときの結果
103
条件 代表例（15次のメルケプストラム） 𝔼DC 𝔼GV 𝔼MS
LV6
LV7
LV8
LV9
LV10
LV11
0 1 2 3 4 0.07 0.09 0.11 0 0.02 0.04 0.06 6 10 14 18
時間（秒） （dB）
図 5.19 メルケプストラムについてのMATS損失関数の各損失関数の挙動を確認したときの結果
104
条件 代表例（15次のメルケプストラム） 𝔼DC 𝔼GV 𝔼MS
LV12
GC1
GC2
GC3
LC1
LC2
0 1 2 3 4 0.07 0.09 0.11 0 0.02 0.04 0.06 6 10 14 18
時間（秒） （dB）
図 5.19 メルケプストラムについてのMATS損失関数の各損失関数の挙動を確認したときの結果
105
条件 代表例（15次のメルケプストラム） 𝔼DC 𝔼GV 𝔼MS
LC3
LC4
LC5
LC6
LC7
LC8
0 1 2 3 4 0.07 0.09 0.11 0 0.02 0.04 0.06 6 10 14 18
時間（秒） （dB）
図 5.19 メルケプストラムについてのMATS損失関数の各損失関数の挙動を確認したときの結果
106
条件 代表例（15次のメルケプストラム） 𝔼DC 𝔼GV 𝔼MS
LC9
LC10
LC11
LC12
DD1
DD2
0 1 2 3 4 0.07 0.09 0.11 0 0.02 0.04 0.06 6 10 14 18
時間（秒） （dB）
図 5.19 メルケプストラムについてのMATS損失関数の各損失関数の挙動を確認したときの結果
107
条件 代表例（15次のメルケプストラム） 𝔼DC 𝔼GV 𝔼MS
DD3
0 1 2 3 4 0.07 0.09 0.11 0 0.02 0.04 0.06 6 10 14 18
時間（秒） （dB）
図 5.19 メルケプストラムについてのMATS損失関数の各損失関数の挙動を確認したときの結果
108