ÃÑ¿Í
5.3 耐故障性と汎化能力の評価
5.1節において、2つの問題何れにおいてもFTBP法の方が故障に対して強いことは明 らかとなったが、5.2節では、帯状分布の離散値問題においては従来言われていたように
FTBP法の方が汎化能力が高いものの、帯状分布の連続値問題については、BP法の方が 良い結果を出すことがわかった。
そこで、本節では、まず同じFTBP法で学習された同一中間層ノード数を持つ個々の ネットワークについて汎化能力と耐故障性の関係を調べ、これらのネットワークにおいて この二つの性質の関係はどのようになるかを調べる。用いたのは帯状分布の離散値問題を 学習することにより得られた中間層ノード数16のネットワークである。初期値をランダ ムにかえることにより10個のネットワークが学習により得られた。横軸に評価パターン に対する誤差、つまり汎化能力を表し、縦軸に断線故障が発生したときの出力誤差を表し た図を示す。
a b c d e f g h i j
故障 0.9177 0.9062 0.9073 0.9054 0.8976 0.9016 0.9031 0.8998 0.9071 0.9032 汎化 1.2006 1.1941 1.1717 1.1917 1.1751 1.1760 1.1844 1.1704 1.1718 1.1741
※ただし、値は1001
«±
«³
«µ
«®
«®¯
«®±
«¶ «¶² «® «®² «®® «®®² ö%ÔÂVöÊØUÔÂVöÐ6aÐa
G N B
» !
x , Â û
図5.7: 同じ中間層を持つネットワークの耐故障性と汎化能力
5.7図から、あきらかに耐故障性と汎化能力との間には正の相関があることがわかる。こ れにより、少なくとも正規分布の帯状パターン離散値問題においては、耐故障性に優れる ネットワークは汎化能力においても優れると考えることができる。
本節では更に、ネットワークの特徴量として、中間層素子の微係数とネットワークが実 現する関数のなめらかさを測定し、耐故障性と汎化能力の両方に共通する要因を探ること にする。
3章で論じたように、中間層の微係数は、入力の変動に対する中間層素子出力の安定性 をみる特徴量である。この微係数の値が小さいほど安定性があるといえるため、耐ノイズ という意味での汎化においては、小さいほうが望ましいといえる。また、入力層から中間 層への結合の故障は入力層の変動と類似した効果を持つため、耐故障性に関しても、小さ いほうが有利であると考えられる。
帯状分布の離散でBPとFTBPを比較した結果を5.11図に示す。中間層ノード数が増 加するにつれて微係数の値も増加しているものの、FTBPの方が優れた値を示している ことがわかる。
一方、5.9 図に示す帯状分布連続においてはBPの方が望ましい値を得ている。
¯
±
³ µ
®
± ³ µ ® ®¯ ®± ®³ ®µ ¯
>ªÑVÌN
¿Í ÃÑ¿Í
図5.8: 帯状分布離散を学習したBPとFTBPの中間層素子の微係数
®
¯
°
±
²
³
´ µ
± ³ µ ® ®¯ ®± ®³ ®µ ¯
>ªÑVÌN ÃÑ¿Í
¿Í
図5.9: 帯状分布連続を学習したBPとFTBPの中間層素子の微係数
次に、関数の滑らかさに関する結果を示す。
この値が小さいほどネットワークが実現している関数は滑らかとなる。つまり入力に対 する出力の変化は小さいわけで、中間層素子の微係数値同様、小さい方が望ましい。
ª²«Â¨®³
«Â¨
²«Â¨®³
®«Â¨®´
®«²Â¨®´
¯«Â¨®´
± ³ µ ® ®¯ ®± ®³ ®µ ¯
>ªÑVÌN
図5.10: 帯状分布離散を学習したBPとFTBPの関数の滑らかさ
ª¯«Â¨®´
«Â¨
¯«Â¨®´
±«Â¨®´
³«Â¨®´
µ«Â¨®´
®«Â¨®µ
®«¯Â¨®µ
®«±Â¨®µ
± ³ µ ® ®¯ ®± ®³ ®µ ¯
>ªÑVÌN
図5.11: 帯状分布連続を学習したBPとFTBPの関数の滑らかさ
この結果からは、汎化能力や中間層素子の微係数のときと同様、離散の場合にはFTBP の方が望ましい結果を得ているが、連続の場合にはむしろBPの方が優れた結果を出して いるといえる。