雑誌名 静岡大学大学院電子科学研究科研究報告

階層型ニューラルネットワークのローカル学習アル ゴリズムと顔面像認識への対応

著者 吉田 昌弘

雑誌名 静岡大学大学院電子科学研究科研究報告

巻 27

ページ 155‑157

発行年 2006‑03‑11

出版者 静岡大学大学院電子科学研究科

URL http://hdl.handle.net/10297/1192

氏名 。(本籍

)吉

)

学位 の種類

 _(工

)

学位 記番 号

  269  

学位授与の要件

学位論文題目

論 文 審 査 委 員   (委員長)

教 授 大 坪 順 次

論 文 内 容 の 要 旨

近年における技術進歩 により、プログラム逐次処理方式 コンピュータが 日覚 しい発展 を遂げてい る。一方で、人間のように経験 に基づ く予測や認識など、プログラム逐次処理方式 コンピュータで は困難な直感的な情報処理 を実現するための研究が行なわれている。このような研究の中で、学習 機能によりこれ らの情報処理 を実現するニューラルネッ トワーク技術 に関する研究 も盛んに行なわ れている。ニューラルネッ トワークの一種である階層型ニューラルネットワークも、学習により自 己を最適化することで多 くの問題 を解 くことがで きる。このため、階層型ニューラルネッ トワーク では、学習 を行 うための学習アルゴリズムの能力が重要である。そこで、階層型ニューラルネット ワークの学習のために、学習の収東性 と学習時間、及びネッ トワークの汎化能力の向上を目指 した 学習アルゴリズムを提案する。 また、階層型ニューラルネ ッ トワークはパ ターン認識問題 に有効で あることが知 られていることから、階層型ニューラルネットワークの応用 として顔画像認識を行 う。

階層型ニューラルネッ トワークの特徴の,つに学習能力がある。階層型ニューラルネ ットワーク は、学習により結合荷重の値 を決定することで、与えられた問題に対する解 を求める。学習アルゴ リズムにおいて重要なことは、学習の収東性 と学習に必要な時間である。そこで、学習における収 束性の向上 と学習時間の短縮 を目的 とした学習アルゴリズムを提案する。提案する学習アルゴリズ ムは、逐次最小二乗法を利用 した学習アルゴリズムである。この学習アルゴリズムでは、ネットワー ク内のニューロンごとに学習 を行 うローカル学習アルゴリズムとすることで、学習時間の短縮を実 現 している。 また、アルゴリズムの構築 においてペナルティ関数 を考慮することにより学習の収東 性の向上 を目指す。シミュレーションでは、い くつかの問題 に対 しての学習 を行い、提案する学習

‑155‑

アルゴリズムの有効性を確認する。

また、階層型ニューラルネットワークの優れた能力 として汎化能力がある。汎化能力 とは、学習を 行っていないデータに対 してのネットワークの適応能力である。この汎化能力を向上させるために、

weight decay法

を学習アルゴリズムに組み込んだ方法が提案されている。特に、このような学習アル

ゴ リズ ム の 1つで あ る

TwDRLS(Tme Weight Decり

トワークに高い汎化能力 を持たす事がで きる。 しか し、7WDRLSアルゴリズムでは、学習に非常 に 多 くの時間を必要 とするため、大規模 なネットワークを必要 とする問題に対 しては、その使用が困難 となる。そこで、高速な学習が可能であ り、weight decayの 効果 を持つ学習アルゴリズムを提案す る。 ここで提案する学習アルゴリズムは、逐次最小二乗法 に基づ くローカル学習アルゴリズムであ る。また、wdghtdeca・y法を組み込む上で、ネットワークの動作式の結合荷重に対するヘ ッセ行列 を 利用することにより、学習時間を短縮 し、ネットワークの汎化能力の向上 を目指す。シミュレーショ ンでは、提案学習アルゴリズムと他のい くつかの学習法を用いてネットワークの汎化能力についての 検証 を行 う。

階層型ニューラルネットワークは汎化能力に優れているため、パターン認識問題 に有効であること が知 られている。また、パ ターン認識問題の中で も人物の識別 を目的とした顔画像認識の研究が盛ん に行 われている。そこで、階層型ニューラルネ ッ トワークを用いた顔画像認識 を試みる。階層型 ニユーラルネットワークにより顔画像認識を行 う場合、顔画像 より取 り出すネットワークヘの入力 データが非常に重要 となる。入カデータの数が多い場合、階層型ニューラルネットワークの学習に非 常に多 くの時間が必要 となってしまう。そこで、顔画像 より認識に有効であ り、より少ない入カデー タの取得方法 を提案する。これにより得 られた入カデータとこれまでに提案 された方法における入力 データを用い、認識率の差異 を考察する。また、本論文で提案する学習アルゴリズムを用いて顔画像 認識 を行 うことで、提案する学習アルゴリズムの有効性 についての検証 を行 う。

以上、本論文では階層型ニューラルネットワークの能力の向上 と応用について検討 し、その可能性 と有効性 について示す。

‑156‑

論 文 審 査 結 果 の 要 旨

近年、プログラム逐次処理方式のコンピュータでは困難な直感的な情報処理 を実現するために、

ニユーラルネットワークに関する研究が盛んに行なわれている。本論文では、階層型ニューラルネッ トワークの能力 を向上 させるため、学習アルゴリズムの提案を行なっている。また、階層型ニューラ ルネ ットワークの応用 として、顔画像認識 を行 っている。

第

1章

第2章では、階層型ニューラルネッ トワークの学習に対 して、学習の収束性の向上 と学習時間の 短縮を目的 とした学習アルゴリズムを提案 している。提案の学習アルゴリズムは、逐次最小二乗法を 利用 した従来法であるLLLS(LocJ Linearized Least Squares)ア ルゴリズムにペナルティ関数を考慮 したローカル学習アルゴリズムである。シミュレーションでは、従来の学習アルゴリズムと提案の学 習アルゴリズムの収束性 と学習時間の比較を行なうことで、提案の学習アルゴリズムの有効性を示 し ている。

第3章では、階層型ニューラルネッ トワークの汎化能力 について述べている。ここでは、第2章 で提案 した学習アルゴリズムに変更を加えることで、階層型ニューラルネットワークの汎化能力を向 上 させる学習アルゴリズムを提案 している。提案の学習アルゴリズムは、wdght decay法 を利用する

ことで階層型ニューラルネッ トワークの汎化能力 を向上 させている。

第4章では、階層型ニューラルネッ トワークによる顔画像認識 について述べている。顔画像認識 では、顔画像 より認識 に必要なデータを取 り出す ことが必要である。そこで、顔画像 より階層型 ニューラルネットワークヘの入カデータを得る方法を提案 している。また、シミュレーションでは、

第3章で提案 した学習アルゴリズムを用いた顔画像認識 を行い、提案 した学習アルゴリズムの有効 性 を検証 している。

最後 に、第5章において本論文の総括が述べ られてお り、今後の課題 と展望 について論 じられて いる。

以上の成果は、ニューラルネッ トワークの分野 を中心 とする工学分野において価値があ り、博士 (工学)の学位 を与えるものに値すると認定する。

‑157‑