博 士 （ 工 学 ） 小 松 隆 行
学位論文題名
確率的ニューラルネットワークの 情 報 量の解析および学習効率化の研究
学位論文内容の要旨
確率的性質を持つ情報工学の研究対象においては，多次元の確率変数に関する分 布を考える場合，複数の確率変数によって定義される情報量を用い，確率変数どうし の依存関係，パラメー夕推定の限界，および符号化の限界等が定量的かつ定性的に理 解されている。このようを研究対象をモデル化する際に，確率分布の広いクラスを 含む代表的な分布族である指数型分布族は、パラメトリックな統計モデルとして広 く用いられている。二値指数型分布族は、二つ以上の確率変数の間の交互作用を考 慮に入れたものとして，最も単純な統計モデルであり，高次の交互作用を考慮した一 般化された確率的な動作をするニューラルネットワークの平衡分布の集合，あるい は 各 情 報 源 が 二 状 態 の 多元 的な 情報 源に おけ る確率 分布 の集 合と 一致 する 。 一般に，情報量それ自体の性質に関する研究は広く行なわれている。しかし，この モデルではパラメータと情報量の間に密接な関係が存在しているにもかかわらず、高 次の交互作用の影響を反映した情報量と高次のパラメータとの依存関係を詳しく解 析した研究は見受けられず，Kullback情報量を用いた確率的ニューラルネットワー クの学習の研究においても，計算機シミュレーション等が多く，理論解析はまだ十分 に行なわれていない。
本研究は，このような問題意識をもとに，確率的ニューラルネットワークが実現 する確率分布である二値指数型分布族における統計量・情報量とパラメータとの間 の依存関係を解析し，バラメータとこれらの情報量との依存関係における，互いに双 対的な関係にある単調増加と単調減少とぃう性質、およぴ変化率の半順序関係等の 特徴的な新しい事実を明らかにすること、さらにパラメー夕推定のための勾配法の 最良化によって学習を効率化することついて考察することを研究目的とする。論文 の構成は，以下のようになっている。
第1章では，確率的な性質を有する情報工学的対象とその背景について述ベ、本 研究の位置付けと目的について述べる。
第2章では，第3章以降での議論の準備として、代表的な確率分布の族である指 数型分布族に関する二般論について述ベ、確率分布と統計的モデル，指数型分布族・
混合型分布族と確率分布の空間における幾何学構造の関係について述ぺる。さらに．
統 計的 推定 におい て重 要で あるFisher情 報量、十分統計量等について述べる。
第3章では，確率的に動作するネットワークであるボルツマンマシンの自然な拡
張 を 考 え る こ と に よ り、 ポル ツマ ンマ シン が実 現す る確 率分 布を 高次 の 交互 作用 を 考慮した形で一般化して取り扱う。この確率分布の全体は．状態集合がズ＝（（］．l） で あ る 自 然 パ ラ メ ー タと 双対 な関 数が 二値 指数 型分 布族 に一 致す るこ と から ．こ れ に 関し て定 義さ れる 統計量（期待値、Fisher情報行列の要素．正規化されたFisllt丶r 情 報行 列の 要素 ）に 対し て 、自 然パ ラメ ー夕 （ニューラルネッ トワークにおける閾 値 パラ メー 夕、 結合 パラ メ ー夕 ）と の関 係を 考察する。特に，相 関係数が所定の包含 関 係 を み た す よ う な 自然 パラ メー タの 変化 に対 して 単調 に変 化す ると ぃ う著 しい 特 徴 を明 らか にす る。 同時 に 、単 調増 加と 単調 減少とぃう性質が， 互いに双対的な関係 にあることを 示す。
第4章 で は 、 第3章 で 考 察 し た 二 値 指 数 型 分 布 族 の う ち っ 最 も 一 般 化 さ れ た次 数 nの 二 値 指 数 型 分 布 族 （ 次 数nのHigheトOrderネ ッ ト ワ ー ク が 実 現 す る 平 衡 確 率 分 布 の 全 体 、 ま た は 状態 集合 上の 正値 確率 分布 の全 体に 一致 ）に 対し て 定義 され る 期 待 値 パ ラ メ ー タ に 対 す るFisher情 報 行 列 っ お よ ぴ 正 規 化 さ れ たFisher情 報行 列 の 要素 と， 期待 値パ ラメ ー タと の関 係を 調ぺ る。特に，自然パラ メータに対する相関 係 数 の 単 調 性 と 対 照 的な 集合 条件 で、 期待 値パ ラメ ータ に対 する 偏相 関 係数 に単 調 性 が 現 れ る と ぃ う 著 しい 特徴 を明 らか にす る。 同時 に， 単調 増加 と単 調 減少 とぃ う 性質が、やは り互いに双対的な関係にあることを示す。
第5章 で は ， 統 計 量 と 同 様 に 確 率 分 布 に 関 し て 定 義 さ れ る 量 で あ る 情 報 量 （ Shannonの結 合エ ント ロピ，条件付きエントロピ，相互情報量，条 件付き相互情報量，
お よ び 結 合 エ ン ト ロ ピで 正規 化さ れた 相互 情報 量） が， 自然 パラ メー タ にど のよ う に 依存 する かに つい て調 べ る。 特に ，第3章 で明 らか に され た， 自然 パラ メータと統 計 量 の 関 係 ・ 性 質 と 類似 の性 質が 情報 量に 対し ても 成立 し， 特定 の条 件 付き エン ト ロ ピ ， 条 件 付 き 相 互 情報 量が 所定 の包 含関 係を みた すよ うな 自然 パラ メ ータ の変 化 に 対 し て 単 調 に 増 加 ない し減 少す ると ぃう 事実 を明 らか にす る。 また そ れ自 体に 単 調 性 が な い 結 合 エ ン トロ ピ・ 相互 情報 量に 関し て， 相関 係数 のア ナロ ジ とし て定 義 さ れ た 結 合 エ ン ト ロ ピで 正規 化さ れた 相互 情報 量が ，や はり 所定 の包 含 関係 をみ た す よ う な 自 然 パ ラ メ ータ の変 化に 対し て単 調に 増加 ない し減 少す ると ぃ う事 実を 明 らかにする。
第6章で は， 指数 型分 布族 にお ける 自然 パラ メー 夕 推定 のた めの パラ メー夕修正 規 則 （ ボ ル ツ マ ン マ シン にお ける 結合 ・閾 値パ ラメ ー夕 決定 のた めの 学 習に 一致 ） に お ぃ て ，Kullback情報 量を 目的 関数 とす る、 その 勾配 ベク トル を用 い た一 次の 勾 配 法 、 お よ びIくullback情報 量の 計量 行列 であ るFishcr情報 行列 を用 い た二 次の 勾 配 法 を ，Kullback情 報量 変化 の下 限を 最大 にす ると ぃう 意味 での 最良 化 を行 なう 。 こ れ に よ っ て 勾 配 法 のス テッ プ幅 を決 定し 、Kullback情 報量 変化 の限 界 （下 限と 上 限 ） を 評 価 す る 。 こ のス テッ プ幅 には ，勾 配法 を開 始す る以 前に 既知 で ある 十分 統 計 量 を 用 い 、 従 来 求 めら れて いたBianclliの評 価よ りも 改善 され るこ と を定 量的 に 示 す 。 さ ら に 、 一 次 の 勾 配 法 と 二 次 の 勾 配 法 の 上 限 と 下 限 を 比 較 ・ 考 察 す る 。 第7章で は、 まと めと して 、第3章か ら第6章 まで の 結果 に関 する 考察 を行ないっ 今後の課題・ 研究の方向性について述ぺる。
学位論文審査の要旨
学 位 論 文 題 名
確 率的ニ ューフルネットワークの 情報 量の解 析および 学習効率化の研究
確 率 的 性 質を 持つ 情報 工学 の研 究対 象に おい ては 、多 次 元の 確率 変数 に関 する 分 布を 考え る場 合っ 確 率変 数の 問の 依存 関係，パラメー夕推定の限界っおよび符号化 の 限 界 等 が ， 複数 の確 率変 数に よっ て定 義さ れる 情報 量を 用 いて 定量 的か つ定 性的 に 捉え られ る。 確率 分 布の 広い クラ スを 含む代表的な分布族である指数型分布族は、
こ の よ う な 研 究対 象を モデ ル化 する 際に 、パ ラメ トリ ック な 統計 モデ ルと して 広く 用 いら れて いる 、。
情報 量そ れ自 体の 性 質にf謝 する 研究 は広 く行 な われ てい るが 、情報量と統計モデ ル の パ ラ メ タ の問 の依 存関 係を 詳し く解 析し た研 究は 見受 け られ ず、 確率 的ニ ュー ラ ルネ ット ヮー クの 学 習の 研究 にお いて も，学習精度，収束の速度等は論じられてい る が 、 学 習 初 期段 階か らの 効率 に関 する 理論 解析 はま だ十 分 に行 なわ れて いな い。
本 論 文 で は ，こ のよ うな 問題 意識 をも とに 、対 象を 確率 的 ニュ ーラ ルネ ット ワー ク に限 定し てっ それ が 実現 する 確率 分布 である二値指数型分布族における統計量・情 報 景と パラ メー タと の 間の 依存 関係 を解 析し、特徴的な新しい事実を明らかにする。
さ ら に パ ラ メ ー夕 推定 のた めの 勾配 法に よる 学習 効率 の限 界 を改 善し 、そ れを 最良 化 する 方法 につ いて 考 察す る。
第1章 で は ， 確 率 的 な 性 質 を 有 す る 情 報工 学的 対象 とそ の 背景 につ いて 述ペ 、本 研 究の 位置 付け と目 的 につ いて 述ぺ てい る。
第2章 で は 、 第3章 以 降 で の 議 論 の 準 備 と し て 、 代 表 的 な 確 率 分 布 の族 であ る指 数 型分 布族 に関 する 一 般論 につ いて 述べ てい る。
第3章 で は ， 確 率 的 に 動 作 す る ネ ッ ト ワー クで ある ボル ツ マン マシ 冫の 自然 な拡 張 を 考 え る こ とに より ，ボ ルツ マン マシ ンが 実現 する 確率 分 布を 高次 の交 互作 用を
惇 明
勝 治
政
義
達 腰
保 藤
伊 宮
新 佐
授 授
授 授
教 教
教 教
査 査
査 査
主 副
副 副
考慮した形で一般化し，これに関する統計量と自然パラメータとの関係を考察して いる。特に、相関係数が所定の包含関係をみたすような自然パラメータの変化に対 して単調に変化するとぃう著しい特徴を明らかにしでいる。同時にっ対象とする統 計量の単調増加と単調減少の現れる条件が、互いに双対的な関係にあることを示し ている。
第4章では、第3章で考察した二値指数型分布族のうち，一般化された次数の二 値指数型分布族に対して定義される期待値パラメータに対するFisher情報行列，お よぴ正規化されたFisber情報行列の要素と，期待値パラメータとの関係を調べてい る。特に、自然パラメータに対する相関係数の単調性と対照的な集合条件でっ期待値 パラメータに対する偏相関係数に単調性が現れるとぃう著しい特徴を明らかにして いる。同時にっ単調増加と単調減少とぃう性質が，やはり互いに双対的な関係にある ことを示している。
第5章では、統計量と同様に確率分布に関して定義される重要な量である情報量
（Shannonの結合エントロピ，条件付きエントロピ，相互情報量っ条件付き相互情報 量、および結合エントロピで正規化された相互情報量）がっ自然パラメータにどのよ うに依存するかについて調べている。特に、第3章で明らかにされた，自然パラメー タと統計量の関係・性質と類似の性質が情報量に対しても成立しっ．特定の条件付き エントロピ、条件付き相互情報量が所定の包含関係をみたすような自然パラメータ の 変 化 に 対 して 単 調 に 増 加 な い し 減 少 する とぃ う事 実を 明ら かに して いる。
第6章では．指数型分布族における自然パラメー夕推定のためのパラメー夕修正 規則（ボルツマンマシンjこおける結合・閾値パラメー夕決定のための学習に一致）
においてっKiilll)a,ck情報量を目的関数とする，その勾配ベクトルを用いた一次の勾 配法による学習効率、およびKulll)ac.k情報量の計量行列であるFisher情報行列を 用いた二次の勾配法による学習効率を、情報量変化の下限を最大にするとぃう意味 で最良化している。これによって勾配法のステップ幅を改善し、Iくulll)ack情報量変 化の限界（下限と上限）を評価し、従来求められていたものよりも改善された評価 を得ることができる。また、この改善される量の限界を求め、最大値を求めている。
第7章では，まとめとしてっ第3章から第6章までの結果に関する考察を行ないっ 今後の課題・研究の方向性について述べている。
以上のようにっ本論文において、確率的ニューラルネットワークの解析と学習効率 化を行なったことによって、工学への応用の上で有益な知見を得ているもので、情報 工学の発展に寄与するところが大である。よって、著者は、博士（工学）の学位を授 与される資格あるものと認める。
