博士（工学）塩谷浩之 学位論文題名
情報量の数理的構造および学習問題に 関する情報工学的研究
学位論文内容の要旨
近年における情報処理の高速化、大容量化などには、高い効率を実現するための 情報伝送、高い圧縮率を達成するためのデー夕圧縮などの技術の進歩が重要な役割 を果たしてきた。情報理論において、データが持つ確率構造や、そのデータを生成 している情報源のパラメータについての情報を手がかりとして、通信路符号化理論 や情報源符号化理論により、それらの技術の理論的限界が示され、それを目標とす る研究がなされてきた。これの研究によって、データを効率よく表現する符号化か らデータの情報構造を見いだし、効率のよいデー夕圧縮を実現してきた。さらに、
これらの研究は、数理統計学、ニューラルネットワーク、計算論的学習理論などに 応用され、数多くの成果カ鴻られた。それらは、データの情報構造および確率空間 や情報量の数理的構造と、推論、推定、学習、識別などの工学的応用との対応に よって得られる成果である。このような背景から、確率空間や情報量の数理的構造 に関する基礎的研究とその情報工学的応用との関連性は、より広範囲な工学への応 用のためにも重要な基礎的課題であると言える。
Kullback情報量は、二つの確率分布の差異を表すだけではなく、符号化、デー夕
圧縮、仮説検定などにおいて重要な役割を果たし、また、数理統計でも様々な情報 量が用いられている。Csiszarは、様々な情報量をノ‑divergenceと呼ばれるーつの クラスとして表現することで一般化し、無限集合上の確率分布全体での位相に関す る性質について研究した。しかし、その情報量は、適用条件が明らかにされない形 で表現されているため、情報工学における応用研究が少なく、一般的な情報量を用 いることのメリット、有用な情報量のクラスやその性質などは、明らかにはされて いなかった。
本研究は、このような問題意識をもとに、情報量の持つ数理的構造に関する研究 と 情報 工学 での 有効 な応 用と その 意味を考察することを研究目的としている。
本論文では、情報量の持つ構造に関する基礎的考察を行ない、情報量の評価不等 式や新たな情報量の提案およびそれらの既存の情報量に対する関係などを明らかに し、さらに、その構造を計算論的学習理論の問題に適用した結果を示す。本論文の 構成は、以下のとおりである。
Chapterlで は、 本研 究の 背景 や意 義、およびその位置について述べている。ま
ず、エントロピーなどの種々の情報量の定義やその性質について触れ、工学や統計 などにおける情報量の重要性を述べる。そして、一般化情報量として定義された ァ ‑divergenceに関する数理構造や計算論的学習理論への応用といった本研究の意義 やその位置および本論文の構成について述ぺている。
Chapter2では、まず、/−divergenceについて、その導入の経緯およぴ性質につい て述べ、そして、/−divergenceに関して新しく得られた結果について紹介する。さ らに、それらの結果と、これまでに示されたCsiszarやVajdaの結果との比較を行 う。この研究によって得られた結果は、V；ajdaがァ−divergenceの単調性を用いて証 明した不等式と比較して、確率分布に関する制限がないことや、証明法が非常に見 通しがよく、簡単であり、さらに、それを用いることで、ア ‑divergenceの最大値を 直接導出できるとぃう特徴を持つ。そして、情報量と三角不等式の関連性につい て、凸関数ノが三角不等式を満たすための必要十分条件を導出し、また、すべての クラスのノ―divergenceについて成り立つ弱い意味での三角不等式を提案する。
Chapter3で は、 新し い情報 量と してHermite−Hadamard divergenceを導入し、
その性質を、いくっかの定理や補題を用いて示している。
次に、その正値性などの基本性質や用いる凸関数に関する不定性を示し、Kullback 情報量およびHellinger distanceとの関係を明らかにする。そして、凸関数のクラ ス上の変換に対して成り立つ性質とHermite−Hadamard divergenceとの関連性につ いても考察する。
Chapter4で は、 計算 論的学 習理 論に おけ る統 計的な学習モデルに、情報量の評 価不等式を適用し、学習の損失関数にノーdivergenceを用いた場合に拡張したときの 学習評価、必要最小事例数とそのオーダーを導出し、情報量の数理構造との関係を 論じている。
Chapter5では、本研究に関するまとめと今後の課題が述ぺられている。さらに、
本研究によって得られる補題や定理の導出するための数学的手段として用いた主要 な数学的諸性質を、補遺の形でまとめている。
学位論文審査の要旨
学 位 論 文 題 名
情報 量の数 理的構造および学習問題に 関する 情報工学 的研究
情 報 処 理 の 高 速 化 、 大 容 量 化 に お い て 、 高 度 な 情 報伝 送技 術お よぴ デー 夕圧 縮技 術 が 重 要 な 役 割 を 果 た し て い る 。 デ ー タ が 持 つ 確 率 構造 の特 性を 手が かり とし た理 論 的 限 界 が 、 通 信 路 符 号 化 理 論 や 情 報 源 符 号 化 理 論 によ って 示さ れて おり 、そ れを 目 標と する 研究 が 推進 され てい る。 さら に、 それ らの 研究 とニ ュー ラル ネ ット ワーク、
パ タ ー ン 識 別 、 計 算 論 的 学 習 理 論 、 統 計 な ど の 分 野の 研究 と共 に進 めら れ、 数多 く
，の 成果 が得 ら れて いる 。す なわ ち、 これ らの 成果 は、 デー タの 情報 構 造お よび確率 空 間 や 情 報 量 の 数 理 的 構 造 に 関 す る 基 礎 的 研 究 と 、推 論、 推定 、学 習、 識別 など の 工 学 的 応 用 研 究 と の 相 互 関 係 を 通 し て 得 ら れ る も ので あり 、両 者の 関連 性に 関す る 考察 は、 重要 な 課題 と言 える 。
二 つ の 確 率 分 布 の 差 異 を 表 す 情 報 量 と し て は 、Kullback情報 量が 、工 学的 に最 も 広 く 適 用 さ れ て い る が 、他 にも 様々 な情 報量 が提 案さ れて いる 。Csiszarは、 これ ら の 情 報 量 を 統 一 的 に 扱 うた めに 、/−divergenceと 呼ば れる 情報 量を 導入 し、 それ を 活 用 し て 、 無 限 集 合 上 の 確 率 分 布 全 体 で の 位 相 に 関す る性 質を 整理 した 。し かし 、 そ の 情 報 量 は 、 明 ら か な 形 で 表 現 さ れ て い な い た め、 その 後の 応用 研究 にお いて 活 用さ れる こと が 無か った 。
本 論 文 に お い て は 、 こ の よ う な 問 題 意 識 を も と に、 情報 量の 持つ 数理 的特 性の 解 明 と 情 報 工 学 に お け る 活 用 を 目 的 と し て 、 情 報 量 の持 つ構 造に 関す る基 礎的 考察 を 行 な い 、 情 報 量 の 評 価 不 等 式 や 新 た な 情 報 量 の 提 案、 およ びそ の既 存の 情報 量に 対 す る 関 係 な ど を 明 ら か に し 、 さ ら に 、 情 報 量 の 数 理的 特性 に基 づぃ て、 計算 論的 学 習理 論の 問題 に 対す る考 察を 行な って いる 。
Chapter1で は 、研 究の 背景 につ いて 述ペ 、ア ―divergenceに関 する 数 理構 造や計算
惇
勝 東
治
義
達
保 内
藤
伊
新 大
佐
授
授 授
授
教
教 教
教
査
査 査
査
主
副 副
副
論的学習理論への応用に関する研究の意義やその位置および論文の構成について述 ぺている。そして、エントロピー、Kullback情報量、相互情報量などの基本的な情 報量に関する性質や、符号化や推定におけるそれらの情報量の重要性を述べている。
Chapter2では、まず、ア―divergenceに関して、その導入の経緯およぴ正値性や
Kullback情報量などの既存の情報量との関係について述べている。そして、その情
報量を不変にする性質を示し、この性質を用いて、その情報量の評価に関する新し い結果を導いている。さらに、CsiszarやVajdaの結果との比較を行うことによっ て、結果の有効性を検証している。この結果は、確率分布に関する制約が無く、導出 法が明解であり、それを用いることによって、ゾ ‑divergenceの最大値を直接導出で きるとぃう利点を持っている。また、情報量と三角不等式の関連性についての考察 から、ア−divergenceが三角不等式を満たすための必要十分条件の導出を行ない、さ らに、ア ‑divergenceについて成り立つ弱い意味での三角不等式を導出している。
Chapter3では、Hermite−Hadamard情報量とぃう新しい情報量を導入し、その正 値性などの基本性質を明らかにし、その情報量を不変にする性質を示している。そ して、既存の情報量との関係を明確にするために、Kullback情報量およびHellinger 距離との関係を示す評価不等式を導出している。
Chapter4では、計算論的学習理論における統計的な学習の枠組に、先に主要結
果として示した情報量の評価不等式を適用することによって、情報量の数理構造と 学習問題との関連性について理論的考察が行なっている。学習の損失関数としてァ―
divergenceを用いた場合における学習評価の関係式の導出や必要最小事例数とその オーダーの算出を行なっている。これらのことから、情報量の数理構造と学習との 関連性を明らかにしている。
Chapter5では、結びとして、本研究のまとめと今後の研究課題を述べている。さ らに、本研究の主要結果として得られている補題や定理の導出するための数学的手 段 と し て 用 い た 主 要 な 数 学 的 諸 性 質 を 、 補 遺 の 形 で ま と め て い る 。 以上のように、本論文において、情報量の数理的構造の解明と学習問題への適用 を行なったことによって、一般化情報量の工学への応用の上で有益な知見を得てい るもので、情報工学の発展に寄与するところが大である。よって、著者は、博士（工 学）の学位を授与される資格あるものと認める。
