氏 津 昭 文
学 位 専 攻 分 博 士 統 計 科 学
学 位 記 番 総 研 大 第
学 位 授 与 の 日 付 成 ６ 月 日
学 位 授 与 の 要 件 複 科 学 研 究 科 統 計 科 学 専 攻 学 位 規 則 第 ６ 条 第 該 当
学位論文題目
論文審査委員 主 査 教 授 藤 澤 洋 徳 教 授 透 准 教 授 崎 能 典
教 授 西 井 龍 九 大 学
(別紙様式2) (Separate Form 2)
論文内容の要旨 Summary of thesis contents
A divergence measure describes discrepancy between two probability distributions. We present a local learning approach with a specific form of the measures called the gamma-divergence. Learning algorithms are divided into two types, global learning algorithms and local learning algorithms. Global learning algorithms employ all the data simultaneously to estimate the whole data structure, while local learning algorithms employ a part of the data to capture the local structure. Estimation with the gamma-divergence has the local learning capability, which is the main topic of this thesis. The gamma-divergence is a generalization of the Kullback-Leibler divergence with the power index gamma. It employs the power transformation of density functions, instead of the logarithmic transformation employed by the Kullback-Leibler divergence. We consider the gamma-divergence between the underlying distribution and a distribution in a parametric family, where the underlying distribution means the one which data follow. When the gamma-divergence is used for standard parameter estimation problems, the global minimum point of the gamma-divergence with respect to the parameter is employed as an estimator. We, however, focus on another aspect of the gamma-divergence. The gamma-divergence has an interesting property, i.e. it has some local minimum points corresponding to the local structure in the data set. If the underlying distribution is represented by a mixture of some distributions, there exist some local minimum points of the gamma-divergence corresponding to the mixture components. Therefore, we can capture the local structure by the local minimum points, and this means the gamma-divergence has the local learning capability. We show that the existence of the local minimum points theoretically in some simple settings. The local learning capability of estimation with the gamma-divergence is applied with respect to cluster analysis and detection of heterogeneous correlation structure. Cluster analysis is aimed to divide data into some groups called clusters. Finding clusters can be regarded as investigation of the local structure of the data set, so we can apply the local learning capability to cluster analysis. We propose a new method for clustering with local minimization of the gamma-divergence based on the normal distribution, which we call
“spontaneous clustering”. The greatest advantage of the spontaneous clustering is that it automatically detects the number of clusters that adequately reflect the data structure. In contrast, existing methods, such as K-means, fuzzy c-means, or model-based clustering need to prescribe the number of clusters. Instead of the number of clusters, the value of gamma should be determined for the spontaneous clustering. We propose two methods for this purpose. One is a heuristic choice similar to the bandwidth selection in kernel density estimation. The other is based on Akaike Information Criterion (AIC). We detect all the local minimum points of the gamma-divergence, by which we define the cluster centers. As for the second
(別紙様式2) (Separate Form 2)
application we discuss a parameter estimation problem for a Gaussian copula model. A copula is a multivariate distribution function with uniformly distributed marginals on the unit interval and it determines the correlation structure of a multivariate distribution. We consider the heterogeneous correlation structure, that is, the copula of the underlying distribution might be a mixture of some Gaussian copulas. This situation can occur, for example, when we consider the relation between the movement of stock prices and interest rates in finance. This heterogeneity can be captured by finding the local minimum points of the gamma-divergence based on the Gaussian copula model. We propose a fixed point algorithm to obtain the local minimum points of the gamma-divergence. It is also shown that the gamma-estimation is robust against outliers in terms of the influence function. A feasible form of the gamma-divergence is given that suites the Gaussian copula model. In both applications, we consider the situation where the underlying distribution might deviate from the statistical model we fit. The statistical model is a single parametric model, while the underlying distribution is represented by a mixture of some distributions in the model. This is not the standard situation where the statistical model includes the underlying distribution. In this thesis, we show that even in such a situation the estimation is possible by using the gamma-divergence. One of the advantages of this method is that it works well for mixtures of any number of distributions if they are “distinct” enough.
(Separate Form 3)
博士論文の審査結果の要旨
Summary of the results of the doctoral thesis screening
博士論文原稿 ン ン の援用 局所学習 い 考察さ
い ．論文 全 5 章 100 ペ 構成さ い ．第 1 章 ン の紹
介 論文の全体の構成 い 説明さ い ．第 2 章 最小 ン 法
い 総説 行 い ．特 ン ン の最小化推定 い 焦点
当 ，以下の展開の 推定方程式，推定値 の準備 い ．第
3 章 第 4 章 主要結果 述べ い ．第 5 章 ッ ョン 行 い
．
第 3 章 主要結果の一 あ ン ン 提案 い ．こ 正
規 の下 の ン 推定 基 く方法 あ ． 正規 大 く 離
い 状況 け ン 推定の振 舞い 考察 い ．この考察の中 最尤推定
際立 異 振 舞い 指摘さ い ． ０ 個の 成 ，
十 互い 離 い ，正規 布の平均 対 ン 関数
０ 個の極小解 持 こ 着目 ， の中心 この極小解 提案 い ．
こ 既存の ン 推定の外 値 対 性 関 研究 異 新 い
性質の指摘 あ ． 極小解 具体的 得 の 提案 い ．
同時 の の 散 得 方法 提案 い ． の結果
ン 可能 ．特別 正規混合 布の場合 極小解の存在 一致性 い
理論的保証 与え い ．次 ０ 平均法 の既存の ン 手法の文献の
ュ の下 提案手法 従来法の比較 い ．特 提案手法 ュ ン
の ン 適 選択さ い 自発的 数 求 良好 性能 持
こ 示さ ． 基 ン 選択 方法 ，簡便 ン
基 く方法 正規混合 の仮定 の AI（ 規準 方法 提案さ い ．最
後 ュ ョン 実 解析 行い，提案手法の妥当性 結論 い ．
第 4 章 ， う一 の主要結果 ，異 相関構造の探索法 提案 い ．
ュ の枠組 異 相関構造 混合さ い 場合 考察
い ．第 3 章 同様 観点 ， ン ュ の下 の ン 関数
い 着目 ， の複数の局所最小解 存在 条件 い 詳 く議論 い ．特
，2 の相関行列 十 離 い ， の ュ の混合 布
得 考え ， ン 推定 適 2 の相関行列 極小解
推定 こ 明 さ い ． の探索性能の限界 い 考察さ い ．
， 極小解 具体的 得 の 提案 い ．最後
ュ ョン 提案手法の妥当性 確認 い ．特 ，混合数
い 場合の最尤法 比較 ，二 誤差 小さく い ．こ ，提案手法 ，
ュ ョン中 現 外 値 う く対処 い 考え ，
の有用性 提示 い ．
推定 ン 関係 い う 見え ，あ プ 他の
プ 見 外 値 あ 考え こ ． こ 関連
ン 使 ン 行うこ 考え い ．特 ， こ 生 極小
解 い 考察 行い， 極小解 具体的 得 の 提案 ，
(Separate Form 3)
ュ ョンや実 解析 ち ン 示 い こ ，
点 あ 評価 ． ，第 3 章 対応 論文 Sたぞそっaそeぞつs “lつsっerじそg づじa mじそじmつm gamma-”じづergeそ“e Neつral （ぞmたつっaっじぞそ (2014) 別ぞl.26, Nぞ.2, 421-448, 掲載さ ,第 4 章 対応 論文 ）eっe“っじぞそ ぞf しeっerぞgeそeぞつs sっrつ“っつres ぞそ っしe Gaつssじaそ “ぞたつla mぞ”el つsじそg たrぞすe“っじづe たぞてer eそっrぞたと ISRN Prぞbabじlじっと aそ” Sっaっじsっじ“s (2013), Arっじ“le I） 787141, 10 たages, 掲載さ い ．
総合研究大学院大学複合科学研究科 け 課程博士及び修士の学位の学位授与
係 論文審査等の手続 等 関 規程第 条 基 い ，口述 試験 実施
．口述 試験 実施 結果，出願者 の博士論文 中心 関連
あ 専門 及び の基礎 い 博士 統計科学 の学位の授与 十
学識 有 の 断 ，合格 定 ．
