深 層 ニ ュ ー ラ ル ネ ッ ト の 積 分 表 現 理 論

早稲田大学大学院 先進理工学研究科

博 士 論 文 概 要

深 層 ニ ュ ー ラ ル ネ ッ ト の 積 分 表 現 理 論

Integral Representation Theory of Deep Neural Networks

申 請 者

園田 翔

Sho SONODA

電気・情報生命専攻 情報学習システム研究

2016 年 10 月

No.1

深 層 ニ ュ ー ラ ル ネ ッ ト は ，2012 年 頃 か ら 機 械 学 習 や 人 工 知 能 の 分 野 で 急 速 に 発 展 を 続 け て い る 学 習 機 械 で あ る 。 深 層 ニ ュ ー ラ ル ネ ッ ト の 快 挙 は ， 大 画 像 に 対 す る 一 般 物 体 認 識 タ ス ク で 人 間 と 同 程 度 の ス コ ア を 記 録 し ， 囲 碁 で は 「 人 類 最 強 」 と も 呼 ば れ る 棋 士 イ ・ セ ド ル 氏 に 勝 利 す る な ど ， 枚 挙 に 暇 が な い 。 ニ ュ ー ラ ル ネ ッ ト は ， 神 経 細 胞 が 繋 が り 合 っ て 情 報 を 処 理 す る 様 子 を 抽 象 化 し た 「 脳 の 数 理 モ デ ル 」と し て ，20 世 紀 半 ば に 登 場 し ，こ れ ま で に 二 度 の ブ ー ム を 引 き 起 こ し て い る 。 深 層 ニ ュ ー ラ ル ネ ッ ト は 第 三 次 ブ ー ム の 立 役 者 で あ る 。

「 深 層 」 と い う 修 飾 語 は ， 中 間 層 の 数 が 従 来 の ニ ュ ー ラ ル ネ ッ ト よ り も 多 い こ と を 強 調 し て い る 。 ニ ュ ー ラ ル ネ ッ ト を 深 層 化 す る こ と で ， 内 部 の 情 報 表 現 が 階 層 化 さ れ ， 情 報 処 理 が 効 率 化 さ れ る こ と は ， 以 前 か ら 予 想 さ れ て い た 。 し か し ， 古 典 的 な 学 習 法 で あ る バ ッ ク プ ロ パ ゲ ー シ ョ ン（backpropagation）で は ，深 層 ニ ュ ー ラ ル ネ ッ ト を 学 習 さ せ る こ と が で き な か っ た 。 原 因 は 様 々 だ が ， 例 え ば ， 層 が 深 く な る に 連 れ て ， 学 習 に 必 要 な 誤 差 信 号 が 減 衰 し ， 学 習 が 極 端 に 遅 く な る た め で あ る 。深 層 ニ ュ ー ラ ル ネ ッ ト を 学 習 さ せ る 技 術 を 総 称 し て ，深 層 学 習 と い う 。 深 層 学 習 が 立 て 続 け に 成 功 し 始 め た の は ，2006 年 の Hinton や Bengio の プ レ ト レ ー ニ ン グ か ら で あ る 。

本 研 究 で は ， 深 層 ニ ュ ー ラ ル ネ ッ ト の 中 で 何 が 起 き て い る の か ， な ぜ 深 層 に し た 方 が 良 い の か と い う 問 題 に 対 し て ， 深 層 ニ ュ ー ラ ル ネ ッ ト の 積 分 表 現 理 論 の 開 発 を 通 じ て 問 題 解 決 を 図 る 。 深 層 ニ ュ ー ラ ル ネ ッ ト の 内 部 で は ， タ ス ク に 有 利 な 情 報 表 現 （ 特 徴 量 写 像 ） が 獲 得 さ れ て い る と 考 え ら れ て い る 。 情 報 表 現 を 自 動 的 に 獲 得 す る と い う 意 味 で ， 深 層 学 習 は 表 現 学 習 と も 呼 ば れ る 。 し か し ， 深 層 学 習 は ヒ ュ ー リ ス テ ィ ク ス を 多 く 含 む の で ， 実 際 に 獲 得 さ れ る 特 徴 量 の 素 性 は 分 か ら な い こ と も 多 い 。 そ も そ も ， 浅 い ニ ュ ー ラ ル ネ ッ ト は 任 意 の 関 数 を 近 似 で き る ほ ど 表 現 力 が 高 い（ 万 能 関 数 近 似 器 ）の に ，な ぜ 深 層 に す る 必 要 が あ る の だ ろ う か 。 本 研 究 が 拠 り 所 と す る 積 分 表 現 は ， ニ ュ ー ラ ル ネ ッ ト の 中 間 層 素 子 に 関 す る 総 和 を 積 分 に 置 き 換 え て 得 ら れ る 。 こ れ は 中 間 層 素 子 を 積 分 核 と す る 積 分 変 換 で あ り ，双 対 リ ッ ジ レ ッ ト 変 換 と 呼 ば れ る 。リ ッ ジ レ ッ ト 変 換 は Radon 変 換 や ウ ェ ー ブ レ ッ ト 変 換 と の 関 係 が 深 く ，幾 何 学 的 性 質 や 解 析 的 性 質 が よ く 調 べ ら れ て い る 。 通 常 の ニ ュ ー ラ ル ネ ッ ト は ， 積 分 表 現 の 離 散 化 を 通 じ て 理 解 で き る 。 積 分 表 現 理 論 は 90 年 代 に 起 き た 第 二 次 ブ ー ム に お い て ， 浅 い ニ ュ ー ラ ル ネ ッ ト の 表 現 能 力 を 調 べ る 過 程 で 成 立 し た 。 残 念 な が ら ， 深 層 ニ ュ ー ラ ル ネ ッ ト の 積 分 表 現 理 論 は 今 日 ま で ほ と ん ど 調 べ ら れ て い な い 。 中 間 層 が 二 層 以 上 あ る 場 合 に は ， 単 に 積 分 核 が 入 れ 子 に な る だ け で ，中 間 層 同 士 の 関 係 を う ま く 定 式 化 で き な い た め で あ る 。

本 研 究 の 結 果 は 二 つ に 分 け ら れ る ： 浅 い ニ ュ ー ラ ル ネ ッ ト の 積 分 表 現 理 論 と ， 深 層 ニ ュ ー ラ ル ネ ッ ト の 積 分 表 現 理 論 で あ る 。浅 い ニ ュ ー ラ ル ネ ッ ト の 理 論 で は ， ReLU と 呼 ば れ る 活 性 化 関 数 に 対 応 す る よ う に 積 分 表 現 理 論 を 拡 張 し ， ニ ュ ー ラ ル ネ ッ ト と Radon 変 換 お よ び ウ ェ ー ブ レ ッ ト 変 換 と の 関 係 を 詳 ら か に し ，さ ら に

積 分 表 現 を 離 散 化 し て ニ ュ ー ラ ル ネ ッ ト を 学 習 す る 方 法 を 提 案 し た 。

深 層 ニ ュ ー ラ ル ネ ッ ト の 理 論 で は ， デ ノ イ ジ ン グ ・ オ ー ト エ ン コ ー ダ ー

（denoising autoencoder; DAE） と 呼 ば れ る ク ラ ス に 対 し て ，DAE を 輸 送 写 像 と み な す 方 法 で ， 積 分 表 現 を 構 成 し た 。 ま た ， 輸 送 写 像 の 極 限 を 調 べ る こ と で ， 無 限 層 ニ ュ ー ラ ル ネ ッ ト に 相 当 す る 連 続 DAE の 性 質 を 明 ら か に し た 。DAE は デ ー タ 分 布 の エ ン ト ロ ピ ー を 減 ら す 方 向 に 入 力 デ ー タ を 再 配 置 す る 輸 送 作 用 が あ り ， こ の 作 用 は 層 を 深 く し た 方 が 顕 著 に な る こ と が 分 か っ た 。 従 っ て ， 浅 い DAE と 深 層 DAE と で は 抽 出 さ れ る 特 徴 量 が 異 な る こ と か ら ，DAE に お い て は 積 極 的 に 深 層 化 す べ き で あ る と 言 え る 。 本 研 究 の 結 果 を 深 層 学 習 の ア ル ゴ リ ズ ム に 反 映 す る 方 法 の 開 発 は ， 今 後 の 重 要 な 課 題 で あ る 。

本 論 文 の 構 成 は ， 第 1 章 が 本 研 究 の 概 要 と 論 文 の 構 成 の 説 明 ， 第 2 章 が 関 連 研 究 と 先 行 研 究 の サ ー ベ イ ， 第 3 章 と 第 4 章 が 本 論 を 展 開 す る う え で の 準 備 ， 第 5 章 か ら 第 7 章 が 本 論 ， 第 8 章 が 本 研 究 の 総 括 で あ る 。 第 2 章 以 降 の 各 章 の 詳 細 は 次 の 通 り で あ る 。

第 2 章 で は 関 連 研 究 お よ び 先 行 研 究 に つ い て ， 深 層 ニ ュ ー ラ ル ネ ッ ト と 浅 い ニ ュ ー ラ ル ネ ッ ト の 二 つ の 観 点 で 整 理 す る 。ま ず 深 層 ニ ュ ー ラ ル ネ ッ ト に つ い て は ， 最 初 に 全 体 の 動 向 を 概 観 す る 。 次 に ， 本 研 究 の 主 題 の 一 つ で あ る 「 深 層 ニ ュ ー ラ ル ネ ッ ト の 中 で は 何 が 起 き て い る か 」 に つ い て 言 及 し て い る 研 究 を 整 理 す る 。 本 研 究 で 取 り 扱 う ReLU や DAE に つ い て は 独 立 に 節 を 設 け る ほ か ， オ ー ト エ ン コ ー ダ ー と 対 照 的 な 表 現 学 習 の 例 と し て ， 畳 み 込 み ネ ッ ト ワ ー ク に つ い て も 解 説 す る 。 一 方 ， 浅 い ニ ュ ー ラ ル ネ ッ ト に つ い て は ， ま ず 90 年 代 の 結 果 を 整 理 す る 。 具 体 的 に は ， 万 能 関 数 近 似 能 力 を 軸 に し て 積 分 表 現 理 論 が 登 場 す る ま で の 経 緯 を 説 明 す る 。 続 い て ， 積 分 表 現 理 論 以 降 に 登 場 し た リ ッ ジ レ ッ ト 解 析 や 学 習 理 論 に つ い て ， そ の 後 の 展 開 を 整 理 す る 。

第 3 章 で は ， 本 研 究 で 用 い る 数 学 的 な 道 具 を 整 理 す る 。 具 体 的 に は ，Fourier 変 換 や Radon 変 換 ， ウ ェ ー ブ レ ッ ト 解 析 ， 拡 散 方 程 式 ， 最 適 輸 送 理 論 の 基 本 的 な 定 理 や 公 式 を 整 理 す る 。 さ ら に ， 本 論 で 展 開 さ れ る 超 関 数 や 特 異 積 分 の 計 算 に つ い て 解 説 す る 。 こ れ ら の 計 算 に は ， こ れ ま で に ま と ま っ た 解 説 が 少 な く ， 申 請 者 が 独 自 に 計 算 し た 内 容 も 含 む 。

第 4 章 で は 積 分 表 現 理 論 に つ い て 基 本 事 項 を 説 明 す る 。 本 章 は 本 論 を 展 開 す る う え で の 準 備 に あ た る が ， 積 分 表 現 理 論 は 本 研 究 の 要 で あ り ， 申 請 者 の 考 察 も 多 く 含 む こ と か ら ， 独 立 に 章 を 設 け た 。 ま ず 積 分 表 現 理 論 が リ ッ ジ レ ッ ト 解 析 と 等 価 で あ る こ と を 説 明 し た あ と ，リ ッ ジ レ ッ ト 変 換 が Radon 変 換 と ウ ェ ー ブ レ ッ ト 変 換 の 合 成 変 換 に 分 解 で き る こ と を 示 す 。 こ れ に よ り ， リ ッ ジ レ ッ ト 解 析 の 幾 何 学 的 な 意 味 付 け が 明 ら か と な る 。 最 後 に ， リ ッ ジ レ ッ ト 変 換 の 離 散 化 や ， ベ ク ト ル 値 の 場 合 の 考 え 方 を 説 明 す る 。 こ れ に よ り ， 現 実 の ニ ュ ー ラ ル ネ ッ ト と 積 分 表

No.3 現 と の 関 係 が 明 ら か と な る 。

第 5 章 で は 浅 い ニ ュ ー ラ ル ネ ッ ト の 積 分 表 現 理 論 を 展 開 す る 。 ま ず ， 深 層 学 習 に お い て ，ReLU と 呼 ば れ る 非 有 界 な 活 性 化 関 数 が 用 い ら れ る 背 景 を 簡 単 に 説 明 す る 。 こ れ に よ り ， 深 層 ニ ュ ー ラ ル ネ ッ ト の 積 分 表 現 理 論 を 展 開 す る た め に は ReLU を 含 む 超 関 数 に よ る リ ッ ジ レ ッ ト 解 析 が 必 要 で あ る こ と が 分 か る 。 本 章 の 前 半 で は ， 超 関 数 に よ る リ ッ ジ レ ッ ト 変 換 が 存 在 す る こ と ， お よ び 適 当 な 条 件 の 下 で 再 構 成 公 式 （ 逆 変 換 ） が 成 り 立 つ こ と を 理 論 的 に 示 す 。 後 半 で は ， リ ッ ジ レ ッ ト 変 換 の 具 体 例 を 解 析 的 に 計 算 し ， さ ら に 再 構 成 公 式 の 数 値 例 を 計 算 す る こ と で ， 理 論 の 実 効 性 を 確 認 す る 。

第 6 章 で は 深 層 ニ ュ ー ラ ル ネ ッ ト の 積 分 表 現 理 論 を 展 開 す る 。ま ず ，DAE が 登 場 し た 背 景 と ，DAE の 学 習 ア ル ゴ リ ズ ム を 簡 単 に 説 明 し ，Alain and Bengio の 変 分 計 算 に よ っ て 学 習 ア ル ゴ リ ズ ム の 停 留 点 が 陽 に 求 ま る こ と を 示 す 。 続 い て ， 得 ら れ た DAE が 輸 送 写 像 と み な せ る こ と を 説 明 す る 。 本 章 の 前 半 で は ， 浅 い DAE に よ る 輸 送 の 性 質 を 調 べ る 。後 半 で は ，三 つ の 深 層 DAE（ 積 層 DAE，合 成 DAE， 連 続 DAE）を 導 入 し ，深 層 DAE に よ る 輸 送 現 象 を 軸 と し て 深 層 DAE の 積 分 表 現 理 論 を 展 開 す る 。 積 層 DAE は 深 層 学 習 の 一 種 で あ る プ レ ト レ ー ニ ン グ で 現 れ る 形 式 だ が ， 解 析 が 難 し い 。 合 成 DAE は 浅 い DAE の 合 成 写 像 で あ り ， こ れ 自 体 も 輸 送 写 像 な の で 解 析 は 比 較 的 容 易 で あ る 。 連 続 DAE は 合 成 DAE の 連 続 極 限 で あ り ， 無 限 層 の ニ ュ ー ラ ル ネ ッ ト に 相 当 す る 。 本 章 の 主 結 果 は 二 つ あ る 。 ま ず ， 連 続 DAE に よ る 輸 送 に 伴 っ て 変 形 さ れ た デ ー タ 分 布 （ 押 出 測 度 ） が ， 逆 向 き の 拡 散 方 程 式 に 従 う こ と を 示 す 。 つ ま り ， 連 続 DAE は デ ー タ 分 布 の エ ン ト ロ ピ ー を 減 ら す よ う に デ ー タ 点 を 再 配 置 す る 連 続 力 学 系 で あ る 。 次 に ， 積 層 DAE と 合 成 DAE の 等 価 性 を 示 す 。 つ ま り ， 積 層 DAE か ら 得 ら れ る 特 徴 量 は ， あ る 線 形 写 像 に よ っ て 適 当 な 合 成 DAE か ら 得 ら れ た 特 徴 量 に 変 換 で き る 。 二 つ の 主 結 果 の 系 と し て ， 合 成 DAE と 積 層 DAE は い ず れ も ， 層 を 重 ね る に 連 れ て 連 続 DAE と 類 似 の 振 舞 い を す る よ う に な る こ と が 分 か る 。 最 後 に ， 深 層 DAE の 積 分 表 現 は ， 層 毎 の 積 分 表 現 を 合 成 し た も の と し て 得 る 。

第 7 章 で は 積 分 表 現 を 離 散 化 す る こ と で ニ ュ ー ラ ル ネ ッ ト を 学 習 さ せ る 方 法 を 説 明 す る 。 再 構 成 公 式 を 離 散 化 す る こ と で 学 習 済 ニ ュ ー ラ ル ネ ッ ト が 得 ら れ る 。 離 散 化 は 離 散 フ ー リ エ 変 換 の よ う に 規 則 的 な 格 子 に 沿 っ て 行 う こ と も で き る が ， 本 章 で は サ ン プ リ ン グ に よ る 方 法 を 提 案 す る 。 こ れ は ， デ ー タ か ら リ ッ ジ レ ッ ト 変 換 を 推 定 し ， 得 ら れ た 変 換 を 確 率 分 布 と み な し て ， パ ラ メ ー タ を サ ン プ リ ン グ す る 方 法 で あ る 。 リ ッ ジ レ ッ ト 変 換 を パ ラ メ ー タ 空 間 上 の 確 率 分 布 と み な し た も の を オ ラ ク ル 分 布 と 呼 ぶ 。 人 工 デ ー タ お よ び 実 デ ー タ に 対 し て ア ル ゴ リ ズ ム を 適 用 し ， バ ッ ク プ ロ パ ゲ ー シ ョ ン に 依 ら な い 学 習 が 行 え る こ と を 確 認 し た 。

第 8 章 で は 本 研 究 を 総 括 し ， 今 後 の 展 望 に つ い て 述 べ る 。

な お 付 録 に は ， 本 文 で 省 略 し た 証 明 と ， 本 研 究 の 背 景 と な る 知 識 を ま と め た 。

Ｎｏ.1

早稲田大学 博士（工学） 学位申請 研究業績書

氏 名 園田 翔 印

（2017年2月1現在）

種 類 別 題名、 発表・発行掲載誌名、 発表・発行年月、 連名者（申請者含む）

論 文

○

講 演 国 際 会 議 査 読 有

○

講 演 国 内 会 議

そ の 他

Sho Sonoda, Noboru Murata, “Neural Network with Unbounded Activation Functions is Universal Approximator”, Applied and Computational Harmonic Analysis, Elsevier, (2015).（掲載決定）

Sho Sonoda, Noboru Murata, “Sampling Hidden Parameters from Oracle Distribution”, The 24th International Conference on Artificial Neural Networks (ICANN2014), Hamburg, Germany, September 15-19, 2014.（査読付論文）

園田翔, “ニューラルネットの積分表現理論”, 第 2 回 産総研人工知能セミナー 「機 械学習の理論的側面」, 台場, 2015年11月.

園田翔, 村田昇, “ReLU ネットワークの積分表現理論”, 2015 年度 科学研究費シンポ ジウム「大規模複雑データの理論と方法論：最前線の動向」, 筑波, 2015年11月.

園田翔，村田昇，“深層学習のリッジレット解析にむけた取組み”, 2015 RIMS 共同研 究 「ウェーブレット解析と信号処理」, 京都, 2015年11月.

Sho Sonoda, Noboru Murata, “Ridgelet Analysis of ReLU Network”, The 29th Machine Learning Summer School (MLSS2015), Kyoto, Japan, August 23 - September 4, 2015.

園田翔, 村田昇, “オラクル分布を用いたサンプリング学習アルゴリズム”, 第 18 回 IBISML研究会, 筑波, 2014年9月.

（論文）Sho Sonoda, Noboru Murata, Hideitsu Hino, Hiroshi Kitada, Manabu Kano, “A Statistical Model for Predicting the Liquid Steel Temperature in Ladle and Tundish by Bootstrap Filter”, ISIJ International, 52(6):1086-1091, (2012).

（講演）嶋田達之介, 松原拓央, 園田翔, 村田昇, パトリシアオータル, 加藤真平,

“LiDAR深度データを用いたCNNブレーキシーン認識”, 第18回 情報論的学習理論ワー クショップ(IBIS2015), 筑波, 2015年11月.

（講演）金田有紀, 園田翔, 日野英逸, 村田昇, “複数粒子フィルタとモデル選択を用 いたEEGデータの電流ダイポール推定”, 第17回 IBISML研究会, 沖縄, 2014年6月.

（講演）園田翔, 村田昇, 日野英逸, 進藤史裕, 北田宏, 加納学, “ブートストラップ フィルタによる溶鋼温度分布の予測と制御”, 日本鉄鋼協会 第162回 秋季講演大会, 大 阪, 2011年9月.

（ プ レ プ リ ン ト ）Sho Sonoda, Noboru Murata, “Decoding Stacked Denoising Autoencoders”,Journal of Machine Learning Research,arXiv:1605.02832