The 28th Annual Conference of the Japanese Society for Artificial Intelligence, 2014
- 1 -
Deep Learning
利用法
知見
体系化
Knowledges and Usages of Deep Learning
黒滝
紘生
*1松尾
豊
*2Hiroki Kurotaki Yutaka Matsuo
*1
東京大学工学部
*2
東京大学大学院
工学系研究科
Faculty of Engineering, The University of Tokyo School of Engineering, The University of Tokyo
Deep Learning has achieved significant results in recognicion of images and sounds and in prediction of molecular activities. It is desirable to accumulate knowledge of Deep Learing to apply in various kinds of machine learning problems easily adn effectively. We show that the combination of Pylearn2, a Deep Learning framework, Maxout Network, a learning model with deep architecture, and utilization of machine with Graphics Processing Unit(GPU) is effective to deal with problems with implementing Deep Learning.
1.
概要
深層学習(Deep Learning) ，画像認識や音声認識，化合物
活性予測 い 優 性能を示 ，機械学習
様 々 い ， 深 層 学 習 技 術 を 容 易 活 用 出 来 望 ． 研 究 ，深 層 学 習 実 装 課 題 を 解決 対策 ，深層学習 イ Pylearn2 学習 Maxout Network を 併 用 ，Graphics Processing Unit (GPU)を搭載 ンを用い 有効 あ 示 ．
2.
背景
深層学習 機械学習 手法 1 ，人間 脳 構造 類 似 ，多 層 ニ ュ ネ ワ 構 造 を 用 い ， 学習を行わ 方法 あ ．深層学習 ， 専門家
行 わ 特 徴 変 換 方 法 そ 自 体 ， 習 得 能 力 あ 考え い ．生 タを入力 学習さ ，
タ 自 動 的 素 性 を 作 ， 抽 象 表 現 を 習 得 出 来 う あ ． 深 層 学 習 ， 画 像 認 識 や 音 声 認 識，化合物 活性予測 い 優 性能を示 ，注目 を浴び う ．図 1 ，深層学習 従来 機械学習 異 ， 入 力 タ 素 性 変 換 方 法 を 学 習 い
を模式的 表 い ．
深層学習 高い識別性能を持 わ ，深層学習を身 近 問題 適用 ，良い成果を得 い いう機運 高
図 . 深層学習と従来の機械学習の差異
い ．出 来 簡 易 ， 深 層 学 習 を 様 々 問 題 応 用 方 法 論 求 い ． ，深 層 学 習 歴 史 浅い発展途 技術 あ ，実装 様々 問題点 あ ， 国内 技術開発 特 遅 い ．
3.
深 層 学 習 の 実 装 に お け る 課 題 と そ の 対 策 の 提
案
3.1 深層学習の実装における問題点
深 層 学 習 ア を ， 工 学 応 用 具 体 的 実 装 を 行 う 問 題 点 ， 類 精 度 再 現 問題 実装難易度 問題 学習時間 問題 いう 3 考 え ．
類 精 度 再 現 問 題 ， 深 層 学 習 注 目 さ 大 理 由 あ ， 高 い 識 別 精 度 を 本 当 実 現 ア
う ， ，論文 い 掲 い 精度を再現 実装を手元 用意 ，あ い 制作 う 問題 あ ．ア を 紹 論 文 ， 対 応 実 装 公 開 さ い ， 例 え イ ン ア い 書 い
あ ， 実 験 設 定 イ タ 詳 細
い 記 い い 場 合 あ ． ， 本 当 論 文 記 述
あ 性能 発揮 う ，実 利用 い わ
い状況 い ．
実 装 難 易 度 問 題 ， 実 問 題 応 用 あ
，必要 ン 技術や数学的知識 ，出来 く
済 方 望 い い う あ ． ， 実 深 層 学 習 実装 ，他 機械学習 比 困難 あ ． 問題 ， 主 標 準 いえ 公 開 イ 確 立 い い 原 因 起 ．深層学習 歴史 浅い発展途 技術 あ ， ア
を 定 番 良 い ， 試 行 錯 誤 段 階 あ ． 公 開 さ い イ ，現 状 ，開 発 用 途 や 実 験 的
多く い ． イ 使え い ，利用者
自 を書く ，深層学習 原理 多く 数学的 背 景 成 立 ， 理 解 多 く 時 間 ．結 果 ， 開 発 長 い 時 間 い ， ネ ン い 不利 あ 考え ．
学 習 時 間 問 題 ， 深 層 学 習 を 訓 練 ， 無視 い長さ 時間 必要 ，刻一刻 変化
対 応用 難 く う， いう問題
あ ．例え ，先述 Google Supervision 学習 ， 1000 ン タを用い ，訓練 3 日間
，個人 ベ 実験自体 不 能 あ ．一回 連絡先：黒滝 紘生，東京大学工学部，〒 東京都文
京区弥生 工学部 号館， r e
The 28th Annual Conference of the Japanese Society for Artificial Intelligence, 2014
- 2 -
学習 時間 長く ，そ 技術開発 時間
長 く ，特 ， タ ア 企 業 深 層 学 習 技 術 を 用 い 市 場 優 を 得 う 場 合 を 考 え ， 開 発 期 間 短 縮
大 イ ン あ ．必 要 実 行 時 間 長 さ を カ
，GPU を 用 い 演 算 を ア さ 手 法 確 立 さ あ ． ，GPU 比較的高価 あ ，GPU 利 用 特 ン 要 求 さ ， 開 発
壁 1 い ．
3.2 実装上の問題への対策
3.1 挙 問題 う ， 実行時間 問題 ，GPUを搭 載 ンを学習 用い ，大幅 改善 出来 ．
，GPU 計 算 用 イ 利 用 有 効 あ ． ， 実 装
難易度 問題 ，適 イ を用い 対応 ．
類 精 度 再 現 問 題 い ， 良 い 類 精 度 を 達 成 論 文 保 証 さ 及 び ， 論 文 用 い イ タ を 用 意 ， を 実 手 元 走 ， 類 精 度 再 現 性 を チ 必 要 あ ． う
，や 既 イ 探 ．最終的 ，3
問題 ， GPU を搭載 利用 適 イ を選択 そ イ 実 装 ， 再 現 実 験 を 行 い う 行程 解決 ．
現在深層学習を実装 い イ 17種を比較検討 結 果 ， 実 装 難 易 度 く，GPU 学 習 時 間 短 縮
能 イ ，Pylearn2 Deep Learning Tutorial 2
を選定 ． 絞 込 中 ，最後 類精
度 再 現 性 問 題 を 解 決 類 を 選 ぶ ．
3.3 実装上の問題への対策
3.1 挙 問題 う ， 実行時間 問題 ，GPUを搭
載 ンを学習 用い ，大幅 改善 出来 ． ，GPU 計 算 用 イ 利 用 有 効 あ ． ， 実 装
難易度 問題 ，適 イ を用い 対応 ．
類 精 度 再 現 問 題 い ， 良 い 類 精 度 を 達 成 論 文 保 証 さ 及 び ， 論 文 用 い イ タ を 用 意 ， を 実 手 元 走 ， 類 精 度 再 現 性 を チ 必 要 あ ． う
，や 既 イ 探 ．最終的 ，3
問題 ， GPU を搭載 利用 適 イ を選択 そ イ 実 装 ， 再 現 実 験 を 行 い う 行程 解決 ．
現在深層学習を実装 い イ 17種を比較検討 結 果 ， 実 装 難 易 度 く，GPU 学 習 時 間 短 縮
能 イ ，Pylearn2 Deep Learning Tutorial 2
を選定 ． 絞 込 中 ，最後 類精
度 再 現 性 問 題 を 解 決 類 を 選 ぶ ．
4.
深層学習の実装例とその検証
実 Pylearn2 Deep Learning Tutorial 実装さ い 深層学習 を用い ，機械学習 タ を実行 ．実
類 精 度 を測 定 ， 類 精 度 再 現 問 題 検証を行 ． ，GPU 利用 ， 学習時間
問題 解消さ チ ．実験 ，手書 文
識別 MNIST ，カ 画像識別 CIFAR10 2種 タ を用い ．
表 e r 類誤差 再現
手法 論文誤差 実験誤差 増加
+畳 込
% % + %
順序不変
% % + %
表 P 有無 類 実行時間
図 . a o e orkの模式図レイヤー 層分
結 果 ， 表 1 う ，Pylearn2 実 装 さ い Maxout Network(図2参考)を用い ， 類精度 再現 問
題 起 ， 論 文 公 表 さ い 類 誤 差 同 値 を再現 わ ． ，表2 う ，GPU を搭載 ン 搭載 い い ン ，同 類 を使 最大 27.35 倍 実行時間 差 出 ． GPUを利用
， 学 習 時 間 問 題 を 大 く 改 善 わ ．
5.
結論
深 層 学 習 を ， 工 学 応 用 問 題 適 用 ，深層学習 イ Pylearn2 ，そ 実装さ い Maxout Networkを 選び，GPUを搭載 ン
学習を実行さ ，想定さ 問題点を全 解決 わ ．
参考文献
[Goodfellow 13a] Goodfellow, I. J., Warde-Farley, D., Mirza, M., Courville, A., and Bengio, Y. : Maxout networks, Proceedings of The 30th International Conference on Machine Learning, Vol. 28 (2013)
[Goodfellow 13b] Goodfellow, I. J., Warde-Farley, D., Lamblin, P., Dumoulin, V., Mirza, M., Pascanu, R., Bergstra, J., Bastien, F., and Bengio, Y. : Pylearn2 : a machine learning research library, arXiv preprint arXiv:1308.4214 (2013) [Hinton 12] Hinton, G. E., Srivastava, N., Krizhevsky, A.,
Sutskever, I., and Salakhutdinov, R. : Improving neural networks by preventing co-adaptation of feature detectors, Computing Research Repository, Vol. abs/1207.0580 (2012)
P P
有 ×
