PDFファイル 3H4OS24b オーガナイズドセッション「OS24 Deep Learning 」

The 28th Annual Conference of the Japanese Society for Artificial Intelligence, 2014

- 1 -

ープボ

マンマ

ン

動的

ワー

構築手法

関

検

討

A Study on the Dynamic Construction Method of Network for Deep Boltzmann Machine

金盛

克俊

安井

清一

大和田

勇人

KATSUTOSHI KANAMORI SEIICHI YASUI HAYATO OHWADA

*1

東京理科大学理工学部経営工学科

Deep learning provide a high learning performance, but also has a problem that it takes many time to learn, because of using a complex network. Moreover, finding the best configuration network is not easy, and little attention has been given the methodology. Our purpose is to achieve the dynamic construction method of network for Deep Boltzmann Machine. We propose a method to build a network adaptively and dynamically delete nodes and arcs in Deep Boltzmann Machine. This method is achieved by applying of node delete algorithm and node fusion algorithm. We defined these algorithms, and had the experiment using random data. And, we discussed about the result and future works.

1.

じめに

近 深 層 学 習 ー プ ー ニン いうキ ー ワー

多層 ニュー ワー 注目 集 い ． ープ

ボ マンマ ン Deep Boltzmann Machine:DBM

[Salakhutdinov 09] 実装 一 あ ．

DBM ， ボ マ ン マ ン Restricted

Boltzmann Machine: RBM 積 構 築 多 層 ニ ュ

ー ワー あ ． わ ， 各 層 ー 確 率 変 数

あ ，層内 確率変数， び，層間 確率変数 交互作用

含 確率 生成 ー 集合

特 徴 表 深 層学 習 あ ． 入力 層 観 測変 数， 隠 層 潜

在変数 対応 ，周辺化 ワー 教師

学習 ． ，DBM ワー

教 師 学 習 行 後 ， ニュー ワー 誤 差

逆 伝 搬 法 予 測 識 別 器 構 築 ． こ 初 教 師 学

習 事前学習 呼ば ．

DBM 事前学習 ，DBM 構成 各RBM 学習

次行うこ 実現さ ．RBM 学習 用い

RBM 条件付 独立性 利用 CD Contrastive Divergence

法 [Hinton 02] あ ．

，画 像認識や音 声認識 実用 的 ニュー

ワー 通常大規模 ワー 用い ，膨大 計算

時間 ソー 必要 あ ． 必要最小限 最適 ワー

求 こ 簡 単 ， 方 法 論 い 充

議論 成さ い い．

DropOut [Hinton 12] ー ン 削除 学習

行 ，複数 生成 ，総合 こ 過学習

防 ベ ー 手法 あ ， 対 柔軟 ，

効率的 最適 ワー 構成 求 い．

本研究 目的 ，多層 ニュー ワー い

ワー 動的 構 成 手法 提案 ， 検 証 行うこ

あ ．

本研究 ープボ マンマ ン い ，事前学習時

ー 削除 動的 行うこ 適応的 ワー 構

築 手法 提案 ， 影響 関 検討 行う．

こ う 適 応 的 ワー 構 成 行 うこ ， 事 前

学習 適 ワー 自動的 構成 こ

こ 期待さ ．

2.

提案手法

本 論 文 提 案 ワー 構 成 手 法 ，DBM い

事前学習 行 い ワー 構造 動的 更新 手法

あ ．

本論文 ， ー 統合 削除 いう2 操作

ワー 更新 手 法 提 案 ． ー 統合 似 い

ー 同士 統合 1 ー 操作 あ ， ー

削除 ー 関 非常 小さ 他 え 影

響 小さい 考え ワー 取 除 操作 あ

．

こ う 操 作 適 行 わ こ ， 要 ー

削除さ ，後 行わ 誤差逆伝搬等 ニュー ワー

学習 計算時間 短縮や 高い精度 得 ニュー

ワー 自動構成 実現 期待さ ．

DBM 多層 ニュー ワー あ ，可視層

ー 入力変数 対応 ，最 層 出力 対応

本 手 法 以 外 層 い ー 削 減 行 うこ

適 ワー 構成 手法 あ ．

2.1 ノード 統合

こ こ 可 視 層 最 層 以 外 層 い 同 層 存 在

ー 間 距 離 定 義 ， 距 離 近 い 類 似 役

割 持 ー 統合 操作 定義 ．

，同 層 存在 ー , 間 距 離 , 次

う 定義 ．

, =| − |+∑ | − |+∑ | − |

， ー あ ， ー ， 間

ー あ ．こ 距離 ， 値や同 ー

差 絶対値 総和 あ ． 値 同

連絡先：金盛克俊，東京理科大学理工学部経営工学科，千葉

県 田市山崎2641，[email protected]

The 28th Annual Conference of the Japanese Society for Artificial Intelligence, 2014

- 2 -

あ 距離 小さ ， 他 ー 関わ 同 あ

ー 間 距離 小さ いえ ．

次 ，2 ー 対 統合 ー 定義 ． ー ,

統合 新 い ー 間 ー , 間 同 層 挿

入さ ， 間 値 和

え ．

ー , 対 統合 ー

∗, ∗ 以 う 定義さ ．

= +

∗= ∗+ ∗

∗ = ∗ + ∗

2.2 ノード 削除

ー 削除 ，事前学習後 値 各 値

あ 程度0 近い ー い ワー 取 除 操作

あ ． 全 0 あ う 仮想的 ー

考え ，あ ー 削除 さ や さ , 表 こ

．

2.3 ア ゴ ズム

本 論 文 提 案 ゴ ， 事 前 学 習 行 い

ー 統合 削除 行う ゴ あ ．DBM RBM 積

構成さ 多層 ニュー ワー あ ，

RBM 列 表現 こ ．

ここ DBM [� , � , ⋯ , � ] 表 こ ．

DBM 性質 ，� 隠 層 � + 可視層 い

．

提案手法 ゴ 以 通 あ ．

1) =

2) � � + い CD法 用い RBM 学習 行

う．

3) � 隠 層 � + 可視層 あ 各 ー

い ， 仮 想 ー 距 離 , 計 算 ， 均

．

4) � 隠 層 � + 可視層 あ 各 ー

い ，

( , ) < ⁄�ℎ

あ ば，こ 層 ー 取 除 ． ，�ℎ 閾値

ー あ ．

5) � 隠 層 � + 可視層 あ 各 ー 全

組 合わ , 調 ，

, < ⁄�ℎ

あ ば ー , 取 除 ，統合 ー 挿入 ．

6) = + ， < あ ば2. 戻

3.

実験

提案手法 動作 確認 ，簡単 DBM 用い 実験

行う．ここ Figure 示 う 3層 DBM 用い ．

ここ 用い 入力層 6次元，最 層 2次元 DBM

あ ，中間 10個 ー 持 層 1 存在 い ．図

， ー 線 太 さ 絶 対 値 大 さ 表 ，

正 あ ば赤 線，負 あ ば 青線 表現さ い ．Figure

1 初期状態 ， ー 値 全 0 い

， 本研 究 開 発 こ 視 覚化 ー 値

ー 大 さ 変わ ．こ 例 実験結果 確認 ．

こ ワー 用い 通常 CD法 用い DBM 学習

後 ワ ー ， 提 案 手 法 適 用 後 ワ ー 状

態 比較 ．

実験用 ーニン ー ，入力次元 6次元 合わ

ン ー 生成 え ．

Figure 2 提案手法 用い ， ー 数 変更 い

学習 行わ 結果 あ ． ー 大 さ 値 大

さ 表 い ． ー い ， 強化さ

こ や 値 変化 確認 ．

Figure 3 提案手法 適用 結果 あ ． ゴ

ー th 値 1.5 ． ー 削除 1

度， ー 統合 2度行わ ，第2層 ー 10個 7

個 減 い ．

提 案 手法 ー 削 減 こ ， こ 元

ワー 性 質 損 い い 検 証 ， 学 習 後

各 ワー い ，最 層 値 え 可 視 層

期待値 求 比較 ．

Figure 1

：初期状態のネットワーク

The 28th Annual Conference of the Japanese Society for Artificial Intelligence, 2014

- 3 -

Figure 2 ワー 結果 表2 通 あ ．

表1：既存手法 結果

最 層 可視層

[0,0] [0.60, 0.63, 0.50, 0.43, 0.54, 0.13] [0,1] [0.59, 0.63, 0.50, 0.43, 0.54, 0.14] [1,0] [0.60, 0.63, 0.50, 0.44, 0.54, 0.14] [1,1] [0.60, 0.63, 0.50, 0.44, 0.54, 0.15]

同様 ，Figure 3 ワー 結果 表3 通

あ ．

表2：提案手法 結果

最 層 可視層

[0,0] [0.64, 0.66, 0.51, 0.45, 0.56, 0.13] [0,1] [0.63, 0.65, 0.51, 0.46, 0.55, 0.15] [1,0] [0.63, 0.65, 0.51, 0.46, 0.55, 0.14] [1,1] [0.62, 0.65, 0.51, 0.46, 0.55, 0.16]

ワー 見 目 構造 大 変 わ い 関 わ

，検 証結 果 傾 向 失 い い結 果 ．

4.

結論

ープボ マンマ ン 最適 ワー 自動構

築 ，事前学習時 適応的 ー 統合，削除 手法

提 案 ． 実 験 結果 こ 手法 実 際 ー 削 除

さ 関わ ， ワー 再現能力 関

変わ いこ 示 ．

要 ー 削 除 こ ニュー ワー 学 習

計算時間 削減や，精度 向 考え

本 論 文 実 験 用 い ワ ー 極 小 さ 単 純

あ ， ー い 実用的 いい い．

今 後 大 規 模 ワー 適 用 や ， 実 用 的 問 題

対 検討 行う必要 あ ．

参考文献

[Hinton 02] Hinton, G. E.: Training products of experts by minimizing contrastive divergence, Neural Computation, Vol. 8, No. 14, pp. 1771-1800 (2002).

[Hinton 12] Hinton, G. E., Srivastava, N., Krizhevsky, A., Sutskever, I., and Salakhutdinov, R. R. : Improving neural networks by preventing co-adaptation of feature detectors, arXiv preprint arXiv, 1207.0580 (2012)

[Salakhutdinov 09] Salakhutdinov, R. R., and Hinton, G. E. : Deep Boltzmann Machines : Proceedings of the 12th International Conference on Artificial Intelligence and Statistics, pp. 448-455 (2009)