博 士 論 文 概 要

早稲田大学大学院 基幹理工学研究科

博 士 論 文 概 要

論 文 題 目

Studies on Fast Algorithms for Independent Component Analysis

独立成分分析の 高速解法に関する研究

申 請 者

Ryota YOKOTE 横手 良太

情報理工学専攻 計算知能研究

2012 年 12 月

No.1

マ ル チ メ デ ィ ア や イ ン タ ー ネ ッ ト を 含 む 情 報 通 信 技 術 の 発 達 に 伴 い, 大 量 の 情 報 を 容 易 に 入 手 ま た は 発 信 で き る よ う に な る 一 方, 大 容 量 の デ ー タ を 効 率 的 に 処 理 す る 必 要 性 が 増 加 し て い る. 機 械 学 習（M a c h i n e Le a r n i n g, M L）は そ の よ う な 問 題 に お け る 解 決 法 の 一 つ で あ る. 機 械 学 習 で は 反 復 学 習 に よ っ て コ ン ピ ュ ー タ 自 身 に 最 適 な シ ス テ ム を 学 習 さ せ, 情 報 を 効 率 的 に 処 理 し, シ ス テ ム 利 用 者 の 利 便 性 を 向 上 さ せ る. そ し て 機 械 学 習 は 人 間 の 手 に よ る 調 整 を 軽 減 し, シ ス テ ム を 自 動 的 に 調 節 す る. こ れ は ヒ ュ ー マ ン イ ン タ フ ェ ー ス の よ う な 人 間 の 感 性 に 大 き く 依 存 す る シ ス テ ム に お い て は, 特 に 重 要 で あ る. そ の 一 方 で 機 械 学 習 は こ の 方 法 を 用 い な い 単 純 な 手 法 と 比 較 し て 多 大 な 計 算 資 源 を 必 要 と す る と い う 問 題 点 が あ る. 実 用 的 な ソ フ ト ウ ェ ア に お い て 機 械 学 習 を 利 用 す る と き, 多 く の 場 合 に 計 算 量 が 問 題 に 挙 が る. 超 大 容 量 の デ ー タ 処 理 や リ ア ル タ イ ム 処 理 に お い て, こ れ は 特 に 重 要 な 問 題 と な る. ま た, 機 械 学 習 に お い て は, 学 習 す べ き 規 準 を ど の よ う に 定 め る か, す な わ ち 最 適 化 す べ き 目 的 関 数 の 決 定 が 問 題 に な る. 一 般 に, 利 用 者 に と っ て 良 好 な 規 準 を 目 的 関 数 と す る 場 合, 最 適 化 は 複 雑 に な り 計 算 時 間 が 大 き く な る.

独 立 成 分 分 析 （I n d e p e nd e n t C o m p o n e nt A n a l ys i s , I C A） は こ の よ う な 問 題 を も つ 機 械 学 習 の 一 つ で あ る. 独 立 成 分 分 析 は 線 形 多 変 量 解 析 の 一 種 で あ り, そ の 問 題 設 定 は 教 師 な し ニ ュ ー ラ ル ネ ッ ト ワ ー ク モ デ ル の 生 成 で あ る. 独 立 成 分 分 析 は 実 際 に 得 ら れ る 観 測 変 数 が 未 知 の 独 立 成 分 の 混 合 で 得 ら れ る と い う 単 純 な 生 成 モ デ ル を も つ. 単 純 な 生 成 モ デ ル で あ る が ゆ え に, 画 像 処 理, 脳 信 号 処 理, 音 声 信 号 処 理 と い っ た 幅 広 い 分 野 に お い て 利 用 さ れ て い る. そ の 用 途 と し て は 特 徴 抽 出, 雑 音 除 去, 冗 長 性 除 去 な ど が あ る. こ の よ う に 広 い 用 途 を も つ 独 立 成 分 分 析 で あ る が い く つ か の 欠 点 も 存 在 す る. 最 大 の 問 題 は 計 算 時 間 で あ る. 現 在, 独 立 成 分 分 析 の 手 法 と し て は そ の 高 速 性 と 頑 健 性 及 び 実 装 の 容 易 さ か ら F a s t I C A と よ ば れ て い る 不 動 点 法 が 最 も よ く 利 用 さ れ て い る. し か し な が ら, 画 像 デ ー タ の よ う な 大 規 模 な 処 理 を 必 要 と す る 場 合 に は, 頑 健 性 の 損 失 な し に F a s t I C A を 超 え る よ う な 高 速 解 法 の 需 要 が 存 在 す る . ま た, 独 立 成 分 分 析 に は To p o g r a p hi c I C A , M u l t i m o d a l I C A , S up e r v i s e d I C A と い っ た 純 粋 な 独 立 性 と は 異 な る 規 準 を も つ 手 法 が 数 多 く 存 在 す る. こ れ ら は そ れ ぞ れ 異 な る 規 準 を も ち, 統 合 的 に 扱 う こ と は で き ず, ま た F a s t I C A の よ う な 高 速 解 法 も 存 在 し な い. し か し な が ら, こ れ ら の 独 立 成 分 分 析 は マ ル チ メ デ ィ ア の 分 析, 特 徴 抽 出 に 適 し て お り, 高 速 解 法 の 開 発 が 望 ま れ て い る.

以 上 に 述 べ た 背 景 の 下 で, 本 研 究 で は, 平 均 相 互 情 報 量 の 一 般 化 か ら 得 ら れ る モ ー メ ン タ ム 法 に よ る 高 速 化 に 着 目 し, 不 動 点 法 に よ る 独 立 成 分 分 析 の 高 速 化 法 を 提 案 す る. ま た, 非 線 形 関 数 を 用 い る 相 関 と 抽 象 化 さ れ た 外 部 変 数 の 導 入 の 双 方 に 着 目 し, 純 粋 な 独 立 性 と は 異 な る 規 準 を も つ 独 立 成 分 分 析 を 統 合 的 に 扱 い, そ の 解 を 求 め る 手 法 を 提 案 す る.

第 1 章 は 序 論 で あ り, 本 研 究 の 背 景 と 目 的, お よ び 既 存 研 究 と 本 研 究 の 意 義 に つ い て 述 べ た.

第 2 章 「 不 動 点 法 独 立 成 分 分 析 の 高 速 化 」 で は, 独 立 成 分 分 析 に 関 す る 生 成 モ デ ル と 従 来 手 法 に つ い て 概 観 し, 一 般 化 さ れ た 情 報 量 に 基 づ く 可 変 モ ー メ ン タ ム 法 に よ り 不 動 点 法 を 加 算 的 に 高 速 化 す る 手 法 に つ い て 提 案 し た. 独 立 成 分 分 析 の 学 習 手 法 と し て 最 も 古 典 的 な 手 法 は カ ル バ ッ ク ・ ラ イ ブ ラ ー の 情 報 量

（K L- d i ve r g e nc e）を 最 適 化 す る 自 然 勾 配 法 で あ る. そ れ に 対 し, 従 来 か ら デ フ ァ

ク ト ス タ ン ダ ー ド と な っ て い る F a s t I C A で は 非 正 規 性 を 最 大 化 し, そ の 非 正 規 性

は K L- d i ve r g e nc e に 基 づ く ネ ゲ ン ト ロ ピ ー （N e g e n t r o p y） に よ っ て 定 義 さ れ て

い る. 自 然 勾 配 法 と F a s t I C Aは と も に K L- d i v e r g e nc e に 基 づ く 学 習 手 法 で あ る が, 自 然 勾 配 法 が 最 急 降 下 法 に よ っ て 得 ら れ る の に 対 し, F as t I C A は ニ ュ ー ト ン 法 に よ っ て 導 出 さ れ る た め, F as t I C A は 自 然 勾 配 法 を よ り 高 速 化 し た も の と 考 え ら れ る. そ の 一 方, α - I C A は 一 般 化 さ れ た d i v e r g e n c e で あ る α - d i v e r g e nc e に 基 づ く 情 報 量 か ら 得 ら れ る. α - I C A は 過 去 の 更 新 情 報 を 利 用 す る モ ー メ ン タ ム 法 の 一 種 で あ り, 自 然 勾 配 法 の 更 新 形 を と る 独 立 成 分 分 析 の 中 で 最 も 高 速 な 手 法 で あ る . α - I C A は F a s t I C A と 比 較 し て も そ の 収 束 は 遅 い が, F as t I C A は K L - d i v e r g e n c e に 基 づ い て 導 出 さ れ て い る た め, α- d i v e r g e n c e に 基 づ く 高 速 化 を 適 用 で き る こ と が 期 待 さ れ て い た. し か し, F as t I C A は 元 々 高 速 な 手 法 で あ る た め, 単 純 に モ ー メ ン タ ム 法 を 適 用 す る だ け で は 効 果 は 得 に く い も の で あ っ た . 本 研 究 で は ,

F as t I C A が 直 交 化 を 更 新 の 度 に 繰 り 返 し, こ の こ と が 非 正 規 性 の 学 習 に 悪 影 響 を

与 え る こ と に 着 目 し, 直 交 化 を 利 用 す る モ ー メ ン タ ム 法 に よ る 学 習 則 お よ び 頑 健 な モ ー メ ン タ ム 係 数 の 自 動 決 定 手 法 に つ い て 提 案 し た. F as t I C A に お い て は, 非 正 規 性 の 学 習 と 直 交 化 に よ る 無 相 関 化 を 繰 り 返 す. 直 交 化 は 解 の 探 索 空 間 を 限 定 し, 高 速 に 解 を 求 め る こ と に 寄 与 す る が, 一 方 で 非 正 規 性 を 悪 化 さ せ る 要 因 に な る. こ れ を 過 去 の 更 新 情 報 を 利 用 す る こ と で 修 正 す る. さ ら に, 過 去 の 更 新 情 報 を 反 映 さ せ る 係 数 で あ る モ ー メ ン タ ム 係 数 は 固 定 で は な く, 独 立 成 分 毎 に 推 定 す る. こ の モ ー メ ン タ ム 係 数 も 過 去 の 更 新 に 基 づ い て 決 定 す る こ と で, 高 速 化 に よ

っ て F a s t I C A が も つ 本 来 の 頑 健 性 が 失 わ れ ず に 済 む. ま た, 新 た に 期 待 値 を 計 算

す る こ と な く 過 去 の 更 新 情 報 の み を 利 用 す る こ と で, 更 新 回 数 あ た り の 収 束 速 度 で な く, 実 計 算 時 間 あ た り の 収 束 速 度 が 向 上 す る こ と も 期 待 さ れ る. 実 験 と し て は, 人 工 デ ー タ と 実 デ ー タ に 対 し 提 案 手 法 を 適 用 し, 更 新 回 数 と 実 計 算 時 間 に お け る 高 速 性 評 価 の 結 果 を 示 し た. そ の 結 果, 提 案 手 法 は 頑 健 性 を 損 な う こ と な く,

F as t I C A を 超 え る 高 速 性 を 有 す る こ と を 示 す こ と が で き た. 性 能 評 価 の た め の 人

工 デ ー タ と し て は, 独 立 成 分 分 析 の 主 な 適 用 対 象 で あ る s u p e r- G a us s i a n デ ー タ を 利 用 し た. ま た, 実 デ ー タ と し て は 同 じ く 独 立 成 分 分 析 が 良 く 適 用 さ れ る 自 然 画 像 と 脳 波 信 号 を 利 用 し た. 自 然 画 像 は 尖 度 の 強 い 分 布 を も ち, 脳 波 は 尖 度 の 弱 い 分 布 を も つ. 特 に, 実 際 の ソ フ ト ウ ェ ア に お い て 独 立 成 分 分 析 の 評 価 規 準 と し て 採 用 さ れ て い る 収 束 判 定 規 準 と 非 正 規 性 評 価 規 準 を 用 い た と き に, 多 大 な 計 算 時 間 が 必 要 と さ れ て 高 速 化 の 需 要 が 高 い 自 然 画 像 に 対 し て, 実 計 算 時 間 に お け る 効 果 的 な 高 速 化 を 示 す こ と が で き た.

第 3 章 「 非 線 形 相 関 付 き 独 立 成 分 分 析 」 で は, 独 立 性 と は 別 の 規 準 を 目 的 関 数

No.3

に 含 ま せ る 既 存 手 法 に つ い て 概 観 し, こ れ ら を 統 合 的 に 扱 う 推 定 モ デ ル, 目 的 関 数 お よ び そ の 学 習 手 法 に つ い て 新 た な 提 案 を 行 っ た. 通 常, 独 立 成 分 分 析 に お い て は, 観 測 変 数 が 独 立 成 分 の 混 合 で 得 ら れ る こ と を 仮 定 し, 独 立 性 を 最 大 化 す る こ と を 目 的 と し て い る. こ の 独 立 性 の 規 準 は 平 均 相 互 情 報 量 や 非 正 規 性 に よ っ て 定 義 さ れ て い る. し か し な が ら, 実 世 界 に お い て 独 立 成 分 分 析 が 適 用 さ れ る よ う な 観 測 信 号 の 多 く は, こ の 独 立 性 の 仮 定 を 完 全 に 満 た す こ と は な い. 独 立 成 分 分 析 は 問 題 設 定 上, 順 序 の 不 定 性 を も つ た め, 特 徴 抽 出 の た め に 利 用 す る 場 合 に は, 推 定 す べ き 復 元 変 数 を 単 純 に 独 立 に す る こ と が 望 ま し い と は 限 ら な い. こ の よ う な 背 景 の 下 で は, 純 粋 な 独 立 性 と は 別 の 規 準 が 導 入 さ れ た 手 法 は 複 数 存 在 す る. 学 習 す べ き ネ ッ ト ワ ー ク 内 に お け る 独 立 成 分 間 の 非 独 立 性 を 考 慮 す る 手 法 と し て は To p o g r ap h i c I C A（T I C A） や Tr e e - d e p e n d e nt A na l y s i s が あ り, ネ ッ ト ワ ー ク 外 と の 非 独 立 性 を 考 慮 す る 手 法 と し て は M u l t i m o d a l I C A（M I C A）や 教 師 基 底 に よ る 弱 誘 導 法 が 存 在 す る. こ れ ら の 既 存 手 法 の 問 題 点 は 2 つ あ る. 一 つ は 既 存 手 法 が 最 急 降 下 法 に 基 づ い て 導 出 さ れ て お り, 収 束 が 極 め て 遅 い と い う 点 で あ る. そ の た め, 自 然 画 像 に 対 し て 適 用 す る 場 合, 現 実 的 な 計 算 時 間 で の 収 束 が 得 ら れ な い. 例 外 と し て ニ ュ ー ト ン 法 に よ る F as t T I C A が 存 在 す る が, 2 次 相 関 を 用 い る た め 外 れ 値 に 弱 く, そ し て 復 元 精 度 が 弱 い た め, 実 用 上 使 わ れ る こ と は あ り え な い. も う 一 つ は 既 存 手 法 が そ れ ぞ れ 異 な る 生 成 モ デ ル, 推 定 モ デ ル, 目 的 関 数, 学 習 則 を も つ と い う 点 で あ る. そ れ ぞ れ が 独 自 の 推 定 モ デ ル と 学 習 則 を も つ た め, 他 の 非 独 立 性 を 考 慮 す る 手 法 と 統 合 す る よ う な 拡 張 が 困 難 で あ る. そ こ で, 本 研 究 で は, T I C A や M I C A に お い て 相 関 を も た せ る 独 立 変 数 を 外 部 変 数 と い う 形 で 抽 象 化 し, Te m p o r a l C o h e r e nc e の 最 大 化 に お い て 利 用 さ れ る 非 線 形 関 数 を 用 い た 高 次 相 関 を 目 的 関 数 と す る こ と で, 既 存 手 法 を 統 合 的 に 扱 い か つ 高 速 に 復 元 変 数 を 推 定 す る 手 法 を 提 案 し た . 復 元 信 号 の 時 間 的 な 非 線 形 相 関 を 表 す 従 来 の

Te m p o r al Co h e r e n c e の 最 大 化 で は, 相 関 を も つ べ き 変 数 が 各 々 復 元 行 列 に 依 存

す る た め, 最 急 降 下 法 を 用 い る こ と で し か 最 適 化 が 実 現 し な い. こ れ に 対 し て 提 案 手 法 で は, 外 部 変 数 を 時 間 的, 空 間 的 に 独 立 さ せ, 復 元 行 列 に 依 存 し な い と 仮 定 す る こ と で, ニ ュ ー ト ン 法 に よ る 学 習 則 の 導 出 が 可 能 と な る. さ ら に, F as t

T I C A と 異 な り 非 線 形 関 数 を 用 い る た め, 他 の 既 存 手 法 と 同 じ よ う に 高 い 復 元 精

度 が 実 現 さ れ る. 外 部 変 数 と 独 立 成 分 と の 関 係 は 任 意 の ト ポ ロ ジ ー に よ っ て 表 現 さ れ, こ れ に よ り T I C A , M I C A と い う 異 な る 手 法 が 統 合 さ れ る. 次 い で, 実 デ ー タ で あ る 自 然 画 像 に 対 す る 適 用 に よ っ て, 提 案 手 法 が M I C A, T I C A , 教 師 基 底 に よ る 誘 導 法 と 等 価 な 局 所 最 適 に 収 束 す る こ と を 実 験 的 に 示 し た. ス テ レ オ 画 像 に 対 し 適 用 し た 結 果, M I C A と 同 じ よ う に 基 底 順 序 が 対 に な る ス テ レ オ 基 底 が 得 ら れ た. ま た, 自 然 画 像 に 対 し 適 用 し た 結 果, T I C A や 教 師 基 底 に よ る 誘 導 法 と 同 じ よ う に To p o g r ap h i c P e r m u t at i o n を も つ 基 底 が 得 ら れ た.

第 4 章 は 結 論 で あ り, 本 論 文 の ま と め と 今 後 の 課 題 に つ い て 述 べ た.

Ｎｏ.1

早稲田大学 博士（工学） 学位申請 研究業績書

氏 名 横手 良太 印

（２０１２年１１月 現在）

種 類 別 題名、 発表・発行掲載誌名、 発表・発行年月、 連名者（申請者含む）

○論文

○国際 会議

○国際 会議

国際会議

国際会議

国際会議

特許

講演

（研究会）

講演

（研究会）

講演

（研究会）

Rapid algorithm for independent component analysis, Journal of Signal and Information Processing, Vol. 3, No. 3, pp. 275-285, August 2012, Ryota YOKOTE and Yasuo MATSUYAMA

Independent component analysis with graphical correlation: Applications to multi-vision coding,

Proceedings of International Joint Conference on Neural Networks, pp. 701-708, July 2011,

Ryota YOKOTE, Toshikazu NAKAMURA and Yasuo MATSUYAMA

Yet rapid ICA: Applications to un-indexed image-to-image retrieval, Proceedings of International Joint Conference on Neural Networks, pp. 4255-4263, July, 2010,

Ryota YOKOTE and Yasuo MATSUYAMA

Conversion of sensitivity-based tasks from brain signals and motions,

Proceedings of the International Association of Science and Technology for Development’s International Conference on Artificial Intelligence and Soft Computing, pp. 270-277, June 2012,

Yasuo MATSUYAMA, Ryota YOKOTE and Yuuki YOKOSAWA

Composite data mapping for spherical GUI design Clustering of must-watch and no-need TV programs,

Lecture Notes in Computer Science, No. 7667, pp. 267-274, November 2012, Masaya MAEJIMA, Ryota YOKOTE and Yasuo MATSUYAMA

Fast estimation of hidden Markov models via alpha-EM algorithm, Proceedings of 2011 IEEE Statistical Signal Processing Workshop, pp. 89-92, June 2011,

Yasuo MATSUYAMA, Ryunosuke HAYASHI and Ryota YOKOTE 松山泰男, 横手良太, 特願 2010-161211

独立成分分析の分析装置, 分析方法および分析プログラム, 2010 年 7 月 16 日 脳活動による酸素化ヘモグロビン濃度変化を用いた継続認証の実現可能性, 第 2 回バイオメトリクスと認識・認証シンポジウム, 2012 年 11 月 20 日, 正沢道太郎, 横手良太, 披田野清良，松山泰男

Transducing human affections in networked PC environment,

Proceedings of Waseda-Hanyang Joint Workshop, pp. 1-7, November 2011,

Yuuki YOKOSAWA, Ryota YOKOTE, Tatsuro HORI, Michitaro SHOZAWA and Yasuo MATSUYAMA Rapid Visual Coding via RapidICA with Graphical Correlation

GCOE International Workshop on System LSI, November, 2011, Ryota YOKOTE