DEIM Forum 2016 F4-4
混合ユニグラムモデルにおける確率分布関数及び
ギブズ・サンプリングの可視化教材
白田 由香利
†橋本 隆子
‡†学習院大学経済学部経営学科 〒177-0855 東京都豊島区目白 1-5-1
‡千葉商科大学商経学部 〒
272-8512 千葉県市川市国府台 1-3-1E-mail: †yukari.shirota(AT)gakushuin.ac.jp, ‡
takako(AT)cuc.ac.jpあらまし 本稿では，混合ユニグラムモデルにおける確率分布関数及びギブス・サンプリングの可視化教材ツー
ルを作ったので報告する．トピック抽出の分野で潜在的ディリクレ配分Latent Dirichlet Allocation (LDA)モデルによ
るギブズ・サンプリングアルゴリズムによるモンテカルロ法は広く使われているが，その数学的プロセスの意味を 理解することは容易ではない．我々の行った可視化では，説明を簡単化するために，トピックモデルに代わり，そ の簡略化モデルである混合ユニモデルを用いた．この可視化により，「１つの文書だけを除いて，それ以外の文書の 確率変数を全部固定すると，その１つの文書が，どのトピックに属すべきか分かる」というギブス・サンプリング の特長が容易に理解可能となる． キーワード ギブズ・サンプリング，ベイズ推論，可視化，混合ユニグラムモデル, 潜在的ディリクレ配分モデ ル
1. 始め に
本 稿 で は ， 混 合 ユ ニ グ ラ ム モ デ ル に お け る 確 率 分 布 関 数 及 び ギ ブ ス ・ サ ン プ リ ン グ の 可 視 化 に つ い て 報 告 す る ． マ ル コ フ 連 鎖 モ ン テ カ ル ロ 法(MCMC と 以 下 略 す)と は ，与 え ら れ た 確 率 分 布 を 不 変 分 布 に す る よ う に デ ザ イ ン さ れ た 操 作 で ， シ ス テ ム の 状 態 を 確 率 的 に 変 化 さ せ て い く こ と で ， そ の 分 布 か ら の サ ン プ ル を 作 り 出 す ア ル ゴ リ ズ ム で あ る[1]．物 理 学 で は ，動 的 な モ ン テ カ ル ロ 法 と 呼 ぶ ． MCMC の 応 用 分 野 に テ キ ス ト マ イ ニ ン グ の ト ピ ッ ク 抽 出 が あ る ． 大 量 の 文 書 か ら ト ピ ッ ク を 抽 出 す る た め に ， ト ピ ッ ク モ デ ル が 広 く 使 わ れ て い る が ， ト ピ ッ ク モ デ ル で は ， 文 書 を 出 現 単 語 の 多 重 集 合( バ ッ グ , bag)で 表 し ， 単 語 の 並 び に 関 す る 情 報 は 廃 し ， 文 書 を BOW(bag-of-words)で 表 現 す る [2]． ト ピ ッ ク モ デ ル は 文 書 の た め の 確 率 モ デ ル で あ る ． そ し て ， ト ピ ッ ク 分 布 に デ ィ リ ク レ 事 前 分 布 を 仮 定 し ， ベ イ ズ 推 論 を 行 う 手 法 を ， 潜 在 的 デ ィ リ ク レ 配 分 Latent Dirichlet Allocation (LDA)モ デ ル と 呼 ぶ [3]． こ の 数 学 的 考 え 方 を 可 視 化 に よ っ て 容 易 に 理 解 で き る よ う に す る こ と が 本 研 究 の 目 的 で あ る ．本 稿 で は ， ト ピ ッ ク モ デ ル を 単 純 化 し た 混 合 ユ ニ グ ラ ム モ デ ル を 使 う ． ト ピ ッ ク モ デ ル ， あ る い は ， 混 合 ユ ニ グ ラ ム モ デ ル を ベ イ ズ 推 定 す る 際 ， ギ ブ ズ ・ サ ン プ リ ン グ と い 1 https://cran.r-う MCMC の ア ル ゴ リ ズ ム が 広 く 使 わ れ て い る [4, 5]． ギ ブ ズ・サ ン プ リ ン グ で は ，近 似 す る の で は な い ．(例 え ば ，変 分 ベ イ ズ 法 は 近 似 で あ る)．真 の 事 後 分 布 か ら サ ン プ リ ン グ で き る の で ， 原 理 的 に は ， 無 限 個 の 事 例 を サ ン プ リ ン グ す る こ と に よ り 真 の 事 後 分 布 を 求 め る こ と が 可 能 と な る[2]． 我 々 は ， 日 本 銀 行 金 融 政 策 決 定 会 議 議 事 録 な ど の 文 書 に 対 し て ，LDA モ デ ル 上 で ギ ブ ズ・サ ン プ リ ン グ に よ っ て ベ イ ズ 推 論 を 行 う ， と い う 手 法 を 用 い て ， 多 く の ト ピ ッ ク 抽 出 を 行 っ て き た[6-9] ． こ の ツ ー ル は ， CRAN が 公 開 し て い る R の LDA パ ッ ケ ー ジ1を 使 っ て い る ． 一 般 に ベ イ ズ 推 論 に 言 え る こ と は ， ツ ー ル は 提 供 さ れ て い る の で 使 う こ と は 容 易 で あ る ． し か し ， そ の 数 学 的 プ ロ セ ス を 理 解 す る こ と が 難 し い ， と い う こ と で あ る ． そ の 問 題 を 解 決 し な い こ と に は ， 真 に ツ ー ル を 使 い こ な し て い る と は 言 え な い で あ ろ う ． そ こ で ， 我 々 は ト ピ ッ ク モ デ ル の 動 作 を 可 視 化 す る こ と で ， 従 来 理 解 で き な か っ た ユ ー ザ も ， そ の 数 学 的 プ ロ セ ス を 理 解 で き る よ う に な る こ と を 目 指 し て 可 視 化 ツ ー ル の 作 成 を 行 っ た ． 本 可 視 化 に よ っ て ，「 １ つ の 文 書 だ け を 除 い て ，そ れ 以 外 の 文 書 の 確 率 変 数 を 全 部 固 定 す る と ， そ の １ つ の 文 書 が ，(混 合 ユ ニ グ ラ ム モ デ ル で は )ど の ト ピ ッ ク に 属 す べ き か 分 か る 」 と い う ギ ブ ス ・ サ ン プ リ ン グ の 特 project.org/web/packages/lda/index.html長 が 容 易 に 理 解 可 能 と な る ． 次 節 で は ， 混 合 ユ ニ モ デ ル を 説 明 す る ． 第3 節 で は ， ギ ブ ズ ・ サ ン プ リ ン グ の ア ル ゴ リ ズ ム の 本 質 を 説 明 す る ． 第 4 節 で ， 我 々 が 開 発 し た 可 視 化 ツ ー ル を 説 明 す る ． 最 終 節 は ま と め で あ る ．
2. 混合 ユ ニ グラ ム モ デル
本 節 で は ， 混 合 ユ ニ グ ラ ム モ デ ル を 説 明 す る ．岩 田 は ，3 種 類 の 文 書 の 確 率 モ デ ル と し て ， ユ ニ グ ラ ム モ デ ル ，混 合 ユ ニ グ ラ ム モ デ ル ，ト ピ ッ ク モ デ ル の 順 に ，各 モ デ ル 上 で の ト ピ ッ ク 抽 出 ア ル ゴ リ ズ ム を 説 明 し て い る[2]．本 節 で は ，そ の モ デ ル 間 の 違 い を グ ラ フ ィ カ ル モ デ ル[3] に よ り 説 明 す る(図 1 参 照 )． 各 モ デ ル 等 の 詳 細 に つ い て は [2]を 参 照 し て 頂 き た い ． 直 線 的 に 描 い た グ ラ フ ィ カ ル モ デ ル[2]と 比 較 し て ， 図 １ の よ う に ， 単 語 系 と ト ピ ッ ク 系 で 分 け て レ イ ア ウ ト す る 方 が ， 直 観 的 理 解 を 得 や す く な る で あ ろ う ． 単 語 の 分 布 に 関 し て は ， ユ ニ グ ラ ム モ デ ル は ， 単 語 の 分 布 φ が N や D の 依 存 の 枠 の 外 に 出 て い る こ と か ら 分 か る よ う に ， 全 て の 文 書 の 全 て の 単 語 に 関 す る 分 布 は 一 つ し か な い ． 混 合 ユ ニ グ ラ ム モ デ ル で は ， ト ピ ッ ク ご と に 異 な る 単 語 分 布 を 持 つ ． ト ピ ッ ク モ デ ル も 同 様 に ， ト ピ ッ ク ご と に 異 な る 単 語 分 布 を も つ ． ト ピ ッ ク 分 布 に 関 し て は ， そ も そ も ユ ニ グ ラ ム モ デ ル に は ，ト ピ ッ ク の 概 念 は 無 い ．混 合 ユ ニ グ ラ ム で は ， 文 書 集 合 全 体 と し て 一 つ の ト ピ ッ ク 分 布 を も つ だ け で あ る(θ が 枠 外 に あ る )．こ れ に 対 し ，ト ピ ッ ク モ デ ル で は ， 文 書 ご と に 異 な る ト ピ ッ ク 分 布 を も つ こ と が 可 能 で あ る ． よ っ て ， 混 合 ユ ニ グ ラ ム モ デ ル で は ， 文 書 に よ る ト ピ ッ ク 分 布 の 違 い は な い の で ， 文 書 内 の 単 語 の 分 布 に よ っ て ， そ の 文 書 の ト ピ ッ ク 分 布 が 決 ま り ， 最 も 高 い 確 率 で あ る ト ピ ッ ク 番 号 が 選 ば れ る ． そ れ に 対 し ， ト ピ ッ ク モ デ ル で は ， １ つ の 文 書 が 複 数 の ト ピ ッ ク を 持 つ こ と が 可 能 で あ り ， 同 じ 語 で も 異 な る ト ピ ッ ク の も と に 生 成 さ れ る こ と が あ る ． こ の ト ピ ッ ク モ デ ル に よ る 文 書 集 合 の 生 成 に お け る 変 数 の 依 存 関 係 を 理 解 す る に は ， 岩 田 の 解 説 図 が 参 考 に な る[2]．理 由 は ，グ ラ フ ィ カ ル モ デ ル の 変 数 間 の 依 存 関 係 を 具 体 例 を 使 っ て 説 明 し て い る か ら で あ る ． し か し ， こ の 岩 田 に よ る 文 書 集 合 生 成 プ ロ セ ス の 可 視 化 と ， 本 論 文 の 目 指 す 可 視 化 は 目 的 が 異 な る ． 我 々 の 目 指 す も の は ， 生 成 プ ロ セ ス の 可 視 化 で は な く ， ギ ブ ス ・ サ ン プ リ ン グ の 数 学 プ ロ セ ス の 理 解 を 目 的 と す る 可 視 化 で あ る ． ま た ，3 次 元 ア ニ メ ー シ ョ ン を 使 っ て 対 話 的 に 学 習 者 が 操 作 可 能 と す る こ と で ， 理 解 を 深 め る い う 特 長 も あ る ． 図 1： ユ ニ グ ラ ム モ デ ル ， 混 合 ユ ニ グ ラ ム モ デ ル ， ト ピ ッ ク モ デ ル の 比 較3. ギブ ズ ・ サン プ リ ング の原 理
本 節 で は ， ギ ブ ズ ・ サ ン プ リ ン グ の 原 理 ， 及 び ア ル ゴ リ ズ ム の 特 長 を 説 明 す る ． 可 視 化 す る 際 に は ， そ の 可 視 化 に お い て 何 を 伝 え た い の か 方 針 を 決 め る こ と が 重 要 で あ る ． こ の 可 視 化 で 表 し た い こ と は ，「 調 べ た い 分 布 P(x)が ，条 件 付 き 確 率 に 基 づ く 置 き 換 え 操 作 で 決 ま る マ ル コ フ 連 鎖 の 不 変 分 布 に な っ て い る 」 と い う 考 え 方 で あ る ． 置 き 換 え に よ り 状 態 が x → x′ に 変 わ る と き の 数 学 プ ロ セ ス は 以 下 の よ う に 表 せ る[1]. 数 式 中 の ，色 づ け 及 び ，抜 け て い る i 番 目 の 要 素 の 前 後 に 間 隔 を 入 れ る な ど の 数 式 レ イ ア ウ ト の 工 夫 は ， 我 々 が 行 っ た ． こ の ほ う が 視 覚 的 に 理 解 し や す い と 考 え る か ら で あ る ． ∑ {𝑃(𝑥𝑖 𝑥𝑖´|𝑥1, ⋯ , 𝑥𝑖−1, 𝑥𝑖+1, ⋯ , 𝑥𝑁)× 𝑃(𝑥1, ⋯ , 𝑥𝑖−1, 𝑥𝑖, 𝑥𝑖+1, ⋯ , 𝑥𝑁)} = 𝑃(𝑥𝑖´|𝑥1, ⋯ , 𝑥𝑖−1, 𝑥𝑖+1, ⋯ , 𝑥𝑁) × 𝑃(𝑥1, ⋯ , 𝑥𝑖−1, 𝑥𝑖+1, ⋯ , 𝑥𝑁) = 𝑃(𝑥1, ⋯ , 𝑥𝑖−1,𝑥𝑖´, 𝑥𝑖+1, ⋯ , 𝑥𝑁) ギ ブ ス ・ サ ン プ リ ン グ の 本 質 は ， 上 式 の 1 行 目 か ら 2 行 目 の 変 換 で 表 さ れ る ． 周 囲 の 文 書 の 情 報 だ け を 用 い て ， つ ま り ， 当 該 の 𝑥𝑖の 情 報 は 使 わ ず に ， 計 算 が 行 わ れ る ， と い う こ と で あ る ． 数 学 の 概 念 を 教 え る 際 に ， ど の よ う な 数 式 表 現 を 選 択 す る か と い う こ と も 重 要 な 要 素 で あ る ． 同 じ 内 容 で も 数 式 表 現 に よ っ て 分 か り 易 い も の と そ う で な い も の が あ る が(例 え ば ， 中 心 極 限 定 理 な ど 定 理 の 書 き 方 は テ キ ス ト ご と に 様 々 に 異 な っ て い る)， 伊 庭 に よ る 上 記 の 数 式 表 現[1]は ギ ブ ズ ． サ ン プ リ ン グ の 特 長 を顕 著 に 分 か り 易 く 表 し て い る ． 我 々 は ， 可 視 化 ツ ー ル に よ っ て 「 定 常 状 態 で は ， 置 き 換 え 操 作 に よ り ， 状 態 は 移 動 す る が ， 状 態 が 分 布 す る 様 子 は 全 体 と し て 変 わ ら な い 」 こ と を ア ニ メ ー シ ョ ン に よ り 表 現 し た か っ た ． 十 分 な 回 数 置 き 換 え 操 作 を 行 っ た 後 ， 状 態 は 振 動 を 起 こ す ． 振 動 の 周 期 な ど は ケ ー ス ご と に 違 う と 考 え ら れ る ． ギ ブ ズ ・ サ ン プ リ ン グ に お い て 多 く の 場 合 ， 置 き 換 え 作 業 が 十 分 行 わ れ た か 否 か は 経 験 的 に 判 断 さ れ て い る ． 定 常 状 態 に な っ た こ と が 可 視 化 に よ っ て 判 別 可 能 か と い う テ ー マ に つ い て も 今 後 研 究 し て い き た い と 考 え る ． ギ ブ ズ・サ ン プ リ ン グ で 使 う 条 件 付 き 確 率 は 一 般 的 に 以 下 の よ う に 表 さ れ る が ， 𝑃(𝑥𝑖´|𝑥1, ⋯ , 𝑥𝑖−1, 𝑥𝑖+1, ⋯ , 𝑥𝑁) 混 合 ユ ニ グ ラ ム モ デ ル で は ， 𝑃(𝑧𝑑= 𝑘 |𝑊, 𝑧∖𝑑, 𝛼, 𝛽) と な る ．記 号 𝑧∖𝑑 は ，𝑧 か ら 𝑧𝑑 の み を 除 い た ト ピ ッ ク 番 号 の 集 合 を 表 す ．
4. ギブ ズ ・ サン プ リ ング の可 視 化 教材
本 節 で は ， 試 作 し た ギ ブ ズ ・ サ ン プ リ ン グ の 可 視 化 教 材 に つ い て 説 明 す る ． 本 可 視 化 ツ ー ル で は ， 文 書 モ デ ル と し て ， ト ピ ッ ク モ デ ル を 簡 単 化 し た 混 合 ユ ニ グ ラ ム モ デ ル を 使 っ て い る ． こ れ は ギ ブ ズ ・ サ ン プ リ ン グ の 特 長 を 分 か り 易 く 可 視 化 表 現 す る た め に は ， 複 雑 な ト ピ ッ ク モ デ ル よ り も ， 混 合 ユ ニ グ ラ ム モ デ ル の ほ う が 適 し て い る と 考 え た か ら で あ る ． ト ピ ッ ク モ デ ル で は ， 可 視 化 表 現 が 複 雑 に な っ て し ま い ， 本 質 が 見 え に く く な る か ら で あ る ． 可 視 化 ツ ー ル は Wolfram 社 の Mathematica を 使 っ て プ ロ グ ラ ム し た ．Mathematica の プ ロ グ ラ ム は ， CDF 形 式 に 変 換 す る こ と で ， フ リ ー ソ フ ト ウ ェ ア の Wolfram CDF player2で 操 作 可 能 で あ り ，WEB 公 開 する 場 合 に 利 便 性 が 高 い ． 混 合 ユ ニ グ ラ ム モ デ ル に よ る ギ ブ ズ ・ サ ン プ リ ン グ ア ル ゴ リ ズ ム は 岩 田 の 記 し た も の に 従 っ てMathematica で プ ロ グ ラ ム し た [2]． 図2 に 可 視 化 教 材 を 示 し た ． 図 2 に 示 し た ケ ー ス で は ， 文 書 数5， ト ピ ッ ク 数 は 7， 単 語 数 は 6 と し て あ る ． 最 も 強 調 し た い 点 は ， ギ ブ ズ ・ サ ン プ リ ン グ で 各 文 書 に 順 番 に 置 き 換 え を し て い る 点 で あ る ． そ の た め ， 同 心 円 状 に 各 文 書 を 配 置 し ， 順 番 を 示 す 矢 印 記 号 が ， 次 の 順 番 の 文 書 を 指 し 示 す よ う に デ ザ イ ン し た ． 垂 直 軸 方 向 に 白 い 球 が 配 置 さ れ て い る が ， 白 い 球 の 高 さ で そ の 文 書 の ト ピ ッ ク 番 号 を 示 し て あ る ． 置 き 換 え 直 後 の 文 書 の 球 は ， オ レ ン ジ 色 に し て あ る ． 円 の 中 心 か ら 伸 び て い る 半 径 の 直 線 上 に は ， そ の 2 https://www.wolfram.com/cdf-player/ 文 書 の ト ピ ッ ク 確 率 分 布 を 示 し た ． 円 の 中 心 か ら 外 側 に 向 か い ， ト ピ ッ ク#1,2,3,…,7 と 番 号 付 け し て あ る の で ， 図2 で は ， ト ピ ッ ク #3 が 最 大 確 率 と な っ て い る ． そ し て ， そ の ト ピ ッ ク 番 号 が#3 と な っ て い る ． そ し て ， そ の ト ピ ッ ク 番 号 は ， オ レ ン ジ 色 の 球 の 高 さ と し て 表 現 さ れ る ． ト ピ ッ ク 分 布 θ は ， 図2 中 左 下 の ヒ ス ト グ ラ ム で 表 し た ． 横 軸 が ト ピ ッ ク 番 号 で あ る ． そ の 右 横 の グ ラ フ にDOCUMENT ID ご と の ト ピ ッ ク 番 号 の 確 率 分 布 を 示 し た ． こ こ で は 当 該 の 文 書 に 関 す る 確 率 分 布 は ， 分 か り 易 い よ う に 折 れ 線 で つ な い で 表 示 し た ．
下 段 ， 右 端 の グ ラ フ はTOPIC ID～ WORD ID の 確 率 分 布 を 示 し て い る ． ギ ブ ズ ・ サ ン プ リ ン グ の ア ル ゴ リ ズ ム に お け る 単 語 分 布 の 計 算 で は ， ま ず ， 当 該 の 順 番 の 文 書 の も つ 単 語 を ， 全 体 の カ ウ ン ト 対 象 か ら は ず す ． そ し て ， そ の 文 書 の ト ピ ッ ク 番 号 が 決 ま る と ， そ の 文 書 は ， そ の ト ピ ッ ク 番 号 の 単 語 分 布 に 加 算 す る ． つ ま り ， 当 該 文 書 は ， 自 分 の 単 語 分 布 に 一 番 類 似 す る 単 語 分 布 パ タ ー ン を も つ ト ピ ッ ク を 探 し ， そ の ト ピ ッ ク の メ ン バ ー に な る ． 詳 細 に は ， 他 の 乗 数 と し て (𝐷𝑘∖𝑑+ 𝛼)が あ り ， 割 り 当 て ら れ た 文 書 数 が 多 い ト ピ ッ ク の 方 が ， 確 率 が 大 き く な る と い う 調 整 が 施 さ れ る ． ア ル ゴ リ ズ ム の 詳 細 は [2]を 参 照 し て 頂 き た い ． 本 可 視 化 ツ ー ル で は ， ギ ブ ズ ・ サ ン プ リ ン グ の 置 き 換 え 操 作 は ， 最 上 部 の ス ラ イ ダ ー を 動 か す こ と で 行 う ． こ の ス ラ イ ダ ー 操 作 は 逆 向 き の 動 き も 可 能 で あ る ． 本 可 視 化 ツ ー ル を デ ー タ 工 学 関 連 の 研 究 者 ， 学 生 に 見 て も ら っ た と こ ろ ， ア ル ゴ リ ズ ム の 理 解 が 容 易 に な る ， と 好 評 で あ っ た ． 従 来 の ギ ブ ズ ・ サ ン プ リ ン グ の 可 視 化 と し て は ，MacKey の 2 変 数 の 確 率 分 布 が 与 え ら れ て ，2 変 数 を 交 互 に 更 新 し あ う 図 [10]や ， Bishop や 伊 庭 ら に よ る 相 関 の あ る ガ ウ ス 分 布 に 従 う ２ つ の 変 数 を 交 互 に 更 新 す る ギ ブ ズ ・ サ ン プ リ ン グ の 図 解 な ど が 存 在 す る[3, 5]． し か し ， い ず れ も 2 変 数 で 交 互 に 置 き 換 え を す る だ け で あ る の で ， 実 際 の LDA モ デ ル を 使 っ た ギ ブ ズ ・ サ ン プ リ ン グ を 理 解 す る た め に は ， 十 分 で は な か っ た ． 今 回 ， 多 数 の 文 書 及 び ト ピ ッ ク ， 単 語 の 変 数 に 関 し て ギ ブ ズ ・ サ ン プ リ ン グ の 可 視 化 を 行 っ た の で ， ギ ブ ズ ・ サ ン プ リ ン グ の ア ル ゴ リ ズ ム を 学 習 す る 人 た ち に と っ て ， ア ル ゴ リ ズ ム の 見 通 し が よ く な っ た と 考 え る ． こ れ ら の 可 視 化 ツ ー ル は ギ ブ ズ ・ サ ン プ リ ン グ の 原 理 を 学 習 す る 際 ， 学 習 効 果 を 高 め る も の で あ る と 考 え る ．
5. まと め
混 合 ユ ニ グ ラ ム モ デ ル に お け る 確 率 分 布 関 数 及 び ギ ブ ス ・ サ ン プ リ ン グ の 可 視 化 ツ ー ル に つ い て 報 告 し た ．ト ピ ッ ク 抽 出 の 分 野 で LDA モ デ ル に よ る ギ ブ ズ・ サ ン プ リ ン グ ア ル ゴ リ ズ ム に よ る モ ン テ カ ル ロ 法 は 広 く 使 わ れ て い る が ， そ の 数 学 的 プ ロ セ ス の 意 味 を 理 解 す る こ と は 容 易 で は な い ．LDA モ デ ル に よ る ギ ブ ズ ・ サ ン プ リ ン グ ア ル ゴ リ ズ ム を 多 く の 学 生 に 理 解 し て も ら う こ と を 目 的 と し て 本 可 視 化 ツ ー ル を 作 っ た ． 可 視 化 の 表 現 を 分 か り 易 く す る た め に ， ト ピ ッ ク モ デ ル に 代 わ り ， そ の 簡 略 化 モ デ ル で あ る 混 合 ユ ニ モ デ ル を 用 い た ．こ の 可 視 化 に よ り ，「 １ つ の 文 書 だ け を 除 い て ， そ れ 以 外 の 文 書 の 確 率 変 数 を 全 部 固 定 す る と ， そ の １ つ の 文 書 が ，(混 合 ユ ニ グ ラ ム モ デ ル で は )ど の ト ピ ッ ク に 属 す べ き か 分 か る 」 と い う ギ ブ ス ・ サ ン プ リ ン グ の 特 長 が 容 易 に 理 解 で き る こ と を 目 的 と し て い る ． ギ ブ ズ ・ サ ン プ リ ン グ を 必 要 と し て 学 ん で い る 学 生 の 数 は 少 な い が ， 本 ツ ー ル を 見 て も ら い ， ヒ ア リ ン グ を 実 施 し た と こ ろ ，「 分 か り 易 い 」 と 好 評 で あ っ た ． こ う し た 統 計 に 係 る 定 理 や ア ル ゴ リ ズ ム の 説 明 に 可 視 化 ツ ー ル は 有 効 で あ る[11-15]．今 後 と も ， 機 械 学 習 で 普 及 し て い る ア ル ゴ リ ズ ム の 可 視 化 教 材 の 作 成 を 続 け て い き た い ．謝 辞
本 論 文 の 作 成 に あ た り 、 常 日 頃 か ら 有 意 義 な 助 言 を 頂 い て お り ま す 学 習 院 大 学 計 算 機 セ ン タ ー 久 保 山 哲 二 教 授 に 感 謝 し ま す ．How many TURNs 19
, ☆ ☆ ☆ ☆ ☆ 0.5 0.5 1.0 1.0 0.5 0.5 1.0 4, 4, TOPIC, 3 , , , 図2： 混 合 ユ ニ グ ラ ム モ デ ル に よ る ギ ブ ズ ・ サ ン プ リ ン グ の 可 視 化 ツ ー ル
参 考 文 献
[1] 伊 庭 幸 人, ベ イ ズ 統 計 と 統 計 物 理: 岩 波 書 店 , 2003.
[2] 岩 田 具 治, ト ピ ッ ク モ デ ル: 講 談 社 サ イ エ ン テ ィ フ ィ ク, 2015.
[3] C. M. Bishop, Pattern Recognition and Machine Learning: Springer, 2006.
[4] T. L. Griffiths, and M. Steyvers, “"Finding scientific topics,” Proceedings of the National Academy of Sciences, vol. 101 (Suppl. 1), pp. 5228–5235, 2004. [5] 伊 庭 幸 人, 種 村 正 美 , 大 森 裕 浩 , 和 合 肇 , 佐 藤 整 尚, and 高 橋 明 彦 , 計 算 統 計 II マ ル コ フ 連 鎖 モ ン テ カ ル ロ 法 と そ の 周 辺: 岩 波 書 店 , 2005.
[6] Y. Shirota, T. Hashimoto, and S. Suzuki, “Extraction of the Financial Policy Topics by Latent Dirichlet Allocation, ” Proc. of IEEE TENCON 2014, PID=493, 2014.
[7] Y. Shirota, T. Hashimoto, and T. Sakura, "Topic Extraction Analysis for Monetary Policy Minutes of Japan in 2014," Advances in Data Mining: Applications and Theoretical Aspects, Lecture Notes in Computer Science P. Perner, ed., pp. 141-152: Springer International Publishing, 2015.
[8] Y. Shirota, T. Kuboyama, T. Hashimoto, S. Aramvith, and T. Chauksuvanit, Study of Thailand People Reaction on SNS for the East Japan Great Earthquake - Comparion with Japanese People Reaction -, No. 59, Occasional papers of Research Institute for Oriental Cultures Gakushuin University, 2015 , ISSN 0919-6536. [9] Y. Shirota, T. Hashimoto, and S. Tamaki, “ MONETARY POLICY TOPIC EXTRACTION BY USING LDA － JAPANESE MONETARY POLICY OF THE SECOND ABE CABINET TERM－ ,” Proc. of IIAI International Congress on Advanced Applied Informatics 2015, 12-16 July, 2015, Okayama, Japan, pp. 8-13, 2015. [10] D. J. MacKay, Information Theory, Inference, and Learning Algorithms: Cambridge university press, 2003.
[11] Y. Shirota, and S. Suzuki, “Visualization of the Central Limit Theorem and 95 Percent Confidence Intervals,” Gakushuin Economics Papers, Vol.50, No. 3, 4, pp. 125-136, 2014.
[12] Y. Shirota, T. Hashimoto, and S. Suzuki, “Knowledge Visualization of Reasoning for Financial Mathematics with Statistical Theorems, ” Proc. of the DNIS (Databases in Networked Information Systems) 2014, LNCS 8381, Springer, Heidelberg,, pp. 132-143, 2014. [13] YukariShirota, T. Hashimoto, and S. Iitaka, 感 じ て 理 解 す る 数 学 入 門 "Introduction to Financial Mathematics" (e-Book written in Japanese) O'Reilley JAPAN, 2012.
[14] Y. Shirota, and B. Chakraborty, “Visual
Explanation of Mathematics in Latent Semantic Analysis,” Proc. of IIAI International Congress on Advanced Applied Informatics 2015, 12-16 July, 2015, Okayama, Japan, pp. 423-428, 2015.
[15] Y. Shirota, Y. Takahasi, N. Tanaka, and M. Morita, “Visually Do Statistics for Business Persons Visual Materials from Regression to Black-Sholes Model,” Proc. of VINCI 2015, ACM, 24-26 August, 2015, Tokyo, pp. 170-173, 2015.
