リアルタイムデータと蓄積データを対象としたシームレスなストリームOLAP分析

DEIM Forum 2016 G1-1

リアルタイムデータと蓄積データを

対象としたシームレスなストリーム OLAP 分析

大津 祐汰

*

Franck Gass

†

Salman Ahmed Shaikh

†

天笠 俊之

‡

北川 博之

‡ * 筑波大学システム情報学群情報科学類〒

305-8573

茨城県つくば市天王台

1-1-1

†,‡ 筑波大学計算科学研究センター〒

305-8577

茨城県つくば市天王台

1-1-1

‡ 筑波大学システム情報系情報工学域〒

305-8573

茨城県つくば市天王台

1-1-1

E-mail:

*

,

†

{o2, franck.gass, salman}@kde.cs.tsukuba.ac.jp,

‡

{amagasa, kitagawa}@cs.tsukuba.ac.jp

あらまし センサデータやログデータなど連続的に生成されるストリームデータの増加に伴い, リアルタイムにストリームデ ータを分析したい要望がある. これらストリームデータの OLAP 分析に関してはいくつかの先行研究が行われているが, メモリ 上に直近の一定期間のデータを保持することを前提としている. そのため, その期間以前のデータと直近の到着データを統合的 に分析対象とすることは出来ない. そこで本研究では, メモリ上の処理を主体としたストリーム OLAP システムと, ディスク上 のデータ格納を前提とする DBMS を用いた OLAP システムを組み合わせ, 過去から直近までの莫大なデータを対象とした OLAP 分析を可能とするシステムアーキテクチャと問合せ処理方式を提案する. また, 処理を効率化するために, 増分データに対し効 率的に更新可能なビューマテリアライゼーション手法, 時間次元における集約処理高速化手法, 効率的なムービングウインドウ 処理手法を提案する. キーワード OLAP 分析, ストリームデータ, リアルタイム, 統合

1. は じ め に

近 年 , セ ン サ デ ー タ や ロ グ デ ー タ , マ イ ク ロ ブ ロ グ な ど 際 限 な く , 連 続 的 に 生 成 さ れ , 配 信 さ れ る よ う な ス ト リ ー ム デ ー タ が 増 加 し て き て い る . そ の た め , そ れ ら の ス ト リ ー ム デ ー タ に 対 し て , よ り 高 い レ ベ ル の 分 析 を 行 い た い と い う ニ ー ズ が 増 加 し て い る . こ の よ う な デ ー タ の 分 析 の 代 表 例 と し て , デ ー タ を 多 次 元 の デ ー タ キ ュ ー ブ と し て 捉 え て 分 析 を 行 う 多 次 元 デ ー タ 分 析 (OLAP 分 析 )[1]が あ る . ス ト リ ー ム デ ー タ に 対 す る OLAP 分 析 を 実 現 す る 課 題 を 解 決 す る た め の 先 行 研 究 と し て , 中 挟 ら や J.Han ら は ス ト リ ー ム デ ー タ の OLAP 分 析 (ス ト リ ー ム OLAP)の た め の シ ス テ ム を 提 案 し た [2][3][4]. こ れ ら の 研 究 で は ス ト リ ー ム デ ー タ を OLAP 処 理 す る た め , デ ー タ を リ ア ル タ イ ム に 分 析 す る 必 要 が あ る . そ の た め , デ ー タ を メ モ リ に 一 時 的 に 保 存 し , メ モ リ に 保 持 し て い る デ ー タ を 対 象 に 分 析 を 行 っ て い る . こ の た め , デ ー タ の 分 析 対 象 が 直 近 の 一 定 期 間 に 到 着 し た デ ー タ に 限 ら れ て し ま う . こ の 問 題 に 対 す る 解 決 方 法 と し て , 上 記 の よ う な メ モ リ 上 の 処 理 を 主 体 と し た ス ト リ ー ム OLAP シ ス テ ム と DBMS を 用 い た 蓄 積 デ ー タ を 対 象 と し た OLAP シ ス テ ム を 併 用 す る こ と が 考 え ら れ る . し か し , 両 シ ス テ ム の 単 純 な 併 用 で は , デ ー タ の 分 析 対 象 を ユ ー ザ が 分 析 要 求 の 度 に 明 示 的 に 指 定 す る 必 要 が あ る . そ こ で 本 研 究 で は , メ モ リ 上 の 処 理 を 主 体 と し た ス ト リ ー ム OLAP シ ス テ ム (メ モ リ ベ ー ス OLAP シ ス テ ム )と デ ィ ス ク 上 の デ ー タ 格 納 を 前 提 と す る DBMS を 用 い た OLAP シ ス テ ム (DBMS ベ ー ス OLAP シ ス テ ム ) を 組 み 合 わ せ つ つ , ユ ー ザ が 利 用 す る ク ラ イ ア ン ト か ら は 過 去 か ら 直 近 の ス ト リ ー ム デ ー タ ま で シ ー ム レ ス に OLAP 分 析 が 可 能 な シ ス テ ム ア ー キ テ ク チ ャ と 問 合 せ 処 理 方 式 を 示 す . 更 に OLAP 分 析 の 効 率 化 を 図 る 手 法 と し て , 増 分 デ ー タ に 対 し 効 率 的 に 更 新 可 能 な ビ ュ ー マ テ リ ア ラ イ ゼ ー シ ョ ン 手 法 , 時 間 次 元 に お け る 集 約 処 理 高 速 化 手 法 , 効 率 的 な ム ー ビ ン グ ウ イ ン ド ウ 処 理 手 法 を 提 案 す る . 本 論 文 の 2 章 で は , 本 研 究 の 前 提 と な る OLAP 分 析 や ス ト リ ー ム OLAP 分 析 の 基 本 事 項 に つ い て 説 明 す る . 3 章 で は , ス ト リ ー ム デ ー タ の OLAP 分 析 に 関 し て い く つ か の 先 行 研 究 を 挙 げ , 本 研 究 の 位 置 付 け を 示 す . 4 章 で は 本 研 究 で 提 案 す る シ ス テ ム ア ー キ テ ク チ ャ に つ い て 述 べ , 5 章 で は 問 合 せ 処 理 方 式 に つ い て 示 す . 6 章 で は 本 シ ス テ ム を 利 用 す る 上 で , OLAP 処 理 の 効 率 化 を 可 能 と す る 提 案 手 法 を 示 す . 7 章 で は 評 価 実 験 を 示 し , 8 章 で 本 研 究 に つ い て の ま と め と 課 題 を 述 べ る .

2. 基 本 事 項

2.1. OLAP 分 析

本 研 究 で は , OLAP 分 析 [1]を 用 い て デ ー タ を 分 析 す る た め , ま ず は 静 的 な デ ー タ に 対 す る OLAP に つ い て の 基 本 事 項 を 説 明 す る . OLAP 分 析 は , デ ー タ を 多 次 元 デ ー タ モ デ ル と し て 扱 う . OLAP 分 析 が 対 象 と す る デ ー タ の 次 元 に は 階 層 が 存 在 し , ど の 階 層 で 集 約 演 算 を す る か に よ っ て 異 な る 粒 度 の 分 析 を 行 う こ と が 出 来 る .

OLAP 分 析 は , そ の 前 処 理 と し て , 分 析 の 軸 と な る 複 数 の 次 元 表 と , 分 析 対 象 の デ ー タ を 持 つ 事 実 表 を 用 意 し , ス タ ー ス キ ー マ を 構 築 す る . こ の ス キ ー マ の 情 報 か ら , デ ー タ キ ュ ー ブ と 呼 ば れ る 多 次 元 デ ー タ モ デ ル を 構 築 す る . デ ー タ キ ュ ー ブ に は , 分 析 対 象 と な る 数 値 の 集 合 で あ る メ ジ ャ ー と , そ れ に 属 す る 複 数 の 軸 で 構 成 さ れ る . ユ ー ザ は , こ の 構 築 さ れ た デ ー タ キ ュ ー ブ に 対 し て , デ ー タ を よ り 詳 細 な 粒 度 で 集 約 し 結 果 を 求 め る ド リ ル ダ ウ ン や , 逆 に デ ー タ を 粗 い 粒 度 で 集 約 し 結 果 を 求 め る ロ ー ル ア ッ プ な ど の OLAP 操 作 を 対 話 的 に 行 う こ と が 出 来 る . こ の よ う な OLAP エ ン ジ ン の 代 表 例 と し て Mondrian[5]な ど が あ る . 本 論 文 で は , OLAP 分 析 の 例 と し て TPC-H ベ ン チ マ ー ク に 準 ず る デ ー タ [6]を 用 い る . こ こ で は , customer, part, supplier の 3 つ を 軸 と し , あ る 顧 客 が 発 注 し た 売 上 情 報 で あ る lineorder を 表 す デ ー タ キ ュ ー ブ を 構 築 す る こ と を 考 え る . 事 実 表 と 次 元 表 の 関 係 は 図 1 の よ う な ス タ ー ス キ ー マ で 示 す こ と が 出 来 る . 本 例 で は , 次 元 表 が customer, part, supplier と な り , 事 実 表 が lineorder と な る . ま た , lineorder の 要 素 price が メ ジ ャ ー と な る . こ の ス タ ー ス キ ー マ で 示 す 表 か ら , 図 2 の よ う な デ ー タ キ ュ ー ブ を 構 築 し , こ の デ ー タ キ ュ ー ブ に 対 し て ド リ ル ダ ウ ン や ロ ー ル ア ッ プ と い っ た OLAP 操 作 を 行 う . 図 1 ス タ ー ス キ ー マ 図 2 デ ー タ キ ュ ー ブ ま た OLAP 処 理 で は , 分 析 対 象 の デ ー タ の 次 元 や 次 元 内 の 階 層 の 全 て の 組 み 合 わ せ を 頂 点 と す る lattice 構 造 を 考 え る . こ の lattice の 頂 点 に あ た る 集 約 問 合 せ (OLAP 問 合 せ )の 結 果 を ユ ー ザ の 要 求 に 応 じ て 出 力 す る こ と で , OLAP 処 理 を 実 現 す る . lattice の 構 築 方 法 に つ い て , TPC-H の デ ー タ を 用 い て 説 明 す る . 図 3 に 示 す よ う に , 次 元 が part, customer, time で , part の 階 層 が pname-none 等 に な っ て い る と す る . root に あ た る 頂 点 を 最 も 細 か い 粒 度 で あ る (pname,cname,minute) と し , こ れ ら の 各 次 元 の 階 層 の 組 み 合 わ せ (pname,minute), (cname,minute), (minute) 等 を 追 加 す る と 図 3 の よ う な lattice が 構 築 さ れ る . 図 3 次 元 の 階 層 構 造 と そ れ ら を 組 み 合 わ せ た lattice 構 造

2.2. ストリームデータの OLAP 分 析

本 研 究 で は ス ト リ ー ム デ ー タ に 対 す る OLAP 分 析 を 行 う た め , こ こ で は そ の 基 本 事 項 に つ い て 説 明 す る . ス ト リ ー ム デ ー タ は , 静 的 な デ ー タ と 異 な り 連 続 的 に 無 限 に 流 れ て く る . そ の た め , 時 間 次 元 に つ い て , OLAP の 対 象 と な る 時 間 幅 が 無 限 長 に な る . し か し , 実 際 は 問 合 せ の 対 象 を 無 限 長 の 時 間 幅 と す る こ と は 不 可 能 で あ る . そ こ で ス ト リ ー ム デ ー タ を OLAP 分 析 す る た め , 先 行 研 究 [2][3] に 従 い , ユ ー ザ が 興 味 の あ る , 問 合 せ の 対 象 と し た い 時 間 区 間 (Interval of Interest (IoI)) を 設 定 し , そ れ に よ っ て 構 築 さ れ る 多 次 元 デ ー タ キ ュ ー ブ を OLAP 分 析 の 対 象 と す る . ス ト リ ー ム デ ー タ に 対 し て 分 析 を 行 う 際 に , ム ー ビ ン グ ウ イ ン ド ウ を 使 用 す る こ と が 考 え ら れ る . ム ー ビ ン グ ウ イ ン ド ウ を 用 い る ケ ー ス は , IoI を 現 在 か ら 一 定 時 間 前 ま で と 設 定 し た 場 合 に 相 当 す る . 図 5 に 示 す 通 り , 分 析 対 象 と す る IoI が , 分 析 時 (now)か ら あ る 期 間 (x)前 ま で と な り , デ ー タ が 新 し く 生 成 さ れ た 際 に , デ ー タ の 分 析 対 象 を 移 動 し , 新 し く 生 成 さ れ た デ ー タ が ウ イ ン ド ウ に 入 り , 以 前 ウ イ ン ド ウ に 含 ま れ て い た も の が ウ イ ン ド ウ 外 に 移 動 す る こ と で , 時 間 経 過 に よ っ て ウ イ ン ド ウ 内 の デ ー タ が 遷 移 し , ウ イ ン ド ウ 内 に 該 当 す る 部 分 の み が 分 析 の 対 象 と な る . 図 4 IoI の 定 義

図 5 ム ー ビ ン グ ウ イ ン ド ウ の 動 作

3. 関 連 研 究

リ ア ル タ イ ム に 生 成 さ れ る ス ト リ ー ム デ ー タ に 関 す る OLAP 分 析 を 行 う 研 究 は 以 下 に 述 べ る よ う な も の が あ る . J. Han ら は , ス ト リ ー ム デ ー タ の 多 次 元 分 析 を 容 易 に す る Stream Cube と 呼 ば れ る ア ー キ テ ク チ ャ を 提 案 し て い る [4]. こ の 手 法 で は , ス ト リ ー ム デ ー タ に 対 し , 実 体 化 す る OLAP 問 合 せ を 減 ら し て 空 間 コ ス ト を 削 減 す る た め に , 過 去 の デ ー タ ほ ど 粗 い 粒 度 で , 新 し い デ ー タ ほ ど 細 か い 粒 度 で 集 約 す る . し か し , こ の 手 法 で は 時 間 次 元 の 粒 度 に 関 し て 融 通 が 利 か ず , 過 去 の デ ー タ に 対 し て 細 か い 粒 度 で OLAP 問 合 せ が 出 来 な い な ど の 問 題 が あ る . 我 々 の 先 行 研 究 で は , Stream OLAP シ ス テ ム と 呼 ば れ る , ス ト リ ー ム 処 理 エ ン ジ ン (SPE) と ス ト リ ー ム OLAP エ ン ジ ン を 連 携 さ せ た シ ス テ ム ア ー キ テ ク チ ャ を 提 案 し て い る [2][3]. SPE と は ス ト リ ー ム デ ー タ を 分 析 対 象 と し た エ ン ジ ン の こ と で あ り , STREAM[7] や uCosminexus[8] が あ る . ス ト リ ー ム OLAP エ ン ジ ン は SPE に お い て 生 成 さ れ た 集 約 結 果 を , シ ス テ ム に 指 定 し た 時 間 分 (IoI)だ け シ ス テ ム の メ モ リ 領 域 に 保 存 す る . そ の 後 , ユ ー ザ か ら OLAP 問 合 せ が 行 わ れ , メ モ リ 内 に 保 持 し て あ る デ ー タ か ら IoI 分 デ ー タ を 集 約 し た 結 果 を ユ ー ザ に 提 供 す る . こ の よ う に , リ ア ル タ イ ム な ス ト リ ー ム デ ー タ に 対 し て , IoI 分 の 時 間 範 囲 に 対 し て 連 続 的 に 集 約 演 算 を 行 う こ と で , 際 限 な く 生 成 さ れ る ス ト リ ー ム デ ー タ に 対 し て ム ー ビ ン グ ウ イ ン ド ウ で OLAP 分 析 を 実 現 し て い る . し か し , 中 挟 ら の 研 究 で は , リ ア ル タ イ ム な デ ー タ を 処 理 す る こ と に 特 化 し て お り , 直 近 の 一 定 期 間 の デ ー タ の み を 分 析 対 象 と し て い る .

4. 提 案 シ ス テ ム ア ー キ テ ク チ ャ

4.1. システムアーキテクチャ概 要

本 研 究 で は , メ モ リ ベ ー ス OLAP シ ス テ ム と , DBMS ベ ー ス OLAP シ ス テ ム を 組 み 合 わ せ , ユ ー ザ が 利 用 す る ク ラ イ ア ン ト か ら は 過 去 か ら 直 近 の ス ト リ ー ム デ ー タ ま で を シ ー ム レ ス に OLAP 分 析 す る シ ス テ ム ア ー キ テ ク チ ャ を 提 案 す る . 具 体 的 に は , 図 6 に 示 す よ う に ユ ー ザ か ら の OLAP 問 合 せ が あ っ た 際 に , メ モ リ ベ ー ス OLAP シ ス テ ム と DBMS ベ ー ス OLAP シ ス テ ム を 対 象 に , メ デ ィ エ ー タ が 要 求 さ れ て い る デ ー タ を 保 持 す る シ ス テ ム に 振 分 け て ア ク セ ス す る . そ の 後 , シ ス テ ム か ら 得 た そ れ ぞ れ の デ ー タ を メ デ ィ エ ー タ 上 で 統 合 す る . こ れ に よ り , 実 際 は 異 な る シ ス テ ム の デ ー タ ソ ー ス か ら デ ー タ を 利 用 し て い る が , ユ ー ザ は 仮 想 的 に 1 つ の デ ー タ に 対 し て OLAP 分 析 を 行 う こ と が 出 来 る . 図 6 シ ス テ ム ア ー キ テ ク チ ャ

4.2. システムコンポーネント

本 シ ス テ ム ア ー キ テ ク チ ャ は , 図 6 に 示 し た 通 り メ モ リ ベ ー ス OLAP シ ス テ ム と DBMS ベ ー ス OLAP シ ス テ ム , メ デ ィ エ ー タ と ク ラ イ ア ン ト の 4 つ の コ ン ポ ー ネ ン ト で 構 成 さ れ て い る . 4.2.1. メ モ リ ベ ー ス OLAP シ ス テ ム メ モ リ ベ ー ス OLAP シ ス テ ム は , 前 述 し た 我 々 の 先 行 研 究 で あ る 中 挟 ら の 研 究 で 提 案 さ れ た シ ス テ ム に 相 当 す る . メ モ リ ベ ー ス OLAP シ ス テ ム は , SPE を 利 用 し て 集 約 結 果 を 問 合 せ る CQL[9]を 登 録 し , ス ト リ ー ム デ ー タ に 対 し て 連 続 的 に 問 合 せ を 行 う こ と で リ ア ル タ イ ム な OLAP 分 析 を 実 現 す る . ス ト リ ー ム デ ー タ を OLAP 分 析 す る 際 に は , リ ア ル タ イ ム に OLAP 問 合 せ を 行 う た め , 集 約 処 理 し た デ ー タ を メ モ リ 上 に 保 持 す る 必 要 が あ る . そ こ で , 本 シ ス テ ム で は , デ ー タ を メ モ リ 上 に 保 持 す る 時 間 区 間 (Interval of Caching (IoC)) を 設 定 し , 集 約 し た デ ー タ が メ モ リ に 保 持 さ れ る 期 間 を 定 め る . 従 っ て , 本 シ ス テ ム の メ モ リ 上 に は , 各 次 元 が あ ら ゆ る 粒 度 で 集 約 さ れ た デ ー タ が IoC 期 間 分 保 持 さ れ て い る .

4.2.2. DBMS ベ ー ス OLAP シ ス テ ム DBMS ベ ー ス OLAP シ ス テ ム は , デ ー タ ベ ー ス に 蓄 積 さ れ た デ ー タ を 対 象 と し た OLAP シ ス テ ム で あ る . 本 シ ス テ ム は , メ モ リ ベ ー ス OLAP シ ス テ ム で 処 理 す る ス ト リ ー ム デ ー タ と 同 一 の も の を , 別 の プ ロ セ ス で 一 定 期 間 毎 に バ ッ チ 処 理 的 に デ ー タ ベ ー ス に 格 納 す る . 従 っ て , 本 シ ス テ ム の デ ー タ ベ ー ス 上 に は , 全 て の 生 成 さ れ た ス ト リ ー ム デ ー タ が 保 存 さ れ て い る . 4.2.3. メ デ ィ エ ー タ メ デ ィ エ ー タ で は , ユ ー ザ か ら OLAP 問 合 せ の 際 に 指 定 さ れ る IoI を も と に デ ー タ の 分 析 範 囲 を 定 め , メ モ リ ベ ー ス OLAP シ ス テ ム に お け る IoC を も と に , 分 析 対 象 と な る OLAP シ ス テ ム を 振 り 分 け る . ま た , 各 シ ス テ ム か ら 得 た OLAP 分 析 結 果 を 統 合 し , そ の 分 析 結 果 を メ デ ィ エ ー タ 上 の メ モ リ に 保 持 す る . 従 っ て , メ デ ィ エ ー タ の メ モ リ 上 に は , ユ ー ザ が 指 定 し た , あ る 次 元 の 粒 度 で 集 約 さ れ た デ ー タ が IoI 期 間 分 だ け 保 持 さ れ て い る . 4.2.4. ク ラ イ ア ン ト ク ラ イ ア ン ト で は , OLAP 問 合 せ と し て , ユ ー ザ か ら 指 定 さ れ た 次 元 と 次 元 階 層 , IoI を 入 力 と し , OLAP シ ス テ ム か ら 得 た 結 果 を グ ラ フ や テ ー ブ ル 形 式 に 変 換 し ユ ー ザ に 提 供 す る . ま た , ク ラ イ ア ン ト 上 で 時 間 次 元 の 粒 度 を ユ ー ザ が 独 自 に 指 定 す る こ と が 出 来 る た め , 柔 軟 性 の 高 い OLAP 分 析 を 行 う こ と が 出 来 る .

5. 問 合 せ 処 理 方 式

本 シ ス テ ム ア ー キ テ ク チ ャ を 利 用 す る こ と で , ユ ー ザ が OLAP 問 合 せ を 行 う 際 に , メ モ リ ベ ー ス OLAP シ ス テ ム と DBMS ベ ー ス OLAP シ ス テ ム に 対 し て , デ ー タ の 分 析 対 象 を 意 識 す る こ と な く シ ー ム レ ス に OLAP 分 析 が 可 能 と な る . こ こ で は , ユ ー ザ か ら の OLAP 問 合 せ の 際 に , ど の よ う な デ ー タ ソ ー ス に ア ク セ ス す る 必 要 が あ る か を 体 系 的 に 示 す . 更 に , そ れ ら の ケ ー ス に つ い て , 6 章 で 提 案 す る 手 法 を 用 い る こ と で 処 理 の 効 率 化 が 図 れ る こ と を 示 す . 以 下 に , 問 合 せ 処 理 の ケ ー ス 分 け を 説 明 す る . A. IoI と IoC の 関 係 に 対 す る ケ ー ス 分 け 本 シ ス テ ム ア ー キ テ ク チ ャ で は , ユ ー ザ が OLAP 問 合 せ の 際 に 指 定 す る デ ー タ の 分 析 期 間 IoI と , シ ス テ ム 側 で 設 定 さ れ た デ ー タ を メ モ リ に 保 持 す る 期 間 IoC の 関 係 に よ り , 処 理 対 象 と な る OLAP シ ス テ ム が 決 ま る . 以 下 に , 図 7 を 用 い て ケ ー ス 分 け を 説 明 す る .

A1. IoI ⊆ IoC

こ こ で は 図 7(a)に 示 す よ う に , ユ ー ザ か ら の OLAP 問 合 せ で 要 求 さ れ る デ ー タ の IoI が , IoC の 範 囲 内 と な っ て い る ケ ー ス を 示 す . IoI が IoC の 範 囲 内 の た め , 要 求 さ れ る デ ー タ は メ モ リ ベ ー ス OLAP シ ス テ ム の メ モ リ 上 に 保 持 さ れ て い る . 従 っ て , メ デ ィ エ ー タ は メ モ リ ベ ー ス OLAP シ ス テ ム か ら 問 合 せ 処 理 結 果 を 生 成 す る た め の デ ー タ を 取 得 す る .

A2. IoI ∩ IoC = φ

こ こ で は 図 7(b)に 示 す よ う に , ユ ー ザ か ら の OLAP 問 合 せ で 要 求 さ れ る デ ー タ の IoI が , IoC の 範 囲 外 と な っ て い る ケ ー ス を 示 す . IoI が IoC の 範 囲 外 の た め , 要 求 さ れ る デ ー タ は DBMS ベ ー ス OLAP シ ス テ ム 上 に 保 存 さ れ て い る . 従 っ て , メ デ ィ エ ー タ は DBMS ベ ー ス OLAP シ ス テ ム か ら 問 合 せ 処 理 結 果 を 生 成 す る た め の デ ー タ を 取 得 す る . A3. そ れ 以 外 こ こ で は 図 7(c)に 示 す よ う に , ユ ー ザ か ら の OLAP 問 合 せ で 要 求 さ れ る デ ー タ の IoI が , IoC 範 囲 内 の デ ー タ と , IoC 範 囲 外 の デ ー タ 両 方 を 分 析 対 象 と す る ケ ー ス を 示 す . IoC の 範 囲 内 に 含 ま れ る デ ー タ は メ モ リ ベ ー ス OLAP シ ス テ ム の メ モ リ 上 に 保 持 さ れ て お り , IoC の 範 囲 外 に 含 ま れ る デ ー タ は DBMS ベ ー ス OLAP シ ス テ ム 上 に 保 持 さ れ て い る . 従 っ て , メ デ ィ エ ー タ は IoC 範 囲 内 の デ ー タ に つ い て は メ モ リ ベ ー ス OLAP シ ス テ ム , IoC 範 囲 外 の デ ー タ に つ い て は DBMS ベ ー ス OLAP シ ス テ ム か ら 取 得 す る . B. ム ー ビ ン グ ウ ィ ン ド ウ か 否 か に よ る ケ ー ス 分 け 本 シ ス テ ム ア ー キ テ ク チ ャ は , ス ト リ ー ム デ ー タ を リ ア ル タ イ ム に 分 析 す る た め , ム ー ビ ン グ ウ イ ン ド ウ を 活 用 し た 処 理 が 可 能 で あ る . 以 下 に , 図 8 を 用 い て ム ー ビ ン グ ウ イ ン ド ウ に よ る ケ ー ス 分 け を 説 明 す る . B1. ム ー ビ ン グ ウ イ ン ド ウ で な い 場 合 図 8(a)に 示 す よ う に , デ ー タ の 分 析 対 象 に ム ー ビ ン グ ウ イ ン ド ウ を 活 用 し な い こ と を 意 味 す る . こ れ は , IoI の 分 析 対 象 が Now か ら で は な く , ユ ー ザ に よ っ て 指 定 さ れ た 時 の 状 態 を 示 す . 分 析 対 象 と す る 期 間 が 指 定 さ れ て い る た め , 問 合 せ 結 果 を 更 新 す る 必 要 は な い . B2. ム ー ビ ン グ ウ イ ン ド ウ の 場 合 図 8(b)に 示 す よ う に , デ ー タ の 分 析 対 象 に ム ー ビ ン グ ウ イ ン ド ウ を 活 用 す る こ と を 意 味 す る . こ れ は , IoI の 分 析 対 象 が 常 に Now か ら の デ ー タ を 指 定 し て お り , Now か ら IoI の 期 間 分 を 分 析 対 象 と し て い る . 従 っ て ,

時 間 の 経 過 に 合 わ せ て メ デ ィ エ ー タ は 逐 次 デ ー タ を 取 得 す る 必 要 が あ る . 図 7 IoI と IoC の 関 係 に お け る ケ ー ス 分 け 図 8 ム ー ビ ン グ ウ イ ン ド ウ か 否 か に よ る ケ ー ス 分 け

6. 問 合 せ 処 理 の 効 率 化

デ ー タ ソ ー ス に ア ク セ ス す る 方 法 は , IoI の 範 囲 に よ り 図 7(a)(b)(c)の 3 つ が 考 え ら れ , IoI の 分 析 対 象 が Now を 含 む か , そ う で な い か で ム ー ビ ン グ ウ イ ン ド ウ を 活 用 す る か が 決 定 さ れ , 図 8(a)(b)の 2 ケ ー ス が 表 現 さ れ る . そ れ ら の ケ ー ス を 組 み 合 わ せ る と 全 部 で 6 ケ ー ス あ る が , IoI の 分 析 対 象 が 常 に Now か ら の デ ー タ を 指 定 し て い る 場 合 で , IoI が IoC の 範 囲 外 と な る こ と は あ り え な い た め , 実 際 に 考 え ら れ る デ ー タ ア ク セ ス の ケ ー ス は 以 下 に 示 す 5 ケ ー ス と な る . ① A1 か つ B1, ② A2 か つ B1, ③ A3 か つ B1, ④ A1 か つ B2, ⑤ A3 か つ B2. こ こ で 上 記 に 挙 げ た こ れ ら の ア ク セ ス ケ ー ス に 対 し て , 本 稿 で 提 案 す る 手 法 を 適 用 す る . は じ め に ケ ー ス ② ,③ , ⑤ に つ い て , こ れ ら の ケ ー ス で は , DBMS ベ ー ス OLAP シ ス テ ム 上 の デ ィ ス ク に 対 し て デ ー タ ア ク セ ス を 行 う た め , ス ト リ ー ム デ ー タ を マ テ リ ア ラ イ ズ し て 保 存 す る 手 法 と し て , 増 分 デ ー タ に 対 し 効 率 的 に 更 新 可 能 な ビ ュ ー マ テ リ ア ラ イ ゼ ー シ ョ ン 手 法 に よ っ て 高 速 化 を 図 る . 次 に 全 ケ ー ス に つ い て , 時 間 次 元 の 集 約 の 際 に , 粒 度 の 細 か い も の か ら , 粗 い も の を 算 出 す る こ と で , 時 間 次 元 を 変 更 す る 際 に 再 度 デ ー タ ア ク セ ス し な い , 時 間 次 元 に お け る 集 約 の 高 速 化 手 法 を 適 用 す る こ と で , 集 約 処 理 時 の 処 理 時 間 を 短 縮 す る こ と が 出 来 る . 更 に ケ ー ス ⑤ に つ い て は , DBMS ベ ー ス OLAP シ ス テ ム に デ ー タ ア ク セ ス し , ム ー ビ ン グ ウ イ ン ド ウ を 活 用 す る た め , 効 率 的 な ム ー ビ ン グ ウ イ ン ド ウ 処 理 手 法 を 提 案 し , デ ー タ ア ク セ ス の 効 率 化 を 図 る . 以 下 に 各 提 案 手 法 に つ い て そ れ ぞ れ 説 明 す る .

6.1. 増 分 データに対 し効 率 的 に更 新 可 能 な

ビューマテリアライゼーション手 法

本 シ ス テ ム ア ー キ テ ク チ ャ で は , IoC 範 囲 外 の デ ー タ に 対 し て OLAP 問 合 せ が 行 わ れ た 場 合 , DBMS ベ ー ス OLAP シ ス テ ム に 対 し て デ ー タ ア ク セ ス を 行 う . そ の た め , 大 規 模 な デ ー タ ソ ー ス に ア ク セ ス す る 必 要 が あ り , デ ー タ を 取 得 す る 際 に 非 常 に 大 き な 処 理 時 間 が 必 要 と な る と い っ た 問 題 が あ る . こ こ で は , 上 記 の 問 題 に 対 し て IoC 範 囲 内 の デ ー タ が 更 新 さ れ る タ イ ミ ン グ で , 更 新 対 象 と な っ た 増 分 デ ー タ に 対 し て の み , マ テ リ ア ラ イ ゼ ー シ ョ ン を 行 い マ テ リ ア ラ イ ズ ド ビ ュ ー と し て デ ー タ ベ ー ス に 保 存 す る と い っ た 提 案 手 法 で 解 決 す る . こ れ に よ り , デ ー タ ア ク セ ス が 行 わ れ る 度 に , デ ー タ を 集 約 す る 必 要 が な く な り , す で に 集 約 済 み の 実 体 化 さ れ た ビ ュ ー に ア ク セ ス す る た め , 非 常 に 高 速 な 処 理 が 期 待 で き る . ま た 本 提 案 手 法 で は , マ テ リ ア ラ イ ゼ ー シ ョ ン さ れ た デ ー タ の 保 存 期 間 は シ ス テ ム 側 で 設 定 し , シ ス テ ム に ア ク セ ス す る 際 の IoI は そ の 保 存 期 間 内 か ら 選 択 で き る . ま た 問 題 と し て , マ テ リ ア ラ イ ズ ド ビ ュ ー の 更 新 が 考 え ら れ る . デ ー タ ベ ー ス に 新 し く デ ー タ が 格 納 さ れ る 度 に ビ ュ ー を 更 新 す る 必 要 が あ る . 本 手 法 で は , IoC 範 囲 内 の デ ー タ に 関 し て は , メ モ リ ベ ー ス OLAP シ ス テ ム で 対 応 す る た め , IoC 範 囲 内 の デ ー タ が 更 新 さ れ , デ ー タ が IoC 範 囲 外 と な る 度 に , マ テ リ ア ラ イ ズ ド ビ ュ ー の 更 新 を 行 う . マ テ リ ア ラ イ ズ ド ビ ュ ー の 更 新 は DBMS の 持 つ 機 能 を そ の ま ま 用 い て 行 う こ と も 可 能 で あ る が , 本 研 究 で は 独 自 の 更 新 機 能 を 用 意 す る . こ れ は , 本 シ ス テ ム で は ス ト リ ー ム デ ー タ が デ ー タ ベ ー ス に 蓄 積 さ れ る ア ペ ン ド ベ ー ス の 処 理 に 限 ら れ る た め , 新 し く 追 加 さ れ た デ ー タ の み を マ テ リ ア ラ イ ゼ ー シ ョ ン の 対 象 と す る 独 自 の 更 新 機 能 を 用 意 す る 方 が 高 速 で あ る た め で あ る .

6.2. 時 間 次 元 における集 約 処 理 の高 速 化 手 法

本 シ ス テ ム ア ー キ テ ク チ ャ で は , メ モ リ ベ ー ス OLAP シ ス テ ム と DBMS ベ ー ス OLAP シ ス テ ム を 併 用 し , 問 合 せ 処 理 方 式 を 適 用 す る こ と で , 過 去 か ら 直 近 ま で の ス ト リ ー ム デ ー タ を 時 間 次 元 の 粒 度 を 指 定 し て , 集 約 す る こ と が で き る . し か し , 時 間 次 元 の 粒 度 が 切 り 替 わ る 度 に , 分 析 対 象 と な る デ ー タ ソ ー ス か ら デ ー タ を 取 得 す る こ と は 非 効 率 と な る 課 題 が あ る . こ こ で は 上 記 の 課 題 に 対 し て , こ の 時 間 次 元 で の デ ー タ 集 約 の 際 に , lattice 構 造 を 利 用 し , (minute)な ど の 細 か い 粒 度 か ら (hour)や (day)な ど の 粗 い 粒 度 の 集 約 結 果 を 求 め , 集 約 処 理 の 高 速 化 を 行 う 手 法 を 提 案 し 課 題 を 上 記 の 解 決 す る . 本 手 法 は メ モ リ ベ ー ス OLAP シ ス テ ム と , DBMS ベ

ー ス OLAP シ ス テ ム に 対 し て , ど ち ら の デ ー タ ソ ー ス か ら デ ー タ を 取 得 す る 際 に も 効 果 的 だ が , 特 に DBMS ベ ー ス OLAP シ ス テ ム の デ ー タ ソ ー ス に ア ク セ ス す る 必 要 が あ る 際 に , 高 い 効 果 を 発 揮 す る . 本 提 案 手 法 を 利 用 し な い 場 合 , ユ ー ザ は 時 間 次 元 の 粒 度 を 切 り 替 え る 度 に , DBMS ベ ー ス OLAP シ ス テ ム に ア ク セ ス し , デ ー タ を 取 得 す る 必 要 が あ る . こ れ は , 大 規 模 な デ ー タ ソ ー ス に 対 し て ア ク セ ス す る 必 要 が あ る た め , 非 常 に 大 き な 処 理 時 間 が 必 要 と な る こ と を 意 味 す る . 本 提 案 手 法 を 利 用 し た 場 合 , 時 間 次 元 の 粒 度 を 切 り 替 え る 際 に , 既 に 得 た 細 か い 粒 度 の デ ー タ を も と に 粗 い 粒 度 の 時 間 次 元 で 集 約 を メ デ ィ エ ー タ 上 で 行 う こ と で , DBMS ベ ー ス OLAP シ ス テ ム の デ ー タ ソ ー ス に ア ク セ ス す る 必 要 が な く な り , 大 き な 高 速 化 が 図 れ る .

6.3. 効 率 的 なムービングウインドウ処 理 手 法

本 シ ス テ ム ア ー キ テ ク チ ャ で は , ム ー ビ ン グ ウ イ ン ド ウ を 用 い た OLAP 分 析 を 行 う こ と が で き る . ム ー ビ ン グ ウ イ ン ド ウ を 用 い る こ と に よ っ て 分 析 対 象 が 動 的 に 変 更 さ れ , リ ア ル タ イ ム に 算 出 さ れ た 分 析 結 果 の モ ニ タ リ ン グ が 可 能 と な る . し か し , ユ ー ザ が ド リ ル ダ ウ ン な ど の OLAP 操 作 を 行 っ て い る 間 で も 分 析 対 象 は 変 更 さ れ て し ま う . そ の た め , ユ ー ザ が OLAP 操 作 の 後 に , 再 度 モ ニ タ リ ン グ を 続 け る 場 合 , 各 OLAP シ ス テ ム に 対 し て 再 度 ア ク セ ス す る 必 要 が あ り , 処 理 時 間 が 大 き く な っ て し ま う . こ こ で は , 上 記 の 課 題 に 対 し て メ モ リ ベ ー ス OLAP シ ス テ ム か ら 得 た デ ー タ と , DBMS ベ ー ス OLAP シ ス テ ム か ら 得 た デ ー タ を , メ デ ィ エ ー タ 上 で キ ャ ッ シ ュ し , 再 利 用 す る こ と で 解 決 す る . 具 体 的 に は 図 9 を 用 い て 説 明 を 行 う . こ の 例 で は , 分 析 対 象 を メ モ リ ベ ー ス OLAP シ ス テ ム と DBMS ベ ー ス OLAP シ ス テ ム と し , ム ー ビ ン グ ウ イ ン ド ウ 活 用 時 に OLAP 操 作 が 行 わ れ る も の と す る . 従 来 の 手 法 で は , OLAP 操 作 中 に ム ー ビ ン グ ウ イ ン ド ウ に よ っ て 更 新 さ れ た 全 デ ー タ を 再 度 各 シ ス テ ム へ ア ク セ ス す る 必 要 が あ る . そ こ で 本 手 法 で は , OLAP 問 合 せ で 得 た デ ー タ を メ デ ィ エ ー タ に キ ャ ッ シ ュ し て お く . こ れ に よ り , OLAP 操 作 後 に モ ニ タ リ ン グ を 続 行 す る 際 に メ デ ィ エ ー タ 上 の デ ー タ を 再 利 用 し , モ ニ タ リ ン グ に 不 足 し て い る デ ー タ の み を メ モ リ ベ ー ス OLAP シ ス テ ム か ら 取 得 す る こ と で , 処 理 時 間 の 大 き い DBMS ベ ー ス OLAP シ ス テ ム に ア ク セ ス す る 必 要 が な く な り , 非 常 に 高 速 な 処 理 が 可 能 と な る . 図 9 効 率 的 な ム ー ビ ン グ ウ イ ン ド ウ 処 理

7. 評 価 実 験

本 実 験 で は , 提 案 シ ス テ ム ア ー キ テ ク チ ャ を 効 率 化 す る 3 つ の 提 案 手 法 に 対 し て 評 価 を 行 う . 本 提 案 手 法 を 評 価 す る こ と に よ り , 各 OLAP シ ス テ ム へ の デ ー タ ア ク セ ス が 高 速 化 さ れ , シ ス テ ム が 効 率 化 さ れ た こ と を 示 す . 実 験 に 用 い る デ ー タ セ ッ ト は , デ ー タ ベ ー ス の ベ ン チ マ ー ク の 1 つ で あ る TPC-H[6]で 用 い る デ ー タ セ ッ ト を 本 実 験 用 に 加 工 し た デ ー タ セ ッ ト を 用 い る . こ の 加 工 し た デ ー タ セ ッ ト に 関 し て は , 先 行 研 究 で あ る 中 挟 [2][3] ら の 論 文 の デ ー タ セ ッ ト と 同 等 で あ る . 実 験 で は , 図 10 に 示 す 通 り , “lineorder”テ ー ブ ル を 事 実 表 と し , こ の デ ー タ を 循 環 的 に 利 用 す る こ と で 疑 似 的 な ス ト リ ー ム デ ー タ と し て 扱 う . こ の 事 実 表 と そ の 他 4 つ の 次 元 表 に 関 し て は 図 10 に 示 す . ま た , 各 次 元 の 階 層 を 図 11 に 示 す . 図 10 実 験 に 用 い る ス タ ー ス キ ー マ 図 11 実 験 に 用 い る デ ー タ セ ッ ト の 次 元 階 層 本 実 験 評 価 の 実 験 環 境 は 以 下 の 通 り で あ る .  OS: CentOS 7.2 (Linux 3.10.0-327.3.1.el7.x86_64 )  メ モ リ : 32GB

 CPU: Intel(R) Core(TM) i7-4820k  ク ロ ッ ク 数 : 3.7GHz

7.1. 増 分 データに対 し効 率 的 に更 新 可 能 な

ビューマテリアライゼーション手 法 評 価

本 実 験 で は , 従 来 DBMS が サ ポ ー ト す る ビ ュ ー マ テ リ ア ラ イ ゼ ー シ ョ ン (既 存 手 法 )と , 独 自 に 実 装 し た 増 分 デ ー タ を 対 象 と す る ビ ュ ー マ テ リ ア ラ イ ゼ ー シ ョ ン (提 案 手 法 ) に 対 し て , ビ ュ ー の 更 新 時 間 と ビ ュ ー に 対 し て リ ク エ ス ト を 行 っ た 時 の 応 答 時 間 (ク エ リ 応 答 時 間 )を 評 価 す る . 本 実 験 で は , マ テ リ ア ラ イ ズ 対 象 と な る テ ー ブ ル は , 空 の 状 態 か ら 時 間 経 過 ご と に デ ー タ が 格 納 さ れ , 一 定 時 間 が 経 過 す る ご と に ビ ュ ー の 更 新 を 行 っ て い る . ま た 本 実 験 で の マ テ リ ア ラ イ ゼ ー シ ョ ン 保 持 期 間 に つ い て は , 十 分 大 き く 設 定 し て い る と し 考 慮 し な い も の と す る . 実 験 結 果 を 図 12, 図 13 に 示 す . 図 12 は ビ ュ ー の 更 新 時 間 を 評 価 し た 図 で あ る . 横 軸 は ビ ュ ー の 更 新 を 行 っ た 時 間 契 機 を 示 し , 縦 軸 は そ の 時 の ビ ュ ー の 更 新 時 間 を 示 す . こ の 結 果 か ら 分 か る 通 り , 既 存 手 法 は 更 新 契 機 毎 に , マ テ リ ア ラ イ ゼ ー シ ョ ン 対 象 と な っ て い る デ ー タ 全 体 を 更 新 す る た め , デ ー タ が 増 え て い く に つ れ , 更 新 時 間 が 大 き く な る . 一 方 , 提 案 手 法 で は マ テ リ ア ラ イ ゼ ー シ ョ ン 対 象 と な っ て い る デ ー タ の う ち , 新 し く 追 加 さ れ た 増 分 デ ー タ の み を 更 新 対 象 と す る た め , 常 に 一 定 の 更 新 時 間 と な り , 既 存 手 法 に 比 べ る と 非 常 に 高 速 で あ る . 図 13 は ビ ュ ー に 対 し て , ビ ュ ー の 対 象 と な る レ コ ー ド 全 件 へ の ク エ リ 応 答 時 間 を 評 価 し た 図 で あ る . 横 軸 は ビ ュ ー の 更 新 を 行 っ た 時 間 契 機 を 示 し , 縦 軸 は そ の 時 の ク エ リ 応 答 時 間 を 示 す . こ の 図 か ら , 既 存 手 法 と 提 案 手 法 を 比 較 し た 時 に , 応 答 時 間 が ほ ぼ 変 わ ら な い こ と が 確 認 で き る . こ れ は デ ー タ の リ ク エ ス ト に 関 し て , 提 案 手 法 が 従 来 の DBMS の ビ ュ ー マ テ リ ア ラ イ ゼ ー シ ョ ン 機 能 と 同 等 の 性 能 で あ る こ と を 示 す . 図 12 マ テ リ ア ラ イ ズ ド ビ ュ ー の 更 新 処 理 時 間 図 13 マ テ リ ア ラ イ ズ ド ビ ュ ー に 対 す る ク エ リ 応 答 時 間

7.2. 時 間 次 元 における集 約 処 理 高 速 化 手 法 評 価

本 実 験 で は , ユ ー ザ が 時 間 次 元 の 集 約 粒 度 を 変 更 す る 際 に , 再 度 OLAP サ ー バ に ア ク セ ス し 集 約 処 理 を 行 う 処 理 (単 純 手 法 )と , lattice 構 造 を 利 用 し た 集 約 処 理 を メ デ ィ エ ー タ 上 で 行 う 処 理 (提 案 手 法 )に 対 し て , 分 析 処 理 の 時 間 を 評 価 す る . ま た 本 実 験 で は , ス ト リ ー ム デ ー タ を 次 元 customer,time の region,minute 粒 度 で 集 約 す る . そ の 後 , ユ ー ザ か ら 時 間 次 元 の 集 約 粒 度 を 動 的 に , ① 1minute → 30minutes, ② 30minutes → 1hour, ③ 1hour→ 12hours, ④ 12hours→ 1day, ⑤ 1day→ 1week と 変 化 さ せ る . こ の と き , デ ー タ ア ク セ ス の 対 象 と な る 各 OLAP シ ス テ ム を 評 価 す る た め , IoC を 1hour と し , IoI を 30min, 1day の 2 ケ ー ス で 評 価 を 実 施 す る . 実 験 結 果 を 図 14, 図 15 に 示 す . 図 14 は メ モ リ ベ ー ス OLAP シ ス テ ム を 対 象 と し , 図 15 は DBMS ベ ー ス OLAP シ ス テ ム を 対 象 と し た 実 験 結 果 で あ る . 横 軸 は 先 に 示 し た 時 間 次 元 の 集 約 粒 度 の 変 化 を 示 し , 縦 軸 は 集 約 処 理 の 時 間 を 示 す . 実 験 結 果 か ら 分 か る 通 り , ど ち ら の シ ス テ ム に ア ク セ ス す る 際 も , 提 案 手 法 の 方 が 高 速 と な っ て い る . こ れ ら の 理 由 と し て , メ モ リ ベ ー ス OLAP シ ス テ ム , DBMS ベ ー ス OLAP シ ス テ ム と も に , 提 案 手 法 が メ デ ィ エ ー タ 上 で デ ー タ の 集 約 処 理 を 行 う の に 対 し , 単 純 手 法 で は DBMS や メ モ リ な ど の デ ー タ ソ ー ス に 対 し て ア ク セ ス し 集 約 を 行 う 必 要 が あ り , 非 常 に 大 き な コ ス ト と な る た め で あ る . 図 14 メ モ リ ベ ー ス OLAP シ ス テ ム を 対 象 と し た 時 間 粒 度 の 変 化 に お け る 集 約 処 理 時 間 図 15 DBMS ベ ー ス OLAP シ ス テ ム を 対 象 と し た 時 間 粒 度 の 変 化 に お け る 集 約 処 理 時 間

7.3. 効 率 的 なムービングウインドウ処 理 手 法 評 価

本 提 案 手 法 の 有 効 性 を 検 討 す る た め の 基 礎 実 験 と し て ， ム ー ビ ン グ ウ イ ン ド ウ 処 理 手 法 に キ ャ ッ シ ュ さ れ た デ ー タ を 用 い た 場 合 と 用 い な い 場 合 の 性 能 の 差 を 評 価 す る . 本 実 験 で は ム ー ビ ン グ ウ イ ン ド ウ を 活 用 し て OLAP 分 析 す る 際 に , ウ イ ン ド ウ が 更 新 さ れ る 度 に , OLAP サ ー バ へ デ ー タ ア ク セ ス す る 処 理 (単 純 手 法 )と , メ デ ィ エ ー タ 上 の デ ー タ を 再 利 用 し 分 析 結 果 を 生 成 す る 処 理 (提 案 手 法 )に 対 し て 分 析 処 理 の 時 間 を 評 価 す る . ま た , 本 実 験 で は ス ト リ ー ム デ ー タ を 次 元 time の minute 粒 度 で 集 約 す る . こ の と き , デ ー タ ア ク セ ス 対 象 で あ る 各 OLAP シ ス テ ム を 評 価 す る た め , IoC を 1hour と し , IoI が 60min か つ 更 新 契 機 1min と , IoI が 120min か つ 更 新 契 機 2min の 2 ケ ー ス を 評 価 す る . 実 験 結 果 を 図 16, 図 17 に 示 す . 図 16 は , メ モ リ ベ ー ス OLAP シ ス テ ム を 対 象 と し , 図 17 は メ モ リ ベ ー ス OLAP シ ス テ ム と DBMS ベ ー ス OLAP シ ス テ ム を 対 象 と し た 実 験 結 果 で あ る . 横 軸 は ウ イ ン ド ウ 更 新 回 数 , 縦 軸 は 集 約 処 理 の 時 間 を 示 す . 実 験 結 果 か ら 分 か る 通 り , メ モ リ ベ ー ス OLAP シ ス テ ム の み に ア ク セ ス す る 際 は , 単 純 手 法 と 提 案 手 法 の 処 理 時 間 は ほ ぼ 同 等 で あ る . メ モ リ ベ ー ス OLAP シ ス テ ム と DBMS ベ ー ス OLAP シ ス テ ム を 対 象 と す る 場 合 で は , 提 案 手 法 が メ デ ィ エ ー タ 上 で デ ー タ を 再 利 用 し 集 約 処 理 を 行 う の に 対 し , 単 純 手 法 で は DBMS に 対 し て ア ク セ ス し 集 約 を 行 う た め , 提 案 手 法 は 単 純 手 法 に 比 べ 非 常 に 高 速 で あ る . 図 16 メ モ リ ベ ー ス OLAP シ ス テ ム を 対 象 と し た ム ー ビ ン グ ウ イ ン ド ウ の 処 理 時 間 図 17 メ モ リ ベ ー ス OLAP シ ス テ ム と DBMS ベ ー ス OLAP シ ス テ ム を 対 象 と し た ム ー ビ ン グ ウ イ ン ド ウ の 処 理 時 間

8. ま と め と 今 後 の 課 題

本 稿 で は , メ モ リ 上 の 処 理 を 主 体 と し た ス ト リ ー ム OLAP シ ス テ ム と , デ ィ ス ク 上 の デ ー タ 格 納 を 前 提 と す る DBMS を 用 い た OLAP シ ス テ ム を 組 み 合 わ せ つ つ , ユ ー ザ が 利 用 す る ク ラ イ ア ン ト か ら は 過 去 か ら 直 近 の ス ト リ ー ム デ ー タ ま で シ ー ム レ ス に OLAP 分 析 が 可 能 な シ ス テ ム ア ー キ テ ク チ ャ と 問 合 せ モ デ ル を 提 案 し た . こ れ に よ り , デ ー タ の 分 析 対 象 を ユ ー ザ が 意 識 す る こ と な く , 過 去 か ら 直 近 ま で の 莫 大 な デ ー タ を 対 象 に OLAP 分 析 す る こ と を 可 能 と し た . ま た , 処 理 を 効 率 化 す る た め に , 増 分 デ ー タ に 対 し 更 新 可 能 な ビ ュ ー マ テ リ ア ラ イ ゼ ー シ ョ ン 手 法 , 時 間 次 元 に お け る 集 約 処 理 の 高 速 化 手 法 , 効 率 的 な ム ー ビ ン グ ウ イ ン ド ウ 処 理 方 法 を 提 案 し た . 今 後 の 課 題 と し て は , マ テ リ ア ラ イ ゼ ー シ ョ ン 対 象 の 選 択 最 適 化 を 図 る ア ル ゴ リ ズ ム の 検 討 , メ デ ィ エ ー タ 上 の デ ー タ キ ャ ッ シ ン グ 方 式 の 詳 細 化 な ど が 考 え ら れ る .

9. 謝 辞

本 研 究 の 一 部 は , 文 部 科 学 省「 実 社 会 ビ ッ グ デ ー タ 利 活 用 の た め の デ ー タ 統 合 ・ 解 析 技 術 の 研 究 開 発 」 に よ る .

参 考 文 献

[1] S. Chaudhuri and U. Dayal. “An Overview of Data Warehousing and OLAP Technology", ACM

SIGMOD Record, 26 (1), pages 65-74, March 1997. [2] 中 挟 晃 介 , 北 川 博 之 , Salman Ahmed Shaikh, 天 笠

俊 之 . “StreamOLAP に お け る 問 合 せ 最 適 化 手 法 ”, DEIM Forum, D6-5, 2015.

[3] Kousuke Nakabasami, Toshiyuki Amagasa, Salman Ahmed Shaikh, Franck Gass, and Hiroyuki Kitagawa. “An Architecture for Stream OLAP Exploiting SPE and OLAP Engine”, IEEE International Conference on Big Data (BigData 2015), pages319-326, 2015. [4] J. Han, Y. Chen, G. Dong, J. Pei, B. W. Wah, J. Wang,

and Y. D. Cai. “Stream Cube: An Architecture for Multi-Dimensional Analysis of Data Streams ”, Distributed and Parallel Databases, 18 (2):173 -197, Sep. 20 2005.

[5] Mondrian OLAP. http://mondrian.pentaho.com/. [6] TPC-H. http:///www.tpc.org/tpch /.

[7] A. Arasu, B. Babcock, S.Babu, J. Cieslewicz, M. Datar, K. Ito, R. Motwani, U.Srivastava, and J. Widom. “STREAM: The Stanford Data Stream Management System”, Technical Report, Department of Computer Science, Stanford University, 2004. [8] uCosminexus Stream Data Platform

http://www.hitachi.co.jp/Prod/comp/soft1/cosminexu s/sdp/.

[9] A. Arasu, S.Babu, and J. Widom. “The CQL

continuous query language: semantic foundations and query execution”, The VLDB Journal, 15 (2):121 -142, 2006.