日本アイ・ビー・エム株式会社
ソフトウェア事業本部
クラウド・プラットフォーム・サービス事業部
テクニカル・セールス 李展⾶
IBM Bluemix オンラインセミナー
今からはじめるBluemixシリーズ
第2期 Bluemixで実現するソリューション
第2回 「アナリティクス」
2
アジェンダ
ビッグデータ&アナリティクス
ビッグデータ&アナリティクス 関連サービス
Bluemix ではじめるアナリティクス
まとめ
アジェンダ
ビッグデータ&アナリティクス
ビッグデータ&アナリティクス 関連サービス
Bluemix ではじめるアナリティクス
4
今、何が起こっているのでしょうか?
あらゆるデータが
分析可能に
「分析」によって
意思決定が大幅に改善
データ活用が
企業競争⼒に直結
意思決定のスピードが求められる時代
⾦融危機
グローバル化
顧客意識の変化
情報の量と質の変化
意思決定
製品戦略
ブランド戦略
マーケティング戦略
組織変革
事実に基づく
正確な判断
⼤量に蓄積
されたデータ
市場構造の急激な変化
このような時代でも成⻑するために・・・
直感ではなく
直感ではなく
スピーディーに!
スピーディーに!
市場構造が急激な変化する時代、
データに基づく意思決定にもスピードが必要です
6
身近にあるデータから価値を引き出す
今、身の回りにある取引のデータや顧客データから
もっと有益な知⾒を取り出せるはず・・・
まずは入手が容易なデータを使って分析を始めることが重要です
「何からはじめれば
いいのか?」
やり方が分からない?
分析環境がない?
時間がない?
分析に必要な要素
「データ」×「分析手法」 知⾒
既存のデータの利⽤
時間やコストをかけずに、分析に注⼒
柔軟な「分析基盤」
様々なワークロードタイプへの対応
柔軟なリソース割当て
新しいテクノロジーの迅速な利⽤
知⾒
分析結果
クラウドの活用
作業量
リソース
テクノロジ
ETL
DM
BIツール
ETL
ETL
DWH
Mining
データ
分析基盤
分析手法
8
アジェンダ
ビッグデータ&アナリティクス
ビッグデータ&アナリティクス 関連サービス
Bluemix ではじめるアナリティクス
まとめ
ビッグデータとアナリティクス関連のサービス
インメモリ・データ・ストアから予測分析まで
5つのサービス
•
DashDB
•
Geospatial Analytics
•
IBM Analytics for Hadoop
•
Time Series Database
10
アナリティクス関連のサービス
名称
提供形態
説明
B
ig
D
a
ta
DashDB
正式版
データウェアハウジングおよび分析用のアジャイル・プラット
フォームを提供。メモリ内の最適化および列編成された
BLU アクセラレーション・テクノロジーを使用。
Geospatial
Analytics
Beta
リアルタイムの地理空間分析。定義された地域において、
デバイスがいつ利⽤され、もしくは利⽤されなくなったかの情
報を取得。
IBM
Analytics for
Hadoop
Beta
ビッグデータ・セットの分析アプリケーションを開発するための
使いやすいインターフェースを備えた、Hadoop ベースのクラ
スターを提供。⼤規模で複雑な分析を実⾏するためのエン
タープライズ機能を備えた IBM BigInsights を使用。
Time Series
Database
正式版
IoT デバイス・データのための管理対象データ・ストアを追
加して、そのデータに対する時系列分析を実⾏する機能を
提供。
B
u
s
in
e
s
s
A
n
a
ly
ti
c
s
Embeddable
Reporting
Beta
IBM Cognos BI のレポートを実⾏。Cognos BI
Dynamic Query モードを使用して作成されたコンテンツ
をサポート。REST ベースのインターフェースを使用して、レ
ポートを実⾏したり、レポートをアプリケーションに容易に統
合可能。
dashDB
データウェアハウジングおよび分析用の
アジャイル・プラットフォーム
データウェアハウス
カラム型のインメモリーDB である
IBM BLU Acceleration を搭載
分析機能
R を使った統計解析
RStudio による統合開発環境
アクセス方法
Web コンソール
データのロード、クエリの実⾏、
R スクリプトの実⾏
分析ツールとの連携
Cognos BI, Excel, Tableau, Microstrategy の
ような分析アプリケーションとの連携
12
DB2 BLU アクセラレーション
迅速なアナリティクスを実現する
BLUアクセラレーション
インメモリーカラム型
優れたメモリー管理技術とI/O効率、
CPU処理の最適化により実現
ハイブリッド型データベース
BLUテーブルが従来の⾏テーブルと共存
同じスキーマ、ストレージ、メモリー内に
共存
パラレル・ベクトル処理
マルチコアとSingle Instruction Multiple
Data (SIMD)によって並列処理を実現
コンプレッション
データの順序を保持する業界初のデータ圧
縮機能によって、圧縮済みのデータを解凍
することなくデータを処理
ストレージ
C1 C2 C3 C4 C5 C6 C7 C8 C1 C2 C3 C4 C5 C6 C7 C8圧縮とエンコードが
⾏われた列テーブル
C1 C2 C3 C4 C5 C6 C7 C8 C1 C2 C3 C4 C5 C6 C7 C8従来の⾏形式の
テーブル
SIMD機能を備えたCPU
BLUアクセラレーションを
実装したデータベース
BLU DMS
(BLUテーブル用)
ランタイム
従来の
DB2ランタイム
BLU
ランタイム
従来のDB2バッファープール
従来のDMS
(非BLUテーブル用)
dashDB のメニュー
主な機能
分析 (Analyze)
Rスクリプトの開発
統合開発環境 RStudio との連携
Rスクリプトの実⾏
In-Database Analysis の実現
Excel との連携
外部データへの接続: Office データ接続 (.odc) ファイル
管理 (Manage)
テーブルの参照
クエリ (SQL) の実⾏
データのロード
14
R 言語での dashDB の利⽤
データベースへのアクセス
bluR : R から DB2 BLU へアクセスするためのライブラリ
bluQuery : データの参照 (SQLクエリの発⾏)
blu.data.frame : BLU データフレームの作成
インデータベース・アナリティクスを実現するためのデータフレーム
library(bluR)
con <- bluConnect( "BLUDB", "", "" ) # ローカル接続
bluAnalyticsInit( con )
data1 <- bluQuery( "SELECT * FROM GOSALES.ORDER_DETAILS" )
data2 <- blu.data.frame( "GOSALES.ORDER_DETAILS" )
bluClose(con)
DB2 BLU からデータを抽出した後は、通常の R スクリプトと同様に処理するのみ
BLU データフレームで、インデータベース・アナリティクスを簡単に実現できる
Sinatra での dashDB の利⽤
データベースへのアクセス
VCAP_SERVICES 環境変数の情報を利⽤して接続
require 'ibm_db'
conn = IBM_DB.connect "DATABASE=#{$database};HOSTNAME=#{$host};
PORT=#{$port};PROTOCOL=TCPIP;UID=#{$username};
PWD=#{$password};", '', ''
stmt = IBM_DB.exec conn, $sql1
while(res = IBM_DB.fetch_assoc stmt)
data[res['PRODUCT']][res['YEAR']] = res['PROFIT']
end
IBM_DB.close conn
DB2 BLU から抽出したデータは、
Sinatra のフレームワークの中の view に値を埋め込む
16
Geospatial Analytics (Beta)
リアルタイム地理空間データ分析⽤の
デバイス追跡プラットフォーム
特定領域へのデバイスの⼊退出のリアルタ
イムの追跡
軽量の MQTT プロトコルの利⽤
MQTT のメッセージ・ブローカーを使って、
デバイスからのイベントの通知の受信とデバイス
の位置情報の提供
API によるリージョンの管理
リージョンの定義やリージョンの監視の制御
ユースケース例
ある小売店の近くに来たお客様へのリアルタイムなプロモーション
事故や緊急事態の発生をリアルタイムにドライバーへ通知
IBM Analytics for Hadoop (Beta)
Hadoop ベースのクラスター環境
Hadoop の環境の構築・管理からの開放
InfoSphere BigInsights Enterprise
Edition V3.0
オープンソースの Apache Hadoop がベース
Hive, MapReduce, Pig などが利⽤可能
ビッグデータの分析アプリケーションの
開発に注⼒
Hadoop クラスター上のデータへの
簡単なアクセスと簡単なデータのロード
分析アプリケーションの簡単な開発
チャートやグラフを使った
データの可視化
18
Time Series Database
IoT デバイス・データのための
データ・ストア
メーターのような IoT デバイスの
データの蓄積と時系列分析
IBM Informix 12.10
タイム・スタンプを伴う
時系列データの分析
スマートメータ、RFID タグ、セン
サー・デバイスなど
例えばスマートメーターで収集された電
気使⽤量、株価や取引⾼、⼼電図の記録、
震動計、ネットワーク・パフォーマン
ス・レコードなど、
幅広い種類のデバイスに対応
Infomix TimeSeries
時系列データ⽤のデータ・ストア
タイム・スタンプを伴う一連のデー
タである時系列データに対する⾼速
データベース
オフセット管理されたデータ
インデックスはID列のみ
時系列データへの⾼速なアクセス
データやインデックスの巨大化の抑制
デ
ィ
ス
ク
他社リレーショナ
IBM Informix
リレーショナル・アプローチ
処
理
時
間
データ・
ローディング
レポート生成
Informix TimeSeries
デバイス
ID
タイムスタンプ列
1
起点:2010-12-01 01:00:00 [(4,160,40), (4.5,155,35), ….]
2
起点:2010-12-01 01:00:00 [(5,175,44), (4.5,160,35). .]
・・・・
・・・・
インデックス=メーターIDのみ
© 2014 IBM Corporation
20
Embeddable Reporting (Beta)
Business Intelligence のレポートや
ダッシュボードの作成や統合の
プラットフォーム
BI機能の提供
レポーティング、ダッシュボード、多次元分析
(OLAP)、スコアカード、アラート 等
Cognos BI v10.2.1.1
RESTful API でのレポートの作成、アプリ
ケーションへレポートの統合
データベース
リポジトリ: MongoDB connection
レポートの仕様
データソース情報
Cognos BI model
データ: DB2 JDBC connection
レポートに表示する内容のデータ
アジェンダ
ビッグデータ&アナリティクス
ビッグデータ&アナリティクス 関連サービス
Bluemix ではじめるアナリティクス
22
データウェアハウジングおよび分析用の
アジャイル・プラットフォーム
統計解析
実⾏環境
(R)
スプレッドシート
BIツール
統計解析
統合開発環境
データロード
テーブル参照
クエリ発⾏
データウェアハウス
(BLU Acceleration)
ブラウザ
Bluemix
ランタイム
(Liberty, Ruby, …)
Rスクリプトの実⾏
Rスクリプトの開発
dashDB
統計解析環境
R
オープンソースの統計解析向けの
プログラミング⾔語及び実⾏環境
統計解析用ソフトウェアの
デファクト・スタンダード
強⼒な統計解析・データ解析機能
多様で美しいグラフの容易な作成
RStudio
R言語の向けの統合開発環境
コードアシスト機能やグラフの描画
R Markdown形式によるドキュメント化
ドキュメントへの R スクリプトの埋込み
Knit: R Markdown HTML
24
インデータベース・アナリティクス
データ処理・分析処理のオフロード
データウェハウスと分析実⾏環境
データウェアハウス
分析実⾏環境
クエリ
分析実⾏
分析結果
クエリ・分析処理
分析実⾏
分析結果
インデータベース・
アナリティクス
通常の分析
データ
転送量
データ
転送量
メモリ
使⽤量
メモリ
使⽤量
デモの概要
販売店の売上げ明細データを用いて、
データの可視化とデータ分析を Bluemix 上で実現する
データベースや分析ツール等の準備が不要
データウェアハウス、統計解析の実⾏環境、統合開発環境が
組み込まれている
必要なのはデータだけ
Bluemixアプリケーションからのサービスの利⽤が可能
軽量フレームワークを使ったアプリケーション
ウェブ上のサービスとの連携
IBM Bluemix の dashDB を利⽤して、Ruby でビジネス・インテリジェンスおよびアナリティクス・サービスを作成する
http://www.ibm.com/developerworks/jp/bigdata/library/bd-ruby-bluacceleration-app/
26
デモ:販売店の売上げデータの可視化と分析
デモで使用するデータ
Cognos BI のサンプルデータ
2010年1月から 2013年8月までの 446023 件の売上げ明細データ 等
デモの流れ
dashDB のコンソール
R スクリプトの実⾏と結果確認
R スクリプトからのデータベースへのアクセス
開発環境
分析結果のドキュメント化
データの可視化
データへのアクセス
売上げ明細データの表示
グラフ表示
地域別営業成績グラフの表示
データ分析
アソシエーション分析
バスケットの中の商品間の関連性(どのような商品が同時に購入されているか)
についての分析
デモ :
28
デモのまとめ
データベースや分析ツール等の準備が不要
データウェアハウス、統計解析の実⾏環境、統合開発環境が
組み込まれている
必要なのはデータだけ
Bluemixアプリケーションからのサービスの利⽤が可能
軽量フレームワークを使ったアプリケーション
ウェブ上のサービスとの連携
分析に最低限必要な環境が整っています。
データさえあれば、今すぐにでも、分析がはじめられます。
アジェンダ
ビッグデータ&アナリティクス
ビッグデータ&アナリティクス 関連サービス
Bluemix ではじめるアナリティクス
30
分析を成功させる「3つの要因」
分析の目的の明確化
意思決定プロセスへの組込み
分析の経験やスキルの向上
スモールスタート
トライアル&エラー
戦略
業務
実装
人
分析の目的の
明確化
意思決定プロセス
への組込み
分析の経験やスキル
の向上
分析で成功するための「3つのステップ」
スポンサーシップ
投資
データ
専門知識
信頼
共有すべきVisionを
明確にし、⾏動を促す
スキルと機能の開発
および利⽤
厳格さと協調によって
価値を生み出す
信頼できる組織関係
分析結果の信頼
データに自信を持つ
セキュリティと統制
価値の源泉
プラットフォーム
企業文化
評価
分析の成果と価値
創出を合致させる
ビジネスインパクト
測定と未来設計
システム基盤を確保する
ビッグデータを取扱う
事実をベースとした
意思決定を⾏う
実⾏
拡大
準備
ビッグデータ&
アナリティクス
の基礎
価値実現に
必須
価値創造
の強化
出典:Analytics: A blueprint for value – Converting big data and analytics into results,
業務
実装
業務
実装
データ
戦略
戦略
分析
基盤
人
分析
スキル
経験
ベース
ライン
知識
戦略
業務
人
実装
© 2014 IBM Corporation
32
© Copyright IBM Corporation 2014. All rights reserved.
The information contained in these materials is provided for informational purposes only, and is provided AS IS without warranty of any kind, express or implied. IBM shall not be responsible for any damages arising out of the use of, or otherwise related to, these materials. Nothing contained in these materials is intended to, nor shall have the effect of, creating any warranties or representations from IBM or its suppliers or licensors, or altering the terms and conditions of the applicable license agreement governing the use of IBM software. References in these materials to IBM products, programs, or services do not imply that they will be available in all countries in which IBM operates. Product release dates and/or capabilities referenced in these materials may change at any time at IBM’s sole discretion based on market opportunities or other factors, and are not intended to be a commitment to future product or feature availability in any way. IBM, the IBM logo, Rational, the Rational logo, and other IBM products and services are trademarks of the International Business Machines Corporation, in the United States, other countries or both. Other company, product, or service names may be trademarks or service marks of others.
Bluemix 情報の入手
・
・
・
・
Bluemix
オンラインセミナー動画、
オンラインセミナー動画、資料
オンラインセミナー動画、
オンラインセミナー動画、
資料
資料
資料
Bluemix
の日本語チュートリアル
の日本語チュートリアル
の日本語チュートリアル
の日本語チュートリアル
https://www.ibm.com/developerworks/community/groups/community/bluemix-jp/
・
・
・
・
IBM Bluemix
のフリートライアルに参加手順
のフリートライアルに参加手順
のフリートライアルに参加手順
のフリートライアルに参加手順
http://www.ibm.com/developerworks/jp/bluemix/registration.html
・
・
・
・
Bluemix YouTube
日本語動画リスト(
日本語動画リスト(
日本語動画リスト(
日本語動画リスト(
Webinar
録画等
録画等
録画等
録画等)
)
)
)
https://www.youtube.com/playlist?list=PLCJgI3_0GF1b-dOJupFdoZO_w7dEbcld2
・
・
・
・
IBM Bluemix
ハンズオン・セミナー申し込み(無料
ハンズオン・セミナー申し込み(無料
ハンズオン・セミナー申し込み(無料
ハンズオン・セミナー申し込み(無料)
)
)
)
@
渋谷
渋谷
渋谷
渋谷
IBM Innovation Center
https://www-304.ibm.com/partnerworld/wps/servlet/ContentHandler/pw_frm_bpedusw_30
・
・
・
・
IBM Bluemix
日本語
日本語
日本語
日本語
HP
http://www-01.ibm.com/software/jp/info/bluemix/index.html
・
・
・
・
Bluemix Developers Community
(英語
(英語
(英語
(英語)
)
)
)
© 2014 IBM Corporation
34
© Copyright IBM Corporation 2014. All rights reserved.
The information contained in these materials is provided for informational purposes only, and is provided AS IS without warranty of any kind, express or implied. IBM shall not be responsible for any damages arising out of the use of, or otherwise related to, these materials. Nothing contained in these materials is intended to, nor shall have the effect of, creating any warranties or representations from IBM or its suppliers or licensors, or altering the terms and conditions of the applicable license agreement governing the use of IBM software. References in these materials to IBM products, programs, or services do not imply that they will be available in all countries in which IBM operates. Product release dates and/or capabilities referenced in these materials may change at any time at IBM’s sole discretion based on market opportunities or other factors, and are not intended to be a commitment to future product or feature availability in any way. IBM, the IBM logo, Rational, the Rational logo, and other IBM products and services are trademarks of the International Business Machines Corporation, in the United States, other countries or both. Other company, product, or service names may be trademarks or service marks of others.