データ仮想化からアプローチする
エンタープライズデータマネージメント
レッドハット株式会社
JBossサービス本部
ソリューションアーキテクト
河野 恭之
アジェンダ
エンタープライズデータマネージメント
JBoss Enterprise Data Services(EDS) のご紹介
JBoss EDS データ統合デモ
JBoss EDS 適用例・ユーザ事例
まとめ
エンタープライズデータマネージメント
データ管理者とデータベース管理者
実世界の業務
概念データモデル
物理データ
モデル
DA : データ管理者
DBA : データベース管理者
構築
運用
保守
サイロ化された多数の企業情報システムにより、
企業の論理データモデルの不整合や氾濫が起きている
論理データ
モデル
論理データ
モデル
重要!!
実世界の写像から論理データモデルを
構築するトップダウンアプローチ
トップダウン
アプローチ
実世界の業務
概念データモデル
論理データ
モデル
物理
データ
モデル
実際のシステムから論理データモデルを
構築するボトムアップアプローチ
ボトムアップ
アプローチ
論理データ
モデル
物理
データ
モデル
論理データ
モデル
物理
データ
モデル
論理データ
モデル
事業変化や新ビジネス
に伴うデータモデル
である場合が多い
トップダウン vs. ボトムアップ
比較項目
トップダウン
ボトムアップ
スタートポイント
概念データモデル
の作成
既存データモデル
の分析
適用システム
新規システム/
既存システム更改
既存のシステム
/
パッケージ
検討対象
全体
局所化
構築までの期間
長い
短い
既存システム
への影響
大きい
小さい
変更容易性
難しい
柔軟に変更可能
投資対効果
大
小
トップダウンとボトムアップに
対応できるデータソースの仮想化
1. 既存システムのデータモデルから構築できる
2. 論理データモデルを拡張できる
4. 要求に合わせて
モデルを変更できる
3. 新しいビジネスに
データモデルを適合する
データ仮想化の活用
比較項目
データ仮想化
(JBoss EDS)
トップダウン
ボトムアップ
スタートポイ
ント
アプローチが可能
両方の
モデルの作成
概念データ
モデルの分析
既存データ
検討対象
全体 or 局所化
全体
局所化できる
構築までの期
間
短い
長い
短い
既存システム
への影響
小さい
大きい
小さい
変更容易性
柔軟に変更可能
手戻りできない 柔軟に変更可能
投資対効果
大
大
小
トップダウン、ボトムアップの長所を
活かすことができるデータ仮想化
データ仮想化を活用した
エンタープライズ
データマネジメント
統合技術の効果を活性化する
エンタープライズデータマネージメント
データ活用をより活性化するデータ仮想化
MDM
マスターデータ
管理
ビッグデータ
ETL
データ変換
SOA
BI
ビジネスインテ
リジェンス
統合DB
アジェンダ
エンタープライズデータマネージメント
JBoss Enterprise Data Services(EDS) のご紹介
JBoss EDS データ統合デモ
JBoss EDS 適用例・ユーザ事例
まとめ
世界で注目されはじめる
Information as a Service
今日のITが直面している大きなギャップの1つは、“Information on demand”であ
る。サイロ化された基盤制約の中から、必要な情報を必要なフォーマットで要
求される時間内に得ることができる環境、つまり、
“Information as a Service” の
導入戦略が重要である。
参考:March 10, 2008 http://www.infoworld.com/d/architecture/information-service-131
データ仮想化のIaaS (information-as-a-service) は,ETL と DBMS 統合の代替
と
なり、優れたデータ管理とデータ統合に対する戦術上の需要にある。従来のETL
および DBMS アプローチに比べ、次のようなメリットがある。
– 仮想データが
短周期で作成可能であるため柔軟性と俊敏性が向上
– 物理的コピーの削減による
データ品質を改善できる
–
目的指向のビジネス用オブジェクト生成
による利用性の改善。
JBoss Enterprise Data Services Platform
製品コンセプト
企業内・外のあらゆるデータのモデリング・仮想統合・
一元アクセスを実現する実行基盤
W e bサー ビス OD B C J D B Cデータソース
データ
ベース
DWH
Web
サービス
APデータ
既存のデータソースをモデリング・仮想統合し、アプリケーションからは
SQLやWebサービスで一元的なアクセスを実現
異種データストアへのリアルタイム読み込み/書き込み
データソースの物理構造や論理構造の変化をアプリケーションから隠蔽
物理的に異なるデータソースの依存関係を可視化
集中アクセスコントロール、監査証跡
JBoss Enterprise Data Services Platform
によるデータ仮想統合の実現
データ統合の課題
物理構造の異なる環境
用語、意味の違いが頻発
JOIN,UNION統合が必要
ロジックの複雑化、肥大化
ロジック再利用性の欠如
セキュリティリスク
Etc…
JBoss Enterprise Data Services Platform
SQL
Web サービス
データベース
データベース
他システム
BIツール
業務AP
監視ツール
EDS によるデータ統合の実現
シングルビュー
によるデータ統合
統合
ロジックの容易な再利用
アプリケーション
ロジックの削減
複数のデータストアに
リアルタイムに
接続
して
参照/更新
標準ベース
でアクセスする簡単なアプ
リケーション開発基盤の構築を実現
データベース
データベース
他システム
BIツール
業務AP
監視ツール
J
Bos
s
EAP
J
Bos
s
SOA
-P
J
Bos
s
EDS
JBoss Enterprise Data Services Platform
全体アーキテクチャ
JDBC/ODBC/SOAP 接続
Function Library
Cache
(アーカイブファイル)
Virtual Database
認証/ 認可 ログ出力 監査証跡
Query Engine(optimization)
Connecter Framwork
JDBC LDAP File SOAP SFDC
カスタムリ
ポ
ジ
ト
リ
デザインツール
ランタイムエンジン
監視ツール
JBoss Developer Studio
XML 定義ファイル
Admin Shell
管理コンソール
データ
ベース LDAP File SOAP SFDC カスタム JDBC ODBC
SOAP JCR
仮想データベース
物理モデル作成
既存の
システムから自動生成
データベース
ファイル(CSV, XML, 他)
その他(依存関係も可能)
論理モデル作成
物理モデルのビューを作成
構文自動生成
機能
SQLにより手動作成も可能
プロシージャ
バッチや複雑なSQL
を実行
Insert/Update/Delete
行単位の処理など
セキュリティ
操作可否
ロールの登録
操作(参照・更新)の設定
JBoss Enterprise Data Services Platform
デザインツール(仮想データベースの作成)
JBoss Enterprise Data Services Platform
ランタイムエンジン
インバウンドインタフェース
JDBC/ODBC/SOAP
ロードバランス
フェイルオーバ
最適化クエリーエンジン
標準SQLのサポート
クエリープラン
Functionライブラリ
文字列、数値、日付等の関数を用意
独自の関数登録も可能
キャッシュ
ResultSet Cache
Materialized view サポート
J
Bos
s
SOA
-P
J
Bos
s
EDS
JDBC/ODBC/SOAP 接続
Function Library CacheVirtual Database
認証/ 認可 ログ出力 監査証跡Query Engine(optimization)
Connecter Framwork
JDBC LDAP File SOAP SFDC
カスタ ムリ
ポ
ジ
ト
リ
データ ベースLDAP File SOAP SFDC カスタム JDBC ODBC
JBoss Enterprise Data Services Platform
運用管理
管理コンソール
JBoss EAP 管理コンソールとの統合
JBoss Operations Networkとの統合
AdminShellツール
Groovyベーススクリプトツール
デプロイ、テスト、操作、運用データ
の取得
パフォーマンスチューニング
メモリ管理
キャッシュ制御
スレッド管理
MaxRows等…
アジェンダ
エンタープライズデータマネジメント
JBoss Enterprise Data Services(EDS) のご紹介
JBoss EDS データ統合デモ
JBoss EDS 適用例・ユーザ事例
まとめ
デモシナリオ(顧客データの統合)
JP
顧客DB
2つの顧客データ
ソースが対象
既存データ
ソースの
物理モデル
項目名
を標準化した
論理モデル
JDBC
仮想統合
テーブルとなる
論理モデル
ファイルの
論理モデル
APAC
customer
ファイル
アジェンダ
エンタープライズデータマネジメント
JBoss Enterprise Data Services(EDS) のご紹介
JBoss EDS データ統合デモ
JBoss EDS 適用例・ユーザ事例
JBoss Enterprise Data Services Platform
適用領域
ETL
SOA
データ
連携指向
プロセス
連携
タイ
ミング
リアルタイム
バッチ
データ
仮想化
ポイント
・DB/ファイルはシステムや組織内で利用
・他のシステムや組織から情報を取得するには
個別に調整が必要
課題
・取得時に
データの場所やI/F等の調整
が大変
・
データ利用の状況が不透明
でデータの変更時
の影響が見えない
・
重複データ
が多数
ポイント
・既存の仕組みはそのままで共有データをEDSに展開
・個別システムからの導入(スモールスタート)も可能
効果
・各システムからの
データ取得が容易
・データの
再利用性が格段に向上
・データ
変更時の影響を最小化
・
共通モデル利用
することで
再利用性や管理性の更なる
向上
が可能
仮想データ統合による「データ連携基盤」の導入
DB群
DB群
DB群
ファイル群
Xシステム
DB群
DB群
DB群
ファイル群
DB群
DB群
DB群
ファイル群
Y組織
Z支店
DB群
DB群
DB群
ファイル群
Xシステム
DB群
DB群
DB群
ファイル群
DB群
DB群
DB群
ファイル群
Y組織
EDS Xシステム データ群 Y組織 DB Xシステム データ群Z支店
EDS
EDS EDSポイント
・ ETLにより分散したデータをBI製品が指定す
るDWHに収集
課題
・ 分析の為だけの
データレイヤの増加
・DWH+ETLライセンスで
非常に高価
・月次・日次のバッチデータ(
鮮度劣化
)
・取得データの
変更時の影響が大きい
仮想統合
DWH
ポイント
・EDSを用いて仮想DWHを構築
・DWHはデータソースの一つ(又は利用しない)
効果
- DB、ファイル等のデータソースの
追加が容易
- DWHを使用しないパターンでは
EDSへの投資の
みでDWHを実現可能
- データが増加してもデータバックアップの手間
や
ストレージの追加が不要
仮想データ統合によるリアルタイムBIの実現
BIシステム
EDS
X‘
DB
Y‘
DB
xx
DB
DB
yy
DB
zz
BIシステム
DWH
ETL
DWH
売上げ/ 注文情報統合マスタDB
・ 大規模DB導入による統合マスタは高価
・ バッチ連携により情報の鮮度が劣化
・ データサイロの増加
仮想販売
マスタ
仮想顧客
マスタ
仮想サポート
マスタ
・ 仮想統合 = 必要な情報を必要な時に抽出
・ リアルタイムで鮮度の高い情報を提供
・ システムに合わせた柔軟なデータモデル
・ キャッシュ技術による高速化の実現
仮想データ統合技術による仮想マスタ統合
グローバル営業
販売システム
グローバル顧客
管理システム
サービスシステム
グローバル保守
バッチ連携
( ETL )
EDS
US
マスタDB
マスタDB
日本
ヨーロッパ
マスタDB
US
マスタDB
マスタDB
日本
ヨーロッパ
マスタDB
グローバル営業
販売システム
グローバル顧客
管理システム
サービスシステム
グローバル保守
リアルタイム連携
参考:エンタープライズデータマネージメントの実現
データベース仮想化
OS/HW 層・ステップ1
仮想データ統合基盤導入
OS/HW 層 既存DB OS/HW 層 既存DB OS/HW 層 既存DB OS/HW 層 OS/HW 層 既存DB OS/HW 層 新DB (OSS) OS/HW 層・ステップ2
DBの統合とOSS化
OS/HW 層 新DB 仮想DB 仮想DB 仮想DB Cloud Cache/ Grid・仮想データ統合基盤の導入
・新システムは仮想DB経由でア
クセス
・実DBを隠蔽しSQLを標準化す
ることで、裏側でのDB製品の
変更を可能に
・部分的にデータベース統合を
実現
・アプリケーションに影響しな
いDB統合の実現
・社内データベース統合の実現
(既存システムも含めて)
・Grid(NoSQL,BigData)やク
ラウド上のDBへの移行
・ベンダロックインからの解放
・拡張も容易に
xxシステム yyシステム zzシステム
xxシステム yyシステム zzシステム
xxシステム yyシステム zzシステム
・ステップ3
米国大手金融会社:デリバティブ取引ダッシュボード
課題
財務損失となるような問題となる取引を特定するた
めにデリバティブの取引データにアクセスする必要
がある
取引データは多くのシステムにまたがっている
ソリューション
全ての取引データをリアルタイムに取得できるシン
グルビューに集約
データの違いを変換
ビジネス効果
リスク低下による投資家の投資額増
開発時間とコストの削減
将来のデータ変更に対する容易な管理の実現
JB
oss
EDS
Data Model Data ModelData Model Data Model