<写真欄>
日本オラクル株式会社
Oracle
Direct Seminar
データ連携がこんなに簡単に!?
Agenda
y
データ連携が求められる背景・課題
y
Oracle Data Integratorとは?
y
Oracle Data Integratorでの開発
Agenda
y
データ連携が求められる背景・課題
y
Oracle Data Integratorとは?
y
Oracle Data Integratorでの開発
データウェアハウ ス マスターデータ管 理 リアルタイム メッセージング フェデレーション 移行
様々な異なるシステムに分断されたソースデータ
様々な異なるシステムに分断されたソースデータ
ERP
---
---CRM
-レガシーシステム
---
---
---
---カスタムアプリケーション
データ活用
データ活用
Business
Intelligence
Corporate
Performance
Management
Business
Activity
Monitoring
Business
Process
Management
HAVE…
NEED…
-- -- -- - - - -データ同期化データ連携が求められる背景
データ統合
/連携
データ統合
/連携
ETLアーキテクチャの限界
ETL (Extract /
Transform / Load)
各処理ステップの詳細
• E(抽出): 情報源となるシステムからデータを抽出
• T(変換): 抽出したデータに規則や関数を適用し、ターゲットにロード可能なデータに加工
• L(ロード): データを最終ターゲットにロード
企業に蓄積されたデータを抽出し、ターゲット
の利用しやすい形に加工し、対象となるデー
タベースに書き出す一連の処理
E:抽出
T:変換
L:ロード
ソース
ターゲット
RDBMS
基幹
システム
フラット
ファイル
ボトルネックになりやすい!
開発、生産性における課題
多岐にわたる製品・機能ナレッジの必要性
人手に依存するコード品質
知識不足による開発、生産性の低下
・統合には、それぞれの製品知識が必要だが、様々な製
品やバージョンが混在する環境で、
これらを網羅する人材を用意することは難しい。
・製品のバージョンアップにコードが追いつかない
複雑かつ人手に依存した生産性の上らない開発
・人に依存したコード品質
・再利用しにくいフロー定義
・ソースシステムの追加、ターゲットシステムの
要件拡大にスケールしないコード開発
Agenda
y
データ連携が求められる背景・課題
y
Oracle Data Integratorとは?
y
Oracle Data Integratorでの開発
Oracle Data Integratorとは
Oracle Data Integrator (ODI)の特徴
専用サーバー必要なし!
専用サーバー必要なし!
専用の
中間サーバーが必要なく
、パフォー
マンスのボトルネックが発生しにくい
簡単お手軽開発
簡単お手軽開発
データフローの自動生成、ナレッジ・モジュー
ル等により、
開発工数削減
柔軟な連携タイミング
柔軟な連携タイミング
Oracle Data Integratorはビジネス・インテリジェンスとデータ・ウェアハウス、マスターデータ管理、サー
ビス指向アーキテクチャ (SOA)、アプリケーションの移行と統合など、
業務を遂行するために必要不可欠な機能を実現するデータ統合 (ETL)ツールです
スケジューリングによる連携だけでなく、
リアルタイム連携、SOA連携に対応
中間サーバー
従来の「
従来の「
ETL
ETL
」
」
ODI
ODI
では「
では「
E
E
-
-
LT
LT
」
」
• 中間サーバーが不要
• ネットワーク負荷が軽い
• DBの処理性能を最大限に活用
•
中間サーバーを経由
•
毎回すべてのデータをロード
L
oad
E
xtract
T
ransform
コスト削減
リアルタイム
コスト削減
速い
L
oad
E
xtract
中間サーバーがボトルネックに
A
B
C
A
B
C
E
E
xtract
Î
L
L
oad
Î
T
T
ransform
の処理ロジックにより、中間サーバーを必要としないアーキテクチャ
DBをデータ変換エンジンとする「E-LT」アーキテクチャ
T
ransform
ステージング テーブル ターゲット テーブル-
中間サーバーのH/Wを必要とせず、既存のRDBMSのリソースを統合エンジンとして活用
-
各RDBMSのネイティブのコードを発行し、バルクロード・ユーティリティをサポート
-
ネットワーク転送処理がETLに比べ少ないため、データ連携鮮度が高い
高い開発生産性を実現する宣言型設計
連携方法
を選択: ビルトインテンプレート
連携対象
を指定
自動的に デー
タフローを生成
1
1
3
3
2
2
1
1
連携先のデータソースを指定
2
2
連携方法を選択:
ビルトインテンプレートを選択
3
3
データフローを自動生成
CSVファイルのデータを、
Oracle Database に、
・SQL Loaderで取り込みたい
・差分抽出して、格納したい etc.
・Oracle SQL*Loader Script を生成
・PL/SQL Script を生成
・Oracle 用SQLを生成 etc.
各種DBに最適な中間処理ステップが事前定義されており(ナレッジモジュール)、
連携対象と方式を指定するだけで、各DBのネイティブな処理コードを自動生成
従来の「
従来の「
ETL
ETL
」
」
設計
設計
Oracle
Oracle
では「
では「
宣言型設計
宣言型設計
」
」
直感的なGUI
ソース&ターゲットの一覧
開発画面
開発画面
GUIツールの利用により直感的な開発が可能、高い開発生産性を実現
ターゲットの設定、
各カラムのマッピングを設
定
ソースの設定、
ソーステーブル内での結
合を設定
ナレッジモジュールの利用メリットとアーキテクチャ
・DBの種類によらない統一した設計開発手順
- 習得が容易
- 複数PG言語スキルの習得が不要
- 高い開発生産性
・各DBに最適なSQLを自動生成
- コード品質が一定以上担保できる
- パフォーマンスがよい
- ノンプログラミングのためバグ減少
ソースから 差分データ読取 ソースから 一時領域へロード ロード前整合性チェック 変換の統合、最適化され た手法によるターゲットへ 移動 データ処理/変換を サービス化して公開 メタデータのリバース エンジニアリング リバース ジャーナライズ ロード チェック 統合 サービス CDC ソース ステージング領域 エラー表 ターゲット表 WSWS WSIBM DB2
Oracle Database
IBM Journal
SQL*Loader
Oracle
PL/SQL
Oracle
MERGE文
Oracle
Web Service
SAP/R3 Siebel Log Miner DB2 Journals SQL Server Triggers Oracle DBLink DB2 Exp/Imp JMS Queues Check MS Excel Check Sybase Oracle SQL*Loader TPump/ Multiload Type II SCD Oracle Merge Siebel EIM Schema Oracle Web Services DB2 Web Services
ナレッジモジュール
データ統合に必要な中間処理ステップを各種DBのネイティブコードで自動生成
IBM DB2
メタデータ抽出
Knowledge Modulesの種類
ソース・ステージング領域に、チェンジ・データ・キャプチャ
に必要なオブジェクトを生成
ジャーナル
(Journal)
JKM
制約と照合してデータの一貫性をチェックを行う
チェック(Check)
CKM
データ操作Web サービスを生成
サービス(Service)
SKM
作業リポジトリに格納するメタデータを取得
リバースエンジニアリ
ング(Reverse)
RKM
ステージング領域からターゲットにデータを統合
統合(Integrate)
IKM
詳細
カテゴリ
KM
ロード(Loading)
異機種間データをステージング領域にロード
LKM
サンプル
KMs
Journalize Read from CDC Source Load From Sources to Staging Check Constraints before Load IntegrateTransform and Move to Targets
Service
Expose Data and Transformation Services Reverse Engineer Metadata リバース ジャーナル ロード チェック 統合 サービス
Pluggable Knowledge Modules Architecture
CDC Sources Staging Tables Error Tables Target Tables WS WS WS