Citibank flow

(1)

1

IBM Z データ仮想化技術と

Data Virtualization Managerのご紹介

2019年10月 4日

日本アイ・ビー・エム株式会社

Z ソフトウェア・テクニカルセールス

〜既存の IBM Z 資産を活用しつつ

(2)

内容

− ホストデータ資産の活用と IBM Z Analyticsポートフォリオ

− IBM Zのデータ仮想化技術〜IBM Data Virtualization Manager for z/OS (DVM)〜

− DVM データ活用最前線〜海外お客様事例より〜

(3)

3

ホストデータ資産の活用と

(4)

ホストデータ活用〜従来型アプローチのペインと z Analyticsアプローチ

(Gartner社)

現在まで主流のアプローチ

・ホストから他のプラットフォームにデータを移動してから活用する (抽出・転送・加工・ロード) ・ソースとなるデータベースの種類と数が多いほど・データ容量が大きいほど [原因] ホストにデータのグラビティがあるお客様にとって、実は最適とは言えないアーキテクチャ長所: ・いったんRDBに放り込めば、SQL 言語で自在に活用できる・多彩なアプリケーションで活用・複雑な照会も、IBM Z側のCPU資源を使わず処理できる・応答時間も概して良好短所: ・RDBに放り込むまでに多大な時間を要する・インフラコスト (初期＋運用) ・オープン系スキル保有者の確保・セキュリティ・リスク・データの可用性リスク短所がお客様ペインとして増大して行く

IBM z Analyticsのアプローチ

[ポイント] ・活用対象のデータのグラビティがホストにあるお客様に最適化したアーキテクチャ・データ仮想化技術により、構造の異なるさまざまなデータソースも同様にSQL言語で活用可能 [従来との違い] ・抽出・転送・加工・ロード → 直接アクセスへの転換により; - データのレイテンシ改善 - インフラコストの抑制 - リスク低減: セキュリティ、データ可用性・IBM Z最新技術; - リソース消費のオフロード: zIIP、IDAA - 大容量メモリや並列処理による高速化 - ハイブリッド技術で超高速性の要件にも対応・汎用性の高いアプリインタフェース; - データ仮想化技術: SQL言語 (付加価値として異種データ間のJOINも可能) - JDBC、ODBC等のドライバーを提供

(5)

5

(2018年7月『IBM Z 海外先進事例セミナー』資料より)

大量データの移動は

イノベーションの妨げになる

既存のITアーキテクチャーは、洞察を安全かつ

リアルタイムに提供するように設計されていない

• データの飛躍的な増加

• データ遅延の潜在的リスク

• コストと複雑性の増大

• 高まるセキュリティーリスク

(6)

IBM Z Analytics

− データを動かすことなく分析する〜エンタープライズ・アナリティクスに対する、

従来とは一味違ったアプローチ

データが存在する場所で照会や分析処理を実行

– メインフレーム基幹データのグラビティに最適化

基幹業務と同等のレジリエンシーを照会・分析業務にも

エンタープライズ内のあらゆるデータを統合的に活用

– IBM Z および Z 以外のデータ・ソースからの構造化・非構造化データ

を統合

既存の人員、プロセス、インフラストラクチャーを活用

(7)

7

(2018年7月『IBM Z 海外先進事例セミナー』資料より)

IBM Z によるアナリティクスは

意思決定の遅れを改善する

1. 存在する場所で暗号化された安全なデータを活用

2. 基幹系アプリケーションと同等レベルの

障害回復力をアナリティクスにも適用

3. IBM Zの内外にある構造化、非構造化データ

から導きだした洞察を活用

4. 既存の人材、業務プロセス、インフラストラクチャーの

生産性を最適化

(8)

IBM Z Analytics 〜データ活用のパターンとポートフォリオ

− お客様が活用なさりたい対象データソースと、その際何を重視されるかで以下の四象限に分類することができます

リアルタイム性を重視複雑照会の(超)高速性を重視 D b2 for z /OS のみ D b2 fo r z/ OS 以外を含むアプリ層 Driver層 z/OS LPAR Db2 for z/OS アプリ層 Driver層 z/OS LPAR 仮想化層データソース層

DVM for z/OS IMS-DB

VSAMファイル Db2 for z/OS データソース層

アプリ層 Driver層

z/OS LPAR

Db2 for z/OS IDAA

事前にロード (IDAA標準機能) データソース層アプライアンス層 IBM Zオールインワンも可能 (IDAA on IBM Z) アプリ層 Driver層 z/OS LPAR Db2 for z/OS IDAA 事前にロード (Loaderの機能) データソース層仮想化層アプライアンス層 IBM Zオールインワンも可能 (IDAA on IBM Z) IMS-DB VSAMファイル IDAA Loader Db2 Connect, JDBC T4 ODBC, JDBC等 ODBC, JDBC等 DVM提供の ODBC, JDBC T4

DVM

(当資料でご紹介) DRDA Db2 Connect等アプリケーションからは、データは仮想上のテーブルイメージで見える必要に応じて加工やジョインも可能 IDAA標準機能の範囲 IDAA＋Loader Db2 Connect, JDBC T4 ODBC, JDBC等 Db2 Connect, JDBC T4 ODBC, JDBC等 ※Db2 for z/OS V11 NFM以上が前提です ※Db2 for z/OS V11 NFM以上が前提です

(9)

9

IBM Zのデータ仮想化技術

(10)

IBM Zにおける｢データの仮想化｣

Data Virtualization

Data Virtualization:

企業内に散在し、互いに異なる構造を備えた

データソース群を;

・データの物理的な移動・加工を伴わず、

・リアルタイムに、

・互いに組み合わせて

利活用することを目指した技術です

• メインフレーム内／外

• IBM内／外

• 関係型／非関係型データ

ベース、非構造化データ

− その実現のため;

▪ 物理構造やアクセス方法の異なるさまざまなデータソースを

▪ 関係型データベース (RDB) のテーブル構造にマッピングの上、

SQL言語でデータを扱えるようにすることで

▪ 構造やアクセス方法の共通化を図り、利用価値を高めます

(11)

11

IBM Z のデータ仮想化技術

階層型データベース (例) IMS-DB もともと関係型データベースのデータソース (例) Db2 for z/OS データベース化されていないデータソース (例) SAM、VSAM など IMS DBD/PSB 言語の変数宣言言語の変数宣言 DB2カタログ内の情報同上

DVMアドレス空間 (STC)

仮想上のテーブル仮想上のテーブル仮想上のテーブル・親子関係を紐付けられるよう、 IDフィールドも自動付加

データ仮想化の ”エンジン”

※ 接続のドライバーも付属・ ODBC ・ JDBC ※ COBOL等のプログラミング言語も利用可能 ※ z/OS Connect EE 併用で RESTful API 化も可能

アプリケーション群

データソース群

仮想上のテーブル構造にマッピング最新技術満載で高速・経済的単一表でも！組み合わせても！ (ジョインなど) 汎用性の高い、 SQL言語でデータを利用可能！

− その実現のため;

▪ 物理構造やアクセス方法の異なるさまざまなデータソースを

▪ 関係型データベース (RDB) のテーブル構造にマッピングの上、SQL言語でデータを扱えるようにすることで

▪ 構造やアクセス方法の共通化を図り、利用価値を高めます

COBOL COPY句、 PL/I DCL文などに対応

(12)

【ご参考】DVMのアーキテクチャ

− DVMは z/OS上で稼動する”仮想化エンジン”です (赤枠内)

− 大容量メモリや zIIPプロセッサの活用 (SMT2)、Map/Reduce技術などの最新技術が満載です

− 弊社従来製品 (IICF: IBM InfoSphere Classic Federation Server for z/OS) よりも負荷低減、高性

能化が図られています

IBM Data Virtualization Manager for z/OS

• zIIP eligible / avoid MLC costs • Optimized for z14, z13, EC12 • Supports relational sources • >100X faster than IICF

• Support any API:

SQL, NoSQL, REST, SOAP, HTTP

• Python support

• Automated discovery though IBM ADDI

• Ships with industry mappings • Exploits 64-bit storage

• Built-in MapReduce • Built-in parallel I/O

(13)

13

【補足】最新技術で強化したフェデレーション・ソフトウェアとして

− IMS、VSAMなど非リレーショナル型データソースを扱える弊社のデータ・フェデレーション・ソフトウェ

アとしては、DVMの他にも、InfoSphere Classic Federation Server for z/OS (ICFSないしIICF)と

いう従来製品を提供しています

− DVMでは、データ仮想化技術を中核とする刷新されたアーキテクチャの下に、下表のとおり様々な観点で最

新技術による強化が図られているのが特長です

ICFS (IICF) DVM 製品ライフサイクル 2006年12月 V9.1出荷開始 2017年11月 V1.1 (初版) 出荷開始製品の目的・主旨非リレーショナル型の z/OSデータを、SQLによるアクセスを通じて、オープン・プラットフォーム上のツールやアプリケーションと統合する z/OS上のデータも、企業内のその他のデータソースと共に仮想化することで、包括的な情報としてリアルタイムに提供する

サポートするアプリケーション・インタフェース SQLのみ SQL, NoSQL, REST, SOAP etc. サポートするデータソース、接続方式 DRDAのサポートなし DRDAをフル・サポート

ホスト上のCPU負荷軽減 zIIPのサポートなし最大99%まで zIIPオフロード可能

(使用するデータソースや接続方式により異なる) データの処理時間 (→ レイテンシ) 並列処理のサポートなし Map/Reduce技術による並列処理で高速化を実現 IBM Zサーバー機種 (命令セット) への最適化なし z196以降の4世代の機種に最適化 (z14, z13, EC12, z196 およびビジネス・クラス) その他インダストリ・データモデルのサポートなし ISO 8583, 20022に対応したメタデータ・マップを事前定義

(14)

【補足】データ加工の簡易ツールとして

− DVMは簡単なデータ加工ツールとしても用いることができ、お客様システムにおける ETL (Extract－

Transform－Load) 基盤の簡素化にもつながります

EMPNO LASTN DEPT TEL HIREDATE JOB EDU SALARY BONUS COMM RECORD_ID 000220 LUTZ D11 0672 1968-08-29 DESIGNER 18 29840 600 2387 000220 000290 PARKER E11 4502 1980-05-30 OPERATOR 12 15340 300 1227 000290 200240 MONTEVERDE D21 3780 1979-12-05 CLERK 17 28760 600 2301 200240 000270 PERES D21 9001 1980-09-30 CLERK 15 27380 500 2190 000270 000120 O'CONNELL A00 2167 1963-12-05 CLERK 14 29250 600 2340 000120 000110 LUCCHESI A00 3490 1958-05-16 SALESREP 19 46500 900 3720 000110

：：：：：：：：：：：

仮想テーブルのイメージ (加工前)

BU_CODE BU_NINZU BU_KYOUIKU BU_SHIHARAI JP0A00 5 16 45038 JP0B01 1 18 45350 JP0C01 4 18 32725 JP0D11 11 16 27667 JP0D21 7 15 28221 JP0E01 1 16 44189 JP0E11 7 14 23115 JP0E21 6 15 26497 欲しいアウトプットのイメージ (加工後) アプリケーション SELECT 'JP0'||DEPT AS BU_CODE, COUNT(*) AS BU_NINZU, AVG(EDU) AS BU_KYOUIKU, AVG(SALARY+BONUS+COMM) AS BU_SHIHARAI FROM TBEMP GROUP BY DEPT ORDER BY DEPT ASC;

毎回、右のSQL文を記述してもよいが、定型的な処理なら仮想ビューの定義で記述しておけば手間が省ける

Virtual View - VIEW_KAKOU SELECT Statement:

New Virtual View Wizard

(右のSQL文を記述) 複雑・高度な加工を行っている場合など、 必ずしも専門のETLツール製品が不要に なるとは限りませんのでご注意ください！ (無償によるソフトウェアのお貸出しや、 PoC検証の実施も可能ですのでご相談ください) DVMでは仮想のテーブルに対してSQL SELECT文を発行する際、文字列リテラルや数値、四則演算等の演算子、組み込み関数を記述することで、簡単なデータ加工を行うことが可能です。定型的に実行する処理であれば、これを仮想のビューとして定義しておくことで手間が軽減されます

(15)

15

DVMの特長

−

”ANY Data for ANY Application"

シンプル

データを移動せず、直接にアクセスできる

オープン

あらゆるアプリに対してホストデータへのアクセスを提供

セキュア

IBM Z 外へのデータ移動を削減することでリスクを回避

高速

処理の高速化を図るため、並列処理やインメモリ処理など

IBM Zのアーキテクチャを活用

優れた費用対効果

最大99%ものzIIPオフロードにより、Zのコストを抑制

Non z/OS data

好適な用途の例: ・従来、活用できていなかったIMS、VSAM等のデータのプログラミングレス活用・抽出・加工等の処理の置き換え・異種データソース間の突きあわせ活用・データベース移行期間の過渡的利用: IMS→Db2化など

(16)

こんな要件はございませんか？

▪ ホストデータを今ドキのディジタル・アプリケーションで活用したい

−

z/OS Connect and APIs for web, mobile, cloud

▪ 他にも、ホストデータにアクセスさせたいアプリケーションがあれば

どんなものでも･･･

−

IICF, DataStage, Optim, QualityStage, Cognos…

−

Hadoop Data Lakes, ETL, MongoDB…

▪ 活用してみたいホストデータがある

−

VSAM, IDMS, IMS, ADABAS, Physical Sequential…

−

SMF, SYSLOG…

(17)

17

(18)

【再掲】DVMのアーキテクチャ

− DVMは z/OS上で稼動する”仮想化エンジン”です (赤枠内)

− 大容量メモリや zIIPプロセッサの活用 (SMT2)、Map/Reduce技術などの最新技術が満載です

− 弊社従来製品 (IICF: IBM InfoSphere Classic Federation Server for z/OS) よりも負荷低減、高性

能化が図られています

• zIIP eligible / avoid MLC costs • Optimized for z14, z13, EC12 • Supports relational sources • >100X faster than IICF

• Support any API:

SQL, NoSQL, REST, SOAP, HTTP

• Python support

• Automated discovery though IBM ADDI

• Ships with industry mappings • Exploits 64-bit storage

• Built-in MapReduce • Built-in parallel I/O

(19)

19

DVM 性能測定事例

−

zIIPの活用

• 99% of data virtualization runs on

zIIP

−

並列処理〜 Map Reduce技術

• Test Case 4 and 2 have same

configuration

• With degree of parallelism at 8

• elapsed time is reduced from

98.68 minutes to 17 minutes

• Add 3 zIIPs and test case 8 shows

greater improvement

• elapsed time goes down to

13.83 minutes

• With enough zIIPs it will not

unusual for us to see 1000%

improvement for elapsed times

zIIP engine exploitation Row Labels Sum of CPU Time Sum of zIIP Time Sum of IICP Time Sum of zIIP NTime %zIIP eligible DVM 1 7099.03 5609.55 1389.58 5609.55 98.59% Test Case GPP's Number of zIIP engines Degree of parallelism Elapse time in minutes SMT 1 8 0 0 118.96 1 2 8 5 0 98.68 1 3 8 2 4 27.05 1 4 8 5 8 17.14 1 5 8 5 8 20.84 2 6 8 5 10 17.00 2 7 8 5 16 15.73 2 8 8 8 8 13.83 1 9 8 8 8 17.62 2 10 8 8 16 11.72 2

Parallelism impact on elapsed time

Test performed at the IBM Systems Benchmark Center, Poughkeepsie, NY in Nov. 2017 running on IBM z13 using 800GB of financial data - flat files, with a multitude of fields

zIIP 1コア当りの処理

(20)

DVM データ活用最前線

(21)

21

DVM 〜ビジネス上の価値

− DVMはお客様のビジネスにさまざまな価値をもたらします

− 後続のページで、代表的なお客様事例をご紹介します

リアルタイムのデータ活用



ファイル転送や加工、バッチ更新を待つ必 要が減る※1



IMSやVSAMデータも、プログラムを書か なくても表形式で扱える ※1. 度合いはお客様の使い方にも依存します

IT投資の最適化



中間サーバ基盤の簡素化※1 が可能



zIIP※2 オフロード率最大 99％※3

※2. IBM z Systems Integrated Information Processor ※3. データソースの種類に依存します



RDB化の移行プロジェクトも不要



SMT2、Map/Reduceなど、最新技術満載で 高速処理を実現

モダナイゼーション



SoR※4 システムのIMS、VSAMも、最小限 の時間とコストで SoE※５システムで活用可 能。API化も可能



ODBC、JDBCドライバ同梱。ビジネス・イ ンテリジェンスなど、市販のソフトウェア でデータを活用可能 ※4. System of Record ※5. System of Engagement

(22)

お客様事例①. ETL処理にかかる時間と費用の削減

− 金融サービス業〜教育ローン･プロセスの効率化

DVM

アプリケーションアプリケーション DVM適用前 DVM適用後 • ローン承認、振込みの処理時間が長すぎる • データ： 2つのIMSデータベース、数百万レコードの顧客 データ、62セグメント • ETL処理：IMS → ETL → アプリケーション （所要時間：12時間） • メインフレームのIMSデータにリアルタイム・アクセス • 複雑なJoinをメインフレーム側で行い、一つのクエリで700万レコード 以上の結果を13分で返した • 93%のデータ連携処理をzIIPで実行 • ローン承認、振込み確認の正確な情報を使い、リスクを低減 背景・現状 結果

リアルタイム

IT投資最適化

IMS DB

(23)

23

お客様事例②. エンドユーザー・コンピューティングの実現

− 金融サービス業〜投資アドバイスに関するセルフサービス型アナリティクスを実現

• データ: VSAMファイルを15個結合、1700万レコード • アナリストは分析に用いるレポートを作成するため、プログラ ム開発担当者の参画を仰いでいた • データウェアハウス(DWH)にデータをロードするまでには、 複雑で多段階の抽出処理が必要だった • 開発者の作業や複雑・大量のETL処理のため、実際にアナリス トがレポートを手にするまでには多大な時間がかかっていた • ビジネス・インテリジェンス・アプリケーションのダッシュ ボードから、DWHではなく、メインフレーム上のVSAMファ イルにアクセスする方式に転換 • リアルタイムで、セルフサービス型の分析業務が実現 • ポートフォリオ・マネージャーからのリクエストに対して、ア ナリストはレポートの作成を待つことなく、また最新データに 基づく的確な内容でアドバイスできるようになった VSAMファイル 1700万件、15個ポートフォリオマネージャーアナリストレポート_レポートレポート作成処理開発者 DWH ロード VSAMファイル 1700万件、15個ポートフォリオマネージャーアナリストレポート_レポートダッシュボード (BI アプリケーション) DVM 仮想テーブル抽出・加工・結合中間ファイル DVM付属の ODBCドライバー

DVMの適用前は..

DVMの適用後は..

リアルタイム

VSAMファイル

モダナイゼーション

(24)

お客様事例③. モバイルアプリから基幹アプリ／データを直接利用

− 金融サービス業〜 IBM z/OS Connect EEとDVMの連携事例

Adabas/

Natural, DB2,

CICS

モダナイゼーション

IT投資最適化

• 電子株取引をサポートする新規Web/モバイルアプリケーションで、メイ ンフレーム・システムのデータ、ビジネスロジックを最大限活用したい • データ： Adabas/Natural、DB2、CICS、125テラバイト以上 • 環境：複数のグローバル・データセンターがある複雑な環境 • Web/モバイルアプリケーションが、直接、データ、ビジネスロジック、画面に アクセスし、コピーやFTPを代替 • データソースはそのままで、新しいアプリケーションからもリアルタイムに参照・ 更新 • 連携の97%はzIIPで実行し、総MIPSの約5％を節約 • 新しいビジネス・サービスからも、リアルタイムにアクセス

背景・現状

結果

DVM

(25)

25

【ご参考】サポートする主なデータソース

− IBMメインフレーム

▪ Db2 for z/OS

▪ IMS Database Control (DBCTL)

▪ VSAM データセット (CICS管理下のものを含む)

▪ SAM データセット (PDSを含む)

▪ zFS および zHFSファイルシステム

▪ SMF および SYSLOGデータセット

▪ 以下の他社データベース製品;

‒ ADABAS

‒ IDMS

− オープン・プラットフォーム

▪ Db2 for Linux, UNIX, and Windows (LUW版)

▪ Db2 Warehouse、Db2 Warehouse on Cloud、

Infomix

▪ 以下の他社データベース製品;

‒ Oracle

‒ MS SQL Server

‒ Apache Derby

− IMS-DBデータソースに対しては、下表の２通りの

モードを提供

▪ 仮想テーブルを定義する際、下表のいずれかを選択 ▪ それぞれ別々の仮想テーブル定義となる ▪ 同一のデータベース (セグメント) に対して、両方の仮想テーブルを定義しておき、必要に応じて使い分けることも可能 ▪ IMS Directモードは; ‒ データをアンロードするような使い方に向く ‒ また、IMS DBCTLの機能を介さずデータにアクセスするので、参照アクセスだけでよければ、DBCTLが立ち上がっていない時でも IMS-DBを利用できる利点がある仮想テーブル定義時のモード指定 IMS/DBCTL が必要か? データ参照データ変更備考 IMS/DBCTLモード (DL/I コールを発行) YES 必ず立ち上がっている必要がある

○ ○ "read/write, transactional integrity" ロックの取得有無はさらに、IMS-DB側の定義に従う (PSB内のPCBマクロで "PROCOPT= GO"指定の場合はダーティ・リード) IMS Direct モード NO DBCTLが落ちている時でも参照可能

○ × "read-only, high performance bulk data access"

(26)

IMS Direct仮想テーブルの使い方例

−

IMS Directモードが利用可能なデータベース:

• 現在、以下のタイプのIMS-DBに対応しています;

• HDAM • HIDAM

• PHDAM (Partitioned HDAM) • PHIDAM (Partitioned HIDAM)

• DEDB (Fast Path Data Entry Database)

− IMS標準のデータ圧縮EXITや、別売製品 Guardium Data

Encryption (GDE) のデータ暗号化EXITを適用したデータベースにも、DVMにそれらのEXITルーチンを呼べるよう設定することで対応可能です

質問

・当社では 21時にオンラインが閉局、IMS DBCTLも停止する。DVMを使えば閉局後の時間帯に、閉局時点の内容のIMS-DBのデータを読むことは可能か？・可能だとした場合、DVM側では、IMS-DBをVSAMタイプの仮想テーブルとして定義すればよいのか？

回答

・可能です。ただし IMS-DBのデータベースは、VSAMタイプの仮想テーブルとして扱うには構造が複雑ですので、この場合はIMS-DB タイプのうち、IMS Directモードの仮想テーブルとして定義してください

・DVMのIMS Directモードの仮想テーブルは、IMS DBCTLが稼動していない時でも参照可能です。ただし、IMS Directモードはその性質上、読取専用かつ Dirty-readとなりますので、データ内容の整合性等は利用者側の責任で保証していただく必要がありますオンラインサービス時間オンライン停止中 21時 9時オンライン閉局 IMS DBCTLも停止翌朝のオンライン開局参照だけでよいので、閉局時点の内容のデータにアクセスできないかな? 閉局時点のデータ内容 (IMS DBCTLも停止) VSAM および OSAM

(27)

27

【ご参考】主な前提製品

− IBM Z サーバー

▪ ハードウェア・モデル: zEnterprise 196 および 114 以降の世代のモデル ‒ 現在サポートのある製品 ▪ オペレーティング・システム: z/OS 2.1以上 ‒ VSAMデータソースを使用する場合、z/OSに PTF UA75046、UA75273 も必要

− DVM Studio用のPC (仮想テーブル等の定義作業に使用)

▪ ハードウェア・スペック: ▪ メモリ容量 : 最小 4GB以上の容量が推奨 ▪ ディスク容量: 最小 1GB以上、完全インストールには 2GB以上の容量が推奨 ▪ オペレーティング・システム:

▪ Windows 10、Windows 8 および Windows 7 (それぞれ 32 bit または 64 bit版) ▪ その他:

▪ Linux: Ubuntu 16以上および Red Hat Enterprise Linux 6.7以上 ▪ macOS: 10.12 Sierra

▪ 64ビット版Windows以外のOS環境では、対応する Eclipse をお客様にてご用意の上、プラグインとして導入します (含・32ビット版Windows)

− ODBCドライバー (業務アプリケーション等で使用)

▪ オペレーティング・システム:

Db2 for z/OSはDVMの前提ではありません • 使用する機能にもよりますが、例えば単純に Db2 for z/OS以外のデータソースを参照したいというだけであれば、Db2 for z/OSは前提ではありません • DVM上のメタデータ情報は、Db2データベースではなく、一般的な区分データセットに保管されます • アクセス監査等を目的としたロギング機能のように、Db2 for z/OSがあればDb2を使用できるという機能もあります

(28)

まとめ

− IMSなどの非関係型データベース資産も、データの物理的な移動や加工の必要なく、多彩なアプリケーショ

ンで利活用可能

− z/OS Connect EEとの連携により、例えば IMSとVSAMをジョインするような仮想のビューも RESTful

APIとして公開可能

SoEサービスビジネス・アプリケーション (表計算、分析ソフト、etc. ) z/OS Connect EE REST/JSON SQL/NoSQL (JDBC, ODBC, MongoDB 用のドライバ, インタフェースを提供)

DVM

CICS IMS Db2 MQ 階層型データベース (例) IMS-DB データベース化されていないデータソース (例) SAM, VSAM, zFS, SMF, SYSLOG もともと関係型データベースのデータソース (例) Db2 for z/OS

？

他社データベース，メインフレーム外のデータベース (例) ADABAS, Oracle, Db2 LUW版仮想上のテーブル構造にマッピング，リアルタイムでアクセス汎用性の高いインタフェースでデータを利活用可能 SoRサービス (メインフレーム基幹業務)) IBMメインフレーム内外の広範なデータソースに対応異種ソースからの仮想テーブル間のジョインやユニオンも可能大容量メモリ，zIIP， Map/Reduce技術といった最新技術で高速・低負荷を実現

(29)

29

Citibank flow

IBM Z データ仮想化技術と

Data Virtualization Managerのご紹介

2019年10月 4日

日本アイ・ビー・エム株式会社

Z ソフトウェア・テクニカルセールス

〜既存の IBM Z 資産を活用しつつ

内容

− ホストデータ資産の活用と IBM Z Analyticsポートフォリオ

− IBM Zのデータ仮想化技術 〜IBM Data Virtualization Manager for z/OS (DVM)〜

− DVM データ活用最前線 〜海外お客様事例より〜

ホストデータ資産の活用と

ホストデータ活用 〜 従来型アプローチのペインと z Analyticsアプローチ

現在まで主流のアプローチ

IBM z Analyticsのアプローチ

大量データの移動は

イノベーションの妨げになる

既存のITアーキテクチャーは、洞察を安全かつ

リアルタイムに提供するように設計されていない

•

データの飛躍的な増加

•

データ遅延の潜在的リスク

•

コストと複雑性の増大

•

高まるセキュリティーリスク

IBM Z Analytics

− データを動かすことなく分析する 〜 エンタープライズ・アナリティクスに対する、

従来とは一味違ったアプローチ

データが存在する場所で照会や分析処理を実行

– メインフレーム基幹データのグラビティに最適化

基幹業務と同等のレジリエンシーを照会・分析業務にも

エンタープライズ内のあらゆるデータを統合的に活用

– IBM Z および Z 以外のデータ・ソースからの構造化・非構造化データ

を統合

既存の人員、プロセス、インフラストラクチャーを活用

IBM Z によるアナリティクス は

意思決定の遅れを改善する

1.

存在する場所で暗号化された安全なデータを活用

2.

基幹系アプリケーションと同等レベルの

障害回復力をアナリティクスにも適用

3.

IBM Zの内外にある構造化、非構造化データ

から導きだした洞察を活用

4.

既存の人材、業務プロセス、インフラストラクチャーの

生産性を最適化

IBM Z Analytics 〜 データ活用のパターンとポートフォリオ

− お客様が活用なさりたい対象データソースと、その際何を重視されるかで以下の四象限に分類することができます

DVM

IBM Zのデータ仮想化技術

IBM Zにおける｢データの仮想化｣

Data Virtualization

Data Virtualization:

企業内に散在し、互いに異なる構造を備えた

データソース群を;

・ データの物理的な移動・加工を伴わず、

・ リアルタイムに、

・ 互いに組み合わせて

利活用することを目指した技術です

• メインフレーム内／外

• IBM内／外

• 関係型／非関係型データ

ベース、非構造化データ

− その実現のため;

▪ 物理構造やアクセス方法の異なるさまざまなデータソースを

▪ 関係型データベース (RDB) のテーブル構造にマッピングの上、

SQL言語でデータを扱えるようにすることで

▪ 構造やアクセス方法の共通化を図り、利用価値を高めます

IBM Z のデータ仮想化技術

DVMアドレス空間 (STC)

データ仮想化の ”エンジン”

アプリケーション群

データソース群

− その実現のため;

▪ 物理構造やアクセス方法の異なるさまざまなデータソースを

▪ 関係型データベース (RDB) のテーブル構造にマッピングの上、SQL言語でデータを扱えるようにすることで

− IBM Zのデータ仮想化技術〜IBM Data Virtualization Manager for z/OS (DVM)〜

− DVM データ活用最前線〜海外お客様事例より〜

ホストデータ活用〜従来型アプローチのペインと z Analyticsアプローチ

− データを動かすことなく分析する〜エンタープライズ・アナリティクスに対する、

IBM Z によるアナリティクスは

IBM Z Analytics 〜データ活用のパターンとポートフォリオ

・データの物理的な移動・加工を伴わず、

・リアルタイムに、

・互いに組み合わせて

どんなものでも･･･

並列処理〜 Map Reduce技術