• 検索結果がありません。

(Microsoft PowerPoint - EventStreamsWeb\203Z\203~\203i\201[\216\221\227\277_1030_final.pptx)

N/A
N/A
Protected

Academic year: 2021

シェア "(Microsoft PowerPoint - EventStreamsWeb\203Z\203~\203i\201[\216\221\227\277_1030_final.pptx)"

Copied!
38
0
0

読み込み中.... (全文を見る)

全文

(1)

© 2018 IBM Corporation

IBM ソフトウェア Webセミナー・シリーズ

-最新技術情報を毎週お届け!自席で簡単スキルアップ-企業システムで使えるApache Kafka

〜IBM Event Streamsのご紹介〜

日本アイ・ビー・エム株式会社

IBMクラウド事業本部

第二テクニカル・セールス

恩田洋仁

(2)

© 2018 IBM Corporation

IBM Event Streams

目次

メッセージングとイベント処理

Apache Kafkaのアーキテクチャーと特徴

IBM Event Streamsのご紹介

(3)

© 2018 IBM Corporation

IBM Event Streams

3

メッセージングとイベント処理

Apache Kafkaのアーキテクチャーと特徴

IBM Event Streamsのご紹介

(4)

© 2018 IBM Corporation

IBM Event Streams

⽇常的に遭遇する非同期処理の例

オーダーと会計の時間

VS

(5)

© 2018 IBM Corporation

IBM Event Streams

静的なデータ・ソースから、多様なイベント・ソースへ



データベース



ファイル



KVS



メッセージ・キュー

5



Webサイト・トラッキングやSNS

(ページビュー、クリック、いいね、コメント追加など)



アプリケーション・ログ

(ユーザー情報、ロール、パラメーター、呼び出し可否、エラー情報など)



システム・ログ



IoTデータ (GPS、温度センサー、振動、加速度センサーなど)

データベース

アプリサーバー

モバイル

ブラウザー

データ・

ソース

イベント・

ソース

マイクロサービス

SNS

アナリティクス

IoT

(6)

© 2018 IBM Corporation

IBM Event Streams

(非同期)メッセージング処理の三つの特徴

一時的な持続性

送達の信頼性

特定の宛先に特定の目的のデータの

確実な伝達

リクエスト

リプライ



(7)

© 2018 IBM Corporation

IBM Event Streams

MQの代表的な⽤途:ディレード処理

7

DB更新

DB更新

MSG送信

Web

バックエンド業務システム

フロント業務システム

オンライン取引

PDF作成

印刷 など

照会業務

DB更新

MSG送信

DB

確実に1回の伝送

2フェーズ・コミット

その他の用途

・異機種間データ連携

・ワークフロー

・業界ネットワークのデータ通信

(8)

© 2018 IBM Corporation

IBM Event Streams

非同期メッセージング処理のミドルウェアとして25年

Salesforce

連携

Fortune 100に掲載されている企業の85%、

世界トップ100の銀行の94%が、

信頼のおけるメッセージング基盤として、IBM MQを採用

(9)

© 2018 IBM Corporation

IBM Event Streams

(非同期)イベント・ストリーミング処理の三つの特徴

9

履歴データ

スケーラビリティ

イベントは起きた事実を不可変に記録・伝達し

宛先や目的も限定されない

不可変データ

(10)

© 2018 IBM Corporation

IBM Event Streams

イベント・ストリーミングの⽤途例

クラウド・ネイティブアプ

リケーションへのブリッジ

既存のオンプレミス・システムか

らクラウド・ネイティブなアプリ

ケーションへデータの伝達

Event Backbone

マイクロサービスの

イベント・バックボーン

変化の激しいクラウド・ネイティ

ブなアプリケーションのデータ連

携のための中央バスとして

App

Event Backbone

アナリティクス・システムへの

イベント・バッファー

IoT、ウェブサイトのユーザー・

トラッキング情報、ログ情報と

いった膨大なデータをデータ分析

のためのシステムに中継

Event Backbone

ML

A P I

(11)

© 2018 IBM Corporation

IBM Event Streams

マイクロ・サービス・アーキテクチャー

マイクロ・サービス・アプリケーション

モノリシックなアプリケーション

マイクロサービス・アーキテクチャーのメリット

- 新規サービスのリリースやサービス変更

を迅速に⾏える俊敏性

- オンデマンドの拡張性

- サービス・ダウンタイムの最小化

API

API

API

疎結合・凝縮性・拡張性を維持しながら分散す

るデータをどのように管理するか?

課題:データも分散する

・すべてをAPIにすると開発スピードや

応答性が犠牲に

・DBを共有すると密結合に

・データの整合性はどう担保する?

(12)

© 2018 IBM Corporation

IBM Event Streams

イベントソース・パターン

イベント・ストア

時系列のイベント

起きた事象を不変のデータとしてイベント・ストアに追記

アプリケーションはそれらを再⽣して処理を⾏う

(障害時にはリプレイ可能)

アナリティクスシステムは繰り返し一連のイベントを取得し

てデータ分析を⾏える

外部システム

アナリティクス

システム

(13)

© 2018 IBM Corporation

IBM Event Streams

イベント・ストアに求められる要件

13



追記限定な不変のイベントをストリームとして扱えること



必要に応じて時系列データを遡って再⽣できること



クライアント数の増加に対する拡張性



データ量に対する⾼い性能と拡張性



ミッション・クリティカルな基盤としての高い信頼性

◯機能面

◯非機能面

(14)

© 2018 IBM Corporation

IBM Event Streams

メッセージングとイベント処理

Apache Kafkaのアーキテクチャーと特徴

IBM Event Streamsのご紹介

まとめ

(15)

© 2018 IBM Corporation

IBM Event Streams

Apache Kafka概要

15

・LinkedIn社によって開発され2011年にOSS化された

Publish/Subscribe型のメッセージング製品

・ “分散コミットログ“、”分散ストリーム処理基盤”

とも呼ばれる

・大量のメッセージを超高速に処理

- 秒間数百万件の処理を1ノードで処理

(16)

© 2018 IBM Corporation

IBM Event Streams

(17)

© 2018 IBM Corporation

IBM Event Streams

17

トップ10の旅⾏会社の内の6社、

トップ10の銀⾏の内の7社、

トップ10の保険会社の内の8社、

トップ10の通信会社の内の9社で、

(18)

IBM Event Streams

© 2018 IBM Corporation

Source

Connector

Sink

Connector

コネクター

Apache Kafka アーキテクチャー

Producer

Producer

Producer

Consumer

Consumer

Consumer

Stream

Processor

Stream

Processor

外部システム

(⼊⼒側)

外部システム

(出⼒側)

18

パブリッシュ

サブスクライブ

0

1

2 3

4

トピック

ブローカー

(19)

© 2018 IBM Corporation

IBM Event Streams

パーティショニングにより、トピックへのアクセスをスケール

19

トピック

0

1

2 3

4

5 6 7

0

1

2 3

0

1

2 3

4 5

Partition 0

Partition 1

Partition 2

古い

新しい

プロデューサー

パブリッシュ

8

4

6

複数のブローカーで負荷を分散できるためスケールする

同一のキーのメッセージは同一パーティションに順序性を保って送信される

(20)

© 2018 IBM Corporation

IBM Event Streams

パーティション内のメッセージの消費でデータは消されず

各コンシューマーのオフセットのみが更新される

0

1

2 3

4

5 6 7

Partition 0

8

9 10

コンシューマー A

(offset 6)

コンシューマーB

(offset 9)

プロデューサー

トピック

メッセージはログが保存されている限り必要に応じて読み直すことができる

(21)

© 2018 IBM Corporation

IBM Event Streams

コンシューマー・グループよる負荷分散

0 1

2

3

4

5 6 7

0 1

2

3

0

1

2 3

4

5

Partition 0

Partition 1

Partition 2

コンシューマーグループ A

コンシューマーグループ B

Consumer

Consumer

Consumer

Consumer

Consumer

Consumer

p0, offset 7

p1, offset 3

p2, offset 4

p0, offset 6

p1, offset 1

p2, offset 5

トピック

21

(22)

© 2018 IBM Corporation

IBM Event Streams

レプリケーションによる可用性の実現 (正常時)

Broker 1

Broker 2

Broker 3

P1 : Leader

P2 : Leader

P3 : Leader

Broker 4

クラスター

各パーティションはレプリカを複数保持しデータは冗⻑化される

(23)

© 2018 IBM Corporation

IBM Event Streams

レプリケーションによる可用性の実現 (障害発生時)

23

Broker 1

Broker 2

Broker 3

P1 : Leader

P2 : Leader

P3 : Leader

Broker 4

クラスター

P1 : Leader

ダウンしたブローカーにリーダーのパーティションは

稼働中の別のブローカー上のパーティションに取って代わられる

Producer, Consumerは自動的に接続し直す

レプリカが一つでも残っていればデータは失われない

(24)

© 2018 IBM Corporation

IBM Event Streams

メッセージの消失を防ぐ仕組み(Producer :acks=allの場合)

Broker 1

Broker 2

Broker 3

P1 : Leader

Producer

send()

success

Producerの送信要求は正常に稼働

しているレプリカすべてにコピーが

⾏われてはじめて成功応答が返る

Broker 1

Broker 2

Broker 3

P1 : Leader P1: Leader

Producer

send()

Timeout

success

send()

レプリカ完了前にブローカーがダ

ウンするとProducerにはエラーが

返る

リトライによってリーダーを引き

継いだブローカーに対して再送が

⾏われ、処理は完了する

正常時

異常時

時間

時間

(25)

© 2018 IBM Corporation

IBM Event Streams

Apache Kafkaは顧客体験を向上させるモダンなアーキテク

チャーを実現する標準的な基盤

Runs natively on cloud

Decisions driven by data

膨大なデータの

洞察に基づく決定

イベントへの

即座の反応

再生可能な不変

のイベント・ス

トリーム

高い水平拡張性

信頼性

25

(26)

© 2018 IBM Corporation

IBM Event Streams

メッセージングとイベント処理

Apache Kafkaのアーキテクチャーと特徴

IBM Event Streamsのご紹介

(27)

© 2018 IBM Corporation

IBM Event Streams

IBMはフルマネージドのKafkaク

ラウド・サービスを

提供した最初のベンダー

IBM’s Kafka Expertise, Experience

27

パプリックマルチテナント・サービス

占有シングルテナント・サービス

2015年より、IBMは世界中のデータセンターで

Kafkaをパブリック・クラウド・サービスとして

運用してきた実績があります。

ダラス、ロンドン、フランクフルト、シドニー、ワシントンDC、そして東京(予定)

(28)

© 2018 IBM Corporation

IBM Event Streams

AWS

AWS

AWS

IBM Cloud Private

(ICP)

IBM Event StreamsはオープンテクノロジーのIBM Cloud Private/Public上で稼働

コンテナー化されたアプ

リケーションの自動配備、

オートスケール

Kubernetes対応の

アプリの定義、インス

トール、アップグレード

稼働に必要なものをすべ

て含んだ実⾏可能な

パッケージング

Text or image

Text or image

Text or image

コンテナー

オーケストレーション

マネジメント

パブリッククラウドや

オンプレミスでの

Infrastructure as Code

Text or image

プロビジョニング

AWS

AWS

AWS

IBM Event Streams

パブリッククラウド

フルマネージド・サービス

IBM Event Streams

オンプレミス

セルフマネージド

(29)

© 2018 IBM Corporation

IBM Event Streams

直感的かつ簡単に導⼊、構成、管理が可能

29

たった3クリックでデプロイメント可能

(30)

© 2018 IBM Corporation

IBM Event Streams

Kafka Connect

フレームワーク

既存システムからMQ経由で、Event Streamsへの連携可能

FROM.MQ.TOPIC

TO.KAFKA.Q

Task

Task

Task

IBM MQ

IBM Event Streams

MQソース・コネクター

(31)

© 2018 IBM Corporation

IBM Event Streams

IBM Cloudを活用したレプリケーションによる災害対策

31

地理的に分散したマルチデータセンター間でのレプリケーションを実現

(32)

© 2018 IBM Corporation

IBM Event Streams

Geo-Replication機能により、簡単に災害対策環境を構成

Replicator

task

Replicator

task

Destination

topic

Destination

topic

Originating

topic

Originating

topic

レプリケーション元のKafkaクラスター

宛先となるKafkaクラスター

メッセージ・データだけでなく、トピック構成、

メタデータ、パーティションやタイムスタンプ情

報もコピー可能

(33)

© 2018 IBM Corporation

IBM Event Streams

IBM Event Streams | Ready for Mission Critical Workloads

33

ミッション・クリティカルな基幹システムに対する

(34)

© 2018 IBM Corporation

IBM Event Streams

IBM Event Streams のエディション

製品版 IBM Event Streams

 Apache Kafka

 ZooKeeper

 デプロイメントの自動化

 管理 API

 管理UI

 サンプルアプリケーション

 IBMのサポート

 災対構成のサポート

 MQコネクター

 ICP Foundation

エンタープライズ用途の追加コンポーネントと商用環境向

けのフルサポートを提供

有償

IBMのサポートと追加のコンポーネントが提供

34

 Apache Kafka

 ZooKeeper

 デプロイメントの自動化

 管理API

 管理UI

 サンプル・アプリケーション

無償。基本コンポーネントの提供

(サポート無し)

IBM Event Streams

Community Edition

ICP

Community Edition

IBM Event Streamsを検証・評価するための

無償のコミュニティ・エディションを提供

(35)

© 2018 IBM Corporation

IBM Event Streams

35

メッセージングとイベント処理

Apache Kafkaのアーキテクチャーと特徴

IBM Event Streamsのご紹介

(36)

© 2018 IBM Corporation

IBM Event Streams

まとめ

36

更なる顧客体験の向上には、様々なイベントに即応できるプラットフォームが必要

MQでの既存システム連携や、

地理的に分散したデータセン

ター間でのレプリケーションは、

企業向けKafkaとして重要な機能

基幹システムで豊富な実績のあ

るIBM製品サポートを、ワール

ドワイド・レベルで提供可能

IBM Cloud Privateの技術に

より、数分でEvent Streams

を本番環境として構築、管理

2015年より、フルマネージド

のKafkaクラウド・サービス

を提供してきた経験を活かし

Event Streamsを開発

(37)

© 2018 IBM Corporation

IBM Event Streams

(38)

© 2018 IBM Corporation 38 ワークショップ、セッション、および資料は、IBMまたはセッション発表者によって準備され、それぞれ独⾃の⾒解を反映したものです。それらは情報提供の目的のみで提供されており、いかなる参加者に対しても法律 的またはその他の指導や助⾔を意図したものではなく、またそのような結果を⽣むものでもありません。本講演資料に含まれている情報については、完全性と正確性を期するよう努⼒しましたが、「現状のまま」提供さ れ、明⽰または暗⽰にかかわらずいかなる保証も伴わないものとします。本講演資料またはその他の資料の使⽤によって、あるいはその他の関連によって、いかなる損害が⽣じた場合も、IBMは責任を負わないものとし ます。 本講演資料に含まれている内容は、IBMまたはそのサプライヤーやライセンス交付者からいかなる保証または表明を引きだすことを意図したものでも、IBMソフトウェアの使用を規定する適用ライセンス契約の 条項を変更することを意図したものでもなく、またそのような結果を⽣むものでもありません。 本講演資料でIBM製品、プログラム、またはサービスに言及していても、IBMが営業活動を⾏っているすべての国でそれらが使⽤可能であることを暗⽰するものではありません。本講演資料で⾔及している製品リリース 日付や製品機能は、市場機会またはその他の要因に基づいてIBM独⾃の決定権をもっていつでも変更できるものとし、いかなる⽅法においても将来の製品または機能が使⽤可能になると確約することを意図したものでは ありません。本講演資料に含まれている内容は、参加者が開始する活動によって特定の販売、売上⾼の向上、またはその他の結果が⽣じると述べる、または暗⽰することを意図したものでも、またそのような結果を⽣む ものでもありません。 パフォーマンスは、管理された環境において標準的なIBMベンチマークを使用した測定と予測に基づいています。ユーザーが経験する実際のスループットやパフォーマンスは、ユーザーのジョ ブ・ストリームにおけるマルチプログラミングの量、⼊出⼒構成、ストレージ構成、および処理されるワークロードなどの考慮事項を含む、数多くの要因に応じて変化します。したがって、個々のユーザーがここで述べ られているものと同様の結果を得られると確約するものではありません。 記述されているすべてのお客様事例は、それらのお客様がどのようにIBM製品を使⽤したか、またそれらのお客様が達成した結果の実例として⽰されたものです。実際の環境コストおよびパフォーマンス特性は、お客様 ごとに異なる場合があります。

IBM、IBM ロゴ、ibm.com、は、 世界の多くの国で登録されたInternational Business Machines Corporationの商標です。他の製品名およびサービス名等は、それぞれIBMまたは各社の商標である場合があります。 現時点での IBM の商標リストについては、www.ibm.com/legal/copytrade.shtmlをご覧ください。

参照

関連したドキュメント

注2)

“Exploring nostalgia imagery through the use of consumer collages.” in NA - Advances in Consumer Research, 23, eds. “Feelings, fantasies, and memories: An examination of

First three eigenfaces : 3 個で 90 %ぐらいの 累積寄与率になる.

THIS PRODUCT IS LICENSED UNDER THE VC-1 PATENT PORTFOLIO LICENSE FOR THE PERSONAL AND NON-COMMERCIAL USE OF A CONSUMER TO (ⅰ) ENCODE VIDEO IN COMPLIANCE WITH THE VC-1

READ UNCOMMITTED 発生する 発生する 発生する 発生する 指定してもREAD COMMITEDで動作 READ COMMITTED 発生しない 発生する 発生する 発生する デフォルト.

国の5カ年計画である「第11次交通安全基本計画」の目標値は、令和7年までに死者数を2千人以下、重傷者数を2万2千人

・大都市に近接する立地特性から、高い県外就業者の割合。(県内2 県内2 県内2/ 県内2 / / /3、県外 3、県外 3、県外 3、県外1/3 1/3

The exporting Party shall ensure that the exporter to whom a Certificate of Origin for a product has been issued, or the producer referred to in subparagraph 5(b), notifies in