Talendご紹介
2015年5月
会社概要
事業内容:データ統合、ビッグデータ統合、データクオリティ、MDM、ESB、等、
エンタープライズシステムで必要なインテグレーションテクノロジーを製品化、販売
本社:米国サンフランシスコ
拠点:グローバル7ヶ国(フランス、米国、英国、ドイツ、日本、オランダ、イタリア)に営業・技術支援オフィスを
展開。北京(R&D)。従業員数480+
導入顧客数:1,800+社の導入企業。全ての業種業態と企業規模をグローバルに網羅
主要顧客:Citi Bank, Bank of America, eBay, ドイツポストDHL, Orange等
設立:2006年(日本2010年)
Talend 会社紹介
うち*.jpドメイン: 1,000-1,500件/月 日本のコミュニティ 1,000+名・90+社登録 ブランド 認知 2,000万+ ダウンロード コミュニティ 規模 100万 ユーザー 経営資源 1,800社 導入企業 顧客 ロイヤリティ 86% リニューアル 率データが価値となる上での阻害要因
バラバラなアーキテクチャ
データ品質の問題
情報の鮮度と量
拡張性の欠落
一貫性のないマスタデータ
組織・スキル
サイロ化されたデータ
一貫性のある「
Talend」という
Talend Open Studio
for
Talend Platform for ….
Talend製品体系
Talend Enterprise
With Big Data
Data Integration
Big Data
Big Data
Data Management
Data Services
(有償 商用版)
(有償 商用版)
(無償オープンソース版)
商用版
目的別導入に
商用版
全社基盤導入に
データ統合
ビッグデータ統合
TOS
データ統合 + アプリケーション連携
(バッチ+リアルタイム:ETL + ESB)
TALEND ENTERPRISE
Big Data Data Integration ESB
TALEND OPEN STUDIO for
Big Data Data Quality Data Integration MDM ESB BPM Data Management
Big Data MDM Enterprise Integration Data Services TALEND PLATFORMS
ユニファイドプラット
フォーム
全ての製品を統一した基盤技術上
で実現
ベスト・オブ・ブリード
統合基盤の分野ごとに最良な製
品・テクノロジーの組合せ
包括的なインテグレーション
データ統合・アプリケーション統合・プロセス統合
TALEND
ユニファイド
プラットフォーム
スタジオ 監視 リポジトリ デプロイ 実行Talendのアプローチ:
進化が続くビッグデータテクノロジーへのポテンシャル
Talendのアプローチ:
進化が続くビッグデータテクノロジーへのポテンシャル
r
コードジェネレーション
方式
ブラックボックエンジンと
ならない透明性の高い実装モデル
Java SQL Map Reduce Camel ……標準・普及技術への準拠
ベンダーロックインを除外し、
習得コストを削減
分散型アーキテクチャ
軽量コンテナによる分散型アーキテクチャが
実現するハイパフォーマンス処理の実現
Talendのアプローチ:
進化が続くビッグデータテクノロジーへのポテンシャル
100,000 コミュニティメンバー 1,500ベータテスター 500ポスト/週 350+コミュニティコ ネクターオープンソース
オープンスタンダートで
あり、柔軟性と拡張性を
重視
サブスクリプションベースの課金
必要なときに必要な分だけ購入が可能
コミュニティに立脚した
開発手法
革命的な新技術への迅速な取り
組みとコミュニティメンバーに
よる貢献
Talendを選ぶ
3つの要因
製品の革新性
市場での認知度
業界での評価
ビッグデータ
顧客
“ビジョナリー”
クラウド
コミュニティ
パートナー
“リーダー”
複数受賞
データ統合システムの選択肢
手作り
職人的スキルが前提
非生産性
拡張性の欠落
旧来のETL
独自エンジンが前提
高価
柔軟性の欠落
または
TALEND ENTERPRISE
• Talendテクニカル サ
ポートセンター
• チーム開発と運用管理
機能
• 拡張Studio機能と
800+コンポーネント
データ統合は、未だ手作りですか?
手作り
• 非効率性
• 特殊スキルを要する
• 困難な維持管理
• 限定的なサポート
TALEND ENTERPRISE
• 800+ コンポーネント
• 最適コードの自動生成
• 共同作業支援と運用管理
• SLAベースのGoldサポート
30倍!
生産性向上
旧来型
ETLが壁となってませんか?
旧来型
ETL
• 先端技術への追随が
困難
• 独自エンジン
• ビッグデータ規模の
スケールが困難
• 高コスト
TALEND ENTERPRISE
• 先頭を走る
• ネイティブコード生成
• 無限のスケーラビリティ
• 高い投資効果
ビッグ
データ
Ready!
Talend Enterprise製品
End-to-End
目的別導入により課題解決
データ統合・連携とアプリケーション
統合のライフサイクルを包括的に
サポートする商用製品
Data Integration
データ統合
(ETL)
開発・運用・維持管
理とチームの生産性
を最大限に
レバレッジ
Eclipseベースの
Studio
共有リポジトリ
運用監視
Goldレベル商用サポート
主要機能
Big Data
データ統合
(ETL)
+
Big Data対応
ビッグデータ開発の生
産性を飛躍的に向上
Talend Open Studio
for
Talend Platform for ….
Talend製品体系
Talend Enterprise
With Big Data
Data Integration
Big Data
Big Data
Data Management
Data Services
(有償 商用版)
(有償 商用版)
(無償オープンソース版)
商用版
目的別導入に
商用版
全社基盤導入に
データ統合
ビッグデータ統合
TOS
データ統合 + アプリケーション連携
(バッチ+リアルタイム:ETL + ESB)
Talend Open Studio
for
Talend Platform for ….
Talend製品体系
Talend Enterprise
With Big Data
Data Integration
Big Data
Big Data
Data Management
Data Services
(有償 商用版)
(有償 商用版)
(無償オープンソース版)
商用版
目的別導入に
商用版
全社基盤導入に
データ統合
ビッグデータ統合
TOS
Talend ETL製品の特長
連携元システム-1 連携元システム-2 連携元システム-3 連携元システム-nファイル類
DB
ERP
Cloud / SaaS
DBMS
Talend Enterprise Data Integrationの特長
800以上のコンポーネント(処理部品)を標準で提供
豊富な部品と一般的に普及しているEclipseベースにGUIにより、プログラムレスで開発が可能
メタデータの自動取得と変更に対する自動検知
チーム開発をサポートする共有リポジトリとバージョン管理機能
100% pure Javaコードの生成によるブラックボックス化しない実行環境
複数サーバーで、分散実行が可能な拡張性に富むアーキテクチャ
成果物のデプロイ、スケジュール実行、稼働監視を行うTAC (Talend Administration Center)等
ターゲットシステム
TAC 運用管理環境
Talend DI / Big Dataの適合性1:
Talend DI/Big Data 統合・連携基盤製品
開発・運用・維持管理までEnd-to-Endでサポートする統合連携基盤
連携元システム-1 連携元システム-2 連携元システム-3 連携元システム-n ファイル類DB
ERP Cloud / SaaS DBMSクラウド
基盤
PaaS, SaaS, DBaaS, etc 国内・海外 部支店 ビジネス パートナー、 グループ会社ETL/ELT処理
CDC処理
MQ連携
ファイル連携
Map Reduce
処理
SOAP/REST
連携
SAP連携
Salesforce
連携
ジョブスケジューラ-機能
スケールアウト型分散実行機能
ビッグデータ
環境
Talend DI / Big Dataの適合性2:
高い開発生産性を発揮する開発作業環境
(1/2)
共有リポジトリビュー
500以上のコンポーネント
ワークスペースにグラフィカルに処理をデザイン
コンポーネントプロパティを設定
DI / Big Data 統合処理の開発:
Talend Studio
Talend DI / Big Dataの適合性3:
高い開発生産性を発揮する開発作業環境
(2/2)
DI / Big Data統合処理の開発:
データ変換とマッピングに高い柔軟性を提供
入力項目
入出力項目の関係は
出力項目と変換定義
ビジュアルに表現
©2015 Talend KK · 20
Talendで実現するSugarCRM統合!
© Talend
20
物流管理 商品調達お客様
お客様
ステータス情報等 御注文 AS/400 M/F等 等 サプライヤ メーカー データ移行 データ連携 データ統合 データ連携: ETL処理 ESB連携 SAP連携: RFC / iDocERP
既存 会計 顧客管理 代理店/チャネル管理等DWH /
ビッグデータストア等
ETL / データ統合 ビッグデータ統合BPM:
ビジネスプロセス管理
MDM
:マスタデータ管理
SOA / Data
サービス
データ統合
ビッグデータ統合
データクレンジング
©2015 Talend KK · 21
SugarCRM専用の連携コンポーネントを標準で提供
© Talend
21
Talend
テクノロジーパートナー
TalendのSugarCRM専用機能:
【tSugarCRMInput】
SugarCRMネイティブドライバを使用してWEBサービスにより、SugarCRMより
データを抽出。クエリ条件の適用も可能
【tSugarCRMOutput】
tSugarCRMInput同様、ネイティブドライバを使用してWEBサービスにより
SugarCRMに高速にデータを挿入/更新。
SugarCRMは、クラウド/オンプレミス双方をサポートします。
接続情報(WEBサービスアドレス、ログイン、パスワード等)はパラメータ
化することにより、共通化と動的置き換えが可能です。
2007年より、SugarCRM社とテクノロジーパートナーを締結し共同でコネクタを開発し、Talend Data Integration製品の標準
機能として御提供。Talendは、SugarCRM向け統合製品として最も普及したデータ統合製品です。
Talendを使用する以下の様なことが効率よく実現可能です。 • SugarCRMで蓄積される見込客情報を社内システムへ還元。 • 社内人事システムより営業担当者情報や組織情報をSugarCRMへ アップロード。 • オンプレミスのSAP等のERPで管理される顧客情報とSugarCRMの 顧客情報を同期化等Talend Open Studio
for
Talend Platform for ….
Talend製品体系
Talend Enterprise
With Big Data
Data Integration
Big Data
Big Data
Data Management
Data Services
(有償 商用版)
(有償 商用版)
(無償オープンソース版)
商用版
目的別導入に
商用版
全社基盤導入に
データ統合
ビッグデータ統合
TOS
様々なビッグデータ新技術への追随は簡単ではない?
•
NoSQL、Hadoopなど分散処理の必要性は増すばかり
•
NoSQL、Hadoopなど分散処理技術の習得は困難
•
NoSQL、Hadoopなど分散処理技術のエンジニアの不足
開発者
API
API
API
Talendのアプローチ:
Talend製品にコネクターやコンポーネントを実装済みです
Talendビッグデータテクノロジーの適合性:
Map Reduce処理をGUIで開発
•
Map Reduceジョブデザインワークスペースでインディケーターを表示
-
実行時に
MapステップとReduceステップの進捗状況とステータスをリアルタイム表示
Talendビッグデータテクノロジーの適合性:
Talend GUIで開発するHadoop Map Reduceジョブ
Map ReduceジョブをTalendのGUIで開発~デプロイ~スケジュール運用
①Talend Studio上でMRジョブを設定
②共有リポジトリに自動格納
③TACより実行スケジュールとともにHadoopマ
スタノードへ実行モジュールをデプロイ
④Hadoop Map Reduceジョブとして稼働
ビッグデータは検証プロジェクトから業務運用へ:
ビッグデータ活用をレバレッジ
Map Reduce処理をGUIで開発・運用:高生産性の実現
Talend StudioにてGUI部品の組み合わせでMap Reduce処理を開発
Talend Administration Centerから、Oozieベースのジョブフロー運用を実現
Hadoop環境をDWHエンジンとして活用するための障壁を取り除く
サブスクリプションモデルによる親和性の高い課金モデル
Talendのサブスクリプションライセンスは、CPU・ノード数等のシステム規模に非依存
課金対象項目は、Talend使用ユーザー数と使用年数のみ
サブスクリプションには、年間保守料金を含む
データ量の不透明なビッグデータ環境に最適なライセンスモデル
ビッグデータ環境と非ビッグデータ環境の双方向連携:自動運転を実現
GUI設定でHadoopネイティブのビッグデータ処理を構築可能
標準で約500のコンポーネントを内包
メタデータ管理、共有リポジトリや多彩なチーム開発機能を標準装備
ジョブスケジューラ-やフェイルオーバー機能などミッションクリティカルの要件を満たす
運用機能を標準装備
Javaによるハードコーディングに比較して1/4程度に製造工数を圧縮
$
Talend Platform製品
全社基盤としてのスケーラ
ビリティ
データクオリティ機能の組
込み
Goldレベル商用サポート
主要機能
Data Management
データ統合とデータ品質強 化を実現しデータガバナン スの実装を現実化ソリューション製品
全社基盤、課題解決のために
必要な全ての要件とボリューム
に対応するソリューションを実現
Big Data
ビッグデータ環境まで俯瞰 したデータガバナンスの実 装を実現Data
Services
多様な統合・連携要件全ての実装をひとつで実現する 万能型インテグレーション基盤データ統合 + アプリケーション連携を統合した製品
(バッチ+リアルタイム:ETL + ESB)
With Big DataTalend ETL と ESB
製品・機能の組み合わせメリット
リアルタイム&バッチ連携
ポータル サイト 連携元システム-1 連携元システム-2 連携元システム-3 連携元システム-nTale
n
d
ESB
Run
time
&
Jo
b
Se
rv
er
①
PULL
DB
ファイル
プロジェクトの業務・システム要件に合わせた多様な連携方式を選択することができます。
イ ン タ フェ ース 層( SOAP / RE ST / SQL / J MS / FT P, e tc. ) コンシューマー サービス プロデューサー サービス プロデューサー サービス コンシューマー サービス ターゲット システム ソース DBデータ / ファイル②
PUSH
③
PULL
①ポータルサイトからサービスをイベントドリブンでキックして情報をPULL
するオンディマンド型
②連携元システムからサービスをイベントドリブンでキックしてメッセージ
を配信するPush型
③スケジュールベース(時間指定や秒単位の間隔起動)でファイルやDB
データを業務システムより取得するPULL型配信
④連携元ソースDBの更新をトリガーにして即座にデータを配信する
PUSH型 (CDC)
ソースDB Oracle/DB2/SQL Sever②
PUSH
ターゲット システムTalend 製品機能比較表
#
製品機能
Talend Enterprise … Talend Platform for …
Data
Integration Big Data Data Management Big Data Data Services
Data Services with Big Data
1 Talend Enterprise Data Integration機能:ジョブ開発用スタジオ・運用管理・維持管理機能 ◯ ◯ ◯ ◯ ◯ ◯
2 メタデータブリッジ機能:データモデリングツール、BIツール、DBMSのメタデータ相互連携 ◯ ◯ ◯ ◯ ◯ ◯
3 マルチスレッドパラレル機能 N/A ◯ ◯ ◯ ◯ ◯
4 高可用性機能(フェールオーバー・ロードバランシング) N/A ◯ ◯ ◯ ◯ ◯
5 Hadoop, NoSQL用コンポーネント N/A ◯ N/A ◯ N/A ◯
6 Hadoop Map Reduceジョブ開発機能 N/A ◯ N/A ◯ N/A ◯
7 Talend ESB機能:メディエーションスタジオ+データサービス開発・運用管理・ESB Runtime機能等 N/A N/A N/A N/A ◯ ◯
8 Talend Data Quality機能:プロファイリング・標準化・ファジーマッチング・データスチュワード機能等 N/A N/A ◯ ◯ ◯ ◯
9 Talend Data Mapper機能:大量かつ複雑な半構造データ(XML, JSON等)やEDIデータのマッピング等、また
ファイル及びストリームで処理が可能 N/A N/A
◯ ◯ ◯ ◯
10 Talend Big Data Quality機能:ビッグデータプロファイリング・ビッグデータ標準化・ビッグデータマッチング
機能等 N/A N/A N/A
◯ N/A ◯
◯ ・・・ 機能搭載 N/A ・・・ 機能非搭載
全製品共通:統合運用監視機能:
ビッグデータ統合基盤の運用を支える統合運用監視機能
ビッグデータ統合基盤の運用:
Talend Administration Center
ロールベースの
ユーザー管理
分散サーバーを一元で監視
Hadoop環境へのデプロイと
Oozieベースの実行スケジュール
スケジュール監視
※ ソースデータ収集処理の自動運転を実現
ビッグデータは検証プロジェクトから業務運用へ:
Talendのビッグデータ顧客事例
リスク計算の精緻化を実現:Citi Bank様
かねてより運用していた信用リスクシステムの精緻・高度化にHadoop&Talendを活用
信用収縮に対する当局監査のプレッシャー
非正常先に格付け区分される融資先のなかから正常先に分類可能な債務者の発見
DWHのコスト削減としてご活用:Vodafone社様
5年分のCDR:通話明細記録をHadoopストア上に保管
既存のDWH環境であるOracle上では、コスト面で実現不可能であった
顧客情報とのマッチングによる高度な分析を行う基盤を実現
EU共通運転免許書運用基盤としてご活用:フランス内務省様
2013年よりEU諸国で発給される運転免許書の様式統一に向け、EU加盟国は発給済み免許
証の効力・記載事項等の統一が必要
新たなEU免許証ネットワークが設立され、発給・更新に関する情報照合の仕組みが急務
EU諸国からのデータ収集と地域毎に発給・更新される免許証情報の一元DWH化を実現
金融サービス
保険
通信
サービス
製造業
流通小売り
公共機関
教育
導入顧客例
•
クラウドとオンプレミスの連携
お客様の課題は・・・
•
ビックデータ対応のための
DWH最適化
•
データ基盤の構築
•
クラウドとオンプレミスの連携
お客様の課題は・・・
クラウドサービス導入の課題
•
データの連携や統合
- SaaSのようなクラウド環境にあるアプリケーションやサービスのデータ形式、データの確定タイミング、マスターデータ の形態、メタデータの属性と、オンプレミス環境にあるこれらの情報とが一致していないことで連携がスムーズにできな い。•
プロセスの連携や統合
- SaaSのようなクラウド環境にあるアプリケーションやサービスのプロセスの多くはベストプラクティクスな一般的なプロ セスが採用されているため、導入する企業のプロセスとは違って同期が困難2013年
パブリッククラウド導入
を検討する企業が増加
2014年
実際にクラウドの導入
が始まる
【現実】
混在環境
オンプレミス環境
課
題
クラウド上で稼働できないシステムをど
うするか・・・
• 特殊なデバイスの利用が必要
• ミッションクリティカル性が高い
• 企業秘密情報や顧客情報ほかのセ
ンシティブな情報を取り扱う
Talendでデータとプロセスを容易に同期・連携
Talend Studioを使って、クラ ウドサービスとオンプレミス 環境のアプリケーションの データ統合をGUIツールで容 易に設計可能BEFORE
AFTER
オンプレミス環境
オンプレミス環境
1
GUIツールでデータ統合プロセス統合を設計2
Webベースの運用の自動化ツール3
接続できるシステムが豊富 Talend Administration Centerを使って、設定したデータ統 合プロセスを自動化し、自動 運用できます •ORACLE •MySQL •PostgreSQL •SQL Server •ACCESS •EXCEL •Azure •MapR •Cloudera •Hortonworks •PIVOTAL •MongoDB •Casandra •その他多数 • SalesForce.com • Marketo • SAP • Google • AWS • Dropbox • Box
お客様の課題は・・・
•
ビックデータ対応のための
DWH最適化
TalendによるDWHデータの最適化の事例
DWH肥大化
コールドデー
タの退避
Hadoop基盤
へ
•
10年以上のDWH運用により、DWHが肥大化
•
データのバックアップ・退避等は、そのままオフラインへ ⇒ 殆ど使用されず
•
過去のコールドデータもオンライン化しておきイザという時に低コストでアクセス可
能としたい
•
DWH運用コストを低減したい
•
将来的には、明細データは全て低コストな基盤へ移行させたい
•
Talend Enterprise Big Dataにて、Hadoopと既存DWH基盤をシームレス
に連携
•
コールドデータと退避データをHadoop基盤へ移行
•
DWHからの抽出、HDFS環境でのファイル格納処理を実装
•
DWH以外のシステムデータもHadoop環境へ退避
課題
結果
Hadoop適用例:コールドデータの保管場所
コールドデータ :使用・アクセス頻度の低いデータ ウォームデータ :使用・アクセス頻度が中位のデータ ホットデータ :使用・アクセス頻度が高いデータメリット:
ストレージコストの削減
コールドデータ退避によるDWHクエリの高速化
Hadoop
TalendユーザーにおけるHadoop適用例
お客様の課題は・・・
•
データ基盤の構築
人事管理システム ファイル類 ERP Cloud / SaaS 部門サーバー クラウド 基盤 財務会計 生産管理 CRM 給与計算 販売管理 協業先向け 顧客管理システム 海外拠点 システム 物流管理
データ連携の課題:
データフォーマットが異なる
データにアクセスする技術が異なる
データの意味が異なる
データの粒度が異なる
社内で重複するデータ処理のコスト
現状とギャップのあるドキュメント
主幹部門や運用方式の違い等
システム連携におけるデータの課題
人事管理システム ファイル類 ERP Cloud / SaaS 部門サーバー クラウド 基盤 財務会計 生産管理 CRM 協業先向け 給与計算 販売管理 顧客管理システム 海外拠点 システム 物流管理