Joint Content Development Proposal Tech Docs and Curriculum

(1)

徹底解説！

Hortonworksが提供する次世代

データプラットフォーム

蒋逸峰 & 河村康爾

Hortonworks

(2)

DATA AT REST

蓄積されたデータ

DATA IN MOTION

流れているデータ

_{のための情報}

判断・行動

リアルタイム

データ基盤

Hortonworks

DataFlow (HDF)

ビッグデータ基盤

Hortonworks Data

Platform (HDP)

EDGE

CLOUD

総合的な管理、セキュリティやガバナンス

ON-PREMISES

(3)

(4)

(5)



–

ELT



–



–

(6)

YARNはOSとしてリソース管理を行い、

柔軟なAPIにより様々なアプリケーション

が共存できるようになる

HDFSは構成・非構造化データを

蓄積する巨大なデータストア

これにより、様々な組織や部署のひとが

共用Hadoop/Sparkクラスタを使う

Division A

Division B

(7)

HDFS –

Hadoop Distributed File System

• 構造・非構造化データ

• 非常に高いスケーラビリティ

• 高い可用性と耐久性 (No SPOF)

• スナップショット

(8)

Hive 2 –

SQL



SQL



BI

Hive

DWH

JSON,

CSV

HDFS &

YARN

Hive 2

BIツール

データ導入

_{蓄積/計算}

_ETL/SQL

_BI

(9)

Hive LLAP

Hive 2



(10)

蓄積されたデータから、次に何が起こるかを予測する

精度の高い予測を得るために必要なもの



大量のデータ



高度な機械学習アルゴリズム



大量の計算

(11)

–

Spark



豊富な言語サポート：Scala, Java, Python, R



使いやすいMLlibライブラリ：誰でもできる機械学習



スケールアウト実行エンジンやインメモリキャッシュによる高速モデル作成



Zeppelin：ブラウザでをモデル作成、検証および共有

DWH

JSON,

CSV

HDFS &

YARN

Hive 2

BIツール

予測モデル

非構造

データ

(12)

(13)

Ambari –



–

– HDP



– File View

– Hive View

(14)



AD/LDAP



Ranger

–

HDFS

Hive

YARN

– Audit

–

(15)

DEMO:

Ambari

HDP

Ambari View

Zeppelin

(16)

(17)

(18)

: 3

Real-Time

Prescriptive

Analytics

リアルタイム分析

Real-Time

Predictive

Analytics

Real-Time

Descriptive

Analytics

今何をすべきか?

_{何が起こり得るか?}

今、もうすぐ

今何が起きているか?

(19)

: 3

Real-Time

Prescriptive

Analytics

リアルタイム分析

Real-Time

Predictive

Analytics

Real-Time

Descriptive

Analytics

今何をすべきか?

_{何が起こり得るか?}

今、もうすぐ

今何が起きているか?

(20)

Descriptive Analytics



/



BI



HDF

Descriptive Analytics

–

:

-> RDBMS -> ETL (

) -> DWH -> BI

– HDF:

->

-> HDF

https://en.wikipedia.org/wiki/Prescriptive_analytics

(21)



30 

(22)

HDP

クラスタ

データ分析

どうやってデータを集めてくればよい?

Web App, Logs, RDBMS, NoSQL

TCP, HTTP, WebSocket,

JMS, Syslog, Email, Image

JSON, CSV, XML, Avro, Parquet

(23)

Apache NiFi

MiNiFi

Web App, Logs, RDBMS, NoSQL

TCP, HTTP, WebSocket,

JMS, Syslog, Email, Image

JSON, CSV, XML, Avro, Parquet

… etc. 多種多様な入力

エッジ、オンプレ、クラウド間

セキュアなデータ転送

HDP

クラスタ

(24)

24 © Hortonworks Inc. 2011 – 2016. All Rights Reserved

DEMO:

Apache NiFi

(25)

: 3

Real-Time

Prescriptive

Analytics

リアルタイム分析

Real-Time

Predictive

Analytics

Real-Time

Descriptive

Analytics

今何をすべきか?

_{何が起こり得るか?}

今、もうすぐ

今何が起きているか?

(26)

Predictive Analytics



HDF

https://en.wikipedia.org/wiki/Prescriptive_analytics

(27)

Real-Time Predictive Analytics



Question:

?



–

(28)

MiNiFi

Web App, Logs, RDBMS, NoSQL

TCP, HTTP, WebSocket,

JMS, Syslog, Email, Image

JSON, CSV, XML, Avro, Parquet

… etc. 多種多様な入力

エッジ、オンプレ、クラウド間

セキュアなデータ転送

HDP

クラスタ

(29)

Storm

MiNiFi

Web App, Logs, RDBMS, NoSQL

TCP, HTTP, WebSocket,

JMS, Syslog, Email, Image

JSON, CSV, XML, Avro, Parquet

… etc. 多種多様な入力

エッジ、オンプレ、クラウド間

セキュアなデータ転送

HDP

クラスタ

HDF

クラスタ

_{ストリーミング}

アプリケーション開発

データ分析

PMML

(30)

SAM, Schema/Model Registry

SAM

Storm

MiNiFi

Web App, Logs, RDBMS, NoSQL

TCP, HTTP, WebSocket,

JMS, Syslog, Email, Image

JSON, CSV, XML, Avro, Parquet

… etc. 多種多様な入力

エッジ、オンプレ、クラウド間

セキュアなデータ転送

HDP

クラスタ

HDF

クラスタ

_{ストリーミング}

アプリケーション開発

データ分析

PMML

(31)

DEMO:

SAM (Streaming Analytics Manager)

GUI

Schema Registry

Model Registry

(32)

: 3

Real-Time

Prescriptive

Analytics

リアルタイム分析

Real-Time

Predictive

Analytics

Real-Time

Descriptive

Analytics

今何をすべきか?

_{何が起こり得るか?}

今、もうすぐ

今何が起きているか?

(33)

Prescriptive Analytics



Descriptive

Predictive Analytics



Descriptive/Predictive Analytics



HDF

(34)

Real-Time Prescriptive Analytics



Question:

?



Context:

12

2

3

30

(35)

(36)

OSS

SAM

Storm

MiNiFi

Web App, Logs, RDBMS, NoSQL

TCP, HTTP, WebSocket,

JMS, Syslog, Email, Image

JSON, CSV, XML, Avro, Parquet

… etc. 多種多様な入力

エッジ、オンプレ、クラウド間

セキュアなデータ転送

HDP

クラスタ

HDF

クラスタ

_{ストリーミング}

アプリケーション開発

インフラ運用管理

データ分析

PMML

認可(AuthN)ポリシー管理

(37)

(38)

HDF + HDP

SAM

Storm

MiNiFi

Web App, Logs, RDBMS, NoSQL

TCP, HTTP, WebSocket,

JMS, Syslog, Email, Image

JSON, CSV, XML, Avro, Parquet

… etc. 多種多様な入力

エッジ、オンプレ、クラウド間

セキュアなデータ転送

HDP

クラスタ

HDF

クラスタ

_{ストリーミング}

アプリケーション開発

インフラ運用管理

データ分析

PMML

認可(AuthN)ポリシー管理

(39)



HDP



HDF

HDP

HDF



Descriptive:



Predictive:



Prescriptive:

3

(40)

Joint Content Development Proposal Tech Docs and Curriculum

徹底解説！

Hortonworksが提供する次世代

データプラットフォーム

蒋 逸峰 & 河村 康爾

Hortonworks

DATA AT REST

蓄積されたデータ

DATA IN MOTION

流れているデータ

のための情 報

判断 ・ 行動

リアルタイム

データ基盤

Hortonworks

DataFlow (HDF)

ビッグデータ基盤

Hortonworks Data

Platform (HDP)

EDGE

CLOUD

総合的な管理、セキュリティやガバナンス

ON-PREMISES



–

–

ELT



–

–



–

–

–

YARNはOSとしてリソース管理を行い、

柔軟なAPIにより様々なアプリケーション

が共存できるようになる

HDFSは構成・非構造化データを

蓄積する巨大なデータストア

これにより、様々な組織や部署のひとが

共用Hadoop/Sparkクラスタを使う

Division A

Division B

HDFS –

Hadoop Distributed File System

•

構造・非構造化データ

•

非常に高いスケーラビリティ

•

高い可用性と耐久性 (No SPOF)

•

スナップショット

Hive 2 –

SQL



SQL



BI

Hive

DWH

JSON,

CSV

HDFS &

YARN

Hive 2

BIツール

データ導入

蓄積/計算

ETL/SQL

BI

Hive LLAP

Hive 2



蓄積されたデータから、次に何が起こるかを予測する

精度の高い予測を得るために必要なもの



大量のデータ



高度な機械学習アルゴリズム

蒋逸峰 & 河村康爾

_{のための情報}

判断・行動

_{蓄積/計算}

_ETL/SQL

_BI

_{何が起こり得るか?}