#odddtky Oracle DBA & Developer Days 2014 データベース エンジニアのための Hadoop 活用術 Oracle Big Data SQL for your Skill 使える実践的なノウハウがここにある 日本オラクル株式会社データベース事業統括製品戦略統括本

データベース・エンジニアの ための Hadoop 活用術

Oracle Big Data SQL

日本オラクル株式会社

データベース事業統括 製品戦略統括本部

プリンシパル・セールスコンサルタント 能仁 信亮 プリンシパル・セールスコンサルタント 立山 重幸

Oracle DBA & Developer Days 2014

for your Skill

使える実践的なノウハウがここにある

#odddtky

• 以下の事項は、弊社の一般的な製品の方向性に関する概要を説明する ものです。また、情報提供を唯一の目的とするものであり、いかなる契約 にも組み込むことはできません。以下の事項は、マテリアルやコード、機 能を提供することをコミットメント（確約）するものではないため、購買決定 を行う際の判断材料になさらないで下さい。オラクル製品に関して記載さ れている機能の開発、リリースおよび時期については、弊社の裁量により 決定されます。

Oracle

Java

Oracle Corporation

文中の社名、商品名等は各社の商標または登録商標である場合があります。

本セッションのアジェンダ

1

2

3

4

Big Data SQL が生まれた背景

Big Data SQL を理解するための Hadoop 再入門 Big Data SQL Technical Overview

Big Data SQL Demo

Big Data SQL が生まれた背景

Hadoop の活用例 – Skybox Imaging

•

:

– http://blog.cloudera.com/blog/2012/10/sneak-peek-into-skybox-imagings-cloudera-powered-satellite-system/

http://www.skyboximaging.com/

Hadoop の活用例 – データウェアハウスの拡張

論理データウェアハウス (Logical Data Warehouse)

Gartner

旧来のデータストアに加えて、

Hadoop

Hadoop

Facebook 300PB

https://code.facebook.com/posts/229861827208629/scaling- the-facebook-data-warehouse-to-300-pb/

Nokia 数 PB

Strata NY 2012

典型的なデータ活用パターン

データの特性や活用目的にあわせ、最適なテクノロジーを組み合わせる

NoSQL

• Key

Value

•

RDBMS

•業務トランザクション

•

•

Hadoop

•分散ファイルシステム

•

Hadoop

Exadata

for

Oracle Database

Big Data Appliance

for

Hadoop, NoSQL Database















Big Data Management Systems

Oracle Big Data Appliance

事前に設定／最適化されたビッグデータ用

Hadoop



Engineered System

DIY

21%

30%

処理時間の短縮



Perfect Balance

MapReduce



15

MapReduce

Oracle Database

Oracle Big Data SQL

RDBMS

Hadoop

DWH

 Oracle Big Data Connectors

高度なセキュリティ

Kerberos

LDAP

Apache Sentry

HDFS

HDD

Oracle Audit Vault & Database Firewall

Full Rack : 18

Oracle Big Data Appliance

•40Gb/sec InfiniBand

100 port (

Exadata

)

•10Gb/sec Ethernet

16 ports (

)

•288 Intel® Xeon® E5 Processor cores

•1152 GB

•864TB

Starter Rack : 6

•96 Intel® Xeon® E5 Processor cores

•384 GB

•288TB

Big Data Appliance

Sun X4-2L Server

•2

8Core Intel® Xeon® E5-2650 V2 Processors (2.6 GHz)

•12 x 4 TB 7.2K RPM

SAS (hot-swap)

•64 GB (8 x 8GB) 512GB

InfiniBand Network

•Oracle Linux

•Oracle Java VM

•Cloudera Distribution of Apache Hadoop (CDH)

•Cloudera Manager

•Cloudera Impala, Search, Navigator, HBase & BDR

•Oracle R Distribution

•Oracle NoSQL Database

事前に設定／最適化されたビッグデータ用

Hadoop

Oracle Big Data Appliance

＊ハードウェアのサポート契約で、上記ソフトウェアのサポート

In-Rack Expansion

6

データ分析の課題

分断されたサイロな環境を対象に分析を実施する必要がある

Hadoop

データ分析の課題

それぞれが異なるデータアクセスインターフェースをもつ

Hadoop

SQL on Hadoop は時代の流れ

• Apache Hive

• Stinger

• Presto

• Impala

• Spark SQL

データ分析の課題

統合された

SQL

Hadoop

未対応の SQL 機能の例 : Impala

SQL Language Feature Oracle Impala

ORDER BY ✔ ✔

UNION ALL ✔ ✔

BETWEEN ✔ ✔

SQL-2003 Window

(moving average, LEAD/LAG

) ✔ 2.0(

)

WHERE

✔ 2.0(

)

集合演算子

(MINUS, INTERSECT) ✔ ✖

SQL-1999

(ROLLUP, GROUPING SET) ✔ ✖

Recursive WITH ✔ ✖

SQL Pattern Matching ✔ ✖

User defined Table-functions ✔ ✖

SQL の書き換えが必要な例 : Hive

UNION ALL

•

•

SQL

SQL

> SELECT a, b FROM test1 UNION ALL SELECT a,b FROM test2

Hive

以下の

SQL

> SELECT * FROM (SELECT a, b FROM test1 UNION ALL SELECT a,b FROMtest2) t;

Oracle Big Data Management

Big Data

SQL

NoSQL Hadoop

Before After

統合されたクエリーによるメリット

Data Science

専任

エンジニア

???

すべての

ユーザー

Before After

統合されたクエリーによるメリット

アプリケーション開発

Hadoop

Hadoop

HDFS Data Node

HDFS Data Node Local Process Local Process

Oracle

Storage Server

Oracle

Storage Server Local Process Local Process

Oracle SQL Big Data Appliance

+ Hadoop

Exadata

+

Oracle Database



Oracle Big Data SQL

Oracle Database

Hadoop

SQL





Big Data SQL を理解するための

Hadoop 再入門

分散ファイルシステム

.

Hadoop

Big Data SQL を理解する上で必要となる知識

ある程度の知識が必要 不要

HDFS MapReduce

HDFS

Node-A Node-B Node-C Node-D Node-E Node-F

元ファイル

1 2 3 4

1 3

2 4

1 3

3 2

1 4

2 4

Hadoop Distributed File System (HDFS)

分散配置

HDFS の構成 ( クライアントからの読込み )

クライアント/ プログラム

NameNode (Active) NameNode

(Standby)

DataNode

データをリクエスト

①ファイルを管理する ノードを問合せ

②ファイルに含まれる各ブロックを 管理するノード名を返却

DataNode DataNode DataNode

補足

• Hadoop

ドで行います

(Exadata

)

•

Q1 Hadoop って非構造データを扱うんですよね？

Hadoop

• HDFS(Hadoop 分散ファイルシステム ) は「ファイルシステム」です

–

–

Yes or No?

Schema-on-Write と Schema-on-Read

Schema-on-Write Schema-on-Read

• データの保存時に専用フォーマット

に変換してデータを保存 • データを読み取る際に、格納され

たデータフォーマットを動的に解釈

最近の Hadoop 界隈での流行

• 旧来は、 Hadoop では Schema-on-Read が主流だった

• 読み取り時のパフォーマンスが ( 柔軟性よりも ) 重要なデータに関しては、

Hadoop でも列指向データ型に格納する流れがでてきた

– ORC File(Facebook

), Parquet(Twitter

OSS

)

–

Schema- on-Write

• 「柔軟性 vs 読み取り時の性能」を考慮して、最適なフォーマットを選択

Big Data SQL では？

• 多様なフォーマットが扱えます。

• 詳しくは、本セッションの後半で扱います。

Q2 じゃあ、 HDFS にあるデータをどう利用するの？

データの読取り方式

HDFS 上のファイルを分散処理するために何が必要か？

• 分散処理を行うためには ?

–

(

)

•

–

(

)

テキストファイルの処理例 ｰ TextInputFormat

{"custId":1185972,"movieId":null,"genreId":null,"time":"2012-07-01:00:00:07","recommended":null,"activity":8}

{"custId":1354924,"movieId":1948,"genreId":9,"time":"2012-07-01:00:00:22","recommended":"N","activity":7}

{"custId":1083711,"movieId":null,"genreId":null,"time":"2012-07-01:00:00:26","recommended":null,"activity":9}

{"custId":1234182,"movieId":11547,"genreId":44,"time":"2012-07-01:00:00:32","recommended":"Y","activity":7}

{"custId":1010220,"movieId":11547,"genreId":44,"time":"2012-07-01:00:00:42","recommended":"Y","activity":6}

{"custId":1143971,"movieId":null,"genreId":null,"time":"2012-07-01:00:00:43","recommended":null,"activity":8}

{"custId":1253676,"movieId":null,"genreId":null,"time":"2012-07-01:00:00:50","recommended":null,"activity":9}

{"custId":1351777,"movieId":608,"genreId":6,"time":"2012-07-01:00:01:03","recommended":"N","activity":7}

{"custId":1143971,"movieId":null,"genreId":null,"time":"2012-07-01:00:01:07","recommended":null,"activity":9}

{"custId":1363545,"movieId":27205,"genreId":9,"time":"2012-07-01:00:01:18","recommended":"Y","activity":7}

{"custId":1067283,"movieId":1124,"genreId":9,"time":"2012-07-01:00:01:26","recommended":"Y","activity":7}

{"custId":1126174,"movieId":16309,"genreId":9,"time":"2012-07-01:00:01:35","recommended":"N","activity":7}

{"custId":1234182,"movieId":11547,"genreId":44,"time":"2012-07-01:00:01:39","recommended":"Y","activity":7}}

{"custId":1346299,"movieId":424,"genreId":1,"time":"2012-07-01:00:05:02","recommended":"Y","activity":4}

例

: 100GB

Block B1

Block B2 Block B3

Key: 1256

Value: {"custId":1067283,"movieId":1124,

"genreId”9,"time":"2012-07-01:00:01:26",

"recommended":"Y","activity":7}

ファイルを分割する

TextInputFormat

テキストファイル用の

TextInputFormat

Big Data Appliance

256MB

100GB

400

(Split

)

キーとバリューの組として レコード

(

)

LineRecordReader

ファイルの中の何行目か

行に含まれる内容

レコードを行と列として認識する仕組みは？

• プログラム (MapReduce) では、キーとバリューとして扱えれば十分

– Value

JSON

• SQL として扱うのであれば、キーとバリューではなく、列としてレコードを解 釈する必要がある

• Hadoop 上の SQL エンジン Hive では、レコードを列として解釈する SerDe( シ リアライズ・デシリアライズ用のクラス ) の仕組みを持つ

–

JSON

JSON

SerDe

Big Data SQL では？

• 以下の 2 つの方式をサポート

–

(C

)

•

•

– InputFormat, SerDe(

)

•

•

MapReduce

Q3 データってどうやってとりこむの？

データ取り込みから加工

Hadoop のデータソースってなんでしょうか？

• ファイルとして生成されるデータ

– Web

,

• 機器の生成するデータ

–

–

• リレーショナルデータベース (OLTP)

Apache Flume, fluentd など

独自アプリケーションや Apache Flume など

Sqoop や

Oracle GoldenGate など

データソース 典型的な取込み方法

Apache Flume

• データ収集のための効率的な基盤

– Big Data Appliance

–

•

(TailSource)

Agent1

HDFS

Agent

Agent Agent2

Agent3 Agent4

収集したデータの格納先は

Oracle Database からのデータ収集

Oracle Data Integrator, Oracle GoldenGate

Load to Oracle

OLH/OSCH Transform

Hive

Oracle Data Integrator

Hive/HDFS Federate Hive/HDFS to Oracle

Big Data SQL Oracle DB

OLTP

Hive/HDFS GoldenGate

Hive/HDFS

Oracle GoldenGate Java Adapter

Hadoop

Big Data SQL では？

• この節で紹介したツールなどで取り込んだデータを利用

• Oracle Database からのデータの移動に対応予定 ( 次ページ )

Exadata から Big Data Appliance へのデータの移動

Big Data SQL

Big Data Appliance Cloudera Hadoop

Exadata Oracle Database

Copy to BDA

Oracle Big Data SQL

直近

13

14

データ

今後の拡張予定機能

まとめ

• Q1: Hadoop

–

HDFS

(

)

• Q2:

HDFS

–

(InputFormat/RecordReader),

み

(Hive SerDe)

– Big Data SQL

• Q3:

–

(Apache Flume)

Oracle Data Integrator

Golden Gate

Hadoop

Big Data SQL Technical Overview

Oracle Big Data SQL

• パワフルな SQL on Hadoop

– Oracle SQL

Hadoop

– Hadoop

SQL

• Hadoop と Oracle Database のシンプルな統合

– Exadata

– Hadoop

RDBMS

• 最適化されたハードウェア

– Hadoop

Big Data Appliance

Oracle Big Data SQL

HDFS Data Node

HDFS Data Node Local Process Local Process

Oracle

Storage Server

Oracle

Storage Server Local Process Local Process

Oracle SQL Big Data Appliance

+ Hadoop

Exadata

+

Oracle Database

どのような仕組みなのか ?

ポイント 1 ：

Hive のメタデータを利用した外部表作成 ポイント 2 ：

パフォーマンス最適化のための Smart Scan 機能 ポイント 3 ：

アーキテクチャ

Hive （おさらい兼ねて）

• HDFS に格納されたデータに対して SQL ライクなインタフェース (HiveQL) を提供

• 様々なフォーマットに対応可能

• ファイルの保存場所やパースするための設定をメタデータとして保持

• HiveQL は内部的に MapReduce を実行

• Big Data SQL は、管理をシンプルにするために Hive のメ タデータを利用します。ただし、必須ではありません。

• Big Data SQL は、クエリの実行には Hive を利用しません。

HDFS にファイルを置きます

Hadoop

{"custId":1185972,"movieId":null,"genreId":null,"time":"2012-07-01:00:00:07","recommended":null,"activity":8}

{"custId":1354924,"movieId":1948,"genreId":9,"time":"2012-07-01:00:00:22","recommended":"N","activity":7}

{"custId":1083711,"movieId":null,"genreId":null,"time":"2012-07-01:00:00:26","recommended":null,"activity":9}

{"custId":1234182,"movieId":11547,"genreId":44,"time":"2012-07-01:00:00:32","recommended":"Y","activity":7}

{"custId":1010220,"movieId":11547,"genreId":44,"time":"2012-07-01:00:00:42","recommended":"Y","activity":6}

{"custId":1143971,"movieId":null,"genreId":null,"time":"2012-07-01:00:00:43","recommended":null,"activity":8}

{"custId":1253676,"movieId":null,"genreId":null,"time":"2012-07-01:00:00:50","recommended":null,"activity":9}

{"custId":1351777,"movieId":608,"genreId":6,"time":"2012-07-01:00:01:03","recommended":"N","activity":7}

{"custId":1143971,"movieId":null,"genreId":null,"time":"2012-07-01:00:01:07","recommended":null,"activity":9}

{"custId":1363545,"movieId":27205,"genreId":9,"time":"2012-07-01:00:01:18","recommended":"Y","activity":7}

{"custId":1067283,"movieId":1124,"genreId":9,"time":"2012-07-01:00:01:26","recommended":"Y","activity":7}

{"custId":1126174,"movieId":16309,"genreId":9,"time":"2012-07-01:00:01:35","recommended":"N","activity":7}

{"custId":1234182,"movieId":11547,"genreId":44,"time":"2012-07-01:00:01:39","recommended":"Y","activity":7}}

{"custId":1346299,"movieId":424,"genreId":1,"time":"2012-07-01:00:05:02","recommended":"Y","activity":4}

例

: JSON

Hive 表を定義します（ Schema on Read ）

一つのカラムとして読み込む場合

> select * from movieapp_log_json

{"custId":1185972,"movieId":null,"genreId":null,"time":"2012-07-01:00:00:07",…

{"custId":1354924,"movieId":1948,"genreId":9,"time":"2012-07-01:00:00:22",…

{"custId":1083711,"movieId":null,"genreId":null,"time":"2012-07-01:00:00:26",…

{"custId":1234182,"movieId":11547,"genreId":44,"time":"2012-07-01:00:00:32”,…

{"custId":1010220,"movieId":11547,"genreId":44,"time":"2012-07-01:00:00:42",…

{"custId":1143971,"movieId":null,"genreId":null,"time":"2012-07-01:00:00:43",…

{"custId":1253676,"movieId":null,"genreId":null,"time":"2012-07-01:00:00:50",…

{"custId":1351777,"movieId":608,"genreId":6,"time":"2012-07-01:00:01:03”,…

HiveQL:

CREATE EXTERNAL TABLE movieapp_log_json (

click STRING )

ROW FORMAT DELIMITED

LINES TERMINATED BY '¥n' STORED AS TEXTFILE

LOCATION '/user/oracle/applog';

Classic DDL Data source metadata

Hive 表を定義します（ Schema on Read ）

SerDe

> select * from movielog_cols

HiveQL:

CREATE EXTERNAL TABLE movielog_cols ( custid int,

movieid int, activity int, …)

ROW FORMAT SERDE 'org.apache.hive.hcatalog.data.JsonSerDe'

STORED AS INPUTFORMAT 'org.apache.hadoop.mapred.TextInputFormat'

OUTPUTFORMAT

'org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat' LOCATION

'/user/oracle/applog_json';

Hive Metadata

ほとんどの

SQL on Hadoop

Hive Metadata

Hive Metastore

Hive Impala

Shark (Spark)

Oracle Big Data SQL …

Table

:

movieapp_log_json movielog

movieapp_log_avro

Hive のメタデータを利用した外部表作成

CREATE TABLE movieapp_log_json (click VARCHAR2(4000))

ORGANIZATION EXTERNAL (TYPE ORACLE_HIVE

DEFAULT DIRECTORY DEFAULT_DIR )

REJECT LIMIT UNLIMITED;

Big Data Appliance

+

Exadata

+

Oracle Catalog

外部表

Hive metadata

外部表

Hive Metastore

今までの Oracle 外部表の書き方にちょっと付け足すだけ

CREATE TABLE movielog (click VARCHAR2(4000)) ORGANIZATION EXTERNAL ( TYPE ORACLE_HIVE

DEFAULT DIRECTORY Dir1 ACCESS PARAMETERS

(

com.oracle.bigdata.tablename=logs com.oracle.bigdata.cluster=mycluster) )

REJECT LIMIT UNLIMITED

• 新しい定義項目

–

• ORACLE_HIVE : Hive

• ORACLE_HDFS

Create Table

–

• tablename

• Hadoop cluster

• column mapping

• error handling

• overflow handling

• Logging

社内検証結果：

様々な形式での動作が確認できています

分類 検証項目

HDFS

Hive

ファイル形式 テキスト ○ ○

JSON

XML

正規表現（

Apache Access Log

格納方式

Sequence File

Avro

RC

ORC

圧縮

gzip , LZO

クエリ

Hadoop

Hadoop – Exadata

社内検証結果 :

例） CSV ファイル HDFS Access Driver

元データ

テーブル 作成

クエリ結果

bango,namae

123,tateyama 456,nounin 789,suzuki

CREATE TABLE sample11 (

bango number , namae VARCHAR2(10)) ORGANIZATION EXTERNAL

(TYPE ORACLE_HDFS

DEFAULT DIRECTORY default_dir ACCESS PARAMETERS(

com.oracle.bigdata.rowformat

=Delimited fields terminated by ',’ ) LOCATION

('hdfs://cluster1-ns/user/hive/warehouse/sample‘));

社内検証結果 :

例） Json SerDe を利用した Hive Access Driver

元データ

{"field1":"data1","field2":100,"field3":"more data1","field4":123.001}

{"field1":"data2","field2":200,"field3":"more data2","field4":123.002}

{"field1":"data3","field2":300,"field3":"more data3","field4":123.003}

{"field1":"data4","field2":400,"field3":"more data4","field4":123.004}

CREATE TABLE test_json(

field1 varchar2(20), field2 number, field3 varchar2(20), field4 number )

ORGANIZATION EXTERNAL ( TYPE ORACLE_HIVE

DEFAULT DIRECTORY DEFAULT_DIR ACCESS PARAMETERS(

com.oracle.bigdata.cluster=cluster1

作成

クエリ結果

・・・・

型変換

• Hive のデータ型は、以下の対応表の通り Oracle 型に変換できます

https://docs.oracle.com/cd/E55905_01/doc.40/e55814/bigsql.htm#BJEIDGHC

どのような仕組みなのか ?

ポイント 1 ：

Hive のメタデータを利用した外部表作成 ポイント 2 ：

パフォーマンス最適化のための Smart Scan 機能 ポイント 3 ：

アーキテクチャ

Exadata でお馴染みの Smart Scan 機能を Hadoop に実装

RDBMS

Hadoop

Oracle SQL

HDFSData Node BDS Server HDFS Data Node BDS Server

Oracle Database Storage Server Oracle Database Storage Server

Fast

大規模並列分散処理 ローカルでの絞り込み 転送データの極小化

大規模並列分散処理：

• 並列度の指定が可能

– Oracle Database

Hadoop

例

)

SQL

Oracle Database

20

Hadoop

Big Data SQL

20

CREATE TABLE movieapp_log_json (click VARCHAR2(4000))

ORGANIZATION EXTERNAL (TYPE ORACLE_HIVE

DEFAULT DIRECTORY DEFAULT_DIR )

PARALLEL 20

REJECT LIMIT UNLIMITED;

ローカルでの絞り込み・データ転送の極小化：

select last_name, state, movie, genre

from movielog m, customer c where genre=‘comedy’

and c.custid = m.custid

Hadoop

1

NameNode/Hive Metastore

:

•

•

•

1

2

Big Data SQL Server

:

• DataNode

•

2

Hive Metastore HDFS

NameNode

3

データベースサーバーでの処理

•

•

•

3

HDFS Data Node BDS Server

HDFS Data Node BDS Server

movielog

customer

DB

Hadoop

Smart Scan の実行モード 1/2

• Big Data SQL

Smart Scan

2

Mode

C :

Java :

Hive

StorageHandler

• Data Mode

Create Table

com.oracle.bigdata.datamode

無指定の場合は、

auto(

)

C , Java mode

(C

)

CREATE TABLE BDS_SAMPLE

Col1 VARCHAR2(30) , Col2 NUMBER(30) ORGANIZATION EXTERNAL (

TYPE ORACLE_HDFS

DEFAULT DIRECTORY DEFAULT_DIR ACCESS PARAMETERS(

com.oracle.bigdata.cluster=cluster1

Smart Scan の実行モード 2/2

Data mode

C

Java

データ

Hive

データ型

Oracle

データ型 処理

Oracle

データ型 処理

変換

変換

(SerDe)

• Java data mode

SerDe

Hive

Oracle

C data

mode

どのような仕組みなのか ?

ポイント 1 ：

Hive のメタデータを利用した外部表作成 ポイント 2 ：

パフォーマンス最適化のための Smart Scan 機能 ポイント 3 ：

アーキテクチャ

IB

En terpri se Manager

Oracle Big Data SQL 導入の前提条件

Big Data SQL

Exadata

Oracle 12.1.0.2

ハードウェア・ネットワーク

OS (Oracle Linux), JDK

Cloudera’s Distribution including Apache Hadoop

Cl oude ra Mana ger

Big Data SQL (Option)

自動構成ツール

Perfect Balance

Big Data Connectors

(別ライセンス)

カスタム・アプリケーション

MySQL

(Cloudera Manager, Hive

)

Oracle Big Data SQL

Hadoop

Engineered System

Oracle Big Data

Appliance

Oracle Big Data Appliance

Oracle Exadata

Oracle 12c

Exadata – Big Data Appliance

Infiniband

Big Data SQL のプロセス

Data Data Data

BDSQLSRV

BDSQLRS BDSQLMS

InfiniBand

RDBMS HDFS

BDSCLI

Data Node

Config

Agent

Oracle Big Data Appliance Exadata Database Server

$ORACLE_HOME /bigdatasql

extprocbds_

•Big Data SQL Server(BDSQLSRV)

DB Server

Data Node

HDFS

•Management Server (BDSQLMS)

BDSCLI

ソフトウェア設定手順

項番 設定対象 設定項目 設定概要

1 Exadata 12.1.0.2

Oracle Database

12.1.0.2

Storage Server Software

2 Exadata Big Data SQL

適用

(Oracle Database

)

Big Data SQL

Oracle Database

patch#19377855

(opatch

)

3 Big Data Appliance Big Data SQL

(Big Data Appliance

)

Big Data SQL

Oracle Database

patch#19607796

4 Big Data Appliance Big Data Appliance

Big Data SQL

Big Data Appliance

Big Data Appliance

Big Data SQL

5 Exadata Exadata

Big Data SQL

Big Data Appliance

Exadata

Database Server

Exadata

Big Data SQL

前提：

Exadata

Big Data Appliance

Big Data Appliance

Version4.0

運用・監視 (Cloudera Manager)

監視 リソース制御

Cloudera Manager

CPU

cgroup

Oracle Enterprise Manager と Cloudera Manager の連携方式

Big Data Appliance Enterprise Manager

(Oracle Management Service)

Enterprise Manager

for Big Data Appliance

Plugin

Cloudera Manager

サービス監視 ヘルスチェック

リソース監視 サービス設定 サービス 起動・停止 サービス追加

リソース・死活監視

インシデント管理

Cloudera Manager

PDU

AWR レポートの例

Big Data Appliance

Smart Scan

1 2 3

統計値

①

cell XT granule bytes requested for predicate offload BDS

Select

②

cell XT granules requested for predicate offload BDS

③

cell interconnect bytes returned by XT smart scan

DB

BDS

Big Data SQL Demo

デモ

Analyze All Your Data with Oracle Big Data SQL

• Virtual Box 環境 (Big Data Lite version4.0.1) を利用します

–

– Virtual Box

OTN

http://www.oracle.com/technetwork/database/bigdata-appliance/oracle-bigdatalite-2104726.html

Quick Deployment Guide

http://www.oracle.com/technetwork/database/bigdata-appliance/bigdatalite-40-quickdeploy-2301390.pdf

• チュートリアル

http://www.oracle.com/webfolder/technetwork/tutorials/obe/db/12c/BigDataSQL/BigDataSQL_HOL.html

– Part1

– Part2

Oracle_HDFS