PowerPoint Presentation

(1)

1 © IBM Corporation, 2016

LinuxONE 技術編

(2)

IBM Internal Use Only

Enterprise

Big Data and Analytics

Hybrid

Cloud

Enterprise Open

Source

Industry

Solutions

Systems of Record

Systems of Insight

Pattern-Enabled

Infrastructure

as a Service

Flexibility & Choice with Enterprise-Grade Security &

Uptime

Industry-Specific Apps with Unmatched Scale &

Reliability

All Sharing Best-in-class Enterprise Capabilities:

圧倒的な可用性標準的なクラウドやdevopsの自動化、高速スケール機能の組み合わせは、開発者や管理者に最高クラスの俊敏性をもたらします。圧倒的な拡張性シングルMongoDBノードは、シャーディングすることなく、1秒当たり46万のread/writeを実現し、 2TBのスケールアップを可能にします。脅威の連続稼働時間最高クラスの連続稼働設計：フォールトトレラントメモリー、予備プロセッサー、システムの広範囲でのエラー検知や収集、耐震設計されています。圧倒的なセキュリティー完璧にチェックされたハードウェア、データ整合性のためのメモリー、最高クラスのセキュリティー、ハードウェアレベルでの暗号鍵の保護、高い安全性を持った集中型のキー保管と管理を兼ね備えた、最高レベルのセキュリティー

LinuxONE Focus for 2016

Cloud Manager

vRealize

IBM Cloud Manager

Patterns for LinuxONE

(3)

Virtualization / Containers

Linux Operating Systems

Cloud Infrastructure

Supported by Canonical

Linux = Linux

KVM = KVM

Containers = Containers

Openstack = Openstack

IBM Linux Engineering Assertions

(4)

P6

P7

P8

P1

P2

P3

P4

P5

LPAR1

Linux

LPAR2

Linux

LPAR3

KVM

LPAR4

z/VM

Linux

IBM LinuxONE System

Real

cores*

Logical

cores

Real

cores*

Logical

cores

Virtual

cores

Virtual

cores

IBM LinuxONE Systems Virtualization

Note: There are typically dozens or hundreds

of Linux servers in a KVM or z/VM LPAR.

P1 – P8 are Physical Processors (cores) or Integrated Facility for Linux (IFL) – LinuxONE cores * - One shared Pool of cores per System only

Note: -LPARs can be managed by DPM– Dynamic Provisioning Manager or PR/SM– Processor Resource System Manager

Linux

_Linux

Linux

_Linux

Linux

(5)

LinuxONE – SOR+SOI+SOE in a Box

5 HW

Part. 1

…

HiperSocket LAN

https://www.youtube.com/watch?v=VWBNoIwGEjo

Linux

guest

Linux guest

Docker Docker Docker Docker

• 公開されたAPIを利用してデータ取得

• 公開されたNode.jsモジュールの活用

により、高効率開発

• Dockerの利用によりアジャイルに開

発し、即座に実装

• 開発コードはGithubで管理

(6)

LinuxONEにおけるSOR/SOE連携

WebSphere

App Server

Business Logic

Persistent Layer

DB2

Twitter

SOE

SOR

Node.jsに

対応した

LinuxONEと

x86の比較

60%早い

レスポンスタイム

2.5倍の

スループット

6

(7)

7

Total

Per

Core

Total

Core

Per

L1キャッシュ

224 KB

64 KB

L2キャッシュ

4 MB

256 KB

L3キャッシュ

64 MB

8 MB

45 MB

2.5 MB

Haswell E5 2600 V3 chip

LinuxONE chip

CPUからL3へは複

数のL3リングをまた

いでのアクセスとなる

ため、レイテンシが一

定ではない

全てのコアからL3への

アクセスが一定のため

レイテンシが最小

x86サーバーとの相違点

キャッシュデザイン比較

(8)

Large scale-up servers run multiple variable

workloads more efficiently

8

144 variable workloads:

Machine capacity (red) =

1.42x average demand

(green)

1 variable workload:

Machine capacity (red) =

6x average demand

(green)

 Consolidating large numbers of variable workloads reduces the overall variance (statistical

multiplexing)

 Larger servers with capacity to run many workloads can be driven to higher average utilization

levels without violating service level agreements

6x

Peak to Average

1.42x

Peak to Average

さまざまなワークロードを取り込むことで集約効果を高める

(9)

【参考】Docker on z のパフォーマンス

9

0

500 1000

1500

2000

2500

LinuxONE

Haswell

th

roughpu

t

(#

tr

ansacti

ons

/se

c)

LinuxONE では、Haswellに比べ

て2倍の

4096 docker

コンテナを

稼動させることができる

Workload: Apache Solr

LinuxONE では Mixed

workloadで、

10k個の docker

コンテナを稼動させることができる

Haswellでは5k個を超えると比較できる結果が得られなくなった

Workload: Apache Solr + : busybox httpd server (no NAT)

ひとつのLinuxONE Emperor で

100万個以上のdocker

コンテナ

を稼動させた

Workload: busybox httpd server (no NAT)

4096個のコンテナを動かした場合の

スループットとレスポンスタイム

0

500 1000

1500

2000

LinuxONE

Haswell

la

te

n

cy

(m

sec)

(10)

Dockerの対応状況

10

SLES12 SP1から正式サポートを開始

• SLES12 SP1の「モジュール」として提供

• STSSの正式サポートあり（追加料金なし）

※モジュールとは

• 本体とはライフサイクルが異なる

コンポーネントを集めたもの

• DockerはContainers

モジュールに含まれる

• 本体のDVDには含まれておらず、

Webから配布する形式

• 追加料金はなく、通常の

Subscriptionで入手可能

出典:Docker Quick Sart

(11)

LinuxONE上のシングルMongoDBノードは、

スループットとレスポンスタイムを5ミリ秒以下に維

持したまま2TBまでスケールアップ可能です。

また、シャーディングを行うことなく、40億以上の

ドキュメントを、1秒当たり46万のread/writeが

可能です。

Node.jsとMongoDBを搭載したLinuxONEは

、

1日当たり300億万ものwebイベントを処理可能です。

MongoDB for the Enterprise

11 MongoDBを用いた拡張性、パフォーマンス、セキュリティー、可用性

“

“We are committed to make MongoDB available

on all major platforms and are excited to add

support for IBM LinuxONE Enterprise Grade Linux

and LinuxOne Platform. This announcement is a

leap forward for customers who want to deploy

modern, mission-critical applications built with

MongoDB and take advantage of the performance,

scalability and security of IBM’s LinuxONE platform

hardware products.”

(12)

2x Better Data-Serving with LinuxONE

MariaDB 10.1.5

1.8x to 2.1x throughput improvemen t on Sysbench Benchmark

PostgreSQL 9.4

1.6x to 2.2x throughput improvemen t on pgBench Benchmark 1.9x to 2.1x throughput improveme nt on YCSB Benchmark

12 Cloudant DBaaS

12

MongoDB 3.0.4 (WiredTiger, no sharding)

1.9x to 2.1x throughput improveme nt on YCSB Benchmark

(13)

13

• LinuxONEおよびIBM zをハイパフォーマンス化す

るJavaScript

–

node.jsのAcmeAirを用いることで、 Apache Jmeter

によるベンチマークでは、 2.1倍のRESTful webイン

タラクションを実現します

(14)

14

Speedu

p

*Composite Mean Across 8 ‘Spark’ Core Benchmarks

14

Spark

• Sparkのコア機能を用い、リアルタイムアナリ

ティクスで得られるインサイトを1.5倍速く獲得

できます。

• バッチ処理可能な時間内で、 1.5倍多くのデー

タを処理し、より精度の高いリアルタイムイン

サイトを導き出すモデルビルディングを実現し

ます。

• LinuxONE上でSparkとオープンソースデータベ

ースを一緒に配置させることにで、他のプラッ

トフォーム上で稼動させた場合に比べ、3倍のパ

フォーマンスを実現します。

• 例：OLTPによる取引データを加工してレポート

を作成している仲介取引のオペレーション分析

(15)

15

• データベースの圧縮時間を最大で7.5倍削減

（大容量のドキュメントを含んだMongoDBの場合）

• zEDCを使用したz13でSpark RDD実行により、

4.9倍のスループットを実現

• zEDCを使用したz13で、Dockerコンテナの圧

縮時間を最大4倍削減

15

HW Compression

(16)

* Content and priority are subject to change

16

Languages and Dev Environment

Databases

Messaging & Streaming

Node.js

MySQL

RabbitMQ

Ruby

PostgreSQL

Apache Kafka

Rails

MariaDB

Logstash (ELK)

Python

MongoDB

Fluentd

LLVM

Apache Cassandra

Apache Flume (1Q)

OpenJDK,

OpenJDK JIT(2Q)

Redis

Apache ActiveMQ*

GCCGO, Golang compiler(1Q)

Apache CouchDB

Apache Apex(Data Torrent)*

oCaml, oCaml native compiler

Cloudant^ (CouchDB

based)

Apache NiFi*

Erlang

Apache Geode

IronMQ*

PHP/Zend

CouchBase (2Q)

R

ScyllaDB*

Graph DBs

Clojure

MemSQL*

Spark GraphX

Scala

Aerospike*

Neo4j (1Q)

Swift (Apple) (2Q)

Druid*

Pegasus*

BIRT (Eclipse plug-in) (1Q)

Apache Ignite*

Titan*

Mono(C#...) [open source for .NET]

Hazelcast*

Ported - verified

Work in progress (target quarter)

Work under Evaluation/not started

Tier 1: Foundation Packages*

• Porting work: compilers, bug fixes, build script changes etc…

• “Dockerize” all ports

• Working to get more engaged within these communities

• Additional Tier 2

packages in Backup charts

* Requested by Client. Pending input on priority

^ IBM offering

(17)

17 * Content and priority are subject to change

17

Open Source & ISV Linux SW Capability

Various sources of input: e.g. BlueMix, Github stats, feedback from: direct client input, IBM client reps, on going research

Tier 2: Popular Tools and Applications*

• Most packages just work on LinuxONE and IBM Systems without porting effort, especially if written in Java or supported languages, and RHEL/SLES are among supported distros. • “Dockerize” all ports

• Working to get more engaged within these communities

Orchestration/ Deployment Config / Monitoring / Management

Machine & Deep

Learning

Operating Systems <Enterprise

and Open Source>

Docker

Chef

Spark MLLib*

SLES <enterprise>

Docker Swarm

Puppet

SystemML*

RHEL <enterprise>

Docker Compose

Ansible

H2O*

Ubuntu <enterprise> (2Q)

Kubernetes (1Q)

SaltStack

TensorFlow*

Debian

Apache Mesos (1Q)

virt-install (1Q)

Neon*

Fedoroa

Docker Machine

ElasticBox (3Q)

Apache SINGA*

CentOS (ClefOS)

Docker Kitematic

cAdvisor

OpenSUSE

IaaS & PaaS

Zenoss (2Q)

CoreOS*

OpenStack

Apache ZooKeeper

RancherOS*

Cloud Foundry (3Q)

Etcd (2Q)

OpenShift (1Q)

Consul (2Q)

DataDog (3Q)

* Requested by Client. Pending input on priority

^ IBM offering

Ported – verified

Work in progress (target quarter)

(18)

18 * Content and priority are subject to change 18

Open Source & ISV Linux SW Capability

Big Data & Analytics

App development & DevOps

Web Application Dev/Perf & CMS

Front End

Hadoop (via Veristorm,

^BigInsights)

Xerces-c

Apache jMeter

Kibana (ELK)

Elasticsearch (ELK)

XMLSec

Wordpress

D3

Apache Spark

protobuf

Ceilometer

Ionic*

Apache Solr

Doxygen

Apache Tomcat

Graphene*

Cloudera (1Q)

ANTLR

HAProxy

Angular (MEAN)

Apache Storm

Apache Maven

NGNIX

Express (MEAN)

Jenkins

Apache HTTP

Meteor*

Notebooks

Apigility (1Q)

JBoss

Apache Zeppelin*

Drupal

Jupyter*

Joomla

Ipython*

SugarCRM

Graphite*

Magento

Various sources of input: e.g. BlueMix, Github stats, feedback from: direct client input, IBM client reps, on going research

Tier 2: Popular Tools and Applications*

• Most packages just work on LinuxONE and IBM Systems without porting effort, especially if written in Java or supported languages, and RHEL/SLES are among supported distros. • “Dockerize” all ports

• Working to get more engaged within these communities

* Requested by Client. Pending input on priority

^ IBM offering

Ported - verified

Work in progress (target quarter)

(19)

19

**Tier 2: Popular Tools and Applications* that have been verified by Sine Nomine Associates**