HPE HPC & AI フォーラム 2018 講演資料

HPE HPC & AI フォーラム 2018

プラナスソリューションズ株式会社 代表取締役社長

さくらインターネット株式会社 営業部担当部長

臼井 宏典

HPC & AI特化型サーバー最前線！

世界初！HPC向けArmサーバー

商用ホスティングサービスとは？

日本ヒューレット・パッカード株式会社

ハイブリッドIT製品統括本部 カテゴリーマネージャー

高橋 健

HPC & AIに最適化されたHPE製品のポートフォリオ

HPE Apollo 2000 Gen10

HPE SGI 8600

HPE Apollo 6000 Gen10

スーパーコンピューター / エンタープライズ向けHPC

アドバイザリ、プロフェッショナルサービス - HPE フレキシブルキャパシティ for HPC、HPEデータセンターケア for Hyperscale

AI・新興マーケット

天候・気象研究 金融 サービス ライフサイエンス 医療 官公庁 大学・研究所 石油・天然ガス エネルギー EDA / CAE 製造

業種別

HPCソリューション

2Uのコンパクトデザインに柔軟な 構成を実現。 GPUコンピューティング、VDI、仮 想化基盤にも最適。 業界をリードする パフォーマンス、密度、 冷却効率を実現する水冷シ ステム。 1ラックあたり144ノードを収容 可能。 高密度実装と究極の パフォーマンスを提供する 空冷システム。 筐体内に広帯域ネットワーク スイッチを内蔵する革新的デ ザイン。 PCIe版、SXM2版のGPUを 8枚搭載可能。 エンタープライズでのAI活 用に最適。

HPE Apollo 6500 Gen10

New

Armベースの高密度実

装サーバー。高いメモ

リバンド幅を提供。

New

HPE Apollo 70

AI/ディープラーニングに最適なサーバー

4

HPE Apollo 6500 Gen10 System の特長

幅広いワークロードに応える柔軟性

充実したサポートサービス

エンタープライズ環境での利用に最適な設計

5

標準ラック搭載

世界標準の安心サーバー

エンタープライズ標準

OSサポート

エンタープライズ環境で利用される汎用サーバーと同じように運用・管理可能

•

管理プロセッサ

iLO5搭載

•

ProLiant DL380 Gen10の

マザーボードとオプションを使用

•

業界標準

1075mmラック搭載¹

•

Gen9で必要であったエンクロージャ、

電源用筐体は不要

•

2+2のパワーサプライ構成

•

ホットプラグ可能なファン

²

可用性への配慮

幅広いラインアップからGPUを選択可能

6

Computational

Options

AMD Radeon Instinct MI25 NVIDIA Tesla P100 NVIDIA Tesla P100 NVIDIA Tesla V100 NVIDIA Tesla V100 NVIDIA Tesla P40

HPE SKU

Q1K38A Q0C71A Q0E21A Q2N66A Q2N68A Q0V80A

Core Count

4096 3584 3584 5120 5120 3027

Perf (Tflops) HP

24.6 21.2 18.7 NA NA NA

SP

12.3 10.6 9.3 15 14 12.0

DP

5.3 4.7 7.5 7

Int8

47 TOPS

Tensor

120 112

PCI-e

Gen3 Gen3 Gen3 Gen3 Gen3 Gen3

Memory (GB)/BW

GB/s

16/484 16/732 16/732 16or32/900 16or32/900 24/346

Form Factor

Double-Width Double-Width Double-Width Double-Width Double-Width Double-Width

Power Connector

PCI-e, 8-pin & 6-pin CPU, 8-pin CPU, 8-pin CPU, 8-pin CPU, 8-pin CPU, 8-pin

Card Power

300W 300W 250W 300W 250W 250W

3つのGPU接続パターンから選択可能

NVLink 2.0

PCIe 4:1

PCIe 8:1

S W S W CPU2 CPU1 S W S W GPU1 GPU4 GPU3 GPU2 GPU5 GPU8 GPU7 GPU6 S W S W CPU2 CPU1 S W S W GPU1 GPU4 GPU3 GPU2 GPU5 GPU8 GPU7 GPU6 S W S W CPU2 CPU1 S W S W GPU1 GPU4 GPU3 GPU2 GPU5 GPU8 GPU7 GPU6

トラディショナルなPCIeを用いた4:1

のトポロジー。均一な構成が好まれ

るMPIジョブ、HPCの用途に最適。

ディープラーニングに最適な8:1のト

ポロジー。サーバー内のGPU間通信

が多いワークロードにおいて高いパ

フォーマンスを発揮。

BIOS設定変更で柔軟に切り替えが可能

広帯域・密結合なネットワークで

ディープラーニング/AIやHPCにお

いて最も高いパフォーマンスを発揮。

New

New

GPUの接続パターンを柔軟に選択可能

HPEがデータ分析プラットフォーム活用を総合的支援

企画

 データ活用におけるビジョン、

目的の議論を促進

 求められるプラットフォームの

技術を学習

実装

運用・改善

膨大なデータをビジネスに生かすデータ分析プラットフォームの実現に向け、

すべてのフェーズでHPEがご支援いたします

AIセミナー・Workshop

教育サービス

 抽出・加工・ストア・分析のため

のデータパイプラインを実現

する、柔軟なプラットフォーム

のデザイン・実装を支援

分析基盤コンサルティング

分析基盤のPoC環境

分析基盤活用支援

 プラットフォームの運用支援

ならびに技術支援

 データ分析プラットフォームの

オンプレミス環境を従量課金

モデルで提供

運用支援サービス

GreenLake

エンタープライズ向けコンテナオーケストレーション

Dockerと採用実績豊富なKubernetesをネイティブに統合、エンタープライズ向け認証・SDN・Web コンソール・運用管理等の機能も充実

HPE Apollo Systemは、ラックあたりの最高レベルのパフォーマンスと効率性を実現する、Deep Learning 向けに最適化されたスケールアウト型GPUシステムです。

Deep Learning開発用コンテナ環境構築サービス

概要

本サービスは、Deep Learning開発環境としてNVIDIA GPUを搭載したHPE Apollo 6500 Gen10 SystemをRed Hat OpenShift Container Platform（以降OpenShift）のNodeサーバーとし て構成し、その上でTensorFlowやChainer等のDeep Learningアプリケーションコンテナを稼働する環境を導入します。OpenShiftの特長でもある堅牢なテナント分離を実現するだけでなく、 特定のGPUリソースを柔軟に各利用者のコンテナに割り当てることが可能となる、リソース、開発環境構築時間、コスト等あらゆる面で開発効率が飛躍的に向上しうる環境を提供いたします。

HPE Apollo 6500 Gen10 System の特徴

OpenShiftによる開発環境のメリット

HPEが提供するDeep Learning開発用コンテナ基盤環境

GPUリソースのマルチテナント毎割り当てが可能

NVIDIA GPUのワークロードに合わせた柔軟な割り当て、テナント毎のリソース分離とアクセス制御 を実現。セキュリティ、パフォーマンスの双方において、開発効率が飛躍的に向上します。

Deep Learning Application Containers

※コンテナ環境構築には、上記Apolloサーバーの他にMaster/Infraサーバーが必要となります。

HPE Apollo 6500 Gen10 System

4U, 8x GPGPU, 2X Intel Xeon Scalable Processors

開発者

異なるプラットフォーム/バージョンの開発用コンテナを 混在して利用可能です

HPE Deep Learning開発用コンテナ基盤環境

・・・

異種・複数バージョンDeep Learningフレームワークの混在可

Deep LearningフレームワークとCUDA Toolkitライブラリをコンテナ化。複数フレームワークの開発 環境を同一プラットフォーム上で利用可能です。

最高のGPU密度

NVIDIA Tesla GPU (PCIe もしくは NVLINK 2.0) を最大8基搭載可能 柔軟なストレージ構成 16本までのSATA/SAS/SSDもしくは4本まで のNVMeを構成可能 GPUパフォーマンスを活かす 1または2CPUあたり最大8GPUを実現し、 アプリケー ションに最適化 優れた管理性

iLO等のHPE ProLiant Gen10と 共通の 管理環境を提供

10

HPE Apollo 6500 Gen10 System

HPEはエンタープライズ用途でのAI活用をサポートします！

幅広いワークロードに応える柔軟性

充実したサポートサービス

エンタープライズ環境に最適な設計

“AI for Business”を実現するプラットフォーム

ArmベースのHPCプラットフォーム

HPE

Performance

Software Suite

Apollo Servers

Protocol Design

Shared-Memory Expertise

HPE エクサスケールコンピューティングプロジェクト

12

SiPh

NVM

VLSI

シリコン

デザイン

ラボ

Hewlett Packardラボ

/ The Machine

Memory-Driven

Computing

HPC製品

ビジネス

ユニット

エクサ

スケール

HPC

顧客とのコラボレーション

次世代プラットフォームの開発

_{GenZ プロトコル とファブリック}

デザイン

次世代のスーパーコンピュータをデザイン

HPC

Storage

HPE Apollo 70 System

2ソケットのArmベースサーバー

– 2基のMarvell | Cavium ThunderX2

プロセッサを搭載

– 最大 32コア / 2.2GHz

高いメモリバンド幅

– IAサーバーより33%高いメモリバン

ド幅

– 1CPUあたり、8本のメモリチャネル

充実したソフトウェアスタック

– Arm向けRHEL/SUSE Linuxのサ

ポート

– Arm Allinea Studioの提供

高いスケーラビリティ

– エクサスケールを目指す大規模コン

ピューティングにも最適

２つのサーバートレイを選択可能

HPE AR44z (1Uハーフワイド)

HPE AR64z (2Uハーフワイド)

Armベースの高密度型サーバー

HPE Apollo 70 System

スペック詳細

14

スペック

HPE Apollo 70 System

CPU

Cavium 64-bit Armv8.1-A ThunderX2™

プロセッサ / コア / クロック

2プロセッサ/ 最大32コア/ 最大2.2 GHz

メモリ (メモリタイプ, 最大容量, スロット数)

DDR4-2667 DIMM

ノード当たり最大512GB(16x32GB); 16 DIMMスロット

ドライブベイ

8 LFF HDD/SSD

2 internal 2280 M.2 per node; up to 960GB/SSD

I/O

Mellanox CX-5 100 Gb/s VPI アダプター (IBあるいは

Ethernet)

デュアルポート SFP+ 10GbE Mellanox CX4 LOM

シングルポート RJ-45 1GbE NIC(管理ポート用)

1x USB, 1x VGA, 1x UART

拡張性

拡張PCIeスロットに2GPUまで搭載可能

マネジメント

IPMI.2.0

パワーサプライ

2x 1600W ホットプラグ対応

標準保障

3年間 翌営業日オンサイトサポート

HPE AR44z 1Uノード

HPE AR64z 2Uノード

AR64z x1台 と AR44z x2台 の背面

プラナスソリューションズ株式会社

代表取締役社長

さくらインターネット株式会社

営業部担当部長

HPC & AI特化型サーバー最前線！

世界初！HPC向けArmサーバー

さくらインターネットについて

商

号 さくらインターネット株式会社

本 社 所 在 地 大阪市北区大深町4-20

_{グランフロント大阪タワーA 35F}

創 業 年 月 日 1996年12月23日

_{（会社設立は1999年8月17日）}

上 場 年 月 日 2005年10月12日（マザーズ

_{2015年11月27日（東証一部へ市場変更}

）

_）

資

本

金 22億5,692万円

従 業 員 数 連結563名（2018年3月末）

会社概要

インターネットインフラの提供を事業ドメインとして、

大阪、東京、北海道の３都市に5つのデータセンターを展開

プラナスソリューションズについて

「プラナス」とはサクラ属、スモモ属を意味する言葉です。

サクラ属は樹木となり5弁の花を付けます。

転じて5つの業務を主軸とし、さくらインターネットのグループの

HPCを中心としたソリューションを提供する会社として2018年5月に設立されました。

商

号 プラナスソリューションズ株式会社

本 社 所 在 地 新宿区西新宿7-20-1

_{住友不動産西新宿ビル 33F}

創 業 年 月 日 2018年5月1日

株

主 さくらインターネット（100%)

資

本

金 1億円（資本準備金1億円）

代表取締役社長 臼井 宏典

会社概要

4号棟 5号棟

最終完成イメージ

計5棟、最大6,800ラック規模

3号棟

（2016年12月 竣工）

既存棟

（1・2号棟）

石狩データセンター概要

●冷涼な気候で冷房コストを

大幅にカット

●大規模の開発用地がある

●通信回線の結節点となりえる地の利

● 災害リスクが低い

● 200万人の大都市を持つ

3号棟・外観パース（中央：3号棟、左：1・2号棟） 3号棟・鳥瞰パース（奥：3号棟、手前：1・2号棟）

1号棟

2号棟

3号棟

敷地面積

51,448㎡（石狩湾新港地域全体で3,022ha）

(左記に含む)

竣工

2011年11月15日

2016年12月28日

建物構造

地上2階建・鉄骨造

地上3階建・鉄骨造

建設面積

7,116㎡

6,487㎡

延床面積

11,417㎡

12,270㎡

ラック数

500

620

1,924

東京ドーム約1個分の敷地面積

札幌から車で約30分とアクセスも容易

北海道道央圏の強み

HPEとの事例

◎ 高火力コンピューティング基盤を採用したサービス型の利用

従来の

「顧客所有」から「サービス利用」

へ、スパコンの調達ニーズの変化に対応

（電力消費量と資産管理コストの増加回避）

◎ エネルギー効率の高い石狩データセンターでの運用

消費電力の大幅抑制とCO2の削減が可能

◎ 2017年4月より稼動開始。予算規模は約21億円（5年総額）

1,024台のサーバーを提供。提供規模は合計32,768コア、総理論演算性能は約1.153ペタフロップス

（ PFLOPS ）

※2

「超先端材料超高速開発基盤技術プロジェクト」向け

スーパーコンピューターシステムに、高火力コンピューティング基盤が採用

※1

産総研：国立研究開発法人産業技術総合研究所

※2

ペタフロップス（PFLOPS）：コンピュータの処理能力の単位で、Peta Floating-point Operations Per Secondの略。

Petaは1000兆（10の15乗）であり、毎秒1000兆回の浮動小数点演算ができることを表します

産総研

※1

・先端素材高速開発技術研究組合

共同運営のスーパーコンピューターシステム受注

HPEとの事例

HPE Apollo2000×256台1024ノード＋DDN SFA14KX(2PB)＋Mellanox SB7800,SB7890×100

1024ノードを高集積した場合、アイルキャッピングされた

データセンター内においても立ち上げ時には部分的に70℃を

超える熱だまりが発生した。

エアフローや配線取り回し等を見直し、空冷にて安定した

運用ができている。

機械の大型化、高集積化、GPU等高電力を必要とする機材等

旧来型のデータセンターや電算室では電力、冷却、耐荷重等に

大きな制約がある状況。

機材の運用、保守面を含め高集積・高電力案件に関しては

実績のあるデータセンター、ソリューションを選定しないと

トラブルの多発が懸念される。

時代は所有から利用へ

初期費用 ＊＊億円

運用費用 年額＊億円 × X年

初期

費用

運用費用

構築

運用

月額 ●●万円×＠＠ヶ月＝ｘx億円

月払いでのサービス利用

※中間評価で減額の際は他の自社サービスへの転用も検討

ご契約期間

サービス利用費

サービス利用費

従 来 の 大 型 調 達

こ れ か ら の 調 達

・初期費用にかかるコストが大きい

・運用フェーズでの予算確保が難航

・中間評価での変動に対応できない

・資産を保持しないとならない

・スパコン調達になると時間がかかってしまう

・月額利用費を毎月支払うだけでよい

・中間評価での変動に対応可能

・資産を保持しなくてよい

・「クラウド型調達」である

・サービス利用である

・スケールアップ時も迅速に対応

Armに対する期待値

・CPUの価格の優位性（対Intel比70%)

・特定の計算、メモリを使うAppにおいては

同価格帯のx86系CPUよりコストパフォーマンスが良い

・欧米での採用と期待値の大きさ

・サーバーとクライアントの関係性において、特にスマホとの取り回しに優位性

・Post-Kでの採用が決まっていること

・Armチップの生産数と今後の更なる拡大、そしてその市場規模

2ソケットのArmベースサーバー

–

2基のMarvell | Cavium

ThunderX2 プロセッサを搭載

–

最大 32コア / 2.2GHz

高いメモリバンド幅

–

IAサーバーより33%高いメモリバ

ンド幅

–

1CPUあたり、8本のメモリチャネ

ル

充実したソフトウェアスタック

–

Arm向けRHEL/SUSE Linuxの

サポート

–

Arm Allinea Studioの提供

高いスケーラビリティ

–

エクサスケールを目指す大規模

コンピューティングにも最適

Marvell | Cavium社のThunderX2プロセッサを搭載した、Armベースの高密度システム。2Uの筐体に2ソケットサーバーを4台まで搭載可能。

２つのサーバートレイを選択可能

HPE AR44z (1Uハーフワイド)

HPE AR64z (2Uハーフワイド)

HPE Apollo 70 System

スペック

HPE Apollo 70 System

CPU

Cavium 64-bit Armv8.1-A ThunderX2™

プロセッサ / コア / クロック

2プロセッサ/ 最大32コア/ 最大2.2 GHz

メモリ (メモリタイプ, 最大容量, スロット数)

DDR4-2667 DIMM

ノード当たり最大512GB(16x32GB);

16 DIMMスロット

ドライブベイ

8 LFF HDD/SSD

2 internal 2280 M.2 per node; up to

960GB/SSD

I/O

Mellanox CX-5 100 Gb/s VPI アダプター

(IBあるいはEthernet)

デュアルポート SFP+ 10GbE Mellanox CX4 LOM

シングルポート RJ-45 1GbE NIC(管理ポート用)

1x USB, 1x VGA, 1x UART

拡張性

拡張PCIeスロットに2GPUまで搭載可能

マネジメント

IPMI.2.0

パワーサプライ

2x 1600W ホットプラグ対応

標準保障

3年間 翌営業日オンサイトサポート

HPE AR44z 1Uノード

HPE AR64z 2Uノード

AR64z x1台 と AR44z x2台 の背面

2Uシャーシに最大4ノード搭載

2018年11月プラナスソリューションズがサービスリリース予定

メモリサイズ64GB、256GBの２つのモデルをご用意

いち早くArm/ThunderX2を搭載したサーバーを

サービス利用にてお使いいただくことができます

Armサーバーサービスのリリース

HPE Apollo 70 Systemを採用した世界初のArmホスティングサーバー

・Armでのソフトウェアやアプリケーションの動作確認

・ベンチマーク計測