スライド 1

High Performance and Productivit

High Density HPC Solutions

HPCシステムの課題

• データセンターにサーバを設置する場合、単にラック

マウントするだけでは不十分

• 計算機システム自身の‘Optimization‟が必要

• 高密度なハイパフォーマンスシステムの構築

スケーラブルシステムズ株式会社 2

インテルプロセッサロードマップ

スケーラブルシステムズ株式会社 3

拡張版インテル

®

CoreCore™

マイクロアーキテクチャー

• 同一周波数でより優れた

性能・高周波数版も提供

• メディア・ゲーム・グラ

フィックス・数値演算に対

応する新SSE4 命令群

• 新次元のエネルギー効率

• より大容量のキャッシュ・

より高速なバス・スピード

スケーラブルシステムズ株式会社 4

次世代45nm インテル®Core™2 & Xeon®

ファミリー・プロセッサー“Penryn

”

拡張版 インテル

®

_Core

™

マイクロアーキテクチャー

スケーラブルシステムズ株式会社 5

インテルCoreマイクロアーキテクチャ

Penryn ファミリーでの拡張

インテル®_{ワイド・ダイナミック・エグゼキューション} 高速なRadixRadix--16 除算処理 拡張版インテル®_{バーチャライゼーション・テクノロジー} インテル®_{アドバンスド・スマート・キャッシュ より大容量のキャッシュ: 最大6MB, 12MB} インテル®_{スマート・メモリー・アクセス} スプリット・ロード・キャッシュの改善 より高速なバススピード インテル®_{アドバンスド・メモリー・ブースト} インテルSSE4 命令群 スーパー・シャッフル・エンジン インテル®_{インテリジェント・パワー機能} より高度な省電力技術：拡張版インテル®ダイナミック・ アクセラレーション・テクノロジー

Intel

®

Xeon

®

プロセッサ

ベースシステム基本仕様

スケーラブルシステムズ株式会社 6

Platform Comparison

2006

2007

Processor Cache (Dual/Quad Core)

4M

6M

Max Front Side Bus

1333MHz

1600MHz

Snoop Filter

16 MB

24 MB

Active Way Management

✔

Intel

®

Virtualization Technology

Intel

®

VT-x

Intel

®

VT-x/VT-d

Acoustics & Memory Bandwidth

Base

Better

I/O Lanes

PCI Express* 1.0

32

44

PCI Express* 2.0

Dual x16

PCI-X

✔

✔

Intel

®

I/O Acceleration

Technology (Intel

®

I/OAT)

v1

v1 & V2

Memory

Channels

4

4

Capacity (GB of FB-DIMM)

64

128

Addressability

36 bit

38 bit

New RAS

次世代45nm プロセッサー

“Penryn”

スケーラブルシステムズ株式会社 7

高密度実装プラットフォーム

スケーラブルシステムズ株式会社 8

デュアルソケット

シングルソケット

デュアルソケットと同じ実装密度

（2 CPU / 1U)

筺体あたりのメモリバンド幅は、

50%以上高い

消費電力あたりの性能（>20%）

高い実装密度

（4 CPU / 1U)

15 ノードで、１TGFLOPS

以上の性能

PortTownsend （S3000PT)

HPC BOARD FEATURES

 Single Intel® PentiumD processor (Conroe, Kentsfield)

 Chipset: Mukilteo2 + ICH7

 4 DIMM (max 8GB) - DDR2 533/667 with U-ECC

 1066 FSB

 PCIex8 – support for IB MemFree card & SFF GbE card  Integrated 2 port SATA2 with RAID 0/1

 2xGbE (Tekoa + TekoaE)

 2xUSB2 external (crash cart)

 Rear video & serial port

 Internal headers: serial (3pin), 2xUSB2, I2C

 Custom 5.95” x13” , 6 layer

 Custom power connector

 Client Management iAMT via TekoaE

PCI-E x8 GbE Memory CPU VRD MCH ICH

Coreマイクロアーキテクチャに対応した製品

Quadコアのサポート

スケーラブルシステムズ株式会社 10

PortTownsend （S3000PT)

HPC BOARD FEATURES

 Single Intel® PentiumD processor (Conroe, Kentsfield)

 Chipset: Mukilteo2 + ICH7

 4 DIMM (max 8GB) - DDR2 533/667 with U-ECC

 1066 FSB

 PCIex8 – support for IB MemFree card & SFF GbE card  Integrated 2 port SATA2 with RAID 0/1

 2xGbE (Tekoa + TekoaE)

 2xUSB2 external (crash cart)

 Rear video & serial port

 Internal headers: serial (3pin), 2xUSB2, I2C

 Custom 5.95” x13” , 6 layer

 Custom power connector

 Client Management iAMT via TekoaE

PCI-E x8 GbE Memory CPU VRD MCH ICH

Coreマイクロアーキテクチャに対応した製品

Quadコアのサポート

スケーラブルシステムズ株式会社 11

AtokaV

HPC BOARD FEATURES

 Dual Intel® Xeon processor (Woodcrest, Clovertown)

 Chipset: Greencreek + ESB2

 8 FBD (max 32GB) - DDR2 533/667

 1333 FSB

 PCIex8 – slot

 Mellanox IB 4x DDR single port down

 Integrated 2 port SATA2 with RAID 0/1

 2xGbE (Gilgal)

 2xUSB2 external (crash cart)

 Rear video & serial port

 Internal headers: serial (3pin), 1xUSB2, I2C

 Custom 6.5” x16.5”

 Custom power connector

 Client Management via IPMI module / GbE port

 Support for 32Mbit flash & embedded Linux GbE

Memory CPU VRD MCH ESB2 PCI-E x8 CPU IB

高密度DPソリューション

プロセッサとチップセットの選択

VXB5000AL

デュアルソケット

SE5000AL

1333MHzのデュアルな独立 したバスアーキテクチャ スケーラブルシステムズ株式会社

VXB3000PT

シングルソケット

S3000PT

シングルソケットのHPCボー ドを2セット搭載

VXB5000AL

VXB5000AL

デュアルソケット

SE5000AL

1333MHzのデュアルな独立 したバスアーキテクチャ スケーラブルシステムズ株式会社

• 1333MHz 独立したデュアルバスアーキテ

クチャ

• インテルが提供する様々な付加機能（iAMT

やVT、メモリミラーなど）を利用可能

• 通常のサーバと同じ機能、性能をさらに高

いコストパフォーマンスで提供

• 3.0GHz

までのプロセッサをサポート

• 低電圧Xeon 5148

も搭載可能

VXB3000PT

スケーラブルシステムズ株式会社

VXB3000PT

シングルソケット

S3000PT

シングルソケットのHPCボー ドを2セット搭載

• NEXXUS 4820ALよりも更に高い

コストパフォーマンスを実現

• MPIベースのアプリケーションでは、

シングルソケット＋高速インターコ

ネクト

での高い性能の実現

• DDR2 ６６７MHｚメモリ

によるHPC

アプリケーションの高速実行

スケーラブルシステムズ株式会社 16

スケーラブルシステムズ株式会社 17

S3000PTベースサーバ

• S3000PTベースのサーバ

は複数のベンダーが１U

や４U（ブレード）サイズの

製品を展示

超高密度実装サーバ

4 x 1U System = 16 cores

4倍の実装密度

• 非常に高密度実装を可能とするサーバ技術

– 通常の１Uサーバに搭載されているマザーボードを半分

のサイズで実装し、2つのマザーボードを1台のサーバ

に搭載

• １Uサイズの筐体に16プロセッサコアを搭載可能

• InfiniBandとGbEをマザーボード上に搭載

18 _{スケーラブルシステムズ株式会社}

4 x 1U System = 64 cores

AtokaとS3000PTの比較

• Atokaでは、ボード上にInfiniBandを実装している（写

真では、実際にIBケーブルを接続）

• サイズは、横幅はほぼ同じで、縦幅が長い

1Uサイズの筐体に2枚搭載可能

スケーラブルシステムズ株式会社 19

HPC & HDCソリューション

高密度コンピューティング (High Density Computing)

バンド幅を

最大化

最大の計算

処理能力

消費電力 実装密度 IPMI 2.0 コスト SATA 省電力プロセッサ メモリ 1GB-2GB コアあたり メモリ 2GB-4GB コアあたり 高速な マイクロプロセッサ 高速な マイクロプロセッサ IB Interconnect GbE Interconnect

S3000PT

•2 ボード / 1U •コアあたりのメモリ、IOバンド幅を最大 •電力あたりの性能を最大化

Atoka

•4 ソケット / 1U •大規模メモリ •計算密度 ハイパフォーマンスコンピューティング

IDF での説明資料

• Technical Overview of the 45nm Next

GenerationIntel®Core™Microarchitecture

(Penryn)

– http://www.sstc.co.jp/biz/report/IDF_Fall2007/P

enryn/IPTS001_100b.pdf

スケーラブルシステムズ株式会社 21

STAR-CD ベンチマーク

Benchmarks STAR-CD V3240/V3260 A-Class DATASET http://www.cd-adapco.com/products/STAR-CD/performance/320/aclass32.html 16 8 0 200 400 600 800 1000 1200 NEXXUS Xeon 3070 (Dual Core 2.66GHz/node) HP Woodcrest (2xDual Core 3.0 GHz/Node) HP XC Opteron D1145XC Dual Core, 2 sockets, 2.2 GHz SGI ALTIX-4700 1.6 GHz Montecito 392 521 466 391 768 1,027 882 経過時間 （ 秒 ） コア数

よ

り

高

い

性

能

スケーラブルシステムズ株式会社 22

LS-DYNA ベンチマーク

16 プロセッサコアベンチマーク

0 2000 4000 6000 8000 10000 12000 14000 Penguin Computing/Xeon 5160 (3.0GHz) HP/Opteron (2.6GHz) NEXXUS/Core2Duo (2.66GHz) 11351 12031 10459 El a p s e d T im e (Se c s ) LS-DYNA 971 3 Vehicle Collision http://www.topcrunch.org/ ノード数xソケット数xコア数 4x2x2 4x2x2 8x1x2

よ

り

高

い

性

能

スケーラブルシステムズ株式会社 23

標準ベンチマーク性能

スケーラブルシステムズ株式会社 24

ＮＡＳ Parallel Benchmark (NPB) 16並列ベンチマーク

オペレーション数/秒 （数値は大きいほど高い性能を示す）

Platform

NEXXUS PT VXPRO R1400

VXRACK 性能比率（％）

Motherboard

S3000PT

Atoka

S3000PT

CPU Clock

2.66GHz

3.0GHz

2.93GHz

BT

21194

19556

21955

12%

CG

4532

2866

4336

51%

EP

548

615

603

-2%

FT

7689

7373

8462

15%

IS

592

327

536

64%

LU

17989

17330

18576

7%

MG

11563

9389

11393

21%

SP

6891

6145

6978

14%

ADVCベンチマーク

スケーラブルシステムズ株式会社 25 0 50 100 150 200 250 300 350 400 wheel_4p8mildof alde_engine_12mildof 経 過 時 間 （ 秒 ）

Dual Socket (3.0GHz)

Single Socket (2.93GHz)

8並列実行時間

よ

り

高

い

性

能

NAS Parallel Benchmark (NPB) 16/64並列ベンチマーク

相対性能比 （数値は大きいほど高い性能を示す）

スケーラブルシステムズ株式会社 26

0

1

2

3

4

5

6

BT

CG

EP

FT

IS

LU

MG

SP

相対性能（ S 30 00 P T/1 6 を １ と し て の 性 能 比 ） ベンチマーク S3000PT/16 S3000PT/64 Cray XT3/16 Cray XT3/64

よ

り

高

い

性

能

NAS Parallel Benchmark (NPB) 16/64並列ベンチマーク

相対性能比 （数値は大きいほど高い性能を示す）

スケーラブルシステムズ株式会社 27

0

1

2

3

4

5

6

BT

CG

EP

FT

IS

LU

MG

SP

相対性能（ S300 0PT/16 を １ と し て の 性 能 比 ） ベンチマーク

S3000PT/16

S3000PT/64

Altix/16

Altix/64

よ

り

高

い

性

能

アーキテクチャによる性能差

シングルソケット>デュアルソケット>>SMP

• 共有メモリの利点は、性

能以外の面で多々ある

ので、単純な比較は無

理だとしても・・・・

– MPIアプリケーション

では、SMPは性能上

の利点が尐ない

– 性能差は、クロック比

に対して、2.4倍から

5.5倍

スケーラブルシステムズ株式会社 28

Opteron SMP

S3000PT 性能比

Clock

2.6GHz

2.66GHz （Ratio)

BT

3847

21194

5.5

CG

1575

4532

2.9

EP

168

548

3.3

FT

3096

7689

2.5

IS

154

592

3.9

LU

6090

17989

3.0

MG

3566

11563

3.2

SP

2924

6891

2.4

High Density Entry Systems

スケーラブルシステムズ株式会社 30

•1U Twin (Bensley)

•クァッドコア Intel Xeonプロセッサ 120W、80W、50W CPU •InfiniBand 、8 FBDIMMスロット、IPMI、PCIex 8 スロット •1U „side by side‟ 筐体

•HPC/HDCマーケットをターゲット •Atoka-2

•次期クァッドコア Intel Xeonプロセッサ 120W、80W、50W CPU •InfiniBand 、8 FBDIMMスロット、IPMI、PCIex 16 スロット

•1U „side by side‟ 筐体

•HPC/HDCマーケットをターゲット •将来製品

•Intel QuickPath インターコネクト •1U „side by side‟ 筐体

スケーラブルシステムズ株式会社 31

High Density Entry Systems

スケーラブルシステムズ株式会社 32 •SE7230CA1 •Pentium Dプロセッサ •リファレンス筐体などの提供 •1U „side by side‟ 筐体

•HPC/HDCマーケットをターゲット

•Intel Server Board S3000PT

•Intel Core2 2Duo Xeonプロセッサ 65W •リファレンス筐体などの提供

•1U „side by side‟ 筐体

•HPC/HDCマーケットをターゲット

•Intel Server Board X38ML

•Intel Core2 2Duo Xeonプロセッサ 65W •リファレンス筐体などの提供

•1U „side by side‟ 筐体

•HPC/HDCマーケットをターゲット

X38ML概要

33

• Wolfdale / Yorkfield / Conroe / Kentsfield

processor (35W, 65W, 130W)をサポート

• X38 chipset

– 1333 MHz Fontside Bus

– FSB Overclock のサポート（1600 又は

2000MHz)

• Single PCI-Express x16 connector

• ハイエンドグラフィクスもサポート

• 4 DIMMs (最大 16GB) DDR2 667/800メモリ

• Integrated 4 port SATA 3.0Gb/s with RAID

0 and 1

• Integrated graphics

• Integrated BMC supporting IPMI 2.0

• Integrated Dual Gigabit Ethernet (Zoar)

• Custom 5.9” x13” form factor

Intel X38 Expressチップセット

X38チップセット - Overclock

スケーラブルシステムズ株式会社 35

Intel Core 2 Quad

“Yorkfield”

Overclockのサポート

Core Speed: 3825.5MHz

FSB : 1700.2 MHz

サーバプラットフォーム

スケーラブルシステムズ株式会社 36 FBD

Blackford

MCH

Storage Controller PXH 10 GbE I/OAT iSCSI

Configurable set of PCIe Gen1 ports

ESB-2 I/O Bridge SAS/SATA

・・・・

PCI-X 10 GbE ESI x8 x8 x8 DIB 1066/1333 MHz 8.5/10.5 GB/s 25.5/32 GB/s FBD

Seaburg

MCH

Storage Controller PXH 10 GbE I/OAT iSCSI

Configurable set of PCIe ports up to Dual x16 Gen2 (Gfx) ESB-2 I/O Bridge SATA/SAS

・・・・

PCI-X 10 GbE ESI x8 x8 x8 Dual 1600 MT/s

Point to Point Bus 25.5/32 GB/s

x8 x8

x8 x8

Stoakley =

Harpertown(Xeon 54xx) + Seaburg

スケーラブルシステムズ株式会社 37 FUSION 1200では、従来のShelf (通常のクラスタのノードに相当)に対して、2倍の容量とFSBを高速 化したものを発表しています。このShelf では、最大128GBのメモリを搭載できるため、FUSION1200 の一筺体で、768GBのメモリまで拡張出来ます。（従来のShelfは、32GBが最大容量）

サーバプラットフォームベンチマーク

スケーラブルシステムズ株式会社 38

http://techreport.com/articles.x/13224/1

1.00

_0.98

1.00

1.00

1.35

1.38

System Power

(watts)

Performance

(SPECjbb2005)

Performance per

System Watt

エネルギー効率と性能

Intel Xeon E5345 (2.33GHz/1333/80W)

Intel Xeon E5450 (3.00GHz/1333/80W)

Stable System

Power

+ Higher

Performance = Higher Perf/Watt

Intel Xeon 5400番台プロセッサ

エネルギー効

率の改善：

HDCプラット

フォームではよ

り広範囲なプロ

セッサの搭載が

可能となる利点

がある

Intel Xeon 5400番台プロセッサ

• 主なテクノロジー

– 45nm プロセス技術に基づくクアッドコア/デュアルコア イン

テルXeonプロセッサ

– 50% 大容量化された L2 キャッシュ

– 20% 高速化された FSB(1600MHz)

– PCI Express 2.0 によって 2 倍に拡大した帯域幅

– 大容量メモリーのサポート (最大 128GB)

– 40 レーンの構成可能な PCI Express 1.0 および 2.0

• 主な機能

– より高いメモリバンドとメモリ領域を必要とするアプリケー

ション

– ハイパフォーマンスクラスタ環境

– マルチタスク・ユーザー環境

スケーラブルシステムズ株式会社 40

1.00

1.26 1.27 1.29 1.29 1.30 1.32

1.37 1.38

1.46

1.53 1.58

1.61

Xeon E5472 vs Xeon X5365 HPCベンチマーク

Xeo n X5365 （3.0 ） C A E C A E En er g y C A E ED A Sci en ti fi c C o mp u ti n g F SI C li mate M o d el in g En er g y C li mate M o d el in g F SI F SI

相対性能：数値の大きな方が高性能

Intel Xeon 5400番台プロセッサ

Intel QuickAssist Technology

スケーラブルシステムズ株式会社 42

• サーバ向けCPUとサードパーティのアクセラレータを

組み合わせて高速処理を行うためのフレームワーク

Intel QuickAssist Technology

スケーラブルシステムズ株式会社 43

「QuickAssist Technology」はサーバにアクセラ

レータ機能を付加するための技術であり、今回の

IDFではFSB-FPGAアクセラレータとして、FPGA

モジュールをプロセッサソケットに直接搭載し、メ

モリを共有し、よりシームレスな計算機システム

の構築などのデモが行われています。（写真は、

SGIのブレードシステムでの事例です。プロセッ

サソケットに、FPGAモジュールが搭載されてい

ます。）

パラレルコンピューティングには、パ

ラレルストレージは必須

• x86/Linuxシステムの導入

– コストを削減し、標準構成部品でのシステム構

築が可能

– 小規模から大規模なシステムまで構築が可能

（ブロック構成）

– システム規模の拡大

• 計算環境での並列処理の一般化

– 計算機システムでのクラスタの一般化

– プロセッサのマルチコア化の急速な浸透

– アプリケーションや利用環境の整備による並列

処理の容易な利用が可能

ストレージシステムもこのような並列処理の進歩に

対応し、その経済性の向上を図る必要がある

Panasasストレージクラスタ

ストレージに関する課題

バックアップ/ リストア バックアップ/リストア • バックアップ処理のためのストレージ システムの負担 •バックアップ実施のタイミング •高速でのバックアップの問題 クライアント（エンドユーザ） クライアント •ジョブの実行終了を待つ •ユーザ数が増えた場合のスケーラ ビリティの問題 •ユーザ間でのコラボレーションや データの共有の問題 クラスタ クラスタ •計算クラスタはI/O処理の終了まで 計算を中断 •I/O処理は、クラスタの利用率の低 下を引き起こす •ノード数を増やした場合のスケーラ ビリティの維持の問題

従来のネットワーク

ストレージ

クラスタ利用時のボトルネックの問題

スケーラブルシステムズ株式会社

クラスタ

=

パラレルコンピューティン

グ

パラレルコンピューティングでは、

パラレル

IO

が必要

単一のスト レージシス テム (NFS サーバなど) Linux 計算 クラスタ

ストレージに対

するシングルの

データパス

問題点 スケーリングの複雑さ 限定されるBW & I/O ストレージ単独てのシ ステム拡張の限界 柔軟性の欠如 高価なシステム構成 スケーラビリティ 高い BW & I/O シングルストレージ プールの実現 容易な運用管理 低価格

パラレル

なストレージ

に対するデー

タパス

Panasas ストレージ クラスタ 利点 Linux 計算ク ラスタ (MPI ベースの並列ア プリケーション)

クラスタでのボトルネックの解決

• パラレル分散ファイルシステム • グローバルネームスペース によるシステムの拡張時の容易な運用管理の実現 • オブジェクトベースストレージによるスケーラブルな性能を実現するアーキテクチャ • インテリジェントなハードウエアアーキテクチャによる容易なシステム実装と拡張性 • 統合されたストレージソリューション と一般商用製品による低コスト CLUSTER

Panasasが提供する

ストレージクラスタ

パラレルな データパス バックアップ/ リストア クライアント（エンドユーザ） クラスタ

スケーラブルシステムズ株式会社

ストレージに対する要求

“Run, Evaluate,

Re-Run”

“Run & Done”

Oil & Gas Seismic Interpretation

Oil & Gas Seismic Processing

EDA Design/Analysis

_{Chip Simulation & Tape Out}

Auto/Aero Design

Air Flow and Crash Simulation

Interactive

Batch

Animation SFX Creation

Rendering

Trading/Portfolio Mgmt

Risk Analysis

ユーザの要求 大容量のドライブ 大規模なファイル 順次アクセス 高いバンド幅 一貫した可用性 シンプルなSW構成 ユーザの要求 大容量ドライブは不要 小－中規模のファイル ランダムなファイルアクセス 高いIOスループット 高いバンド幅 高い可用性 スナップショット機能

スケーラブルシステムズ株式会社

„Unified HPC Storage‟の提案

Interactive

Batch

完全に統合されたシングルポイントでアクセス可能なストレージプール

共有データへの高速で、容易なアクセスを可能とする

結果が得られるまでの時間を短縮（売り上げの増加）

データの多重保持が不要（コストの削減）

リソースのシングルプールとしての管理による容易な運用

ストレージシステム

SANファイルシステムが典型

ストレージシステム

NASサーバなどが典型

Unified Storage

FLUENTテストケース

1024.831525 37572 600 39196.83152 1026.439802 16357 622 18005.4398 1032.862096 10667 631 12330.8621

File Read Solve File Write Total Time

90M Cell Simulation- 170 MB/sec Assumed Parallel I/O

64 CPU Cluster 128 CPU Cluster 192 CPU Cluster

4120 37572 4453 46145 6848 16357 7676 30881 9670 10667 11288 31625

File Read Solve File Write Total Time

FLUENT 6.2 Performance - 90M Cell Simulation Serial I/O

64 CPU Cluster 128 CPU Cluster 192 CPU Cluster

Serial I/O: I/O処理がボトルネック

となって、プロセッサを並列処理で のスケーラビリティが制限される。

Parallel I/O:I/O処理を並列に

行うことでスケーラビリティを維 持することが可能となります。

64 ₆₂ 84 0 25 50 75 100 32 CPU Time: PanFS Total-Time: PanFS CPU Time: DAS Total Time: DAS CPU Time: NFS Total-Time: NFS Number of Cores Time (Sec on ds ) Lower is better

STAR-CD 非定常計算テストケース

1591 1627 2270 0 600 1200 1800 2400 32 CPU Time: PanFS Total-Time: PanFS CPU Time: DAS Total Time: DAS CPU Time: NFS Total-Time: NFS Engine 4M Cells Car 2M Cells

STAR-CD 3.2.6: Panasas PanFS とNFSとの性能比較（32-way）

PanFS とDASはほぼ同じ性能 PanFS とDASはほぼ同じ性能

43% 31%

The Paradigm GeoDepth Seismic Benchmark

0

50

100

150

200

250

300

350

400

450

500

NFS

DirectFLOW

DirectFLOW

T

ime

7 hours 17 mins Av. Read BW 300MB/s 3 hours 35 mins Av. Read BW 500MB/s 2 hours 51 mins Av. Read BW 650MB/s 2.5X faster (less time)

4 Shelves 2 Shelves 4 Shelves

スケーラブルシステムズ株式会社

„Unified HPC Storage‟の提案

Interactive

Batch

完全に統合されたシングルポイントでアクセス可能なストレージプール

共有データへの高速で、容易なアクセスを可能とする

結果が得られるまでの時間を短縮（売り上げの増加）

データの多重保持が不要（コストの削減）

リソースのシングルプールとしての管理による容易な運用

ストレージシステム

SANファイルシステムが典型

ストレージシステム

NASサーバなどが典型

Unified Storage

最も一般的な利点 シングルジョブの処理時間の 短縮 ワークロードの改善とアプリ ケーション費用の低減 Panasasでの更なる利点 複数ジョブの同時実行 より多くの処理を効率的に処 理可能 ポスト処理での利点 計算結果の不要なコピーの 排除 ポスト処理の高速化とコラボ レーションの改善

Collaboration

Computation

Performance Benefits of Unified

Storage

Pre

Processing (Solve)

Post

meshing computation visualization

MB’s

TB’s

GB’s - TB’s

Case and Data Management Infrastructure

GB’s - TB’s

Conventional Network Attached Storage (NAS)

Pre

Processing (Solve)

Post

meshing computation visualization

MB’s

TB’s

GB’s - TB’s

Case and Data Management Infrastructure

GB’s - TB’s

Conventional Network Attached Storage (NAS)

スケーラブルシステムズ株式会社

ストレージアーキテクチャ

Linux計算クラスタ

Direct Attached Storage Networked Attached Storage Storage Area Network

…

課題: 運用管理 課題: 性能 課題: 運用管理とコスト

共通の問題

パラレルI/Oの標準化問題

• パラレルストレージを提供するベンダー間で互換性の欠如

– Panasas PanFS

– IBM GPFS

– EMC MPFSi (High Road)

– IBRIX Fusion

• オープンソースの活動も独自に進展

– Red Hat GFS

– PVFS

– Lustre

– オープンソースの製品間でも、相互に互換性がない

パラレル

_I/O

の標準化は、コスト削減やユーザの選択肢の

広がりなどの点で多くの利点がある

pNFS: 標準パラレルNAS

• pNFS は、Network File System v4 プロトコル規格の拡

張

– パラレルかつダイレクトでのデータアクセスが可能

– ストレージデバイスは、複数のストレージプロトコルをサ

ポート

– NFSサーバはデータパスに直接介在しない

…direct, parallel data paths…

Metadata Management NFSv4.1 Server(s)

Storage

Block (FC) / Object (OSD) / File (NFS)

pNFS

Clients

pNFSへの各社の取り組み

•

Panasas

(Objects, based on Panasas Storage Cluster OSDs)

•

Network Appliance

(Files over NFSv4)

•

IBM

(Files, based on GPFS)

•

EMC

(Blocks, based on HighRoad MPFSi)

•

Sun

(Files over NFSv4)

pNFSによるユーザの利点

• 高いアプリケーション性能

– 標準化された高性能パラレルストレージ

の利用が可能

• 選択肢の広がりとリスクの低減

– パラレルI/Oが可能なストレージ製品を

複数のベンダーから提供

– より多くのクライアントとクライアントOS

からのパラレルアクセスが可能（Linux、

Windows、AIX、Solarisなど）

• 運用管理が容易

– 共通のグローバルネームスペース

– 負荷分散が容易

Panasas: “The pNFS Company”

• pNFSは、PanasasのCTOの Garth Gibsonによって提

案

• pNFS はPanasas DirectFLOW クライアントアーキテク

チャを活用

• DirectFLOW クライアントは実質的には pNFS v0.9

– pNFS 標準に準拠

• pNFSの利点の多くは、現在のPanasasプラットフォーム

が実証

– 高いバンド幅

– スケーラビリティ

– 容易な管理・運用

– アプリケーションでの有用性の証明

DirectFLOW クライアント

ソフトウエアのオープンソース化

• PanasasはDirectFLOW クライアントソフトウエアのコアをオープン

ソース化

– どのようにパラレルI/Oでのボトルネックを解消するかのリファレン

ス

– キーとなるPanasasのコンポーネント：

• Storage Access Mgr, OSD client, Object iSCSI Panasas

libraries (common, rpc, sec)

www.pnfs.com a community

resource site.

• Panasas pNFS 開発センター

– Panasasの開発経験を最大限に活用

– pNFS Object layout driver, iSCSIなど

– なぜ、Panasasはオープンソース化？

– pNFSの普及の加速（Linux カーネルなどへの早急な対応）

– pNFSベースの製品をより早く市場投入

Panasas

パラレルストレージでの実績

• システムアーキテクチャは完全なパラレル対応

– pNFSへのアップグレードは容易

– pNFSによるより広範囲なマーケットへの対応

• 商用製品の開発経験

– 4年以上の商品出荷実績

– 100以上のユーザサイトで稼動

• オブジェクトベース pNFS実装

– より優れた性能：ストリームとランダムI/O

– 容易な運用管理と導入（短時間でのインストール、自動プ

ロビジョニング、負荷分散、RAIDマネージメント）

– 可用性：FailOver、予防診断、パラレル再構築

– ペタスケールの拡張性

1980年代後半：NAS

“ストレージは独自に点在”

Filerヘッドが、I/O 性能のボトルネックとなる

複数のストレージの運用管理は容易ではない

Filer Heads NFS NFS NFS NFS Filer Heads Filer Heads Filer Heads

2000年以降：クラスタNAS

“点在するストレージ間での架け橋の構築”

“In-band” Filer ヘッドの同期処理がI/O性能のボトルネックとなる

負荷分散の管理が性能とシステムの生産性を左右

Clustered Filer Heads NFS NFS NFS NFS

パラレルクラスタストレージ

“パラレルクラスタストレージのプール”

Filerをデータパスから排除することで、I/O性能のボトルネックと運用

管理の問題を解決

…direct, parallel data paths…

Metadata

HPC ストレージマーケット

NFS File Server

Parallel Clustered

Storage w/ pNFS

Perf

ormance

2007+ Late 1980s ~2000

High Performance

Proprietary

Parallel Storage

Clustered

NFS Storage

この資料について

ここに掲載した資料は、弊社の調査と見解に

基くものであり、資料の中で示されている製

品やサービスを提供している各社の公式な

見解でも、また、マーケティング戦略に基くも

のではありません。 あくまで、弊社としての

意見だということにご注意ください。これらの

資料の無断での引用、転載を禁じます。

社名、製品名などは、一般に各社の商標ま

たは登録商標です。なお、本文中では、特に

® 、TMマークは明記しておりません。

In general, the name of the company

and the product name, etc. are the

trademarks or, registered trademarks

of each company.

Copyright Scalable Systems

Co., Ltd. , 2007. Unauthorized use is

strictly forbidden.

スケーラブルシステムズ株式会社 72

さらに詳しい情報や最新情報は

_…..

ホームページにて公開しています。

ホームページには、お問い合わせ窓

口も開設してありますので、ご利用く

ださい。

コンサルテーション

http://www.sstc.co.jp

製品技術

http://www.hp2c.biz

2007/11/25

スケーラブルシステムズ株式会社 73

ベンチマーク結果について

• この資料で使用したベンチマークデータは、以下のURLで参照出来ま

す。

• Cray XT3 NPB

– http://www.psc.edu/training/XT3_Aug05/lectures/XT3_Perform

ance.ppt

• Opteron NPB

– http://www.gsic.titech.ac.jp/~ccwww/tgc/bm/20060508/NPB_re

sults_classC.xls

• Intel “Harpertown” ベンチマーク

– http://www.anandtech.com/IT/showdoc.aspx?i=3099&p=10

– http://techreport.com/articles.x/13224/3

• S3000PT/Atoka/NEXXUSの結果は、弊社社内システムでの計測結

果です。

スケーラブルシステムズ株式会社 74