PowerPoint Presentation

計算機の展望

（高性能計算システムの展望）

朴 泰祐

筑波大学 計算科学研究センター（システム情報工学研究科）

[email protected]

http://www.hpcs.cs.tsukuba.ac.jp/~taisuke/

アウトライン

„

HPCシステムの歴史概観

„

HPCシステムの現状と展望

„

クラスタコンピューティング

„

ヘテロジニアスコンピューティング

„

Exa-scaleコンピューティングに向けて

„

まとめ

HPCシステム概観（１）

„

100MFLOPS～1GFLOPS時代（’70代後半～’80代前半）

„ Cray-1に代表されるベクトル計算機

„ ベクトルレジスタと高バンド幅メモリによる高性能計算

„ 史上初の over 1GFLOPS 計算機：NEC SX-2

„

10GFLOPS～100GFLOPS時代（’80代後半～’90代前半）

„ ベクトルの高性能化に加え、パイプラインを並列に持つ „ ベクトル計算機を共有メモリ結合（数台～数十台規模） „ 超並列計算機の兆し „ 1996年：国産計算機がTOP500中#1~#3を独占 „ CP-PACS, SR2201: 準ベクトル超並列 „ NWT: 並列ベクトル（共有メモリ）

HPCシステム概観（２）

„

1TFLOPSオーダー時代（’90代後半）

„ 汎用マイクロプロセッサによる超並列：ASCI machines

„ 史上初のover 1TFLOPS machine: SNL ASCI Red

„

10TFLOPS時代（’00代前半）

„ ASCI 終盤マシン „ 地球シミュレータ (40TFLOPS)：共有／分散メモリ並列ベクトル „

100TFLOPS時代（’00台中盤）

„ 超並列・省電力・省スペース：IBM GlueGene/L „

1PFLOPS時代（’08）

„ 超並列・クラスタ・アクセラレータ：LANL RoadRunner „ 超並列・汎用クラスタ：ORNL Jaguar

HPCシステム概観：全体的な流れ

„

初期スパコンはベクトル計算機

„ 大量のベクトルレジスタと高バンド幅メモリ（バンクメモリ）による物量作戦 „ ベクトルコンパイラ技術の進歩 „

ベクトル単体の性能限界⇒並列ベクトル方式

„ 最初はベクトルパイプラインを並列化 „ ベクトル計算機を複数並列に（共有メモリ） „ 共有メモリベクトル計算機の限界⇒分散メモリ並列ベクトル „

超並列計算機の台頭

„ 汎用マイクロプロセッサの高性能化 „ 様々な並列ネットワークの登場 „ ベクトル計算機も超並列化 „

クラスタ計算機の出現⇒主流へ

„ MPP（Massively Parallel Processor：超並列計算機）より安価

„ 汎用ネットワークの高性能化・大規模化

HPCシステムの現状

クラスタ計算機によるスーパーコンピュータ

„

クラスタ計算機：今日の

HPCへの最大の貢献者

„ TOP500リストにおけるランクイン数 „ ベクトル計算機等に比べ格段の対価格性能比（ピーク性能） „ プロセッサとネットワークの両方にコモディティ技術を投入 „

同じプラットフォーム上で汎用計算と専用計算の両者を吸収可能

„ 64bit化されたIA-32 (x86)プロセッサをLinux環境で利用するのが典型的（近 年、Windowsクラスタが出現） „ 柔軟な拡張性（I/Oを通して）を用いた「加速装置」による高速化・専用化が可 能 „

超並列化は必須

„ 単体CPUは速くはなっているが、全体の計算機性能要求はそれ以上に向上し ている コモディティネットワークによる大規模化が可能になってきた

TOP500リスト (2008/06)

„

アーキテクチャ

„

プロセッサファミリ

Architecture Count Share (%) Rmax (GF) Rpeak (GF) Processor

Cluster 400 80.00 7438172 12093959 1260698

Constellations 2 0.40 94970 112947 17648

MPP 98 19.60 4166875 5238473 1135873

Totals 500 100.00 11700017 17445380 2414219

Processor Count Share (%) Rmax (GF) Rpeak (GF) Processor

Intel EM64T +AMD x86_64

411 82.20 7337872 11818760 1281677

Others 89 17.80 4362145 5626620 1132542

コモディティ

CPU

„

COTS (Commodity Of The Shelf) CPUによる高い対価格性

能比⇒本来「一種の専用計算機」だったスパコンを汎用技

術で実現

„

Commodity – 「研究者（ユーザ）が開発費用を払わなくてよい計

算機要素技術」（世界中の一般ユーザが代わりに払ってくれてい

る）

ベクトル計算機

or MPP：ユーザが開発コストを払う

„

過去

10年間で、単体CPUの性能は飛躍的に伸びている

„

周波数の向上

„

マルチコア技術

単体

CPUの計算性能・データ容量の限界

„ 半導体の集積度は1.5年で 約_{2倍になる} ⇒ムーアの法則 „ もしIC上のトランジスタ数の 増加を演算性能に転換でき れば、「プロセッサの性能は 1.5年で約2倍になる」と読 み替えられる。 „ 右図：Intelプロセッサのトラ ンジスタ数の伸び „ メモリ等の容量の伸びもほ ぼこれに従う „ しかし、これだけでは爆発 する性能向上要求に対応で きない（ムーアの法則に従う プロセッサ単体の性能向上 も限界に近づいている） „ 近年、ムーアの法則は multi-coreで稼ぎ始めてい る

コモディティネットワーク（相互結合網）

„

古典的なコモディティネットワーク

„ Ethernet: 10base -> 100base -> 1000base -> 10Gbase

„ 極めて高い対価格性能比がバンド幅において得られている

ただし、レイテンシ（遅延時間）については今一つ

„ 基本的に「木構造」なため拡張性が低い

„

SAS (System Area Network / Storage Area Network)

„ Infiniband, Myrinet, ...

„ バンド幅とレイテンシの両方で高い性能、ただし高価

„ Clos網やFat-Tree網が使えるため拡張性が高い

„

近年、

SASの価格が急激に低下している

„ SASがコモディティとなってきた

クラスタの持つ高い「性能拡張性」

„

汎用

I/Oバスの進化

„

PCI -> PCI-X -> PCI-Express -> PCI-E gen2

„

並列リンク

-> 複数の超高速シリアルリンク

„

CPUからの直接リンク: Hyper Transport, Quick Path

„

ハードウェアアクセラレータの装着

„

Clear Speed: 東工大TSUBAME

„

Cell Broadband Engine: LANL Roadrunner

„

GRAPE: 筑波大FIRST Cluster

日本の

TOP-4スパコン

„ 現在、大学の計算センターのマシンがTOP-4を占めている

„ 4台中3台が “T2K Open Supercomputer Alliance” のマシン

„ T2K システムは全て quad-core Opteron (Barcelona) と quad-rail SAS

(Myrinet10G or Infiniband)を利用

„ 東工大TSUBAMEは dual-core Opteron ＋アクセラレータ（ClearSpeed + GT200)

Machine Site Vendor Rpeak (GF) Rmax (GF) #rank

T2K-Todai Univ. Tokyo Hitachi 113050 82984 27

TSUBAME Tokyo Inst. Tech. Sun 161816 77480 29

T2K-Tsukuba Univ. Tsukuba Appro 92000 76460 32

T2K-Kyodai Kyoto Univ. Fujitsu 61235 50510 51

T2K Open Supercomputer Alliance Univ. Tsukuba 648 nodes (95.4TF) / 20TB Linpack Result: Rpeak= 92.0TF (625 nodes) Rmax = 76.5TF Univ. Tokyo 952 nodes (140.1TF) / 31TB Linpack Result: Rpeak= 113.1TF (512+256 nodes) Rmax = 83.0TF Kyoto Univ. 416 nodes (61.2TF) / 13TB Linpack Result: Rpeak= 61.2TF (416 nodes) Rmax = 50.5TF „ 元々は次期スパコン調達における共通 仕様策定と運用連携が目的 „ 学際的な計算機科学・計算科学の展開 を目指し、研究・教育・グリッド運用等に おける連携活動へ

„ Open hardware architecture with

commodity devices & technologies.

„ Open software stack with

open-source middleware & tools.

„ Open to user’s needs not only in

計算ノードとファイルサーバ

648 node (quad-core x 4socket / node) Opteron “Barcelona” B8000 CPU

2.3GHz x 4FLOP/c x 4core x 4socket = 147.2 GFLOPS / node

= 95.3 TFLOPS / system 20.8 TB memory / system

800 TB (physical 1PB) RAID-6 Luster cluster file system

Infiniband x 2

Dual MDS and OSS config. ⇒ high reliability

Computation node （70racks）

計算ノードのブロックダイアグラム

Bridge NVIDIA nForce 3050 USB Dual Channel Reg DDR2 Hyper Transport 8GB/s (Full-duplex) I/O Hub 8GB/s 8GB/s (A)2 (B)2 4GB/s (Full-duplex) 4GB/s (Full-duplex) (A)1 (B)1 4GB/s (Full-duplex) 4GB/s (Full-duplex) Bridge NVIDIA nForce 3600 Bridge PCI-Express X16 PCI-Express X8 PCI-X PCI-X X16 X8 X4 PCI-Express X16 PCI-Express X8 SAS X16 X8 X4 2GB 667MHz DDR2 DIMM x4 2GB 667MHz DDR2 DIMM x4 2GB 667MHz DDR2 DIMM x4 2GB 667MHz DDR2 DIMM x4

Infiniband 4xDDR x 4-rail の Fat-Tree網

L1 SWs Nodes L2 SWs L3 SWs

Full bi-sectional FAT-tree Network

1 2 3 4 5 6 7 8 9 10 11 12 1 2 3 4 5 6 7 8 9 10 11 12

: #Node with 4 Links

n

: #24ports IB Switch

n

Detail View for one network unit

# switches =616

（all 24-port）

今日の最先端コモディティ

CPUの性能上の問題

„

メモリと

I/Oのバンド幅に比べ、極めて高い浮動小数点演

算性能

„

CPU周波数は限界に達しつつあり（消費電力のため）これ以上大

幅な向上は見込めない

„

半導体テクノロジは進歩し続けており

(90[nm] -> 65 -> 45 -> 22

-> ...) ダイ上のトランジスタ数は増加を続ける

„

「ピーク性能維持」のため、マルチコア／メニーコア化していくの

は自然な流れ

„

メモリバンド幅

: “Rich Vector” vs “Poor Scalar”

„

CPU FLOPS とメモリバンド幅のギャップは確実に増え続けている

⇒ 深刻な問題

Balance on CPU : Memory : Network

Systems C : M : N = GFLOPS : GB/s : GB/s C : M : N (M = 1.0) CP-PACS 0.3 1.2 0.3 0.25 1 0.25 Earth Simulator 64 256 12.5 0.25 1 0.05 PACS-CS 5.6 6.4 0.75 0.90 1 0.1 T2K-Tsukuba 147.2 42.7 8 3.50 1 0.2

Cが小さくNが大きいほど「バンド幅的に」よい

かつてのベクトル計算機＝

”

4Byte/FLOP”

（上の表では

C:M =

0.25:1

)

QCD

(Quantum Chromo Dynamics)

に必要なメモリバンド幅

„

“QCD-mult” benchmark core equation

dim. computation load store B/flops

t 168(x), 120(+) = 288 flop 21*2 complex = 672B 12 complex = 192B 3.00 z 144(x), 192(+) = 336 flop 21*2+12 complex = 864B 12 complex = 192B 3.14 y 144(x), 192(+) = 336 flop 21*2+12 complex = 864B 12 complex = 192B 3.14 x 144(x), 192(+) = 336 flop 21*2+12 complex = 864B 12 complex = 192B 3.14 clover 288(x), 312(+) = 600 flop 21*2+12 complex = 864B 12 complex = 192B 1.76

HPCシステムの現状

Heterogeneous Computing Platform

„

計算ノードに汎用プロセッサと専用プロセッサを混在（混載）させた

（並列処理）システム

„ 基本的なスタイル：クラスタ型並列計算機の計算ノードに何らかの演算加速装 置を搭載 „ ClearSpeed „ GRAPE

„ GPGPU (General Purpose – Graphic Processing Unit)

„ Cell Broadband Engine

„ 従来より特定アプリケーションにおける高性能化が図られてきたが、2008/06

にLANLにおいてRoadrunnerがOpteron + Cell BEのヘテロ構成でover

1PFLOPS Linpack性能を達成（ピーク性能は1.3PFLOPS）

„ “Hybrid Computing” という言葉は共有メモリと分散メモリのprogramming

256 （16×16） nodes

512 CPU ＋

256 Blade-GRAPE

Total Performance = 36.1 Tflops

Host 3.1 Tflops

Blade-GRAPE 33 Tflops

Total Memory = 1.6TB

Total storage = 22TB (Gfarm)

FIRST: 宇宙物理学のための「ヘテロクラスタ」

主な演算加速装置（１）

„

ClearSpeed

„ 最大192個の演算装置をSIMDで動作 „ 内部に演算装置毎のレジスタファイルと共有メモ リを持つ „ 最近ではピーク性能が他の加速演算装置よりや や劣り、衰退気味 „

GRAPE

„ 元々は重力多体計算のための演算加速装置 „ 理研のMD-GRAPE等、重力計算以外にも „ 近年はGRAPE-DRによる一般化が進む（入出力 に関しては従来に近い）

主な演算加速装置（２）

„

Cell Broadband Engine

„ １つの汎用プロセッサ(PPE)と８つのSIMD型演算エンジ ン(SPE)を１チップに収めた超高性能プロセッサ „ PS3用に開発されたが高性能加速エンジンとして利用 され、改良版がLANL Roadrunnerに大量投入された „ PPEと全SPEがcircular busで結合されるだけでなく、各 SPEが256KBの高速ローカルストレージを持つ „

GPU (GPGPU)

„ 元々、PC用グラフィックエンジン „ 内部演算性能を極限まで高め、最近は倍精度浮動小 数点演算にも対応 „ SIMD型演算を内蔵高速メモリ上で実現 „ 本格的なHPCプラットフォームとして、複数のGPUを標 準プラットフォームに収めたものも（nVIDIA TESLA）

„

従来の専用演算装置から（準）汎用演算装置へ

„

従来型

GRAPEのような特殊な演算加速から、SIMD命令による汎

用的な演算パイプラインが利用可能

„

GPGPUでは標準的なプログラミングツールが準備されつつある

（

_{nVIDIAのCUDA や PGIのCUDA準拠コンパイラ等）}

„

汎用

CPUに比べ極めて高い性能／電力比

„ Opteron B8300 : 37GFLOPS / 120 W = 0.3GFLOPS/W

„ TESLA C1060 card : 1TFLOPS / 160W = 6.25GFLOPS/W

„

On-chipでのメモリ／データア・クセスバンド幅

„

GPGPUでは非常に高い内部メモリバンド幅を実現

„

GRAPEではツリー型データパスにより各データ流のスループット

演算加速装置への期待

現在の演算加速装置の問題点

„

メイン

CPUとの間のデータ移動バンド幅が小さい

„

何らかの外部バスによる接続⇒現在は標準的に

PCI-Expressが

用いられる

⇒

PCI-E Gen2 x 16 でも理論ピーク性能 10GB/s

最高性能の

_{DDR3 メモリ等に比べ数分の一}

„

例：１台の

GForceGTX280上でCUDAを用いて姫野ベンチマーク

が

_{70GFLOPS以上で動作する}

⇒あくまで１台の

_{GPU上での話}

⇒複数台接続やマザーボード上で

_{CPUと結合すると性能が著しく}

低下する

„

レジスタ、内部メモリ容量、

SIMD命令等により適用アプリ

ケーションの制約がまだある

準汎用応用分野での演算加速装置への期待

„

GRAPEは過去２０年、成功してきた

„

演算性能と入出力性能のバランスする世界では極めて有望

„

システムと応用の歩み寄り

„ 応用分野の範囲と骨格的なアルゴリズムを限定することによりFPGA等の 構成要素を最適化 „ 演算加速器に適応する新アルゴリズム／新パラダイムの構築 „

素・核・宇宙分野の基礎科学では有望

„

アルゴリズム的に様々なアプローチが可能

„

極めて重い計算を行う⇒システムやソフトウェアの開発コスト（人

的コストを含め）が生きる

„

演算加速装置の外部バンド幅増強の研究推進

課題は山積み

„

システム側の課題

„ 数百万ノード規模（コア数では数千万コア規模）の超々並列システムの実現 „ 相互結合網 „ メモリ（実装技術よりもむしろコスト） „ 耐故障性 „ 超大規模システムの電力削減 „ 半導体プロセスのさらなる微細化＋リーク電流等の対策 „ 性能／電力比率をさらに高めるための演算加速技術の向上 ⇒クラスタシステムではいずれ限界が… „

アプリケーション側の課題

„ EFLOPSの世界は超々並列の世界⇒weak scalingな問題を対象にしないと

ピーク性能を生かせない

超並列向けアプリケーション

„

超並列方式におけるアプローチ

„ 実空間離散化コンセプトに基づく超並列向 けコード ⇒隣接通信＋ブロードキャスト／リダクショ ンを基本とする大規模並列処理 „ 「総演算量削減」ではなく「総演算時間削 減」を „ 従来手法：FFT、スペクトル法、ルジャンドル 展開 ⇒空間分解能を上げず畳み込みによる間 接計算 „ 実空間手法： ⇒実空間上の実モデルを直接シミュレート „ 超並列処理により、間接解法から直接解法 へのパラダイムシフトが実現可能では？ „ 将来の拡張に向けてアプリケーションのア ルゴリズム・コードの本質的見直しが必要 実空間離散化 からプロセッサ 空間へ直接 マップ

EFLOPSへの挑戦

„

計算科学の要請は

EFLOPSへと続く

„

ベクトル

SMP方式・スカラSMP方式は電力密度、ネットワーク規模及

びバンド幅の点で限界に

„

超低消費電力技術を駆使した超並列方式

＋何らかの演算加速技術

„

100万規模のノードを結合するためネットワークトポロジは制約

計算基礎科学（素・核・宇宙）では対応可能（だと思われる）

超並列方式のエコシステム

実空間離散化 から直接マップ 物理空間を直接 シミュレーション 問題空間の高密度離散化 FFT、スペクトル法等に_{依存しない直接解法へ} 非常に高い演算性能が 要求されるが近接通信 のみでよい 空間局所性を生かした プロセッサ＋ネットワーク であれば超並列は可能 超並列方式と実空間物理シミュレーションは相補的な関係にあり、実空間アプ ローチへのパラダイムシフトが、それ自身が必要とする十分な並列演算性能を

まとめ

„

基礎科学分野における

HPC技術

„ 超並列化への準備はある程度できている „ あらゆる局面でバンド幅を縮小するためのアルゴリズム開発は必須 „ 超々並列化における省電力問題⇒演算加速装置の積極的利用 „ ハード／アプリに任せっきりの研究体制では不可能 ⇒システム側研究者（計算機科学）と応用側研究者（計算科学）の二人三 脚が最大の鍵 „

基礎科学高性能計算連携の枠組みで

„ システム（ハード、ソフト）＋アルゴリズムの見直しと実効性能重視のシステ ム構築 „ 応用分野の絞込み＋各組織の英知（計算科学＋計算機科学）を結集し、 次の世代の計算基礎科学の発展を目指す „ いろいろな研究グループの立ち上げ：