スパコンプログラミング

スパコンプログラミング (1), (I) ガイダンス

東京大学 情報基盤センター 准教授 塙 敏博

2020年4月14日（火）10:25 - 12:10

0. Zoomの使い方

1. 講義の目的

2. 講師紹介

3. 講義日程の確認

4. 成績の評価方法

5. イントロダクション（残り時間）

Zoom の使い方

• https://utelecon.github.io

• [email protected] でZoomにアカウントを登録してください。

• しばらくはZoomへの登録なしでも接続可能にしておきます。

• 何かあれば、「チャット」に書くか、「手を挙げ」てください。「反応」もwelcome!

チャット 反応

手を挙げる

•

高性能計算の研究者として生き残るための、

最低限の技術を習得する

1.

情報基盤センターのスーパーコンピュータ利用法

2.

並列化手法と

の使い方

3.

高性能計算手法

•

上記技術の習得により、受講生の分野の研究を 格段に進めることを目的とする

•

計算科学アライアンス認定講義（カテゴリー

• http://www.compsci-alliance.jp

• 是非アライアンスへの登録を！http://www.compsci-alliance.jp/学生募集/

• 要件を満たせば修了証を発行

• 優先的な海外派遣、国際シンポジウムでの発表

• 東京大学スパコンのアカウント発行

本講義のシラバス上での位置付け

•

スパコンプログラミング（１）

• 工学部学生対象（共通科目）

•

スパコンプログラミング（Ⅰ）

• 工学系研究科大学院生対象（共通科目）

•

他学部の学生、他大学院の大学院生も受講できます

•

本科目は、夏学期、冬学期の通年科目です

• 夏学期、冬学期ともに、同様の講義内容です

• 名前：塙 敏博（はなわ としひろ）

• 経歴：

• 1993年3月 慶應義塾大学 理工学部 電気工学科 卒業

• 1995年3月 慶應義塾大学大学院理工学研究科計算機科学専攻修士課程 修了

• 1998年3月 慶應義塾大学大学院理工学研究科計算機科学専攻博士課程 修了

• 1998年4月 東京工科大学工学部情報工学科 講師

• 2002年4月〜2007年3月 東京工科大学コンピュータサイエンス学部 講師

• 2007年4月〜2008年11月 筑波大学計算科学研究センター 研究員

• 2008年12月～2013年11月 筑波大学システム情報工学研究科 准教授

• 2013年12月～2015年11月 東京大学 情報基盤センター 特任准教授

• 2015年12月～現在 情報基盤センター 准教授

• 2016年2月〜現在 （兼担）大学院工学系研究科電気系工学専攻

• 「GPUコンピューティング」「スパコン向けネットワーク」などの分野で 活躍中！

• 詳しくは「塙敏博」でググるといろいろ出てきます

講義日程（工学部共通科目 ）

1. 4月14日(今日)： ガイダンス

2. 4月21日

l 並列数値処理の基本演算（座学）

3. 4^月28^{日：スパコン利用開始}

l ログイン作業、テストプログラム実行

4. 5月12日

l 高性能プログラミング技法の基礎１

（階層メモリ、ループアンローリン グ）

5. 5月19日

l 高性能プログラミング技法の基礎2

（キャッシュブロック化）

6. 5月26日

l 行列-ベクトル積の並列化

7. 6月2日

l べき乗法の並列化

8. 6月9日

l 行列-行列積の並列化（１）

9. 6月16日

l 行列－行列積の並列化（２）

10. 6月23日

l ＬＵ分解法（１）

l コンテスト課題発表

11. 6月30日

l ＬＵ分解法（２）

12. 7月7日

l ＬＵ分解法（３）、非同期通信

13. 7月14日

l RB-Hお試し、研究紹介他

（締切：

2020^年8^月3^日（月）24^{時 厳守}

1. 実習で出題される課題を解きレポートにして提出

l 加算方式

l 解けば解くほど評価が高まる

l すべての問題を解く必要はない（解けないほど多く出す）

2. コンテスト課題を解く

l 入賞（１位～３位（予定））は、無条件に“優”（予定）

l ちゃんと動作するものをつくれば、実習レポート点に加点

• １のみ、２のみ、１と２の両方、の選択がある。

• １と２の両方を行った場合は、当然、加算方式で成績を 決定する。

• 技術の習得が目的、積極的にトライしてほしい

2016 年度以降

1. 2016(平成28)年度 S1S2

• 受講申し込み： 37名

• レポート課題提出： 22名

• 優上：1名、優：13名、良：4名、可：3名、うち、コンテスト課題提出者：3名（3名は無条件で優）

2. 2016(平成28)年度 A1A2

• 受講申し込み： 9名

• レポート課題提出： 4名

• 優：4名、うち、コンテスト課題提出者：2名（2名は無条件で優）

3. 2017(平成29)年度 S1S2

• 受講申し込み： 60名

• レポート課題提出： 40名

• 優上: 3名、優：18名、良：13名、可：3名、うち、コンテスト課題提出者：5名（3名は無条件で優以上）

4. 2017(平成29)年度 A1A2

• 受講申し込み： 21名

• レポート課題提出： 11名

• 優：6名、良: 1名、可: 3名、うち、コンテスト課題提出者：1名（1名は無条件で優）

5. 2018(平成30)年度 S1S2

• 受講申し込み： 37名

• レポート課題提出： 15名

• 優上: 1名、優：5名、良: 8名、可: 0名、うち、コンテスト課題提出者：5名（2名は無条件で優）

6. 2018(平成30)年度 A1A2

• 受講申し込み： 9名

• レポート課題提出： 6名

• 優上: 1名、優：3名、良: 1名、可: 1名、うち、コンテスト課題提出者：5名（2名は無条件で優）

7. 2019(平成31)年度 S1S2

• 受講申し込み： 35名

• レポート課題提出： 15名

• 優上: 1名、優：11名、良: 3名、うち、コンテスト課題提出者：3名（2名は無条 件で優以上）

8. 2019(令和元)年度 A1A2

• 受講申し込み： 25名

• レポート課題提出： 16名

• 優：11名、良: 5名、うち、コンテスト課題提出者：3名（1名は無条件で優以上）

講義の様子

•

Ｃ言語（もしくは

言語）とＭＰＩを用いて実習

•

ほとんどが、並列化の課題実行時で脱落

• ＵＮＩＸの基本コマンド、及び、プログラムの基本が わかっていないと厳しい。

• なるべく脱落者を減らしたい

• ＵＮＩＸの基本コマンドがわかっていない人、プログラムの基本がわ かっていない人は、個別に、集中的に教えるよう配慮しますので、

遠慮なく聞いてください。

• 出席を考慮（評価得点全体に対し２０％程度）

• その結果：単位取得率は約50％前後、ほぼ全員が「優」。

•

次次回から、情報基盤センタのスーパーコン ピュータ（ Oakforest-PACS スーパーコン

ピュータシステム）を利用します。

•

4 月 28 日（火）の講義中に、

アカウント名とパスワードを ITC-LMS により配 布する予定です。必ず出席してください。

•

最終回に GPU クラスタ (Reedbush-H) も使い

ます。

講義資料について

•

以下の資料を参照してください。

l

講義スライドの

ファイル

http://www.cspp.cc.u-tokyo.ac.jp/hanawa/class/

l ITC-LMS

https://itc-lms.ecc.u-tokyo.ac.jp/lms/course?idnumber=20203799- 1050F01

1. 事前に登録をお願いします。

• 履修登録、LMSの両方が必要（履修登録とLMSは連動している、はず）

2. LMSのアンケートに答えてください。

• 連絡先 (メール、電話番号)

• 留学生かどうか

• 利用者番号、パスワードを渡すのにも使います。

↑は 4/21までに行っておくこと

3. スパコンを使うための準備 （別ファイル参照）

• Cygwinのインストール (Windowsユーザーのみ）

• Mac, Linuxユーザーは 「ターミナル」 / “Terminal” を使用

↑は 4/28までに行っておくこと

参考書

• 「スパコンを知る:

その基礎から最新の動向まで」

• 岩下武史、片桐孝洋、高橋大介 著

• 東大出版会、ISBN-10: 4130634550、

ISBN-13: 978-4130634557、

発売日：2015年2月18日、176頁

• 【本書の特徴】

• スパコンの解説書です。以下を 分かりやすく解説しています。

• スパコンは何に使えるか

• スパコンはどんな仕組みで、なぜ速く計算できるのか

• 最新技術、今後の課題と将来展望、など

• 「スパコンプログラミング入門

－並列処理とMPIの学習－」

• 片桐 孝洋 著、

• 東大出版会、ISBN978-4-13-062453-4、

発売日：2013年3月12日、判型:A5, 200頁

• 【本書の特徴】

• C言語で解説

• C言語、Fortran90言語のサンプルプログラムが付属

• 数値アルゴリズムは、図でわかりやすく説明

• 本講義の内容を全てカバー

• 内容は初級。初めて並列数値計算を学ぶ人向けの入門書

教科書（演習書）

• 「並列プログラミング入門：

サンプルプログラムで学ぶOpenMPとOpenACC」

• 片桐 孝洋 著

• 東大出版会、ISBN-10: 4130624563、ISBN-13: 978-4130624565、

発売日： 2015年5月25日

• 【本書の特徴】

• C言語、Fortran90言語で解説

• C言語、Fortran90言語の複数のサンプルプログラムが 入手可能（ダウンロード形式）

• 本講義の内容を全てカバー

• Windows PC演習可能(Cygwin利用)。スパコンでも演習可能。

• 内容は初級。初めて並列プログラミングを学ぶ人向けの 入門書

• 「並列数値処理 - 高速化と性能向上のために -」

• 金田康正 東大教授 理博 編著、

片桐孝洋 東大特任准教授 博士（理学） 著、黒田久泰 愛媛大准教授 博士（理学） 著、山本有作 神戸大教授 博士（工学） 著、 五百木伸洋

㈱日立製作所 著、

• コロナ社、発行年月日：2010/04/30 ， 判 型： A5， ページ数：272頁、

ISBN：978-4-339-02589-7， 定価：3,990円 （本体3,800円＋税5%)

• 【本書の特徴】

• Fortran言語で解説

• 数値アルゴリズムは、数式などで厳密に説明

• 本講義の内容に加えて、固有値問題の解法、疎行列反復解法、FFT、

ソート、など、主要な数値計算アルゴリズムをカバー

• 内容は中級～上級。専門として並列数値計算を学びたい人向き

教科書（スパコンプログラミング入門）

の利用方法

• 本講義の全内容、演習内容をカバーした資料

• 教科書というより、実機を用いた並列プログラミングの 演習書として位置づけられている

• 使える並列計算機があることが前提

• 付属の演習プログラムの利用について

1. 東京大学情報基盤センターのFX10スーパーコンピュータ システムでそのまま利用する

2. 研究室のPCクラスタ（MPIが利用できるもの）で利用する

3. 東大以外の大学等のスーパーコンピュータで利用する

• 各自のPCを用いて、（MPIではない）逐次プログラムで 演習する（主に逐次プログラムの高速化の話題）

イントロダクション

スパコンとは何か？

スーパーコンピュータとは

• 人工知能搭載のコンピュータではない、量子コンピュータでもない

• 明確な定義はない

• 現在の最高レベルの演算性能をもつ計算機のこと

• 経験的には、PCの１０００倍高速で、１０００倍大容量なメモリをもつ計算機

• 法令では…

• 「外国為替及び外国貿易法」=>「輸出貿易管理令」（政令）=>

「輸出貿易管理令別表第一及び外国為替令別表の規定に基づき貨物又は技術を定める省令」

（令和2年1月14日経済産業省令）の規制対象デジタル電子計算機

• 第７条第三項ハ：デジタル電子計算機であって、

加重最高性能が29実効テラ演算を超えるもの

• スーパーコンピュータ導入手続 (平成26年3月31日申し合わせ, 令和元年12月23日 一部改正)

• I 適用範囲 3. この手続は下記の理論的最高性能を有するスーパーコン ピューターの導入に適用されるが、この対象範囲は必要に応じ見直すことと する。

• 2.0 PFLOPS以上(2019年12月23日以降)

• 2.4 PFLOPS以上(2020年12月23日以降)

• 2.88 PFLOPS以上(2021年12月23日以降)

これまで50TFだったのが ようやくまともな数字に

(20%増 / 年)

現在のすべてのスーパーコンピュータは並列計算機：多数のCPUを 接続することで高性能化を実現

• MPP (Massively Parallel Processor)

• スパコン専用機：富士通PRIMEHPC-FXシリーズ、Cray XCシリーズなど

• 専用のノード間ネットワーク(インタコネクト): 富士通TOFU, Cray Aries, Cray Slingshot (単独販売されない)

• クラスタ

• 多数のサーバをネットワークで結合して1システム化したもの

• ノード間ネットワーク：InfiniBand, Intel OmniPathなどコモディティ製品

• Ethernetはあまり使われない

以下は（スパコンとしては）絶滅に近い：

• ベクトル

• NEC SXシリーズ (SX-ACE以前): メモリシステム周辺のコストが大きすぎる

• SMP (Symmetric Multi Processor)

• 共有メモリマシン：HP (旧SGI) UVシリーズ、256CPU程度まで，これ以上大きくできない

• アクセラレータ 搭載の有無

• GPU

• NVIDIA Tesla

• AMD Radeon Instinct

• NEC SX-Aurora TSUBASA

• PEZY-SC2

• PCI Expressボード

=> 専用インタフェース

東大ITCのGPU搭載スパコン、

Reedbush-Lの構成

スパコンの分類 (2)

• TFLOPS（テラ・フロップス、

Tera Floating Point Operations Per Second）

• １秒間に１回の演算能力（浮動小数点）が１FLOPS。

• K（キロ）は１,０００（千）、M（メガ）は１,０００,０００（百万）、G（ギガ）は１,０００,０００,０００

（十億）、T（テラ）は１,０００,０００,０００,０００（一兆）

• だから、一秒間に一兆回の浮動小数点演算の能力がある こと。

• PFLOPS（ぺタ・フロップス）

• １秒間に0.１京（けい）回の浮動小数点演算の能力がある。

• 「京コンピュータ」（2012年9月共用開始〜2019年8月、11.2PFLOPS） l PCの演算能力は？

l 2.3GHｚ（１秒間に23億回のクロック周波数）として、もし１クロックあたり１回の 浮動小数点演算ができれば2.3 GFLOPS。

l Intel 第10世代 Core i7-10875H (Comet Lake)では、8コア、１クロックで16個の浮 動小数計算ができるので、2.3 GHz * 16浮動小数点演算/Hz * 8コア = 294.4 GFLOPS

l Cray-１は160MFLOPS。 １９７０年代のスパコンより、PCの方が1840倍高速！

スーパーコンピュータの評価指標

• 理論ピーク性能（Theoretical Peak Performance）

• ハードウェア性能からはじき出した性能。

• １クロックに実行できる浮動小数点回数から算出した FLOPS値を使うことが多い。

• 実効性能（Effective Performance）

• 何らかのベンチマークソフトウエアを実行して実行時間を計測。

• そのベンチマークプログラムに使われている浮動小数点演算 を算出。

• 以上の値を基に算出したFLOPS値のこと。

• 連立一次方程式の求解ベンチマークであるLINPACK、共役勾配法 (CG 法）の求解ベンチマークであるHPCGが広く使われている。

• 浮動小数点以外のベンチマークも多数（後述）

• LINPACKベンチ マークでの500 位までのランキ ング

• 連立一次方程式 の求解(密行列)

• 大体4年で10倍

• 性能向上が近 年は鈍化傾向

Linpack性能

1〜500位の合計

500位

1位 京コンピュータ

太湖之光 (TaihuLight) 天河2号(Tianhe-2)

京コンピュータ

Sequoia

Titan

http://www.top500.org/ より

ムーアの法則

• 米Intel社の設立者ゴードン・ムーアが提唱した、半導体技術の進 歩に関する経験則。

「半導体チップの集積度は、およそ18ヵ月で２倍になる」

• これから転じて、

「マイクロプロセッサの性能は、およそ18ヵ月で２倍になる」

• 上記によると、約５年で10倍となる。

• 正確には、デナード則

•

TOP500 （ http://www.top500.org/ ）

• LINPACK

の値から実効性能を算出した値の

位までのランキング

•

米国オークリッジ国立研究所／テネシー大学 ノックスビル校の

教授が発案

•

毎年

月

ドイツの国際会議

、

月

米国の国際会議

で更新

（他にも 〇〇

がいろいろある）

スーパーコンピュータのランキング (2)

•

Green500 （ http://www.green500.org/ ）

• Top500

に登録されたシステムのうち、電力当たり

性能でのランキング

• Linpack実行中の電力を測定、性能/電力=FLOPS/W

•

HPCG (http://www.hpcg-benchmark.org/)

•

共役勾配法

法

によるベンチマーク

•

疎行列なので密行列の

よりメモリアクセス

がボトルネックに、現実のアプリに近い

•

Graph500 （ http://graph500.org/ ）

•

大規模グラフ探索を解き、

でランキング

•

幅優先探索

に加えて、

から

SSSP (Single Source Shortest Paths)

も追加に

• Green Graph500

というのもある（過去形？）

•

IO500 (http://www.io500.org/)

•

ストレージの性能（以下の幾何平均）

•

メタデータ性能

•

バンド幅

•

2017/11 から

http://www.top500.org/

Site Computer/Year Vendor Cores Rmax

(TFLOPS)

Rpeak

(TFLOPS)

Power (kW) 1 Summit, 2018, USA

DOE/SC/Oak Ridge National Laboratory

IBM Power System AC922, IBM POWER9 22C 3.07GHz, NVIDIA Volta GV100, Dual-rail Mellanox EDR Infiniband

2,414,592 148,600

(= 148.6 PF) 200,795 10,096 2 Sieera, 2018, USA

DOE/NNSA/LLNL

IBM Power System S922LC, IBM POWER9 22C 3.1GHz, NVIDIA Volta GV100, Dual-rail Mellanox EDR Infiniband

1,572,480 94,640 125,712 7,438

3 Sunway TaihuLight, 2016, China National Supercomputing Center in Wuxi

Sunway MPP, Sunway SW26010 260C

1.45GHz, Sunway 10,649,600 93,015 125,436 15,371

4

Tianhe-2A, 2018, China

National Super Computer Center in Guangzhou

TH-IVB-FEP Cluster, Intel Xeon E5-2692v2

12C 2.2GHz, TH Express-2, Matrix-2000 4,981,760 61,445 100,679 18,482 5 Frontera, 2019, USA

Texas Advanced Computing Center

Dell C6420, Xeon Platinum 8280 28c 2.7GHz,

Mellanox Infiniband HDR 448,448 23,516 38,746

6 Piz Daint, 2017, Switzerland

Swiss National Supercomputing Centre (CSCS)

Cray XC50, Xeon E5-2690v3 12C 2.6GHz,

Aries interconnect , NVIDIA Tesla P100 387,872 21,230 27,154 2,384 7 Trinity, 2017, USA

DOE/NNSA/LANL/SNL

Cray XC40, Intel Xeon Phi 7250 68C 1.4GHz,

Aries interconnect 979,072 20,159 41,461 7,578

8

ABCI (AI Bridging Cloud Infrastructure), 2018, Japan

National Institute of Advanced Industrial Science and Technology (AIST)

PRIMERGY CX2550 M4, Xeon Gold 6148 20C 2.4GHz, NVIDIA Tesla V100 SXM2, Infiniband EDR

391,680 19,880 32,577 1,649

9 SuperMUC-NG, 2018, Germany Leibniz Rechenzentrum

Lenovo, ThinkSystem SD650, Xeon Platinum

8174 24C 3.1GHz, Intel Omni-Path 305,856 19,477 26,874 10 Lassen, 2019, USA

DOE/NNSA/LLNL

IBM Power System S922LC, IBM POWER9 22C 3.1GHz, NVIDIA Volta V100, Dual-rail Mellanox EDR Infiniband

288,288 18,200 23,047 15

Oakforest-PACS, 2016, Japan Joint Center for Advanced High Performance Computing

PRIMERGY CX1640 M1, Intel Xeon Phi 7250

68C 1.4GHz, Intel Omni-Path 556,104 13,556 24,913 2,719

R_peak: Peak Performance (TFLOPS), Power: kW

http://www.hpcg-benchmark.org/

Computer Cores HPL Rmax

(Pflop/s)

TOP500 Rank

HPCG (Pflop/s)

1 Summit 2,414,592 148,600 1 2.926

2 Sierra 1,572,480 94.640 2 1.796

3 Trinity 979,072 20,159 7 0.546

4 ABCI 391,680 19,880 8 0.509

5 Piz Daint 387,872 21.230 6 0.497

6 Sunway TaihuLight 10,649,600 93.015 3 0.481 7 Nurion (KISTI, Korea) 570,020 13.929 14 0.391

8 Oakforest-PACS 556,104 13.555 15 0.385

9 Cori (NERSC/LBNL,

USA) 632,400 14.015 13 0.355

10 Tera-1000-2 (CEA,

France) 561,408 11.965 17 0.337

Green 500 Ranking (Nov., 2019)

TOP 500

Rank System Cores HPL Rmax

(Pflop/s)

Power

(kW) GFLOPS/W

1 159 A64FX Prototype, Fujitsu, Japan 36,864 1.999 118 16.876

2 420 NA-1, PEZY, Japan 1,271,040 1.303 80 16.256

3 24 AiMOS, USA 130,000 8.045 510 15.771

4 373 Satori, USA 23,040 1.464 94 15.574

5 1 Summit, USA 2,414,592 148.6 10,096 14.719

6 8 ABCI, Japan 391,680 19,880 1,649 14.423

7 494 MareNostrum P9 CTE, Spain 18,360 1,145 81 14.131

8 23 TSUBAME 3.0, Japan 135,828 8,125 792 13.704

9 11 PANGEA III, France 291,024 17,860 1,367 13.065

10 2 Sierra, USA 1,572,480 94,640 7,438 12.723

13

June’18

Reedbush-L, U.Tokyo, Japan 16,640 806 79 10.167

19 Reedbush-H, U.Tokyo, Japan 17,760 802 94 8.576

Site Computer File system

procs Score (GiB/s) （kIOP/s) 1 University of

Cambridge, UK

Data

Accelerator

Dell EMC Lustre

512

8192 620.69 ^{162.05 2377.44}

2 Oak Ridge National

Laboratory, USA Summit IBM Spectrum

Scale 504

1008 330.56 ^{88.20 1238.93}

3 JCAHPC, Japan Oakforest-

PACS DDN IME 2048

2048 275.65 ^{492.06 154.41}

4 KISTI, Korea NURION DDN IME 2048

4096 156.91 ^{554.23 44.43}

5 CSIRO, Australia bracewell Dell/ThinkPar Q BeeGFS

26

260 140.58 ^{69.29 285.21}

6 DDN IME140 DDN IME 17

272 112.67 ^{90.34 140.52}

7 DDN Colorado DDN IME140 DDN IME 10

160 109.42 ^{75.79 157.96}

8 DDN AI400 DDN Lustre 10

160 104.34 ^{19.65 553.98}

9 KAUST, Saudi Shaheen2 Cray DataWarp

1024

8192 77.37 ^{496.81 12.05}

10 University of Cambridge, UK

Data

Accelerator

Dell EMC BeeGFS

184

5888 74.58 ^{58.81 94.57}

2020/4/14

Top500 ランキング （ 2019 年 11 月現在）

その他の日本のマシン

l 20位 理研R-CCS: 京コンピュータ 10.5 PFLOPS

l 23位 東工大: TSUBAME3.0 8.125 PFLOPS

l 33,34位 気象庁 5.73 PFLOPS x2

l 45位 九州大：ITO 4.54 PFLOPS

l 50位 東京大：Oakbridge-CX 4.29 PFLOPS

l 51位 ?? どこかの研究所 4.13 PFLOPS

l 58位 さくらインターネット 3.71 PFLOPS

l 72位 JAXA: SORA-MA 3.15 PFLOPS

l 77位 京都大: Camphor2 3.05 PFLOPS

l 84位 名古屋大: FX100 2.91 PFLOPS

l 89位 量子研（六ヶ所核融合研）: JFRS-1 2.78 PFLOPS

…

• 東京大学内のマシン

l 50位 情報基盤センター：Oakbridge-CX 4.29 PFLOPS

l 477位 物性研: Sekirei 1.178 PFLOPS

l 436位 物性研: Sekirei-ACC 0.864 PFLOPS

l 411位 情報基盤センター:

Reedbush-L

0.805 PFLOPS

l 414位 情報基盤センター:

Reedbush-H

0.802 PFLOPS

• 中国・無錫(Wuxi) 国立スパコンセンター (NRCPC)

• ピーク 125.4 PF, Linpack 93.0 PF, 40960ノード

• Sunway製 SW26010

• 260コアのメニーコアプロセッサ (1+64コア)*4クラスタ, 1.45GHz

• ピーク性能：3.06TF

• メモリバンド幅：136.5 GB/s

• インタコネクト：InfiniBand FDR (56 Gbps)

参考：Top500, HPCWire Japan, PCwatch

Summit @ ORNL

• 米国エネルギー省(DoE) オークリッジ国立研究所

• ピーク >200 PF, Linpack 148.6 PF

• 4,608ノード (ノード当たり：V100 x6基 + Power 9 x2ソケット)

• IBM AC922

• Sierra, Lassenは V100 x4基

• InfiniBand EDR (100 G) x 2port

参考：https://www.olcf.ornl.gov/olcf-resources/compute-systems/summit/

• スイス ETH Zurich内の国立スパコンセンター

• ピーク 33.8 PF, Linpack 19.5 PF (2017 upgrade)

• 5,320 (P100 + Xeon Haswell) + 1,431 Xeon Broadwell

• Cray XC50 + XC40

参考：https://www.cscs.ch/publications/news/piz-daint-one-of-the-most- powerful-supercomputers-in-the-world/

Cori @ NERSC

• NERSC: 米国エネルギー省(DoE)

ローレンスバークレー国立研究所(LBNL)の1組織

• National Energy Research Scientific Computing Center

• 9,688 Intel Xeon Phi (KNL), ピーク性能 30 PF + 2,388 Intel Xeon (Haswell)

• Cray XC40 システム

• Gerty Cori: 生化学者、アメリカ女性最初のノーベル賞受賞者

• 理研 計算科学研究センター（神戸ポートアイランド）

• ２０１２年９月共用開始、2019年8月シャットダウン

• ＣＰＵ：SPARC64 VIIIfx(CPU当たり 128GFLOPS)

• 2011年11月TOP500のLINPACK性能

• 理論性能：11.280 PLOPS

• 実行性能：10.510 PFLOPS ^効率：93.1^％

• 「富岳」（ポスト京）設置準備中

参照：理研

計算科学機構（http://www.aics.riken.jp/index.html ）

東京工業大学 TSUBAME3.0

• HPE ICE-XA

• CPU: Intel Xeon E5-2680v4 2.4 GHz (14 cores) x 2

(Hyperthreading enabled)

• GPU: NVIDIA Tesla P100 x 4

• Intel OmniPath x4 (400G)

• Memory: 256GB

• 540台

参考：http://www.t3.gsic.titech.ac.jp/sites/default/files/guidance.pdf

• 富士通A64FX (ARMv8.2), HBM2メモリ、Tofu-D

• 商用機: 富士通PRIMEHPC FX1000 https://www.fujitsu.com/jp/products/computing/servers/supercomputer/

• アプリケーション比で京の最大100倍

• 2020/7に名古屋大に「不老」導入、FX1000は7.5PF分

http://www.icts.nagoya-u.ac.jp/ja/sc/news/general/2020-02-03-newmachine.html

• 2021春? Perlmutter @ NERSC, 米国Lawrence Berkeley国立研究所

• AMD EPYC CPU+NVIDIA Tesla GPU

• 現在の3倍=100 PF を超える(pre-Exa)

• https://www.nersc.gov/systems/perlmutter/

• 2021秋 Aurora @ 米国Argonne国立研究所

• Intel Xeon CPU (Sapphire Rapids) + Intel GPU X^e(Ponte Vecchio)

• 1 Exa Flopsを超える

• https://press3.mcs.anl.gov/aurora/

• 2021秋 Frontier @ 米国Oak Ridge国立研究所

• AMD EPYC CPU + AMD Radeon Instinct GPU

• 1.5 Exa Flopsを超える

• https://www.olcf.ornl.gov/frontier/

• 2022秋 El Capitan @ 米国Lawrence Livermore国立研究所

• AMD EPYC CPU Zen4 ”Genoa”+ AMD Radeon Instinct GPU

• 2 Exa Flopsを超える

• https://www.llnl.gov/news/llnl-and-hpe-partner-amd-el-capitan-projected-worlds-fastest-supercomputer

• 中国(Exascaleを3機種開発中？詳細不明) : NUDT, Sugon, NRCPC

• EUも計画あり

革新的ハイパフォーマンス・

コンピューティングインフラ ・ (HPCI)

文部科学省委託事業

http://www.hpci-office.jp/

•

使命：我が国における

– 計算資源（スパコン，

大規模ストレージ（東西拠点））

– 計算科学推進（HPCI戦略プログラム

⇒ポスト京重点課題）

• HPCI

コンソーシアム（

～）

– HPCI計算資源運用 – 産官学

– 資源提供者・利用者によるコミュニティ – 2012年度発足

一般社団法人日本流体力学会 財団法人計算科学振興財団

特定非営利活動法人バイオグリッドセンター関西 自然科学研究機構核融合科学研究所

スーパーコンピューティング技術産業応用協議会 神戸大学

東京大学物性研究所計算物質科学研究センター計算物質科 学イニシアティブ（分野２「新物質・エネルギー創成」）

東京大学生産技術研究所（分野４「次世代ものづくり」）

計算基礎科学連携拠点（分野５「物質と宇宙の起源と構造」）

名古屋大学 太陽地球環境研究所

独立行政法人宇宙航空研究開発機構宇宙科学研究所 独立行政法人海洋研究開発機構

一般社団法人日本計算工学会 計算生命科学ネットワーク

情報基盤センター群以外の会員リスト

国立研究開発法人理化学研究所計算科学研究機構 高エネルギー加速器研究機構 共通基盤研究施設・計算科学 センター

情報・システム研究機構 国立情報学研究所 一般財団法人高度情報科学技術研究機構 筑波大学 計算科学研究センター 大阪大学 核物理研究センター

国立研究開発法人産業技術総合研究所 情報技術研究部門 東京大学 物性研究所

東北大学 金属材料研究所

情報・システム研究機構 統計数理研究所

自然科学研究機構分子科学研究所 計算科学研究センター 独立行政法人宇宙航空研究開発機構 情報計算工学セン ター

Hokkaido

Tohoku Tsukuba Tokyo

Tokyo Tech.

Nagoya Kyoto Osaka Kyushu JAMSTEC ISM

電力は最大供給量（空調システム含む）

20-40+ PF

(FAC/TPF + UCC) 1.5 MW

Cray:XE6 + GB8K XC30

(983TF) Cray XC40(5.5PF) + CS400(1.0PF)

1.33 MW

Cray XC30 (584TF) TSUBAME 2.5

(5.7 PF, 110+ TB, 1160 TB/s), 1.4MW TSUBAME 2.6として 延長運用の可能性 最大5 PF

HA8000 (712TF, 242 TB)

SR16000 (8.2TF, 6TB) 100+ PF

(FAC/TPF + UCC/TPF) ～3MW

FX10 (272.4TF, 36 TB) CX400 (966.2 TF, 183TB)

2.0MW

SX-ACE(1.3PF, 320TiB) 3MW 100PF, 3MW

Fujitsu PRIMERGY CX subsystem A + B, 10.4 PF (UCC/TPF) 2.7MW

FX10 (90.8TFLOPS)

SX-ACE(707TF,160TB, 655TB/s)

LX406e(31TF), Storage(4PB), 3D Vis, 2MW ~30PF, ~30PB/s Mem BW (CFL-D/CFL-M) ~3MW

100~200 PF, 100-200 PB/s (CFL-D/CFL-D) ~4 MW

80-150+ PF (FAC/TPF + UCC) 2 MW

UV2000 (98TF,

128TiB) 0.3MW 2PF, 0.3MW

TSUBAME 3.0 (12.15 PF, 1.66 PB/s) ^{両システムで}

1.4MW TSUBAME 4.0 (~100 PF, ~10PB/s, ~2.0MW)

HITACHISR16000/M1（172TF, 22TB）

Cloud System BS2000 （44TF, 14TB）

Data Science Cloud / Storage HA8000 / WOS7000

（10TF, 1.96PB）

3.96 PF （UCC + CFL/M）0.9 MW 0.16 PF （Cloud）0.1MW

HITACHI SR16000/M1（172TF, 22TB）

Cloud System BS2000 （44TF, 14TB） 35 PF （UCC +

CFL-M） 2MW

Post OFP 100+ PF 4.5-6.0MW (UCC + TPF)

Reedbush-U/H: 1.92 PF (FAC) 0.7MW (Reedbush-Uは2020年6月末まで) Reedbush-L1.4 PF (FAC) 0.2 MW

Oakforest-PACS (OFP) 25 PF (UCC + TPF) 3.2 MW

PACS(1166TF)HA- ^PPX1 _(62TF) ^PPX2 _(62TF) Cygnus 3+PF (TPF) 0.4MW PACS-XI 100PF (TPF)

COMA (PACS-IX) (1001 TF)

Fujitsu FX10 (Oakleaf/Oakbridge) (1.27PFlops, 168TiB, 460 TB/s),

Hitachi SR16K/M1 (54.9 TF, 10.9 TiB, 28.7 TB/s)

25.6 PB/s, 50-100Pflop/s (TPF)

1.5-2.0MW

3.2PB/s,15~25Pflop/s, 1.0-1.5MW (CFL-M) NEC SX-ACE NEC Express5800

(423TF) (22.4TF) OCTPUS 1.463PF (UCC)

20+ PF (FAC/UCC + CFL-M)

Fujitsu FX100 (2.9PF, 81 TiB) Fujitsu CX400 (774TF, 71TiB) 2MW in total

up to 3MW 100+ PF (FAC/UCC+CFL-M) up to 3MW

(542TF, 71TiB)

200+ PF (FAC) 8.0MW6.5-

BDEC 60+ PF (FAC) 3.5-4.5MW

Oakbridge-CX (FAC) 6.61 PF 0.95MW

学際大規模情報基盤

共同利用共同研究拠点（ JHPCN ^）

• https://jhpcn-kyoten.itc.u-tokyo.ac.jp/ja/

•

北大・東北大・東大・東工大・名大・京大・阪大・九大の各 大型計算機センター

•

公募型共同研究によって，

，

を無料で使用可能

•

計算科学・計算機科学の分野型横断研究

•

各センター教員との共同研究が多い

•

国際共同研究，企業共同研究等の制度もあり

• 文科省委託費

• 東拠点（東京大学 柏キャンパス）50PB

• 西拠点（理研R-CCS) 50PB

ストレージ

HPCI共⽤ストレージ東拠点

東京⼤学・柏キャンパス

・データストレージ（総容量 50 PB）

・メタデータサーバ 2 台

・⼤容量メモリサーバ、GPUサーバ等

HPCI共⽤ストレージ⻄拠点

理研R-CCS・神⼾

・データストレージ（総容量 50 PB）

・メタデータサーバ 2 台

・メタデータサーバ 2 台

新型コロナウィルス (COVID-19) 感染症対応

• スパコンで早期解決の一助に

• 創薬：治療薬候補の探索

• ウィルスのタンパク質構造予測

• ゲノム解析

• パンデミック対策

• 米国

• https://covid19-hpc-consortium.org

• 日本

• 「富岳」試行利用 （正式稼働前）

https://www.riken.jp/pr/news/2020/20200407_1/

• HPCI(12機関、国立大学＋JAMSTEC+産総研) https://www.hpci-office.jp/pages/hpci_covid19

11 12 13 14 15 16 17 18 19 20 21 22 23 24 25

Yayoi: Hitachi SR16000/M1 IBM Power-7

54.9 TFLOPS, 11.2 TB

T2K Tokyo

140TF, 31.3TB

Oakforest-PACS Fujitsu, Intel KNL

25PFLOPS, 919.3TB

BDEC System

60+ PFLOPS (?)

Oakleaf-FX: Fujitsu PRIMEHPC FX10, SPARC64 IXfx

1.13 PFLOPS, 150 TB

Oakbridge-FX

136.2 TFLOPS, 18.4 TB

Reedbush-L HPE

1.43 PFLOPS

Big Data &

Extreme Computing

Oakbridge-CX

Intel Xeon CascadeLake

6.61 PFLOPS _{スーパーコンピュータ}^{大規模超並列} メニーコア型大規模

スーパーコンピュータ

（JCAHPC：筑波大・東大）

データ解析・シミュレーション 融合スーパーコンピュータ

長時間ジョブ実行用演算加速装置 付き並列スーパーコンピュータ

RB-H

Reedbush, HPE Broadwell + Pascal

1.93 PFLOPS

3 ^{システム：利用者} 2,600+ ^，学外 55+%

• Reedbush (HPE, Intel BDW + NVIDIA P100 (Pascal))

• 東大ITC初のGPUシステム, DDN IME (Burst Buffer)

• データ解析・シミュレーション融合スーパーコンピュータ

• Reedbush-U: CPU only, 420 nodes, 508 TF (2016年7月~2020年6月)

• Reedbush-H: 120 nodes, 2 GPUs/node: 1.42 PF (2017年3月~2021年?)

• 長時間ジョブ実行用演算加速装置付き並列スーパーコンピュータ

• Reedbush-L: 64 nodes, 4 GPUs/node: 1.43 PF (2017年10月~2021年？)

• Oakforest-PACS (OFP) (富士通、Intel Xeon Phi (KNL))

• JCAHPC (筑波大CCS＆東大ITC)

• 25 PF, TOP 500で9位 (2017年11月) (日本で2位)

• Omni-Path アーキテクチャ, DDN IME (Burst Buffer)

• 2016年12月〜

• Oakbridge-CX (OBCX) (富士通、Intel Xeon Scalable (CascadeLake-SP))

• 6.61 PF, 1368ノード、うち128ノードにSSD内蔵、Omni-Path

• 2019年7月~

2016年9月1日 正式運用開始

Reedbush-H

2017年3月1日 試験運転開始 2017年4月3日 正式運用開始

Reedbush-L

2017年10月2日 試験運転開始 2017年11月1日 正式運用開始 RB-U 361位@Nov. 2016

Green500: RB-L 11位@Nov. 2017 RB-H 11位@Jun. 2017

外部接続ルータ 1Gigabit/10Gigabit Ethernet Network

InterConnect( 4x EDR InfiniBand) InterConnect( 4x EDR InfiniBand)

ログインノード群 SGI Rackable C1110-GP2

6nodes

NFS Filesystem 16TB

Lustre Filesystem DDN SFA14KE x3set

 5.04PB

高速キャッシュ DDN IME14K x6set

209TB NAS Storage

24TB E5-2680v4 2.4GHz

 14core,256GiB Mem

管理サーバ群 SGI Rackable C1110-GP2

9nodes

GbE SW x6

x6 x2

x2(for PBS) 

Reedbush-H x240 (FDRx2/node) Reebush-U

x420

x36(IME:6x6)  x24(OSS(VM):x 12 x2) 

x4(MDS:x 2) 

x12

高速キャッシュ DDN IME240 x8set

153.6 TB

管理用補助 SGI Rackableサーバ C1110-GP2 x2

x16(IME:8x2) x2

x12

x8 x2

x10(Ctrl:8,MDS:2)

Reedbush-L x128( EDR x2/node)  x4

x6 x9

x4 x9

x64 x120 x420

x9

Management port 管理コンソール

Mac Pro 電力管理サーバ

電力計器

Reedbush-U

SGI Rackable  C2112-4GP3

420 nodes, 508.03TFLOPS

・CPU : E5-2695v4 2.1GHz 18core 

Reedbush-H

SGI Rackable C1102-GP8

120 nodes, 240GPUs, 1.418PFLOPS

・CPU : E5-2695v4 2.1GHz 18core 

・GPU : NVIDIA Tesla P100 SXM2 x2/node

Reedbush-L

SGI Rackable C1102-GP8

64 nodes, 256GPUs,  1.434PFLOPS

・CPU : E5-2695v4 2.1GHz 18core 

・GPU : NVIDIA Tesla P100 SXM2 x4/node E5-2680v4 2.4GHz

 14core,128GiB Mem

ライ フ／ 管理 ネッ トワ ーク 1Gigabit/10Gigabit Ethernet Network 

Reedbush-U Reedbush-H Reedbush-L CPU/node Intel Xeon E5-2695v4 (Broadwell-EP, 2.1GHz, 18core) x 2

sockets (1.210 TF), 256 GiB (153.6GB/sec)

GPU - NVIDIA Tesla P100 (Pascal, 5.3TF,

720GB/sec, 16GiB)

Infiniband EDR (100G) FDR (56G)×2ch EDR (100G)×2ch

ノード数 420 120 64

GPU数 - 240 (=120×2) 256 (=64×4)

ピーク性能

(TFLOPS) 509 1,417

(145 + 1,272)

1,433

(76.8 + 1,358) メモリバンド幅

(TB/sec) 64.5 191.2

(18.4+172.8)

194.2 (9.83+184.3)

運用開始 2016.07 2017.03 2017.10