東大センターのスパコン 2 基の大型システム,6 年サイクル (?) FY Yayoi: Hitachi SR16000/M1 IBM Power TFLOPS, 1152 TB T2K To

(1)

Reedbush-U

の概要

ログイン方法

東京大学情報基盤センター

スーパーコンピューティング研究部門

(2)

東大センターのスパコン

2 基の大型システム，

6 年サイクル（？）

2 FY 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 Yayoi: Hitachi SR16000/M1 IBM Power-7 5459 TFLOPS, 1152 TB Reedbush, HPE Broadwell + Pascal 1593 PFLOPS T2K Tokyo 140TF, 3153TB Oakforest-PACS Fujitsu, Intel KNL 25PFLOPS, 919M3TB BDEC System 50+ PFLOPS (?) Oakleaf-FX: Fujitsu PRIMEHPC

FX10, SPARC64 IXfx 1513 PFLOPS, 150 TB Oakbridge-FX 13652 TFLOPS, 1854 TB Reedbush-L HPE 1543 PFLOPS Oakbridge-II Intel/AMD/P9 CPU only

5-10 PFLOPS

Big Data & Extreme Computing Post OFP 100+ PF ? データ解析・シミュレーション融合スーパーコンピュータ長時間ジョブ実行用演算加速装置付き並列スーパーコンピュータメニーコア型大規模スーパーコンピュータ JCAHPC：筑波大・東大

(3)

Now operating 4 (or 6)systems !!

• Oakleaf-FX (Fujitsu PRIMEHPC FX10)

– 1.135 PF, Commercial Version of K, Apr.2012 – Mar.2018 • Oakbridge-FX (Fujitsu PRIMEHPC FX10)

– 136.2 TF, for long-time use (up to 168 hr), Apr.2014 – Mar.2018 • Reedbush (HPE, Intel BDW + NVIDIA P100 (Pascal))

– Integrated Supercomputer System for Data Analyses & Scientific Simulations

• Jul.2016-Jun.2020

– Our first GPU System, DDN IME (Burst Buffer)

– Reedbush-U: CPU only, 420 nodes, 508 TF (Jul.2016)

– Reedbush-H: 120 nodes, 2 GPUs/node: 1.42 PF (Mar.2017) – Reedbush-L: 64 nodes, 4 GPUs/node: 1.43 PF (Oct.2017) • Oakforest-PACS (OFP) (Fujitsu, Intel Xeon Phi (KNL))

– JCAHPC (U.Tsukuba & U.Tokyo)

– 25 PF, #7 in 49th _{TOP 500 (June.2017) (#1 in Japan)}

(4)

JPY (=Watt)/GFLOPS Rate

Smaller is better (efficient)

4

System

JPY/GFLOPS

Oakleaf/Oakbridge-FX (Fujitsu)

(Fujitsu PRIMEHPC FX10)

125 Reedbush-U (SGI)

(Intel BDW)

62.0 Reedbush-H (SGI)

(Intel BDW+NVIDIA P100)

17.1 Oakforest-PACS (Fujitsu)

(5)

5

(6)

Research Area based on CPU Hours

FX10 in FY.2015 (2015.4~2016.3E)

6 Oakleaf-FX + Oakbridge-FX Engineering Earth/Space Material Energy/Physics Information Sci5 Education Industry Bio Economics

(7)

Research Area based on CPU Hours

FX10 in FY.2016 (2016.4~2017.3E)

Oakleaf-FX + Oakbridge-FX Engineering Earth/Space Material Energy/Physics Information Sci5 Education Industry Bio

(8)

Research Area based on CPU Hours

Reedbush-U in FY.2016

(2016.7~2017.3E)

8 Engineering Earth/Space Material Energy/Physics Information Sci5 Education Industry Bio

(9)

ポスト

_T2K

：

_{Oakforest-PACS}

http://www.cc.u-tokyo.ac.jp/system/ofp/

• 2016

年

12 月

1 日稼働開始

• 8,208 Intel Xeon/Phi (KNL)

，ピーク性能

25PFLOPS

– 富士通が構築

• TOP 500 #7 (#1 in Japan), HPCG #5 (#2) (June

2017)

• 最先端共同

HPC

基盤施設

(JCAHPC: Joint Center

for Advanced High Performance Computing)

– 筑波大学計算科学研究センター – 東京大学情報基盤センター

(10)

Now operating 4 (or 6)systems !!

• Oakleaf-FX (Fujitsu PRIMEHPC FX10)

– 1.135 PF, Commercial Version of K, Apr.2012 – Mar.2018 • Oakbridge-FX (Fujitsu PRIMEHPC FX10)

– 136.2 TF, for long-time use (up to 168 hr), Apr.2014 – Mar.2018

• Reedbush (HPE, Intel BDW + NVIDIA P100 (Pascal))

– Integrated Supercomputer System for Data Analyses & Scientific Simulations

• Jul.2016-Jun.2020

– Our first GPU System, DDN IME (Burst Buffer)

– Reedbush-U: CPU only, 420 nodes, 508 TF (Jul.2016)

– Reedbush-H: 120 nodes, 2 GPUs/node: 1.42 PF (Mar.2017) – Reedbush-L: 64 nodes, 4 GPUs/node: 1.43 PF (Oct.2017)

• Oakforest-PACS (OFP) (Fujitsu, Intel Xeon Phi (KNL)) – JCAHPC (U.Tsukuba & U.Tokyo)

– 25 PF, #7 in 49th _{TOP 500 (June.2017) (#1 in Japan)}

– Omni-Path Architecture, DDN IME (Burst Buffer)

(11)

東大センターのスパコン

2 基の大型システム，

6 年サイクル（？）

FY 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 Yayoi: Hitachi SR16000/M1 IBM Power-7 5459 TFLOPS, 1152 TB Reedbush, HPE Broadwell + Pascal 1593 PFLOPS T2K Tokyo 140TF, 3153TB Oakforest-PACS Fujitsu, Intel KNL 25PFLOPS, 919M3TB BDEC System 50+ PFLOPS (?) Oakleaf-FX: Fujitsu PRIMEHPC

FX10, SPARC64 IXfx 1513 PFLOPS, 150 TB Oakbridge-FX 13652 TFLOPS, 1854 TB Reedbush-L HPE 1543 PFLOPS Oakbridge-II Intel/AMD/P9 CPU only

5-10 PFLOPS

Big Data & Extreme Computing Post OFP 100+ PF ? データ解析・シミュレーション融合スーパーコンピュータ長時間ジョブ実行用演算加速装置付き並列スーパーコンピュータメニーコア型大規模スーパーコンピュータ JCAHPC：筑波大・東大

(12)

GPU

導入の事情

• これまで

– CUDAによるプログラミング：複雑 – 2,000人を超えるユーザー

• 今回

– OpenACC • OpenMPと類似したインタフェース：使いやすいが性能悪かった ⇨昨今の性能向上，CUDAとそれほど大きな差がなくなった • NVIDIA研究者との共同研究，Atomic演算HWサポート等 – データ科学，深層学習（Deep Learning） • 従来の計算科学，計算工学分野とは異なった分野の新規ユーザー開拓が急務：電気代＝負担金 • 東京大学ゲノム医科学研究機構 • 東京大学病院 – 医療画像処理への深層学習適用 12

(13)

Reedbush (1/2)

データ解析・シミュレーション融合スーパーコンピュータシステム

• システム構成・運用：

SGI

• Reedbush-U (CPU only)

– Intel Xeon E5-2695v4 (Broadwell-EP, 2.1GHz 18core,) x 2

ソケット _{(1.210 TF), 256 GiB (153.6GB/sec)}

– InfiniBand EDR, Full bisection BW Fat-tree – システム全系: 420 ノード, 508.0 TF

• Reedbush-H (with GPU)

– CPU・メモリ：Reedbush-U と同様

– NVIDIA Tesla P100 (Pascal世代 GPU) • (4.8-5.3TF, 720GB/sec, 16GiB) x 2 / ノード

– InfiniBand FDR x 2ch, Full bisection BW Fat-tree

(14)

“Reedbush”

って何

?

• L'homme est un roseau

pensant.

• Man is a thinking reed.

• 人間は考える葦である

Pensées (Blaise Pascal)

Blaise Pascal

(15)

Reedbush (2/2)

データ解析・シミュレーション融合スーパーコンピュータシステム

• ストレージ

/

ファイルシステム

– 並列ファイルシステム (Lustre) • 5.04 PB, 145.2 GB/sec

– 高速ファイルキャッシュシステム: Burst Buffer (DDN IME (Infinite Memory Engine))

• SSD: 209.5 TB, 450 GB/sec

• 電力

,

冷却

,

設置面積

– 空冷, 378 kVA(冷却除く) – < 90 m2

• データ解析、

Deep Learning

向けソフトウェア・ツールキット

– OpenCV, Theano, Anaconda, ROOT, TensorFlow, Torch, Caffe, Chainer, GEANT4

(16)

管理サーバー群

InfiniBand EDR 4x, Full-bisection Fat-tree

並列ファイルシステム 5.04 PB Lustre Filesystem DDN SFA14KE x3 209 TB 高速ファイルキャッシュシステム 209 TB DDN IME14K x6 Dual-port InfiniBand FDR 4x Login node ログインノード x6 計算ノード: 1.926 PFlops

CPU: Intel Xeon E5-2695 v4 x 2 socket (Broadwell-EP 2.1 GHz 18 core,

45 MB L3-cache)

Mem: 256GB (DDR4-2400, 153.6 GB/sec)

×420 Reedbush-U (CPU only) 508.03 TFlops

CPU: Intel Xeon E5-2695 v4 x 2 socket Mem: 256 GB (DDR4-2400, 153.6 GB/sec) GPU: NVIDIA Tesla P100 x 2

(Pascal, SXM2, 4.8-5.3 TF,

Mem: 16 GB, 720 GB/sec, PCIe Gen3 x16, NVLink (for GPU) 20 GB/sec x 2 brick )

×120

Reedbush-H(w/Accelerators) 1418.2 TFlops

436.2 GB/s 145.2 GB/s Login node Login node Login node Login node Login node UTnet ユーザ InfiniBand EDR 4x 100 Gbps /node Mellanox CS7500 634 port + SB7800/7890 36 port x 14 SGI Rackable C2112-4GP3 56 Gbps x2 /node SGI Rackable C1102-PL1

(17)

Reedbush-H

ノードのブロック図

NVIDIA Pascal NVIDIA Pascal NVLinK 20 GB/s Intel Xeon E5-2695 v4 (Broadwell-EP) NVLinK 20 GB/s QPI QPI 76.8GB/s 76.8GB/s IB FDR HCA G 3 x1 6 _{15.7 GB/s} 15.7 GB/s DDR4 メモリ 128GB EDR switch E D R 76.8GB/s 76.8GB/s Intel Xeon E5-2695 v4 (Broadwell-EP) QPI QPI DDR4 DDR4 DDR4 DDR4 DDR4 DDR4 DDR4 メモリ 128GB PCIe sw G 3 x1 6 PCIe sw G 3 x1 6 x16 G3 IB FDR HCA

(18)

Reedbush-Uへのログイン

(19)

ログイン方法

鍵による認証について

公開鍵認証を用います。

センター発行のパスワード

（8桁）はログインには使い

ません

19 19

(20)

ログイン方法

パスワード（8桁）は何に使うのか？？

鍵を登録するために使います

鍵を作った人が本当にセンターの利用者であることを確認するために必要です

マニュアル閲覧のために使います

著作権上の問題でマニュアルは利用者のみへの公開となります鍵を用いて SSH の Port Forwarding をすることもできます 20 20

(21)

ログイン方法

手順

鍵の生成

鍵の登録

鍵の生成 (UNIX, Mac, Cygwin)

UNIX(MNcを含む)系システムと Cygwin では OpenSSH

を使います

鍵の生成コマンド

$ ssh-keygen –t rsN

最初に鍵の保存場所を聞かれます。何も入力せずにリ

ターンしてください

次にパスフレーズを聞かれます。必ず入力してください

もう一度パスフレーズを入力したら完了です

22

(23)

鍵の生成 (UNIX, Mac, Cygwin)

>$ ssh-keygen -t rsa

Generating public/private rsa key pair.

Enter file in which to save the key (/home/guestx/.ssh/id_rsa):

Enter passphrase (empty for no passphrase):（自分の好きなパスワード） Enter same passphrase again:

Your identification has been saved in /home/guestx/.ssh/id_rsa. Your public key has been saved in /home/guestx/.ssh/id_rsa.pub. The key fingerprint is:

>$ cd ~/.ssh >$ ls -l

total 12

-rw--- 1 guestx guestx 1743 Aug 23 15:14 id_rsa

-rw-r--r-- 1 guestx guestx 413 Aug 23 15:14 id_rsa.pub

>$ cat id_rsa.pub 文字列出力

(24)

Reedbush-Uへの公開鍵登録

(25)

ユーザ名の確認

本講習会でのユーザー名

利用者番号 : t00xxx～

利用グループ： gt00

ここで、00xxx～は数字

25

(26)

Reedbush-Uへの公開鍵の登録

以下へアクセスする。

httpst//reedbush-www.cc.u-tokyo.ac.jp/

ユーザ名とパスワードを聞かれるので、

センター発行のユーザ名とパスワードを入力。

注意：記載パスワードは、そのままではNG

26 Password

(27)

ポータル画面（ログイン前）

27

センターから配られた

利用者番号とパスワード

(28)

言語の変更

“ChNnge LNnguNge” で日本語に変更できます。

“JNpNnese (JA_JP.UTF-8)” を選んで “ChNnge”を押す終わったら、ブラウザで再読み込み講習会：ライブラリ利用 [RB] 28 1. ここをクリック 2. ここを選択 3. ここをクリック

(29)

鍵の登録

1.

左側メニューの「公開鍵アップロード」を

クリックする

2.

「公開鍵を追加」をクリックし、画面に、公開

鍵をカットアンドペーストする

3.

「作成」ボタンを押す

講習会：ライブラリ利用 [RB] 29

(30)

ポータル画面（言語変更後）

講習会：ライブラリ利用 [RB]

30

(31)

ポータル画面（公開鍵登録）

講習会：ライブラリ利用 [RB] 31 ペースト後クリック公開鍵をペースト

(32)

ポータル画面（公開鍵登録成功）

講習会：ライブラリ利用 [RB] 32 ペーストした鍵が表示されていればOK

(33)

スパコンへのログイン・

ファイル転送・基本コマンド

(34)

Reedbushへログイン

ターミナルから、以下を入力する

$ ssh reedbush.cc.u-tokyo.Nc.jp -l tYYxxx

$ ssh [email protected]

「-l」はハイフンと小文字のＬ、

「tYYxxx」は利用者番号（数字）

接続するかと聞かれるので、 yes を入れる

鍵の設定時に入れた

自分が決めたパスワード（パスフレーズ）

を入れる

成功すると、ログインができる

34

(35)

Reedbushにおける注意

ログインするとホームディレクトリ(/home/gt00/t001XX)にいます。 /home ファイルシステムは容量が小さく、ログインに必要なファイルだけを置くための場所です。 /home に置いたファイルは計算ノードから参照できません。ジョブの実行もできません。計算に必要なファイルは、/lustre ファイルシステムに移動(mv)させてください。ホームディレクトリ: /home/gt00/t00XXX cd コマンドで移動できます。 Lustreディレクトリ: /lustre/gt00/t00XXX cdw コマンドで移動できます。 35

(36)

PCのファイルをReedbushに置く

ターミナルから、以下を入力する

$ scp

./N.f90

[email protected]:

「tYYxxx」は利用者番号（数字）

“tYYxxx”は、利用者番号を入れる

PCのカレントディレクトリにある”N.f90”を、Reedbush上

のホームディレクトリに置く

ディレクトリごと置くには、”-r” を指定

$ scp

-r

./SAMP [email protected]:

PCのカレントディレクトリにあるSAMPフォルダを、

その中身ごと、Reedbush上のホームディレクトリに置く

36

(37)

ReedbushのデータをPCに取り込む

ターミナルから、以下を入力する

$ scp [email protected]:~/

N.f90

./

「tYYxxx」は利用者番号（数字）

“tYYxxx”は、利用者番号を入れる

Reedbush上のホームディレクトリにある”N.f90”を、PC

のカレントディレクトリに取ってくる

ディレクトリごと取ってくるには、”-r” を指定

$ scp

-r

[email protected]:~/SAMP ./

Reedbush上のホームディレクトリにあるSAMPフォルダ

を、

その中身ごと、PCのカレントディレクトリに取ってくる

37

(38)

ＵＮＩＸ備忘録

emNcsの起動

： emNcs 編集ファイル名

^x ^s （＾はcontrol）：テキストの保存 ^x ^c ：終了（ ^z で終了すると、スパコンの負荷が上がる。絶対にしないこと。） ^g : 訳がわからなくなったとき。 ^k : カーソルより行末まで消す。消した行は、一時的に記憶される。 ^y : ^kで消した行を、現在のカーソルの場所にコピーする。 ^s 文字列 : 文字列の箇所まで移動する。 ^M x goto-line : 指定した行まで移動する。 38

(39)

ＵＮＩＸ備忘録

rm ファイル名：

ファイル名のファイルを消す。

rm *~ : test.c~ などの、~がついたバックアップファイルを消す。使う時は慎重に。*~ の間に空白が入ってしまうと、全てが消えます。

ls

: 現在いるフォルダの中身を見る。

cd フォルダ名

：フォルダに移動する。

cd .. : 一つ上のフォルダに移動。 cd ~ ：ホームディレクトリに行く。訳がわからなくなったとき。

cNt ファイル名

：ファイル名の中身を見る

mNke

: 実行ファイルを作る

（MNkefile があるところでしか実行できない）

mNke cleNn : 実行ファイルを消す。（cleNn がMNkefileで定義されていないと実行できない） 39

(40)

ＵＮＩＸ備忘録

less ファイル名

：ファイル名の中身を見る(cNtでは

画面がいっぱいになってしまうとき）

スペースキー _{: 1画面スクロール} / : 文字列の箇所まで移動する。 q ：終了（訳がわからなくなったとき）