地球シミュレータ開発の現状 平成 14 年 2 月 22 日 横川三津夫 地球シミュレータ研究開発センター 1

地球シミュレータ開発の現状

平成14年２月２２日

地球シミュレータ研究開発センター

横川三津夫

地球温暖化

地球温暖化

異常気象

エルニーニョ，冷夏，暖冬， 豪雨，豪雪，干ばつ

異常気象

エルニーニョ，冷夏，暖冬， 豪雨，豪雪，干ばつ

「地球シミュレータ」計画の背景

m

地球規模の複雑な諸現象の理解，予測 の必要性

気候変動予測

気候変動予測

気候変動予測

気候変動予測

●冷夏、暖冬などを予測

水循環予測

水循環予測

水循環予測

水循環予測

●「１kmメッシュ気象学」の確立 ●集中豪雨、豪雪予測 ●多雨、渇水等の予測

地球温暖化予測

地球温暖化予測

地球温暖化予測

地球温暖化予測

●１０～１００年単位での気候変動を　 予測 ●海面水位の上昇を予測

大気組成変動予測

大気組成変動予測

大気組成変動予測

大気組成変動予測

●大気中微量物質の組成の解明と その変動を予測

生態系変動予測

生態系変動予測

生態系変動予測

生態系変動予測

●気候変動、酸性雨等による植生 の生態系の変化を予測

地球内部変動メカニズムの解明

地球内部変動メカニズムの解明

地球内部変動メカニズムの解明

地球内部変動メカニズムの解明

●地球内部変動を超長期でシミュレ 　 ーション

数値シミュレーション

数値シミュレーション

数値シミュレーション

数値シミュレーション

• 地球シミュレータの開発

地球シミュレータの開発

地球シミュレータの開発

地球シミュレータの開発

• 応用ソフトウェアの開発

応用ソフトウェアの開発

応用ソフトウェアの開発

応用ソフトウェアの開発

基礎研究

• 地球変動モデルの研究

（地球フロンティア研究システム）

観測システム

• 地球観測によるデータ収集，解析

地球観測衛星「ＴＲＭＭ」 海洋観測研究船「みらい」

一体的に推進

目標

地球変動現象の解明・予測研究開発の推進

モデル

現在

地球シミュレータ

50 - 100 km

20 - 30 km

大循環モデル(AGCM)

地域モデル

5 - 10km

～1km

s

経度，緯度方向：　4000 x 2000，　鉛直方向：　数１０

s

時間ステップ：　現在の１／１０程度

Ｃray Ｃ９０でＡＧＣＭシミュレーションを実施した

場合の実効処理速度（約４-６ギガフロップス）の

地球シミュレータの開発目標

m

気象・気候シミュレーションの解像度（格子間隔）

ハードウェア

概念設計

基本設計

要素技術設計

　　要素技術試作

詳細設計

本体製作

運用・管理用ソフトウェア

基本，詳細設計

プログラム作成等

周辺機器整備

地球シミュレータ建屋，付帯設備

運用

平成９年度 平成９年度 平成９年度 平成９年度

完成

平成 平成 平成 平成10年度年度年度年度 平成平成11年度平成平成 年度年度年度 平成12年度平成平成平成 年度年度年度 平成平成平成平成13年度年度年度年度

現在

地球シミュレータの開発スケジュール

ILLIAC ILLIAC ILLIAC ILLIAC----IVIVIVIV Cray Cray Cray Cray---

-10MFLOPS

100MFLOPS

1GFLOPS

100GFLOPS

1TFLOPS

10TFLOPS

10GFLOPS

100TFLOPS

理

論

最

大

性

能

XMP XMP XMP XMP YMP YMP YMP YMP C90 C90 C90 C90 T90 T90T90 T90 T3D T3D T3D T3D T3E T3E T3E T3E ASCI R ASCI R ASCI R

ASCI R ASCI B.MASCI B.MASCI B.MASCI B.M ASCI B.P

ASCI B.P ASCI B.P ASCI B.P

ASCI White ASCI WhiteASCI White ASCI White ASCI Q ASCI QASCI Q ASCI Q（（（（予）予）予）予） ASCI XX ASCI XX ASCI XX ASCI XX（（（（予）予）予）予） SP 2 SP 2 SP 2 SP 2 SP2 SP2SP2 SP2 Paragon Paragon Paragon Paragon CM CM CM CM----5555 75 75 75 75APUAPUAPUAPU

VP2600 VP2600 VP2600 VP2600 VPP500 VPP500VPP500 VPP500 VPP700 VPP700 VPP700 VPP700 NWT NWT NWT NWT CP CPCP

CP----PACSPACSPACSPACS

地球シミュレータ（予）

地球シミュレータ（予）

地球シミュレータ（予）

地球シミュレータ（予）

SX SX SX SX----2222 SX SXSX SX----3333 SX SX SX SX----4444 S S S S----810/20810/20810/20810/20 S3800/480 S3800/480 S3800/480 S3800/480 SR2201 SR2201 SR2201 SR2201 SR8000 SR8000 SR8000 SR8000 日本 米国 民間により開発 国の指導により開発

地球シミュレータの性能の位置づけ

SX SXSX SX----5555 VPP5000 VPP5000VPP5000 VPP5000 SR8000F1SR8000F1SR8000F1SR8000F1

計算ノード

(320筐体)

結合ネットワーク

(65筐体)

6

5

m

(7

1

y

_d

)

電気室

カートリッジテープライブラリシステム

磁気ディスク装置等

空調機

免震装置

50m (5

5yd)

地球シミュレータの模型

共有メモリ 16GB 　 計 算 プ ロ セ ッ サ 　 　 　 　 　 計 算 プ ロ セ ッ サ 　 　 　 　 　 計 算 プ ロ セ ッ サ 　 　 　 　 共有メモリ 16GB 　 計 算 プ ロ セ ッ サ 　 　 　 　 　 計 算 プ ロ セ ッ サ 　 　 　 　 　 計 算 プ ロ セ ッ サ 　 　 　 　

•　ピーク性能:

40TFLOPS

•　主記憶容量:

10TB

•　計算プロセッサのピーク性能:　 8GFLOPS

•　計算ノードのピーク性能:

64GFLOPS

•　計算ノードの主記憶容量:

16GB

結合ネットワーク

結合ネットワーク

結合ネットワーク

結合ネットワーク ((((Full Crossbar Switch: 12.3GB/s x

Full Crossbar Switch: 12.3GB/s x

Full Crossbar Switch: 12.3GB/s x

Full Crossbar Switch: 12.3GB/s x

•　総計算ノード数:

640

•　総プロセッサ数 :

5120

共有メモリ 16GB 　 計 算 プ ロ セ ッ サ 　 　 　 　 　 計 算 プ ロ セ ッ サ 　 　 　 　 　 計 算 プ ロ セ ッ サ 　 　 　 　

地球シミュレータの全体構成

m ベクトルユニット：8セット

s

6種のベクトルパイプライン

s

256要素のベクトルレジスタ： 72個

s

256ビットのマスクレジスタ：

17個

m 主記憶アクセス制御部

x ８ユニット ベクトル処理部 主 記 憶 ア ク セ ス 制 御 部 ベクトル レジスタ ロード／ストア スカラレジスタ 命令ｷｬｯｼｭ 整数演算器 浮動少数点演算器 ﾃﾞｰﾀｷｬｯｼｭ スカラ処理部 マスクレジスタ ベクトル除算演算器 ベクトル加減算演算器 ベクトル乗算演算器 ベクトル論理演算器 ﾋﾞｯﾄ列ﾍﾞｸﾄﾙ論理演算器

１チップLSI: 8Gflops

t

0.15

µ

m CMOSテクノロジ

　　　　　　　＋ 銅配線

t

20.79mm x 20.79mm

t

5,700万トランジスタ

t

5185 ピン

t

クロック周波数

　　　　500MHz(1GHz)

t

消費電力

　　　 135W(Typ.)

計算プロセッサ（ＡＰ）の構成

m スカラユニット

s

4-ウェイ　スーパースカラ

s

64KB 命令キャッシュ

s

64KB データキャッシュ

s

128個の汎用レジスタ

計算プロセッサ（ＡＰ）パッケージの実装イメージ

計算プロセッサ用ＬＳＩ

給電コネクタ

ＭＭＵ用コネクタ

ビルドアップ基板

クロックコネクタ

沸騰型ヒートシンク

118mm

139mm

共有メモリ(MS) 16GB

結合ネットワーク

計算プロセッサ

#0

計算プロセッサ

#1

計算プロセッサ

#2

計算プロセッサ

#7

主記憶ﾕﾆ

ｯ

ﾄ

#0

主記憶ﾕﾆ

ｯ

ﾄ

#1

主記憶ﾕﾆ

ｯ

ﾄ

#2

主記憶ﾕﾆ

ｯ

ﾄ

#3

主記憶ﾕﾆ

ｯ

ﾄ

#4

主記憶ﾕﾆ

ｯ

ﾄ

#5

主記憶ﾕﾆ

ｯ

ﾄ

#6

主記憶ﾕﾆ

ｯ

ﾄ

#2

9

主記憶ﾕﾆ

ｯ

ﾄ

#3

0

主記憶ﾕﾆ

ｯ

ﾄ

#3

1

ﾘﾓｰﾄｱｸｾｽ

制御機構

(RCU)

入出力

ﾌﾟﾛｾｯｻ

(IOP）

計算ノード（PN)の構成

Bandwidth : 32GB/s

主記憶ユニット（MMU）パッケージの実装イメージ

ヒートシンク

給電コネクタ

メモリ制御用LSI

メモリ素子

ビルドアップ基板

AP，RCU用コネクタ

クロックコネクタ

147mm

125mm

ﾘﾓｰﾄｱｸｾｽ

制御機構

主

記

憶

ユ

ニ

ッ

ト

×

3

2

計算

ﾌﾟﾛｾｯｻ

クロスバ制御部

＃０，＃1

データパス部

#０

データパス部

#１２７

結合ネットワーク（ＩＮ）部

データパス部

#１

計算ノード #0

ﾘﾓｰﾄｱｸｾｽ

制御機構

主

記

憶

ユ

ニ

ッ

ト

×

3

2

計算

ﾌﾟﾛｾｯｻ

計算ノード #639

12.3GB/s bi-directional bandwidth

結合ネットワーク接続の構成

データ

パス

部

データ

パス

部

データ

パス

部

データ

パス

部

データ

パス

部

データ

パス

部

データ

パス

部

データ

パス

部

データ

パス

部

データ

パス

部

クロスバ制御部

１２８台，６４筐体

計算ノード

クロスバ制御部

電気ケーブル：　６４０×１３０＝８３，２００本

((((制御用

制御用

制御用

制御用))))

((((デ－タ用

デ－タ用

デ－タ用))))

デ－タ用

筐体実装及びケーブル接続のイメージ

計算ノード筐体（320台）

結合ネットワーク筐体（65台）

140cm

_100cm

200cm

130cm

120cm

計算ノード筐体の比較

• ピーク性能 64Gflops

• 主記憶容量 16GB

• 消費電力

最大約90ｋVA

• 空冷

100

100

100

100c

cc

c

約

約

約

約

地球シミュレータ　１ノード

• ピーク性能 64Gflops

• 主記憶容量 16GB

• 消費電力

最大約8ｋVA

• 空冷

ＮＥＣ SX-4　１ノード

ファイルサーバ Ｌ系 Ｌ系 Ｓ系

データ転送ＬＡＮ

結合ネットワーク（ＩＮ）

結合ネットワーク（ＩＮ）

結合ネットワーク（ＩＮ）

結合ネットワーク（ＩＮ）

ｔｅｌｎｅｔ／ｆｔｐ

持込テープ用

ログインサーバ

ファイアウォール

GWS WS 3D

インターネット

_{会話型　２ノード}

_{会話型　２ノード}

_{会話型　２ノード}

_{会話型　２ノード}

Ｓ系　１４ノード

Ｓ系　１４ノード

Ｓ系　１４ノード

Ｓ系　１４ノード

ユーザディスク

ユーザディスク

ユーザディスク

ユーザディスク

２２５ＴＢ

２２５ＴＢ

２２５ＴＢ

２２５ＴＢ

カートリッジテープライブラリ（ＣＴＬ）

カートリッジテープライブラリ（ＣＴＬ）

カートリッジテープライブラリ（ＣＴＬ）

カートリッジテープライブラリ（ＣＴＬ）

（１．５ＰＢ）

（１．５ＰＢ）

（１．５ＰＢ）

（１．５ＰＢ）

Ｌ系　６２４ノード

Ｌ系　６２４ノード

Ｌ系　６２４ノード

Ｌ系　６２４ノード

システムディスク

システムディスク

システムディスク

システムディスク

４５０ＴＢ

４５０ＴＢ

４５０ＴＢ

４５０ＴＢ

Gigabit Ethernet

周辺機器との接続

基幹ＬＡＮ

m

オペレーティングシステム

s

UNIX (NEC SXシリーズ SUPER-UX)

s

科学技術計算用高速ファイルシステム

s

並列ファイルシステム（　MPI_IO，　HPF　）

m

プログラミング環境

s

Fortran90,　C， C++

s

自動ベクトル化．自動並列化

s

MPI2,　OpenMP,　HPF2

s

Program analyzer + Tuning tools

s

Parallel debugger

共有メモリ

共有メモリ

共有メモリ

共有メモリ

共有メモリ

共有メモリ

共有メモリ

共有メモリ

・・・

・・・

・・・

・・・

結合ネットワーク

結合ネットワーク

結合ネットワーク

結合ネットワーク

計算ノード

計算ノード

計算ノード

計算ノード

共有メモリ

共有メモリ

共有メモリ

共有メモリ

ＣＰＵ

ＣＰＵ

ＣＰＵ

ＣＰＵ

ＣＰＵ

ＣＰＵ

ＣＰＵ

ＣＰＵ

ＣＰＵ

ＣＰＵ

ＣＰＵ

ＣＰＵ

ＣＰＵ

ＣＰＵ

ＣＰＵ

ＣＰＵ

ＣＰＵ

ＣＰＵ

ＣＰＵ

ＣＰＵ

ＣＰＵ

ＣＰＵ

ＣＰＵ

ＣＰＵ

ＣＰＵ

ＣＰＵ

ＣＰＵ

ＣＰＵ

ＣＰＵ

ＣＰＵ

ＣＰＵ

ＣＰＵ

並列処理：　自動並列

並列処理：　自動並列

並列処理：　自動並列

並列処理：　自動並列

ＯｐｅｎＭＰ

ＯｐｅｎＭＰ

ＯｐｅｎＭＰ

ＯｐｅｎＭＰ

ＭＰＩ

ＭＰＩ

ＭＰＩ

ＭＰＩ

ＨＰＦ

ＨＰＦ

ＨＰＦ

ＨＰＦ

並列処理：　ＨＰＦ

並列処理：　ＨＰＦ

並列処理：　ＨＰＦ

並列処理：　ＨＰＦ

ＭＰＩ

ＭＰＩ

ＭＰＩ

ＭＰＩ

ベクトル処理

ベクトル処理

ベクトル処理

ベクトル処理

３階層のプログラミングモデル

ログインサーバ

ログインサーバ

ログインサーバ

ログインサーバ

会話型ノード

会話型ノード

会話型ノード

会話型ノード

ジョブリクエスト投入

(ｑｓｕｂコマンド)

J1 j2 J2 j1 _j3 J3 Ｌ系ノー Ｌ系ノー Ｌ系ノー Ｌ系ノー ノード数 時刻 Ｓ系ノー Ｓ系ノーＳ系ノー Ｓ系ノー CPU数

単一受付キュー

大規模ジョブ

バッチジョブ処理（ジョブスケジューラ）

m

ジョブスケジューラへの指示行を記述

s

実行するシステム（Ｓ系またはＬ系）の選択

s

必要な計算機資源の宣言

Ÿ

使用ノード数（Ｌ系）／使用ＣＰＵ数（Ｓ系）

Ÿ

計算時間（経過時間）（Ｌ系）

Ÿ

使用ディス容量（Ｌ系）

s

使用するファイルの宣言

#!/bin/sh

##ES system=L,pn=64,elapse=4h

##ES disk=sfs,totalsize=512GB

##ES file= ….

##ES file= ….

mpirun a.out

地球シミュレータ用ジョブスクリプト

地球シミュレータ施設の位置

東京

東京

東京

東京

横浜

横浜

横浜

横浜

地球シミュレータ施設

神奈川県横浜市金沢区

　　海洋科学技術センター　横浜研究所

海洋科学技術センター 横浜研究所

スーパーコンピュータ棟

交流棟

情報研修棟

フロンティア

研究棟

シミュレータ

研究棟

シミュレータ棟

冷却施設棟

地球情報館

情報技術棟

シミュレータ研究棟

冷却施設棟

シミュレータ棟の特徴的構造

建物と独立した避雷塔：　高さ24m

リターンダクト

アルミめっき鋼板による電磁シールド

基礎部分にアラミド繊維補強筋

免震積層ゴム（11個）による絶縁

床，壁，天井：導電性材料

鉄骨構造2階建，免震構造

65m×50m，最高部約17m

計算ノード・結合ネットワーク間ケーブル敷設作業

(平成１３年２月～平成１３年５月）

計算ノード・結合ネットワーク間ケーブル敷設完了

（平成１３年５月）

ノード間データ転送性能（MPI-2）

11.63

11.63

11.63

11.63GB/

GB/

GB/

GB/

3.16

3.16

3.16

3.16GB/

GB/

GB/

GB/

まとめ

m

開発はほぼスケジュールどおり．

m

目標性能は達成できる見込み．

m

地球シミュレータセンター（佐藤哲也センター長）

は海洋科学技術センターの組織として一元化

m

運用上の問題はたぶん山積み．

m

応用プログラムの準備もまだまだ．