第 1 回スーパーコンピューティングセミナースーパーコンピューティング技術産業応用協議会 Rev U 65m 17m 海洋研究開発機構横浜研究所全景 50m 地球シミュレータの産業利用について ( 独 ) 海洋研究開発機構計算システム計画運用部

(1)

2006.10.12

Rev Ｕ

第1回スーパーコンピューティング・セミナー スーパーコンピューティング技術産業応用協議会６５ｍ１７ｍ

海洋研究開発機構

横浜研究所全景

地球シミ

タの

５０ｍ

地球シミュレータの

産業利用について

（独）海洋研究開発機構計算システム計画・運用部平野哲

http://www.jamstec.go.jp

(2)

地球シミュレータへの性能要求

日本

全球

全地球規模のシミュレーションにおいて、台風・エルニーニョなどの局所的異常現象の起承転結も取り扱える。それと同時にそのような局所的現象の積み重ねの結果として起きる地球温暖化も首尾一貫して求めることができる。 1997年当時 1997年当時 １０００倍の計算量当時の最新鋭ｽｰﾊﾟｰｺﾝﾋﾟｭｰﾀで実効性能５ＧＦ _{実効性能５ＴＦ目指すには３２ＴＦ以上のピーク} 性能が必要

(3)

日米ＨＰＣ比較（ＴＯＰ５００）

Ｌｉｎｐａｃｋ

Rmax

ＴＯＰ５００

日米ＨＰＣ性能比較

100000

Earth Simulator BlueGeneL

ＴＳＵＢＡＭＥ 10000 ） ASC Red ASC-White ASC Q Thunder 1000 ＯＰＳ（対数日本米国 NWT SR2201 CP-PACS SR8000 SR8000F1 SR8000MPP 100 ＧＦＬＯ SX3 CM-5 XP/5140 ISC2006で地球シミレータは 第１０位へ 10 第１０位へ 281TF/36TF(RMAX比) 1 199 3jun e 1993 nov 1994jun e 1994 nov 1995.j une 199 5no v 1996 .june 1996 nov 199 7jun e 1997 nov 1998jun e 1998 nov 1999jun e 1999 nov 2000jun e 200 0no v 2001 june 2001 nov 200 2jun e 2002 nov 2003jun e 2003 nov 2004jun e 200 4no v 年（2回）年（2回）現在、文部科学省では、２０１０～２０１２に１０ＰＦの性能を目指す、「次世代スーパーコンピュータ・システム」の開発がスタート。

(4)

日米ＨＰＣ比較（ＴＯＰ５００）

Ｌｉｎｐａｃｋ

Rmax

ＴＯＰ５００

日米ＨＰＣ性能比較

100000

Earth Simulator BlueGeneL

ＴＳＵＢＡＭＥ 10000 ） ASC Red ASC-White ASC Q Thunder 1000 ＯＰＳ（対数日本米国 NWT SR2201 CP-PACS SR8000 SR8000F1 SR8000MPP 100 ＧＦＬＯ SX3 CM-5 XP/5140 ISC2006で地球シミレータは 第１０位へ 10 第１０位へ 281TF/36TF(RMAX比) 1 199 3jun e 1993 nov 1994jun e 1994 nov 1995.j une 199 5no v 1996 .june 1996 nov 199 7jun e 1997 nov 1998jun e 1998 nov 1999jun e 1999 nov 2000jun e 200 0no v 2001 june 2001 nov 200 2jun e 2002 nov 2003jun e 2003 nov 2004jun e 200 4no v 年（2回）年（2回）現在、文部科学省では、２０１０～２０１２に１０ＰＦの性能を目指す、「次世代スーパーコンピュータ・システム」の開発がスタート。

(5)

2005年測定値

地球シミュレータのＡＰ性能

2005年測定値

最大規模モデルの達成性能(2003年～2005年の測定値） 100000 4800 10000 S ) Power 3_Altix 1024 1024 1024 2048 2048 256 512 512 512 4096 1024 100 1000 大総合性能( G F OP S Altix Columbia Thunder Opteron X1 X1E 1024 1024 1024 1024 2048 2048 1680 64 256 256 256 256 256 256 512 512 512 512 512 644 336 672 896 10 最大 _ES SX-8 64 64 64 256 256 256 16 1 CACTUS 天体物理 LBMHD 磁気流体 GTC 核融合 MADCAP 宇宙論 PARATEC 物性科学 FVCAM 気候モデル 256 平成17年度利用報告会資料北脇(NERSC) Einstein’ equation ADM-BSSN Gyrokinetic Toroidal Code particle-in-cell approach MHD Lattice Boltzmann method Density Functional Theory Climate Modeling AGCM,Finite Volume, Navier-Stokes, FFT Cosmic Microwave Background Radiation

(6)

Performance Overview

1 8 Power3 70% Power3 1.2 1.4 1.6 1.8 Power3 Itanium2 Opteron ES SX-8 X1 X1E 50% 60% 70% _Itanium2 Opteron ES SX-8 X1 X1E 0.4 0.6 0.8 1.0 20% 30% 40% 0.0 0.2 0.4 FVCAM GTC LBMHD3D PARATEC Application 0% 10% FVCAM GTC LBMHD3D PARATEC Application

• Tremendous potential of vector systems - unprecedented aggregate performance:

– >4500x simulation speedup of FVCAM on 672 processors of X1E

– New GTC decomposition algorithm achieves 7 2 TF/s on 4096 ES processors

– New GTC decomposition algorithm achieves 7.2 TF/s on 4096 ES processors

– LBMHD-3D achieves 26 TF/s using 4800 ES procs (68% of peak) - GB finalist

– PARATEC achieves 5.5 TF/s on 2048 processors of ES

• ES highest efficiency, SX8 achieves highest raw performance (X1E for FVCAM)

• X1E faster absolute performance X1, but lower sustained performance

– SSP vs MSP experiments: tradeoffs between comp granularity and scalar work

• Opteron vs Itanium2

O f G C C

– Opteron faster GTC, LBMHD: low CI, register spilling, irregular memory access

– Itanium2 faster PARATEC: High CI, FMA support, all-to-all on Quadrics

(7)

NERSC/LBNLとの共同研究対象のGTC（核融合シミュレーション、粒子系コード）の最新データ

FY2005 Accomplishments Leadership Class Computing http://www.scidacreview.org/0601/html/news4.html

(8)

地球シミュレータの仕様

• ピーク性能:

40TFLOPS

• 計算プロセッサのピーク性能:

8GFLOPS

• 総計算ノード数:

640 • 総プロセッサ数 :

5120

• ピーク性能:

40TFLOPS

• 主記憶容量:

10TB

• 計算プロセッサのピーク性能:

8GFLOPS

• 計算ノードのピーク性能:

64GFLOPS

• 計算ノードの主記憶容量:

16GB

・ネットワークスループット

8TB/S

結合ネットワーク (Full Crossbar Switch: 12.3GB/s双方向/ノード)

共有メモリ 16GB 計計計共有メモリ 16GB 計計計共有メモリ 16GB 計計計３２ＧＢ／ｓプロセッサ当たりメモリバンド幅計算プロセッサ計算プロセッサ計算プロセッサ計算プロセッサ計算プロセッサ計算プロセッサ計算プロセッサ計算プロセッサ計算プロセッササ #0 サ #1 サ #7 サ #0 サ #1 サ #7 サ #0 サ #1 サ #7 計算ノード #0 計算ノード #1 計算ノード #639

(9)

• ベクトルユニット：8セット

計算プロセッサ（ＡＰ）の構成

• スカラユニット

– 6種のベクトルパイプライン

– ２５６要素のベクトルレジスタ：７２個

– 256ビットのマスクレジスタ：

１７個

– 4-ウェイスーパースカラ

– 64KB 命令キャッシュ

– 64KB データキャッシュ

• 主記憶アクセス制御部

– １２８個の汎用レジスタ

x ８ユニットベクトル処理部マスクレジスタﾋﾞｯﾄ列ﾍﾞｸﾄﾙ論理演算器

１チップLSI:

8Gflops

x ８ユニット主記憶ア _ベクトルレジスタロド／ストアベクトル乗算演算器ベクトル論理演算器

8Gflops

0.15μm CMOSテクノロジ＋銅配線アクセス制御レジスタロード／ストアベクトル除算演算器ベクトル加減算演算器＋銅配線 20.79mm x 20.79mm 6,000万トランジスタ 5185 ピン御部スカラレジスタ命令ｷｬｯｼｭ整数演算器浮動少数点演算器ﾃﾞｰﾀｷｬｯｼｭスカラ処理部 5185 ピンクロック周波数 500MHz(1GHz) 消費電力消費電力 140W(Typ.)

(10)

結合ネットワーク接続のイメージ

ノド間結合ネトワク（ＩＮ）単段クスバSW 部部部部部部部部部部部部１２８台６４筐体 (制御用) (デ－タ用) ノ－ド間結合ネットワ－ク（ＩＮ）単段クロスバSW データパス部データパス部データパス部データパス部データパス部データパス部データパス部データパス部データパス部データパス部クロスバ制御部１２８台，６４筐体クロスバ制御部デデデデデデデデデデクク

低レテンシ

電気ケーブル：６４０×１３０＝８３，２００本

２４００Ｋｍ１４０ｔ

低レーテンシ

２４００Ｋｍ，１４０ｔ高スループット算ノード算ノード算ノード算ノード算ノード算ノード算ノード算ノード算ノード算ノード計算ノード６４０台，３２０筐体計算計算計算計算計算計算計算計算計算計算台，筐体

(11)

地球シミュレータのシステム構成

地球シミュレタのシステム構成

Interconnection Network (IN) Interconnection Network (IN)

S Cluster 9 L Clusters 10 L Clusters 10 L Clusters 10 L Clusters

Interconnection Network (IN) Interconnection Network (IN)

Interactive 2 nodes

Small request 14 nodes

Large request 624 nodes

S Cluster 9 L Clusters WS User Disk User Disk 230 TB 230 TB

10 L Clusters 10 L Clusters 10 L Clusters

Work Disk 450 TB Work Disk 450 TB ES-LAN FSP FSP GWS Gigabit Ethernet Gigabit Ethernet Fiber Fiber FSP FSP FSPFSP FSPFSP CAVE 3D

Cartridge Tape Library Cartridge Tape Library

1 8PB 1 8PB Channel Channel User Disk User Disk 250 TB 250 TB Login Server Login Server

MDPS

CAVE NFS Mount 1.8PB 1.8PB 250 TB 250 TB

Hierarchical Storage Management Hierarchical Storage Management FAS

Super-SInet

ES-NET

(12)

Job Execution Flow

R

t

Job Execution Flow

L-Batch Queue

Request

Node schedule

Arrive

Running Running _Allocated

Exit

o de

Stage-OUT

Running Running _Allocated Allocated N o

Node

Stage-OUT

Time

Allocation

Stage-IN

Waiting

Running

L-system

S-Disk

HOME _{M Di k}

Staging

IN IN

DATA _{Work Disks}

HOME Disk M-Disk OUT OUT DATA Disk

(13)

m ber of PNs Nu m 23 _{495 nodes 2 5H} _{256 nodes 5 7H} 30 2004 Oct. 2004 Oct. 6 Node maintenance 243 nodes 5.6H 495 nodes 2.5H 256 nodes 5.8H 128 nodes 6.5H 256 nodes 5.7H 91 nodes 11H 495 nodes 2.5H 91 nodes 11H 256 nodes 5.8H #1 6 PN # 639

(14)

システムソフトウェア

• オペレーティングシステム

(

シリズ

)

– UNIX (NEC SXシリーズ SUPER-UX)

– 科学技術計算用高速ファイルシステム

– 並列ファイルシステム（ MPI_IO， HPF ）

– 大容量ファイル処理システム（ＭＤＰＳ）、スケジューラ（ＮＱＳⅡ）

• プログラミング環境

環

– Fortran90, C， C++

– 自動ベクトル化．自動並列化

– MPI2, OpenMP, HPF2

– Tuning tools

– Parallel debugger

– 数学ライブラリＡＳＬ、ＭＡＴＨＫＥＩＳＡＮ

(15)

２００５年度のＥＳ利用プロジェクト

◇特別プロジェクト

６件（大気海洋分野）

◇共同プロジェクト（一般公募）

３８件

大気海洋分野６件、固体地球分野９件

計算機科学分野１件、先進・創出分野２２件

計算機科学分野

件、先進創出分野

件

◇先端大型施設戦略活用プログラム

５件

◇戦略的創造研究推進事業（

CREST）プロジェクト３件

◇共同研究プロジクト

１１件

◇共同研究プロジェクト

１１件

国内３件、国外８件

(16)

ＥＳの利用者数・利用機関数

（人）（機関） 1000 250 699 823 833 833 800 171 193 199 ₁₈₉ 200 480 400 600 93 100 150 0 200 0 50 利用機関数利用研究者数 0 2002年度 2003年度 2004年度 2005年度 2006年度 0 2002年度 2003年度 2004年度 2005年度 2006年度

(17)

資源の割り当てと利用機関の内訳

戦略的研究枠, 20.0%

2006年度分野別計算資源割り当て

地球科学, 35.0% 戦略的研究枠, 20.0% 特定プロジェクト (共生・CREST・活用), 250 大学公的機関民間企業海外機関計算機科学, 5.0% 先進創出, 15.0% (共生 CREST 活用), 25.0% 44 46 ₄₇ 200 2 28 20 34 40 53 39 31 47 100 150 79 81 ₇₄ 83 20 27 28 ₂₆ 20 14 12 50 100 47 0 2002年度 2003年度 2004年度 2005年度 2006年度

(18)

ＥＳノード使用状況

必要ｃｐｕ数が確保できるまで予約して待っている時間の割合実行するべきプログラムが無かった時間の割合る時間の割合プログラムが実行されている時間の割合計画保守の時間の割合

(19)

月別プログラム投入件数

地球シミュレータ　L系リクエスト投入数 (2002/07～2006/03) 20 000 ( 件) 16,000 18,000 20,000 2 0 0 4 年度 2 0 0 2 年度 2 0 0 3 年度 2 0 0 5 年度 10 000 12,000 14,000 6,000 8,000 10,000 0 2,000 4,000 0 2 002 /07 /15 ～ 2 002 /08 2 002 /09 2 002 /10 2 002 /11 2 002 /12 2 003 /01 2 003 /02 2 003 /03 0 3/0 4/0 1～ 14 2 003 /04 /15 ～ 2 003 /05 2 003 /06 2 003 /07 2 003 /08 2 003 /09 2 003 /10 2 003 /11 2 003 /12 2 004 /01 2 004 /02 2 004 /03 2 004 /04 2 004 /05 2 004 /06 2 004 /07 2 004 /08 2 004 /09 2 004 /10 2 004 /11 2 004 /12 2 005 /01 2 005 /02 2 005 /03 2 005 /04 2 005 /05 2 005 /06 2 005 /07 2 005 /08 2 005 /09 2 005 /10 2 005 /11 2 005 /12 2 006 /01 2 006 /02 2 006 /03 2 20 0 2

２００５年度年間総数＝１４７，６６５件

平均１２，３０５件

/月

(20)

月別プログラム投入件数（２）

2 0 0 5 年度　地球シミュレータリクエスト投入数

(件) 16,000 18,000 (件)

L系リクエスト

S系リクエスト

12,000 14,000

系リクスト

8,000 10,000 4,000 6,000 0 2,000

4月

5月

6月

7月

8月

9月 10月 11月 12月 1月

2月

3月

２００５．４～２００６．３

(21)

ES 稼動状況

1 4 0 0 0 ～6 2 4 2 5 6

使用ノード数内訳

H17年度詳細 L系リクエスト数

1 0 0 0 0 1 2 0 0 0 ～2 5 6 ～1 2 8 ～6 4 ～3 2 8 0 0 0 1 0 0 0 0 エスト数～1 6 ～8 ～4 6 0 0 0 実行完了リク 1 2 0 0 0 4 0 0 0 0 4 5 6 7 8 9 1 0 1 1 1 2 1 2 3 月

月平均

: 約9700件

(22)

ES 稼動状況

4 5 0 ,0 0 0 ～6 2 4 2 5 6

使用ノード数内訳

**624node30day24H=449 280nodeH**

H17年度ノード時間積

3 5 0 ,0 0 0 4 0 0 ,0 0 0 ～2 5 6 ～1 2 8 ～6 4 ～3 2

624node 30day 24H 449,280nodeH

2 5 0 ,0 0 0 3 0 0 ,0 0 0 間積～1 6 ～8 ～4 1 1 5 0 ,0 0 0 2 0 0 ,0 0 0 ノード時間 1 5 0 0 0 0 1 0 0 ,0 0 0 5 0 ,0 0 0 0 5 0 ,0 0 0 4 5 6 7 8 9 1 0 1 1 1 2 1 2 3 月

(23)

ES 稼動状況

6 0

H17年度リクエスト待ち時間

5 0 3 0 4 0 間 2 0 3 0 時間 1 0 0 1 ～4 ～8 ～16 ～32 ～6 4 ～12 8 ～25 6 ～62 4 使用ノード数使用ノド数完了までの平均待ち時間実行までの平均待ち時間

(24)

スーパーＳＩＮＥＴ

遠隔利用サーバ導入ｰ利用環境

2005年7月運用開始＊

リモートログイン YES-Network ＥＳＣ外部利用者データ取出し ES-Network 外部用データサーバ遠隔利用サーバ 2005年7月導入 2005年7月導入 ブ Ferry System (データ受渡システム）地球シミュレータ MDPSアクセスサーバ メディア変換ジョブ投入メディア変換サーバ

MDPS

ユーザ端末ユーザディスク 230TB （階層型大容量データ格納サブシステム）ディスク 240TB グラフィックス格納サブシステム）ディスク 240TB テープ 1.8PB ES-LAN ログインサーバグラフィックス WS ３次元動画装置

＊利用登録者１１３．利用機関５５

(25)

平成17年度ＥＳ運用・利用状況

プロジェクト･グループ別性能値

地球シミュレータ　グループ毎性能値　ノード数/TFLOPS (2005/12/31)　　64ノード以上 20 512.0 , 16.6 500.0 , 17.8 16 18 _{大気・海洋} 計算機科学先進創出 512 0 11 8 384.0 , 12.4 12 14 固体地球ピーク性能平均30% 512.0 , 11.8 512.0 , 8.8 507.0 , 9.0 8 10 12 TF L O P S 240.0 , 7.4 512.0 , 7.9 220.0 , 5.3 192.0 , 4.8 6 8 128.0 , 2.5 80.0 , 1.8 128.0 , 3.2 128.0 , 1.5 76.0 , 1.3 70.0 , 1.5 150.0 , 1.2 80.0 , 2.0 80.0 , 1.1 128.0 , 3.4 256.0 , 3.2 112.0 , 1.4 256.0 , 3.2 256.0 , 3.1 128.0 , 1.7 2 4 87.0 , 0.2 64.0 , 0.7 0 0 100 200 300 400 500 600 ノード数

(26)

プログラム開発、

ド拡大申請手順

ノード拡大申請手順

• Ｓ系はいつでも使える（１

• Ｓ系は、いつでも使える（１

ノード内での処理、４８ＣＰ

Ｕ時間まで）

• Ｌ系の当初使えるノード数

は１６ノード以下、２時間以

内

上記以上は利用ノド数

• 上記以上は、利用ノード数

申請が必要、最大５１２

ノード×６時間まで、最長

１２時間）

時間）

(27)

文部科学省「先端大型研究施設戦略活用プログラム」

• 公募により選定されたプロジェクトに対して地球シミュレータ利用負担金

• 公募により選定されたプロジェクトに対して、地球シミュレタ利用負担金、

支援研究員費用の負担

・Ｈ１７年度採択課題

１日本電気株式会社

「コンピュータ技術を利用した創薬手法の研究に

１．日本電気株式会社

「コンピュタ技術を利用した創薬手法の研究に

おける疾患原因蛋白の構造解析手法の研究」

２．住友化学株式会社

「時間依存密度汎関数法の有機材料への適用」

３ SRI研究開発株式会社

「ゴム中のナノ粒子ネットワク構造のモデル構築

３．SRI研究開発株式会社

「ゴム中のナノ粒子ネットワーク構造のモデル構築

による高性能タイヤの開発」

４．大成建設株式会社

「まるごと建物シミュレーションによる環境配慮型

建築街区計画手法

建築・街区計画手法」

５．株式会社本田技術研究所「新奇ナノマテリアルの構造と特性に関する大規模

シミュレーション研究」

・Ｈ１８年度採択課題

１．株式会社東芝

「機能性ナノ粒子設計シミュレーション」

２．住友化学株式会社

友

株

社

「有機材料の発光特性シミレーション」

有機

料

発光特

」

３．SRI研究開発株式会社

「ゴム中のナノ粒子ネットワーク構造の

モデル構築による高性能タイヤの開発」

４東日本旅客鉄道株式会社「新幹線車両の空力騒音シミュレーション」

４．東日本旅客鉄道株式会社「新幹線車両の空力騒音シミュレション」

５．新日本製鐵株式会社

「CO2排出ミニマムを目指した実高炉内の四相

（固気液粉）流れの大規模シミュレーション」

(28)

地球シミュレータで動作実績のあるアプリケーションソフト

ノード数

8 163 CD-adapco Group LSTC

開発元

ＳＴＡＲ－ＣＤＬＳ－Ｄｙｎａ

プログラム名称

処理機能、対象

汎用熱流体解析プログラム構造解析ソフトウェア 163 70 PAM-FLOW 16 14 31 ESI GROUP 自動車空力モデル衝突解析ＲＡＤＩＯＳ MEGALOG エンジン燃焼解析 Ricardo VECTIS LSTC ESI GROUP ＬＳＤｙｎａＰＡＭ－ＣＲＡＳＨ構造解析ソフトウェア衝撃･衝突解析ソフトウェア 31 10 126 200 376 Ｐｒｉｎｃｅｔｏｎ　Ｕｎｉｖエンジン燃焼解析 Ricardo VECTIS GＦDL(JAMSTEC) P i t U（JAMSTE Th P i t O M d l Vienna大学 VASP MOM(OFES) POP POM(PFES) 第一原理バンド計算

TheGFDL Modular Ocean Model The Parllel Ocean Program

376 640 10 10 コロラド州立大学 Prinston-U（JAMSTE CCSR/NIES(JAMSTE NCAR/PSU

The Princeton Ocean Model

Atomosheric Global Circulation Model

Regional Atmospheric Modeling System The 5th-Gen. Mesoscale Model

RAMS POM(PFES) AGCM(AFES) MM5 256 100 東京大学生産技術研 128 Front Flow-blue 流体騒音解析東京大学生産技術研 128 九州大学東京大学生産技術研構造解析ソフトウェア LESによる非定常解析フラグメント分子軌道法 ADVENTURE Front Flow-red ABINIT-MP

Front Flow blue 東京大学生産技術研 128

PHASE 東京大学生産技術研 384 IMPACT-3D ３次元圧縮性非粘性オイラ流体計算核融合研究所 512 連絡先：海洋研究開発機構計算システム・計画運用部自工会流体騒音解析第一原理計算連絡先：海洋研究開発機構計算システム・計画運用部自工会

E-mail：apply@es.jamstec.go.jp

(29)

利用形態とサポート

ド

ザ

海

洋

計

算

使用契約

_{A 社}

X 社

エンドユーザ

契約

洋

研

究

算

シス

テ

B 社

サポート

社

Y 社

成果

究

開発

機

テ

ム

計

・・

・

ISV

・・

・

自社開発ソフト、体制なし

機

構

計

画・

運

S

Z 社

使用契約

運

用部

_{Z 社}

自社開発ソフト、体制あり使用契約

サポート

成果は

使用者

帰属

利用負担金は、２２７７円／（ノード・Ｈ）

成果は１００％使用者へ帰属

(30)

地球シミュレータの活用事例

境

• 環境シミュレーション

• 自動車安全・設計シミュレーション

自動車安全設計シミュレション

• 構造物シミュレーション

• ナノ分子シミュレーションｅｔｃ．

地球シミュレータ等ご利用希望の連絡先

地球シミュレタ等、ご利用希望の連絡先

(独）海洋研究開発機構計算システム計画・運用部

URL

http://www.jamstec.go.jp/jamstec-j/spod/index.html

U

ttp //

ja stec go jp/ja stec j/spod/ de

t

E-mail apply@es.jamstec.go.jp

(31)

温暖化により日本の夏はどうなるか？

地球温暖化による気温上昇・雨量増加予測

「地球シミュレータ」による最新の予測結果

温暖化による気圧と雨量の変化（約７０年後）

＜気候変動パネル（ＩＰＣＣ）への日本の貢献＞

雨量増加現在 70年後

夏日の日数は平均的に増加

_夏

_数

_平均

_増

雨量は平均的に増加（青色の領域）

雨量減少現在 70年後

雨量は平均的に増加（青色の領域）

※ただし、年々の気候変動は自然のゆらぎが大きいので、特定の年

気温は平均的に2.5℃程度上昇

_{豪雨の頻度は平均的に増加}

ＥＳ

を用いることで、１００年分のシミュレーションを４週間（６８８ｃｐｕ使用）で終了

気温は平均的に２．５ ℃上昇

_{豪雨の頻度は平均的に増加}

気

（例えば今年）の異常気象を温暖化と関連付けるのは難しい

東京大学気候システム研究センター /国立環境研究所 /地球環境フロンティア研究センター

ＥＳ

を用いることで、１００年分のシミレションを４週間（６８８ｃｐｕ使用）で終了

（

従来機

では、１００年分の計算を実行するのに約２０年間を要する）。

(32)

マルチスケールシミュレーション

Ｖ

約2～10 km, 約100層

季節～年間の予測

局地的現象の予測数日

数週間

局地的現象の予測数日

数週間

約1 ～5km, 約100層

都市性気候の再現と予測

局地的現象の予測・数日～数週間

数m～数km, 約200層

都市性気候の再現と予測

（地形データ：国土地理院より）海洋研究開発機構地球シミュレータセンター

(33)

地球シミュレータによる自動車安全設計

☆平成１６年６月から、地球シミュレータを用いて、自動車工業会との

共同研究により、「車まるごとリアルタイム高精度シミュレーション

の検討」を開始（２年計画）、平成１８年度も継続。

☆

プログラム（外国製）が超並列環境での実績がなく、高精度の部品のモデル

づくりに時間を要したが、共同研究開始後６ヶ月で

世界初の５００万要素

の

衝突シミュレーションに成功、その後すぐに

１千万要素

にも成功

シミュレーションによる革新的な２１世紀の製品開発

（コスト低減、開発時間短縮）

衝

突

衝

突

前

突

後

１０００万要素のシミュレー

ションにより、床の変形が

実車実験により近く再現

時速55Kmで

_{実車実験により近く再現}

時速55Kmで固定壁に衝突自動車工業会との共同研究

(34)

シミュレーションと実験の比較（サブフレーム拡大図）

実験

VS

100万メッシュモデル計算結果 500万 1000万メッシモデル計算結果 実験 1400万要素CAE 図１、時刻暦加速度グラフ（運転席）加速度図２、時刻暦加速度グラフ（助手席）加 1000万メッシュモデル計算結果 1400万要素CAE 実験 1400万要素CAE 加速度 0 0.01 0.02 0.03 0.04 0.05 0.06 0.07 0.08 時間（秒） 0 0.01 0.02 0.03 0.04 0.05 0.06 0.07 0.08 時間（秒）

(35)

～ﾌｫｰﾐｭﾗｶｰ空力～

HPC/LES解析の有用性

2500万要素ASMO空力デルによる精度検証

し後流領域での渦度分布（動画）

• 2500万要素ASMO空力モデルによる精度検証

しゃ × × 従来ﾓﾃﾞﾙでは捉えることのできなかった空力特性の再現 ⇒ ESによるHPC/LESの有用性の証明！

東京大学生産技術研究所

(36)

ABWR原子炉圧力容器

3,500万自由度モデル地震応答解析

FE Mesh ( tetrahedron quadratic )

FE Mesh ( tetrahedron-quadratic )

Elements: 7,486,792

Nodes: 11,794,506

DOF:

35 368 551

汎用並列計算力学システム

ADVENTURE

200 0 300.0 400.0 200 0 300.0 400.0

DOF: 35,368,551

100 0 0.0 100.0 200.0 Acceleration _{100 0} 0.0 100.0 200.0 Acceleration -300.0 -200.0 -100.0 0.0 4.0 8.0 12.0 16.0 20.0 24.0 28.0 32.0 36.0 40.0 44.0 48.0 52.0 -300.0 -200.0 -100.0 0.0 4.0 8.0 12.0 16.0 20.0 24.0 28.0 32.0 36.0 40.0 44.0 48.0 52.0 1940年Elcentro地震 NS方向時間刻0.02sec データ提供: 日本建築センター, 86年ビレルタ版

Elapsed time [sec] Elapsed time [sec]

ABWR圧力容器モデル

( モデル提供:東京電力 )

九州大学大学院工学研究院

標準となっている実際の地震波形に基づいたシミュレーションにより

(37)

風力発電騒音軽減

Actual

Ogee（Ｓ型）翼端

10 0 10 e f: 2×10 -5 Pa -10 g e in SPL [dB ], r e

Actual tip shape

騒音レベルが２ｄＢ軽減、５０％増設できる -20 1000 10000 Frequency (Hz) Chan g

Ogee type tip shape

(38)

耐放射線性SiCデバイス用酸化膜の

第一原理分子動力学シミュレーション

第

原理分子動力学シミュレション

• VASP （Vienna Ab-initio Simulation Package）

– PAW法＋平面波

– 一般化勾配近似（GGA）電子相関

• 加熱・急冷計算によるアモルファスSiO

₂

生成

• 酸化反応模擬計算

酸化反応模擬計算

– 第一原理分子動力学計算

従来の計算モデル – 結晶SiO₂/SiCのモデル地球シミュレータでの計算モデル – MD計算によって生成したアモルファスSiO₂/SiCのモデル最大で1000原子程度のモデルが – 総原子数は100原子程度が限界 – 最大で1000原子程度のモデルが可能 Si O C Siダングリングボンド、 Cダングリングボンド等 小さな欠陥構造のみが界面中間層、カーボンクラスタ等の実際のデバイスに近い界面構造を再現可能 H 小さな欠陥構造のみが再現可能界面構造を再現可能

原子力機構、電力中央研究所

(39)

2006.10.12

Rev Ｕ

海洋研究開発機構

横浜研究所全景

地球シミ

タの

地球シミュレータの

産業利用について

産業利用について

http://www.jamstec.go.jp

地球シミュレータへの性能要求

日本

全球

Ｌｉｎｐａｃｋ

Rmax

ＴＯＰ５００

日米ＨＰＣ性能比較

Ｌｉｎｐａｃｋ

Rmax

ＴＯＰ５００

日米ＨＰＣ性能比較

2005年測定値

地球シミュレータのＡＰ性能

2005年測定値

Performance Overview

地球シミュレータの仕様

• ピーク性能:

40TFLOPS

• 計算プロセッサのピーク性能:

8GFLOPS

• 総計算ノード数:

640

• 総プロセッサ数 :

5120

• ピーク性能:

40TFLOPS

• 主記憶容量:

10TB

• 計算プロセッサのピーク性能:

8GFLOPS

• 計算ノードのピーク性能:

64GFLOPS

• 計算ノードの主記憶容量:

16GB

・ネットワークスループット

8TB/S

•

ベクトルユニット：8セット

計算プロセッサ（ＡＰ）の構成

•

スカラユニット

– 6種のベクトルパイプライン

– ２５６要素のベクトルレジスタ：７２個

– 256ビットのマスクレジスタ：

１７個

– 4-ウェイ スーパースカラ

– 64KB 命令キャッシュ

– 64KB データキャッシュ

•

主記憶アクセス制御部

– １２８個の汎用レジスタ

１チップLSI:

8Gflops

8Gflops

結合ネットワーク接続のイメージ

低レ テンシ

電気ケーブル： ６４０×１３０＝８３，２００本

低レーテンシ

地球シミュレータのシステム構成

地球シミュレータのシステム構成

地球シミュレ タのシステム構成

地球シミュレ タのシステム構成

Large request 624 nodes

MDPS

Super-SInet

Job Execution Flow

R

t

Job Execution Flow

Request

– 4-ウェイスーパースカラ

低レテンシ

電気ケーブル：６４０×１３０＝８３，２００本

地球シミュレタのシステム構成

地球シミュレタのシステム構成

シリズ

– 数学ライブラリＡＳＬ、ＭＡＴＨＫＥＩＳＡＮ

大気海洋分野６件、固体地球分野９件

計算機科学分野１件、先進・創出分野２２件

件、先進創出分野

CREST）プロジェクト３件

◇共同研究プロジクト

国内３件、国外８件

2 0 0 5 年度　地球シミュレータリクエスト投入数

系リクスト