グリッドにおけるプログラミング

(1)

National Institute of Advanced Industrial Science and Technology

Is Grid ready for e-Science?

産業技術総合研究所

グリッド研究センター

田中

良夫

自己紹介

1995

慶應大学で学位取得

Parallel GC (Garbage Collection)

1996~1999:

新情報処理開発機構（ＲＷＣＰ）

SMPクラスタにおけるプログラミングモデル、性能評価

グリッド

2000:

電子技術総合研究所

グリッド

2001~:

産業技術総合研究所

グリッド研究センター基盤ソフトチーム長

専門

プログラミング環境

セキュリティ

性能評価

(3)

産総研

国内最大規模の研究所

研究テーマ

Environment

Material

Bio/Life science

Standards (JIS/OSI)

Geographical survey

Semiconductor device

Computer Science

etc.

3,500

常勤職員

+ 3,000

非常勤職員

年間約

1500

億の予算

AIST Tsukuba Main Campus

国内に７つのキャンパス

億の予算

_成田

東京

つくば

50km 40km 50km

(4)

グリッド研究センター

2002/ 2002/ 1 1 20032003/1/1 20042004/1/1 Researchers Researchers 20 20 12 12 33 33 65 65 1 1 8 8 Full time Full time 1414 1919 Fellowship Fellowship 11 99 Collaborators Collaborators 77 3232 60 60 1 1 9 9 Sub total Sub total 2222 Staff Staff Administration Administration 22 Support Support 55

設立

Since Jan. 1, 2002

7 years term

24

th

_{Research Center of}

AIST

オフィス

Tsukuba Central

Umezono 1-1, Tsukuba

Tokyo Office

秋葉原クロスフィールド 30 people for software development

グリッド技術の研究開発

年間約

(5)

チーム構成

National Institute of Advanced Industrial Science and Technology センター長：

センター長：関口関口智嗣智嗣副センター長：副センター長：横川横川美津夫美津夫

科学技術応用チーム

科学技術応用チーム（（Leader: Leader: 長嶋長嶋雲兵雲兵））

R&D on Scientific Applications on Grid. QC Grid / Gaussian Portal

ビジネス応用チーム

ビジネス応用チーム（（Leader: Leader: 伊藤伊藤智智））

R&D of Middleware and Applications for Business on Grid.

R&D of Middleware and Applications for Business on Grid. Grid PSE BuilderGrid PSE Builder

データグリッドチーム

データグリッドチーム（（Leader: Leader: 小島小島功功））

Data Grid / Database and Grid (OGSA-DAIS, etc.)

科学技術基盤チーム

科学技術基盤チーム（（Leader: Leader: 横川横川美津夫美津夫））

E-Science 基盤ソフトチーム

基盤ソフトチーム（（Leader: 田中Leader: 田中良夫良夫））

Programming Middleware, Testbed Development, Grid Security. NinfNinf--G, G, ApGridApGrid

クラスタ技術チーム

クラスタ技術チーム（（Leader: Leader: 工藤工藤知宏知宏））

(6)

話の内容

e

-

Science

とは？

グリッドとは？

技術的課題（さらっと）

今、何ができているか？

Is Grid ready for e

(7)

ｅサイエンスとは

情報技術の高度利用に立脚した新しい科学技術研究手法

ネットワークで接続された様々な高機能資源（高性能計算

機、高速ネットワーク、大規模データベース、実験装置など）

を統合的に活用することにより、科学技術における新たな

発見や融合研究領域などの新たな研究分野を創出するこ

とを目指す。

センサー、装置記憶装置高性能計算機ソフトウェア専門家視覚装置高速ネットワークユーザ _ユーザユーザ

(8)

ｅサイエンスの例

DB @ Thailand DB @ Japan Mirror DB Satellite 地質情報科学 resource investigation disaster prevention Environment

Web Service: Meta Database

Data Grid: Grid File Systems Storage Cluster Computer Cluster Computer user

(9)

国際的情勢

ｅサイエンスに関する研究は

2000

年頃より活発化

諸外国

欧州：年間数億ユーロの研究投資

UK-eScience, 2000年11月∼

Enabling Grid for E-Science in Europe (EGEE), 2004年4月∼

米国：年間数億ドルの研究投資

International Virtual Data Grid Laboratory (iVDGL), 2001年9月∼ Open Science Grid, 2004年9月∼

NEESit, 2004年10月∼

アジア：韓国、中国、タイ等でネットワークの科学技術応用をｅサイエンス

として統合する動きが見られるようになってきたが、アジア全体を視野に

含めるには至っていない。

平成16年3月22日に日中韓の科学技術担当局長による会合において”CJK e-Science Testbed”の提案があり、積極的に推進することが議論された。

我が国

文部科学省

NAREGI(National Research Grid Initiative)プロジェクト

において、ナノサイエンスをターゲットにグリッドミドルウェア開発および実

証実験を進めている。

(10)

(11)

３年位前の新聞記事から

読売新聞 2002年３月２６日（夕刊）

日本経済新聞 2002年２月４日

日本経済新聞 200１年１２月３０日

(12)

(13)

The Grid Problem (definition)

Flexible, secure, coordinated resource

sharing among dynamic collections of

individuals, institutions, and resources

(14)

グリッドのもう少し分かりやすい定義

仮想組織

(Virtual Organization)

がインターネット上に

分散並列

「仮想計算

環

境

」

(Virtual computing environment)

を動的に形成

計算

機

などの資源が「どこにあるか」を抽象化⇒

サービスの質

(

QoS

)

はグリッド

が判断

計算インフラ・セキュリティインフラ・データインフラなど⇒資源の共用、抽象化さ

れた標準のアクセス法

(Web

のように

)

ストレッジ

リソース

超高速

ネットワーク

計算リソース

会社

B

仮想組織

研究所

A

仮想計算機

(15)

グリッドの歴史

90

90 年代はじめ

年代はじめ

広域分散計算、グローバルコンピューティング、メタコンピューティング

90

90 年代中ごろ∼終わり

年代中ごろ∼終わり

（アカデミック）ソフトウェアの開発、実証実験

“

_{Grid”という用語が会議・論文等ではじめて使われたのは97年9月（たぶ}

ん）

現在

科学技術計算分野における多数のプロジェクト、コミュニティ

テストベッドの構築

NASA IPG, TeraGrid, UK-eScience, EUDG, EGEE, ApGrid, …

大規模実証実験

事実上の標準ソフトウェアの登場：

Globus Toolkit

TM

技術的にはかなり

matureになってきている。

産業界からも注目

(16)

グリッド協議会

http://www.jpgrid.org/

2002

年

6

6 月

月

17

17 日発足

日発足

産総研コンソーシアム設置規定

法人会員

57

57 社（

社（

163

163 名）、個人会員

名）、個人会員

90

90 名

名

(4

月

27

27 日時点

日時点

)

国内におけるグリッド技術の情報交流と人的交流

活動内容

調査会：

GGFを中心に標準化・技術動向の調査と報告

ワークショップ：特定技術に焦点を持つ小規模討論会

講習会：チュートリアルによる技術普及

講演会・シンポジウム：対象を広く取った複数の講演

(17)

GridWorld

GridWorld2004

世界初のグリッドに関する展示会・シンポジウム

3000人登録、2000人来場、20団体による展示

GridWorld2005

は

5

5 月

月

11

11 -

-

12

12 日＠東京国際フォーラム

日＠東京国際フォーラム

入場無料

基調講演：村井純先生

チュートリアル等

http://www.jpgrid.org/

GridWorld2006

は来年

6

6 月（

月（

GGF

と同時開催）

(18)

(19)

単位の確認

Flops (floating ops. per

second)

- 計算機の性能を表す単位

- 1秒間に何回の小数点演算を

実行できるかを表す

bps (bits per second)

- ネットワークのデータ転送の性

能を表す単位

- 1秒間に何ビットのデータを転

送できるかを表す

１０３１０４１０６１０７１０８１０９１０１２１０１５１０１６１０１８１０２０１０２１１０２４ K − Ｍ − − ＧＴＰ − Ｅ − ＺＹ kilo − mega − − giga tera peta − exa − zeta yota 千万 − − 億 − 兆 − 京 − 垓 − 秭（し）

(20)

コンピュータの性能と値段

パソコンパソコン (PC)(PC) ∼ 数Gflops, ∼ 100万円 Workstations Workstations ∼ 数十Gflops, ∼ 1000万円 Supercomputers Supercomputers ∼ Tflops, 数億円∼数百億円 As of Nov. 2004

No. 1: BlueGene/L (IBM/DOE) 0.7GHz PowerPC 440 / 32768cpu 70.72 / 91.75 TFlops

No. 2: Columbia (NASA/Ames Research Center) SGI Altix 1.5GHz / 10160cpu

51.87 / 60.96 TFlops

No. 3: Earth Simulator (The Earth Simulator Center) 5120cpu

35.86 / 40.96 TFlops

No. 4: MareNostrum (Barcelona Supercomputer Center) PowerPC 970 2.2GHz / 3564cpu

20.53 / 31.363 TFlops

No. 5: Thunder (Lawrence Livermore National Laboratory) Intel Itanium2 Tiger 4 1.4GHz – Quadrics / 4096cpu

(21)

クラスタコンピュータ −手づくりのスパコンー

数台∼千台規模のパソコンを高速

ネットワーク（イーサネット、

Myrinet

など）で接続し、並列計算機（スパコ

ン）とみたてる

利点

コストパフォーマンスが良い

アバウトに

1Tflops == 1億

地球シミュレータは

400億で約

40Tflops

最先端の

CPUを利用可能

ご自由な構成

台数、ネットワーク、

CPUなど

今の高性能計算機は実質クラスタ型

(22)

AIST Super Cluster

P32

: IBM eServer325 Opteron 2.0GHz, 6GB 2way x 1074 node Myrinet 2000

8.59TFlops

/peak 10,800mm 10,200mm

M64

: Intel Tiger 4 Madison 1.3GHz, 16GB 4way x 131 node Myrinet 2000

2.72TFlop

s/peak

F32

: Linux Networx Xeon 3.06GHz, 2GB 2way x 260+ node GbE

3.13TFlops

/peak

(23)

あくなき要求

より速く計算したい

より大きなデータを解析したい

より大きなデータベースを作成・利用したい

手元にない装置を使いたい

…

(24)

(25)

グリッド技術のめざすところ

次世代の情報通信基盤として、すべてのサービス、ユーティリ

ティを提供する手段

TCP/IP や Internet Browserに相当

ネットワークで接続された情報資源（コンピュータ、人、実験装置、

可視化、ＤＢ、ソフトウエア、

PDA

、など）に対して

だれでも、どこからでも、いつでも、

$5K PC @ NY = $500 PC @ Africa (by CeC)

ネットワーク

/サーバそのものを意識することなく

Bandwidth, routing, scheduling, Accounting, Security

Servers/Clients’ location, OS, CPU, etc

必要なときに必要なサービスを即座／瞬時／簡便に享受でき

るようになる／なって欲しい

もともとは電力網の

Power Grid

からきた用語

これを実現する技術をグリッド(GRID)と呼ぶ

これを実現する技術をグリッド

(26)

目的

ペタフロップス超の能力を確保（アーキテクチャ的興味）

Supercomputer (100G x 20台→10T x 100台)

PC群 (1GFlops x 100,000台) e.g. SETI@HOME

Grand Challenge (

超大規模応用、計算科学的興味

)

高エネルギー物理学

ゲノム・バイオインフォマティクス

地球科学など

ビジネスアプリケーションへの展開

高対費用効果

高耐故障性

日常業務への波及展開（産業活動支援）

中小企業等の裾野への機会提供

HPC計算資源交換市場の創出

新たな計算センターの形態、ASP、Virtual Laboratory

危機管理対応計算環境（危機管理）

緊急時にネットワーク接続された計算機による負荷分散

ネットワーク技術との連携…

(27)

What Grid makes it possible?

Online Access to Remote Instruments

Petabyte

-

scale Data Analysis

Detector for ALICE experiment Detector for LHCb experiment

(28)

What Grid makes it possible? (cont’d)

Large

-

scale Distributed Computing

Large

(29)

What Grid makes it possible? (cont’d)

High Throughput Computing

Integration of Human Resources

(30)

今日の話は計算グリッドに着目

その他：データグリッド、センサーグリッド

(31)

グリッドにおけるプログラミングは何が違う？

グリッド（固有）の性質

複数のサイト

複数の計算機

非均質性

非集中管理

不安定

…

プログラミングは？

意識したくない

(32)

グリッドにおけるプログラミング方法および

それらをサポートするソフトウェアの現状

使いやすいが柔軟性に欠ける

ポータル

特定のアプリケーションを利用するためのWeb インタフェースを提供。ユーザはプログラミングの必要なし。 NPACI HotPage, GridPort, Ninf-G Portal, QC Portalなど

産総研で開発を進めているシステム (Ninf-G)を高レベルミドルウェアの標準的なシステムの１つとして普及させる。本システムを基にしたプロトコル、API等をGGFにおいて標準化。

高レベルミドルウェア

並列・分散プログラミングを容易に行うためのシステム。低レベルミドルウェアが提供するグリッドに必要な機能を容易に利用する手段を提供。ほとんどのアプリケーションプログラマは高レベルミドルウェアを利用することになる。ポータルにおけるバックエンドとしても必要不可欠。この階層においては、競争が激しい

低レベルミドルウェア

セキュリティ、資源管理、（安全な）通信、データ転送、情報サービスなど、グリッドにおいて必要な要素技術を提供。豊富な機能と柔軟な利用方法を提供するが、一般ユーザが直接利用するのは難しい。米国で開発されたGlobus Toolkitが事実上の標準

基本機能、プリミティブ

Operating Systemレベルでの通信機能および認証機能などの基本機能およびプリミティブ。低レベルミドルウェアはこれらの機能を元に実装されている。難しいが柔軟な処理が記述できる

(33)

代表的な並列プログラミング手法：

MPI

データ並列（計算対象のデータを分割し、複数のプロ

セスで並列に実行するモデル）に適している

例：行列の足し算

＋

＝

各プロセスに分配各自足し算結果を集める

(34)

代表的な並列プログラミング手法：

MPI (cont’d)

すべてのプロセスが同じプログラムを実行する。ただ

し計算の対象となるデータが違う

SPMD (Single Program Multiple Data)

プロセス間でデータを送受信するためのプログラミン

グインタフェースを規定（仕様）

MPI_Send(), MPI_Recv()

MPI_Barrier()

MPI_Reduce()

などなど

並列計算のプログラミング方法として超有名

(35)

代表的な並列プログラミング手法：

multi thread

複数の

thread

と呼ばれるプログラムを実行する実体

を生成し、並列処理。

１つのプロセス内に複数の

thread

を生成。データはメ

モリを使って共有する。

共有メモリ型並列計算機でしか使えない。

(36)

代表的？な並列プログラミング手法：

RPC

タスク並列（行なうべき計算がたくさんある）に適して

いる。

遠隔手続き呼び出し

(Remote Procedure Call)

を

使ってリモート計算機上で計算を実行。

Structural Optimization Vehicle Routing Problem

(37)

GridRPC とは？

(38)

GridRPC

スーパーコンピュータ

の遠隔利用

ユーザ

Internet

① 関数呼び出し ② 結果の通知

特殊なライブラリの

遠隔呼び出し

グリッド上の複数の高性能計算機を利用した大規模計算

ポータル、ＡＳＰの

バックエンドとして利用

クライアント・サーバモデルにもとづき、独立する1つ以上

の計算（タスク）を遠隔計算機で実行

(39)

同期

RPCと非同期RPC

非同期

RPC

同期

RPC

サーバ側の処理が終了するまで

クライアントの処理はブロック

通常の関数呼び出しと同一のセ

マンティクスを提供

サーバ側の処理終了を待たずに

呼び出しが終了

複数タスクの並列実行を支援

grpc_call_async(...);

**grpc_wait_*(…);**

grpc_call_async

(...);

grpc_wait

**_*(**

…

);

grpc_call(...);

grpc_call

(...);

grpc_call_async

Client

ServerA

ServerB

grpc_call_async

grpc_wait_all

grpc_call

(40)

典型的なシナリオ（その１：デスクトップスーパーコンピューティング）

手元の計算機（

PC,

ワークステーション）から遠隔スー

パーコンピュータに計算を依頼

ライブラリの集中管理が可能

ASP

ライクアプローチ

Numerical Libraries

Applications

Ninf_call(FUNC, arg1, ...)

client

server

arguments

results

(41)

典型的なシナリオ（その２：パラメータサーベイ）

独立する大量の計算（タス

ク）を大量の遠隔計算機上

にばらまいて実行

eg. TDDFT, 気象シミュ

レーション

障害ノードは適宜捨てる・リ

トライ

新たなノードを動的に追加

Client

Servers

(42)

典型的なシナリオ（その３：

GridRPC+MPI）

粒度の大きな並列プログラム

（

MPI)

を複数のクラスタで実行

eg. QM/MDシミュレーション

粗粒度並列（

by

GridRPC

)

と細

粒度並列

(by MPI)

の組み合わ

せ

利用するクラスタの動的な切り替

えが可能

大規模実行へのアプローチとし

て非常に現実的

Client

Servers

(43)

GridRPC v.s. MPI

GridRPC

タスク並列

クライアント・サーバ

GridRPC

API

必須ではない

対応タスクのみ停止

利用可能

動的に指定可能

既存並列プログラム

のグリッド化が容易

並列性

モデル

API

co

-

allocation

障害発生時

private IP

ノード

利用資源

その他

MPI

データ並列

SPMD

MPI

必須

全体が停止

利用不可

静的に決定＊

well known

既存プログラムをその

ままグリッドで実行

＊MPI2のspawn機能を使えば動的利用可能

(44)

GridRPCの現状

Ninf

、

NetSolve

プロジェクトは

1994

年頃スタート

当初はクライアント・サーバ型

(1対1)の計算モデルを想定

クラスタの普及に伴い、マスター・ワーカ型

(1対多)の計算モ

デルが主流に

既存のシステムおよびその利用

NetSolve

細胞生理学向けモンテカルロシミュレーション

(MCell)

OmniRPC

HMCS-G (GRAPE-6 + CP-PACS)

Ninf

数値、組み合わせ最適化問題（

BMI, SDPA)

レプリカ交換モンテカルロ

(HPC Challenge @ SC2002)

Ninf-G

ApGrid Testbed上での気象シミュレーション

QM/MD simulation, TDDFT

ApGrid/TeraGridでの大規模デモ

(45)

Ninf-Gとは?

GridRPC

によるプログラム開発および実行を支援す

るソフトウェアパッケージ。

Ninf

-

G includes

C/C++, Java APIsとライブラリ

IDL コンパイラ

シェルスクリプト

クライアントプログラムのコンパイルドライバ

リモートライブラリの構築および管理

例プログラム

マニュアル

(46)

(47)

Ninf-G アプリケーション事例

分子シミュレーション

レプリカ交換モンテカルロ：

分子のポテンシャルエネルギーサーベイ SC2002においてMetacomputing Testbed上で 700CPUを用いた実験を実施

Time Dependent DFTシミュレーション：

分子の電子状態を計算 ApGrid テストベッド上で1週間にわたって継続計算

最適化問題

配送計画問題

最短経路探索

Supply Chain Management

天気予報シミュレーション

S-modelプログラム：

短中期にわたる広域天気予報シミュレーション SC2003においてTeraGrid/ApGrid/PRAGMA testbed上で実験を実施

(48)

気象シミュレーション

@SC2003

Client

(AIST)

TeraGrid Severs

NCSA Cluster (225 CPU)

利用CPU数：500 サンプルシミュレーション数：1000 実行時間：90秒利用CPU数：500 サンプルシミュレーション数：1000 実行時間：90秒 perturbation mean Sample simulation ２ Sample simulation Sample simulation １ Time evolution statistics Time evolution Time evolution

…

100 ~ 1000

(49)

ターゲットアプリケーションの特徴

必要とされる特性

スケーラビリティ

頑健性

柔軟性

Current target

CPU数実行時間 10 100 1000 10000 1 1 分 1 時間 1 日 1 週間 1 月 Climate simulation TD-DFT REX-MC 100~1000 CPUs 1 時間 ~ 1 週間占有環境 1 年

Next Target

1000 ~10000 CPUs 1 月 ~ 1 年非占有環境計算資源 A 計算資源 C 計算資源 B 時間 Resource A Resource B Resource C application application application 実験期間全体にわたり利用可能実験期間 Resource B application Resource C application Resource A application 計算資源 A 計算資源 C 計算資源 B 時間実験期間の一部のみ利用可能実験期間

(50)

Gridプログラミングモデル

既存の

Grid

プログラミングモデルではこれらの条件を満足することは困難

GridRPC

動的実行

☺

co-allocation不要計算機資源の動的変更が容易障害検知可能

☺

遠隔実行プログラムの障害を検知他の計算機資源を動的に選択可能多数の遠隔実行プログラムを効率的に管理することは困難クライアントがボトルネックになりやすい

Grid-enabled MPI

効率的なプロセス間通信

☺

通信ボトルネックを回避しやすい静的実行 co-allocationの必要性実行中にプロセス数を変化させることは困難障害に弱い 1プロセスに障害発生全プロセスが実行継続困難に

(51)

GridRPCとMPIの組み合わせによるプログラムのGrid化

両者の長所の組み合わせによる大規模プログラムの

Grid

化

Grid RPC

MPIプログラムを動的に起動

クライアントとサーバ間の疎な

(loose)通信を支援

数十∼数百の

MPIプログラムを実行管理

MPI

サーバプログラム内の密な

(tight)通信を支援

疎に連携する

(loosely coupled)

並列プログラムから構成されるアプ

リケーションのグリッド化を目的

多原理

(multi-disciplinary) シミュレーション

Hybrid QM/MD simulation

GridRPC

Ninf-G client

GridRPC

MPI Programs

GridRPC

(52)

大規模

Atomistic Simulationの必要性

Quantum description of bond breaking [ Deformation process ] [ Stress distribution ] 大規模Atomistic Simulation 適切な実行時間適切な精度保持

微細レベルの解析を通じた詳細な知識を提供

次世代半導体素子の設計

マイクロマシンの設計

微細レベル解析の特徴

ナノスケールの現象を対象

多数の原子を取り扱う

環境に敏感

高精度シミュレーションが必要

(53)

Atomistic Simulationの現状

2

2 つの条件を満足することは困難

つの条件を満足することは困難

MD Simulation:

計算コスト：小 (~10-6 m, 10-9 sec, 108 atoms) 精度：低

QM Simulation:

計算コスト：大 (< 10-8 m, 10-12 sec, 103 atoms) 精度：高

Benchmark tests

on 1024-node Cray T3E

適切な計算コスト

(54)

Hybrid QM/MD Simulation

大規模な

Atomistic simulation

の高精度実行を可能に

MD SimulationとQM simulationを連携

MD simulation

全領域の原子の振舞いを計算

経験的原子間ポテンシャルを用いた古典

MDシミュレーション

QM simulation

興味のある領域のみを対象に実行，

MDの結果を修正

Density Functional Theory (DFT)に基づくQMシミュレーション

MD Simulation

QM simulation based on DFT

(55)

Hybrid QM/MD Simulation Algorithm

シミュレーションアルゴリズム

Dr. Nakano (USC), Dr. Ogata (Nitech), et.alにより開発

原プログラムは

MPI

を用いて実装

MPICH-G2や他のGrid aware MPIを用いればGrid上で無修正で実行可能幾つかの問題が存在

Co-allocation problem Static configuration Weak fault tolerance

Ninf-Gを用いた再実装

MD prog. QM prog.

initial set-up

Calculate MD forces of QM+MD regions

Update atomic positions and velocities

Calculate QM force of the QM region

Calculate QM force of the QM regionCalculate QM force _{of the QM region} Calculate MD forces of QM region

initial set-up Initialization Initialization_{Initialization} Initial parameters Data of QM atoms QM forces Data of QM atoms QM forces Calculate QM force of the QM regionCalculate QM force _{of the QM region}Calculate QM force

(56)

SC2004における動作実験

4 つの

QM

領域

#0

: 69 atoms

including

2H

₂

O+2OH

#1

: 68 atoms

including

H

₂

O

#2

: 44 atoms

including

H

₂

O

#3

: 56 atoms

including

H

₂

O

Close-up view

Stress

環境下における

Nano-structured Si system

と水分子の化

学反応

◆ 傾斜した柱により接合された2枚 のSi slabs ◆ 0.11million atoms

(57)

実験用テストベッド

P32 (512 CPU) F32 (256 CPU) TCS (512 CPU) @ PSC P32 (512 CPU) F32 (1 CPU)

QM #0: 69 atoms

including 2H

₂

O+2OH

QM #2: 44 atoms

including H

₂

O

QM #1: 68 atoms

including H

₂

O

QM #3: 56 atoms

including H

₂

O

MD: 110,000 atoms

TCS@ PSC (512 CPU)

ES45 alpha (1.0 GHz) 4-way cluster

ASC@AIST (1281 CPU)

P32 (1024 CPU)

Opteron (2.0 GHz) 2-way cluster

F32 (257 CPU)

Xeon (3.06 GHz) 2-way cluster

TCS@ PSC (512 CPU)

ES45 alpha (1.0 GHz) 4-way cluster

ASC@AIST (1281 CPU)

P32 (1024 CPU)

Opteron (2.0 GHz) 2-way cluster F32 (257 CPU)

Xeon (3.06 GHz) 2-way cluster

Totally 1792 CPUs on 3 clusters

(58)

QM/MD simulation over the Pacific

QM Server

initial set-up Calculate MD forces of QM+MD regions

Update atomic positions and velocities

Calculate QM force of the QM regionCalculate QM force _{of the QM region}Calculate QM force

of the QM region Calculate MD forces of QM region

MD Client

P32 (512 CPU) P32 (512 CPU) F32 (256 CPU) TCS (512 CPU) @ PSC

Total number of CPUs: 1792

(59)

実験結果

2

2 日目

日目

: production run

10時間以上にわたる実行継続に成功

各マシンのロードバランスは困難

実行時間全体の

36％はアイドル

SCFステップに要する計算時間も実行毎に変化

通信時間は

negligible

QM/MDプログラム間転送データ量: 5 ~ 8 KB/call

通信時間

ASC間: 0.08 sec/call ASC ~ TCS@PSC: 0.8 sec/call (計算時間の0.001%以下）

化学反応の検証には実験時間が不足

実行タイムステップ数

: 10 (~ 7 fs に対応)

P32 (~1000CPU)を用いてさらに1週間実行を継続

実行タイムステップ数：１２５（~90 fsに対応）

さらに

2週間の実行が必要

1 2 3 4 5 6 7 8 9 10 (hour) 1 2 3 4 5 6 7 8 9 10 (SCF) 1 2 3 4 5 6 7 8 9 (time step) Cluster # of CPU # of atoms mean (min) idle (%) P32 512 69 38.5 34.1 P32 512 68 28.4 51.3 F32 256 44 55.1 5.7 TCS 512 56 22.9 54.5

グリッドにおけるプログラミング

Is Grid ready for e-Science?

産業技術総合研究所

産業技術総合研究所

グリッド研究センター

グリッド研究センター

田中

田中

良夫

良夫

[email protected]

[email protected]

自己紹介

1995

1995

慶應大学で学位取得

Parallel GC (Garbage Collection)

1996~1999:

1996~1999:

新情報処理開発機構（ＲＷＣＰ）

新情報処理開発機構（ＲＷＣＰ）

SMPクラスタにおけるプログラミングモデル、性能評価

グリッド

2000:

2000:

電子技術総合研究所

電子技術総合研究所

グリッド

2001~:

2001~:

産業技術総合研究所

産業技術総合研究所

グリッド研究センター 基盤ソフトチーム長

専門

専門

プログラミング環境

セキュリティ

性能評価

産総研

国内最大規模の研究所

国内最大規模の研究所

研究テーマ

研究テーマ

Environment

Material

Bio/Life science

Standards (JIS/OSI)

Geographical survey

Semiconductor device

Computer Science

etc.

3,500

3,500

常勤職員

常勤職員

+ 3,000

+ 3,000

非常勤職員

非常勤職員

年間約

年間約

1500

1500

億の予算

国内に７つのキャンパス

億の予算

成田

東京

つくば

グリッド研究センター

設立

設立

Since Jan. 1, 2002

7 years term

24

Research Center of

AIST

オフィス

オフィス

Tsukuba Central

グリッド研究センター基盤ソフトチーム長

_成田

_{Research Center of}

欧州：年間数億ユーロの研究投資

米国：年間数億ドルの研究投資