計算素粒子物理学の現状と展望

(1)

1

シミュレーションのためのデータグリッド

「未来の素粒子・原子核数値シミュレーション」 2007年12月19/20日 @ エポカルつくば筑波大学計算科学研究センター吉江友照 with 宇川彰、佐藤三久、建部修見、石井理修 (筑波計科セ）石川健一 (広島大理）大野木哲也（京大基研）外川浩章（阪大核物セ）松古栄夫（ＫＥＫ）

ーJLDG/ILDG の現状と将来ー

1. Introduction

2. JLDGの開発

3. ILDGの開発

4. ILDGの現状

5. JLDG/ILDGの将来

6. Summary と Vision

(2)

2

Introduction

• 格子QCD数値シミュレーション

QCD

クォーク・グルーオンの強い相互作用の基礎理論

ハドロン物理

ハドロン: メソンバリオングルーボール

)

exp(

)

det(

)

det(

1

₂ gluon s ud

D

S

D

O

dU

Z

O

〉

=

⋅⋅

−

〈

∫

グルーオンの生成確率密度

9 グルーオン配位を（分子動力学モンテカルロ法で）多数生成 9 各配位で物理量を測定し、配位のセット（アンサンブル）上の平均を計算 9 物理パラメータ（クォーク質量等）等をかえてシミュレーション q q q q q q

(3)

3

• 格子QCD研究用データグリッド

– 格子QCDシミュレーションで生成する配位等のデータは貴重 • データ生成に膨大な計算資源が必要であるが、 • 生成した配位上で種々の物理量が計算できる – 複数機関のスパコンを駆使して行う共同研究を支援 • 国内の研究グループ内でのデータ共有

• Japan Lattice Data Grid (JLDG)

– 格子QCDコミュニティ全体の研究促進

• 世界規模での配位データ共有

• International Lattice Data Grid (ILDG)

(4)

4

• hepnet-J/sc 2002~

– 目的：広域分散型ファイルシステム

– バックボーン： NII Super SINET VPN (KEK, 筑波, 京都,

大阪, 広島金沢） – 戦略：管理体制の異なる機関でセキュリティを維持しつつデータを共有：各拠点のスパコンに接続したファイルサーバ間で、管理者権限でファイルをミラー – 有効に機能 (CP-PACS/JLQCD, KEK大型シミュレーション）

JLDG の開発

CCP @Tsukuba CP-PACS RCNP @Osaka SX-5 CRC @ KEK SR8000 YITP @Kyoto SX-5 Hepnet-J/sc File Server File Server

(5)

5

• 問題の顕在化

– データの所在の管理コストが増大 • ひとまとまりのデータが複数のディスクに分散してしまう • ユーザーは、データの所在・ミラー先を覚えきれない – ユーザー・グループの概念がない • 複数の研究グループのサポートに難

• 必要な機能

– スペースの制限がない（後で追加可能な）フラットな unix 的ファイルシステム – 組織をまたがるユーザー管理

• Japan Lattice Data Grid

– システム設計・設置：筑波大計算機工学者＋日立製作所

– NII CSI 予算

(6)

6

http://www.jldg.org/

• Gfarm（AIST, Tsukuba）: global file system

• VOMS (EDG)： virtual organization management

• Naregi-CA ： user certification

• Globus Toolkit (ANL) : GSI- GridFTP

• uberftp (NCSA): interactive GridFTP client

Tsukuba KEK gftp client 6TB Gfarm server 6TB Gfarm server Internet metadata server VOMS server

・・・・

super computer file server • Grid-FTPクライアントにログインし、自サイトサーバに接続 NFS mount • グリッドのどこからでもファイルを転送 • ユーザーはファイルの所在を知る必要なし LAN SINET VPN

現在３０ＴＢ

ファイルレプリカ作成可

(7)

7

JLDGの利用法

• 最初の一回だけ

–

ユーザ証明書の取得

• ライセンスIDの取得（管理者に依頼） • ユーザー証明書発行

–

研究グループ（仮想組織, VO）に登録

• VOMSサーバにアクセスして登録を申請 • VO管理者が承認

• 日々

–

代理証明書（12時間有効） grid-proxy-init

–

uberftp でアクセス

–

globus-url-copy src dest

(8)

8

実行例

esg6110[87]% grid-proxy-init

Your identity: /C=JP/O=JLDG/OU=pacscs/CN=Tomoteru Yoshie Enter GRID pass phrase for this identity:

Creating proxy ... Done

Your proxy is valid until: Thu Dec 20 17:02:09 2007 esg6110[88]% uberftp jldg-fs1

220 jldg-fs1 GridFTP Server 2.3 (gcc32, 1144436882-63) ready. 230 User pacscs-g logged in.

uberftp> cd /gfarm/pacscs/yoshie uberftp> lcd PACS-CS

uberftp> put -r Nf3Config

Nf3Config/20060517/20060517.pdf: 40522 bytes in 0.13 seconds. 302.65 KB/sec Nf3Config/20060517/20060517.txt: 6668 bytes in 0.05 seconds. 133.97 KB/sec

(9)

9

• 試験運用中

– 管理者による試用

• Gfarm の次の版を待って実運用開始 2008年3月

– 現在：グループ単位のファイル管理（ユーザー概念なし） – 次版：ユーザー＋グループパーミッション（完全にunix 的）

• 利用範囲：格子QCDと関連分野の研究者

– pacscs: 筑波大 CCS – jlqcd: KEK – rcnp: 阪大 RCNP – jldg: それ以外のユーザー、read only

(10)

10

• 経緯と経過

– R.Kenway 氏 (EPCC, Edinburg) 提案 @ Lattice 2002

– ２つの作業グループと、国代表のボード（調整機関） – 年２回のワークショップ（TV 会議） – 2007年7月実運用システム完成

• 目標と戦略

– QCD アンサンブル/配位を世界規模で共有する – 地域グリッドを束ねた Grid of Grids を構築

ILDG の開発

(11)

11

• ILDG に接続する５つの地域グリッド

JLDG, Japan Tsukuba UKQCD , UK, Edinburgh CSSM, Australia Adelaide LatFOR, Germany/France/Italy DESY USQCD, USA Fermilab/JLab

http://www.lqcd.org/ildg

(12)

12

ILDG Board

R.Brower (US), K.Jansen (Germany), R.Kenway (UK),

D.Leinweber (Australia), O.Pene (France), F.DiRenzo (Italy), A.Ukawa (Japan)

Middleware Working Group

P.Coddington, S.Zhang (Adelaide), G.Beckett, R.Ostrowski

(Edinburgh), N.Ishii, M.Sato (Tsukuba), B.Joo, C.Wason (JLAB), D.Melkumyan, D.Pleiter (DESY), J.Simone (FNAL)

Metadata Working Group

G.Andronico (INFN), P.Coddington (Adelaide), C.DeTar (Utah) R.Edwards, B.Joo (JLAB), C.Maynard (Edinburgh) , D.Pleiter (DESY), J.Simone (FNAL), T.Yoshie (Tsukuba)

(13)

13 ユーザ

JLDG

metadata database

storage system

(regional grid)

metadata (メタデータ）:

アンサンブル/配位の素性（collaboration/project, physics parameters （lattice size, quark mass…..）, literature）

UKQCD

metadata database

storage system

(regional grid)

・・・・・・

アンサンブルの世界規模の検索

copy

地域グリッドの何処かから配位を download

• ILDG グランドデザイン

(14)

14

• 規約の策定と技術開発

9 アンサンブル/配位のメタデータ記述規則の策定 – QCDml: XML ベースの markup language 9 データ・メタデータ連係 – アンサンブルと配位の定義 – 標準ファイルフォーマット 9 アクション記述の標準化

metadata WG

9 地域グリッド間インターフェース規約の策定 – アンサンブル検索 – 配位の所在の同定 – 配位転送プロトコル – 仮想組織管理 9 アンサンブル検索とダウンロードソフトの開発

middleware WG

相互運用可能なILDG： 2007年7月正式に発足

格子QCD研究者と計算機工学者がどちらの working group にも参加

(15)

15 <npClover> <kappa>0.1354</kappa> <cSW> 1.684 </cSW> </npClover>

ensemble

XML

_{configuration}

XML

mc://JLDG/nf2/b205k1356

configuration file

lfn://JLDG/nf2/b205k1356-A200

configuration binary data

QCDml によるデータ・メタデータ連係

file-format XML size, precision

packed

with LIME

(16)

16

ミドルウェア要素

Metadata Catalogue

File Catalogue

web service interface

Storage

Elements

GridFTP http servers

SRM

SURL TURL, data TURL

data

VOMS-RS @ DESY

(17)

17

Grid Collab. Action a(fm) #conf L size(TB) JLDG CP-PACS Clover 0.12 800x5x2 16^3x32 0.5 /JLQCD Iwasaki 0.1 800x5x2 20^3x40 1.3 0.07 500x5x2 28^3x56 3.9 UKQCD RBC DWF 0.12 800x2 16^3x32 0.2 /UKQCD Iwasaki 1500x1 16^3x32 DWF 300-1200 24^3x64 1.9 DBW2 tot. 4000 UKQCD Asktad 0.12 3000 24^3x64 1.4 Tad-LW

USQCD MILC Asqtad 0.15 600x3 16^3x48 0.1

Tad-LW 600x1 20^3x48 0.1 0.12 500x6 20^3x64 0.4 0.09 500x3 28^3x96 0.8

Nf=2+1 QCD ensembles

total 10 TB

テスト（サンプル）ではない

物理研究者が物理量の計算をして意味のある

アンサンブルのフルセット

ILDGには既に貴重なデータが蓄積されている

ILDG の現状

(18)

18

• 既に研究に利用されている

– ILDG 日本サイト（Lattice QCD Archive) からの configuration download 数の推移 0 1000 2000 3000 4000 5000 6000 7000 2005年 6月 2005 年8月 200 5年10月 2005 年12月 2006 年2 月 2006年 4月 2006年 6月 2006年 8月 200 6年1 0月 2006年 12月 2007 年2月 2007年 4月 2007 年6月 2007年 8月

平均: 950 配位/月, 1 – 2 ensembles 相当

#files transferred

year/month

(19)

19

• アンサンブル検索のユーザーインターフェースの

開発が各地域グリッドで進行中

リスト提示型

JLDG/LQA

LatFor

markovChainURI

(20)

20

クリックするとメタデータが表示される

(21)

21

interactive な絞り込み検索の例 JLDG/LQA

ラジオボタンで

collaboration

project

physics parameters

絞り込み

(22)

22

マッチング検索の例： CSSM (Australia)

Lattice Size

Action

ラジオボタンで

条件を指定

(23)

23

技術の問題というより、むしろ、デザインの問題：

格子QCD研究者が何をどう検索したいのか

(24)

24

• JLDG と LQA

– JLDG: 分散ファイルシステム – LQA: ILDG 日本サイト（筑波大CCSが運用） – 別システム

• JLDG と ILDG の接続

– LQA と JLDG の統合 – ハード・ソフトの問題はない（今年度中に準備） – JLDGファイルの公開の方法・手順の検討 – メタデータ登録ツール開発 gfarm 広域分散ファイルシステムで国内拠点間でデータ共有データの一部をILDG インターフェースで世界に公開

JLDG/ILDGの将来

(25)

25 JLDG top http://www.jldg.org/ interactive search detailed description

Lattice QCD Archive

(LQA)

CP-PACS Nf=2 3 a x 4 mud • 8000 config’s, 1.5 TB CP-PACS/JLQCD Nf=2+1 3 a x 10 (mud,ms) • 21000 config’s, 6.0TB

(26)

26

• 次世代の JLDG

– JLDG: unix 的ファイルシステム、現在はｇftp でのみアクセス – ファイルシステム統合 • gfarm: gfarm ファイルシステムの NFS マウントをサポート • JLDGの仕組みは分野によらない • どの拠点のスパコンからも、どの拠点のWSからも同じファイルシステムが見える。次世代スパコンも。 • 技術より、政治の問題

• 次世代の ILDG

– ILDG: アンサンブル/配位のデータグリッド、データベース – 物理量データベース • 現 QCDml 一部サポート（） • ハドロン質量・プロパゲータ、ポテンシャル、Q …. • データベース検索で研究に適した配位を探す 1 0 , , ,am ar ar am_π _ρ

(27)

27

• 5年の開発期間をかけ、格子データグリッド

JLDG/ILDG が完成した

• JLDG

– 多機関の研究者が研究グループを構成し、事実上無限のディスクスペース上でデータを共有しつつ、研究を推進

• ILDG

– 独立なcollaborationがそれぞれの目的で生成する貴重なアンサンブル/配位が格子QCDコミュニティの共有財産として ILDG に蓄積 – ILDG に蓄積された配位を検索ダウンロードして、ハドロン物理研究を実施

計算素粒子物理学の現状と展望

シミュレーションのためのデータグリッド

ーJLDG/ILDG の現状と将来ー

1.

Introduction

2.

JLDGの開発

3.

ILDGの開発

4.

ILDGの現状

5.

JLDG/ILDGの将来

6.

Summary と Vision

Introduction

•

格子QCD数値シミュレーション

QCD

ハドロン物理

)

exp(

)

det(

)

det(

1

D

S

D

O

dU

Z

O

〉

=

⋅⋅

−

〈

∫

グルーオンの生成確率密度

•

格子QCD研究用データグリッド

• Japan Lattice Data Grid (JLDG)

• International Lattice Data Grid (ILDG)

•

hepnet-J/sc 2002~

JLDG の開発

•

問題の顕在化

•

必要な機能

•

Japan Lattice Data Grid

・・・・

・・・・

現在３０ＴＢ

ファイルレプリカ作成可

JLDGの利用法

•

最初の一回だけ

–

ユーザ証明書の取得

–

研究グループ（仮想組織, VO）に登録

•

日々

–

代理証明書（12時間有効） grid-proxy-init

–

uberftp でアクセス

–

globus-url-copy src dest

実行例

•

試験運用中

•

Gfarm の次の版を待って実運用開始 2008年3月

•

利用範囲： 格子QCDと関連分野の研究者

利用範囲：格子QCDと関連分野の研究者

相互運用可能なILDG： 2007年7月正式に発足

_{configuration}

QCDml によるデータ・メタデータ連係