5.2 グリッドシステム
飯田好美、岩井剛、川端節彌、佐々木節、鈴木聡、渡瀬芳行、八代茂夫
5.2.1 概要
計算科学センターではグリッドコンピューティングの仕組みを利用し、本機構と共同研 究を行う研究機関との間で、データ及び計算資源を共有するためにグリッドシステムを構 築し、運用を行っている。 混乱を避けるため、先に本節で用いられるグリッドシステムという用語に対する解釈を 与える。図 1 は実際にインストールされた計算科学センターに於いて運用中の要素をサー ビスに着眼し、まとめたものである。図 1 に示されるように多くの場合、グリッドに於け るサービスとは一つ以上の小サービスがお互いに作用することにより形成され、複数のサ ービスにより、グリッドに於ける管理単位に相当する「サイト」が形成される。これはグ リッドの「複数機関に跨った計算基盤を利用する」という設計思想に基づく。このサイト を形成・構築するためのソフトウェアを特に区別してミドルウェアと呼ぶが、計算科学セ ンターでは複数のミドルウェア（gLite、NAREGI、iRODS、SRB 等）を使用し複数サイトを運 用している。本節では計算科学センターで運用される、これら複数のサイトを全て含め「グ リッドシステム」として扱うこととする。 次節以降でグリッドシステムを構成しているサイトの利用状況と、これらにより提供さ れる計算インフラ上での昨年度活動内容について報告する。5.2.2 KEK Grid CA
図 1 計算科学センターにて実運用中の Grid 計算インフラの構成。実際には複数のミ ドルウェア（NAREGI, SRB, iRODS, gLite 等）により複数の Site が構成されているが、 混乱を避けるため、図中にはgLite ミドルウェアにより構成された LCG インフラ部の みを示した。図 2 2008 年度の月間電子証明書発行部数。個 人証明書は青、ホスト証明書は赤で示した。2006 年 2 月からの累計発行部数はそれぞれ折れ線で 示してあり、2009 年 3 月末までに個人証明書は 累計365 部、ホスト証明書は 820 部発行された。 図 3 2008 年度中の KEK-1（青）及び KEK-2 （赤）の可用性（実線）・信頼性（波線）のプ ロット。KEK-2 に於いては年度を通じて可用 性・信頼性共にSLA に定められる値を下回る ことがなかったが、KEK-1 では 3 月に大きく 下回る数値を記録した。年明けにリリースされ たミドルウェアで後位互換が失われたことに 因る。 KEK Grid CA は世界に 80 程度ある IGTF1の策定する規格に準拠・承認された 認証局の一つである。2006 年 2 月に正式 運用を開始して以来、国内外のグリッド 利用者、及びサービス提供ホストに対し 電子証明書を発行している。 図 2 に KEK Grid CA が 2008 年度に発 行した個人証明書とホスト証明書の発行 部数を示す。2008 年度は 160 部の個人証 明書と 373 部のホスト証明書が発行され、 認証局運用開始以来の累計発行部数はそ れぞれ 365 部、820 部に達した。
5.2.3 JP-KEK-CRC-01/02
JP-KEK-CRC-01（KEK-1）及び JP-KEK-CRC-02（KEK-2）は EGEE2が開発を 推進する gLite ミドルウェアにより構築さ れた計算資源を提供するサイトである。約 50 カ国・200 機関から 300 程度のサイトが 参加することによって、LCG という巨大な 計算基盤が構築され、当センターはそのう ちの 2 サイトとなる KEK-1 及び KEK-2 が運 用中である。KEK-1 は研究開発用途に、KEK-2 は KEK-1 で培われた経験に基づき、より安定したサ ービスを提供するために分離して運用が なされている。図 3 に両サイトの 2008 年 度運用実績を示した。KEK-2 は年度を通じ 90%以上の稼動率で運用を行うことが出来 たが、一方で KEK-1 では年明けにリリース されたミドルウェアの一部で後位互換が失われたことにより、SLA3に定められる最低基準線 を大きく下回ることとなった。 2008 年度の KEK-1 及び KEK-2 の運用実績を表 1 にまとめた。参考のため、各項目下段
1 The International Grid Trust Federation: http://www.gridpma.org/ 2 Enabling Grids for E-sciencE: http://public.eu-egee.org/
3 Service Level Agreement: 品質保証基準のようなもので算出式を含む完全な資料は
https://edms.cern.ch/document/860386/ から取得可能である。
括弧内に 2007 年度の実績を示した。なお、KEK-2 の Downtime には共通情報システム更新作 業に伴う、2009 年 1～3 月の長期停止期間も含む。
表 1 2008 年度 KEK-1 及び KEK-2 運用統計
5.2.4 VOMS: Virtual Organization Membership Service
VOMS とは仮想組織（VO）に所属する利用者の情報を管理するサービスで 2006 年 8 月よ り voms.kek.jp にて、Belle を含むいくつかの VO の中核サービスとして稼働中である。2008 年度は大きな変更や障害はなく、順調に運用がなされた。なお、現行バージョンはミドル ウェア・OS 共にセキュリティパッチ対象外となったため、2009 年度中の更新を予定してい る。
5.2.5 NAREGI によるサイト間連携試験
当センターでは NAREGI ベータリリース以来、環境構築・運用試験を行い、ミドル間相 互運用の可能性を模索し、フィードバックをかけることで NAREGI 開発へ貢献している。 2008 年度は NAREGI 正式版リリースを受け、サイトの再構築・動作試験を経て、国立天 文台、広島工業大学、そして当センターを含めた 3 拠点間連携試験を実施した。試験のた めの仮想組織を各拠点上に形成し、それぞれの分野を代表するアプリケーションを用いて 性能評価を行い、NAREGI の有用性を確認した。5.2.6 アプリケーションインターフェースの開発
5.2.5 NAREGI によるサイト間連携試験で構築された試験基盤を利用し異種ミドル間連携 開発が推進中されている。既に冒頭で述べたとおり、多くの利用者の要求に応えるため、 当センターでは複数の異種ミドルウェアを用いてサービスを展開している。一部の機能が 一部のミドル間でのみ相互利用が実現されているものの、現状、多くのミドル間で複数の 機能が互換利用できていない。今後も OGF (Open Grid Forum; http://ogf.org) 等の標準 化策定組織で要求を継続的に提言していくことが重要である [2, 4] 。ミドルウェアレベルでの相互互換実現は LCG を含む、多くのプロダクション計算インフ Site name Downtime GGUS
Ticket
Average Jobs CPU time (hrs*kSI2K) hrs # Avail. Rel. KEK-1 1,010 (306) 14 (16) 13 (17) 0.86 (0.89) 0.89 (0.90) 23,019 (51,836) 1,773 (61,166) KEK-2 1,220 (134) 6 (6) 4 (17) 0.93 (0.79) 0.95 (0.79) 19,651 (35,027) 3,155 (192,974) Total 2,230 (440) 20 (22) 17 (34) 0.90 (0.84) 0.92 (0.85) 42,670 (86,863) 4,928 (254,140)
76
77
ラが影響を受けるため、近々に実現さ れる見込みは薄いが、アプリケーショ ンレベルでの実現は比較的、容易に実 現可能な見通しである。SAGA (A Simple Grid API for Grid Applications) と 呼ばれる OGF で標準化されたソフトウ ェアを用いて、ミドルウェアとアプリ ケーションをインターフェースする図 5 中に於けるアダプタを実装すること により、SAGA が提供する API を用いた アプリケーションはコードを修正することなく、複数ミドルに対応することが可能である。 当センターでは 2008 年度、高エネルギー物理学分野における要求要件の解析を行い、 SAGA の NAREGI ジョブアダプタおよび PBS ジョブアダプタの設計と試作に着手し、この成果 は OGF でも報告された [6] 。
5.2.7 グリッドウェブポータルの開発
放射線治療を施すための治療計画立案の際には、CT による画像診断結果を始め、様々な 入力情報を線量計算プログラムに与え「どれだけのエネルギーをもつ粒子」を「どれだけ の量 (時間)」「どの方向から」病巣に対して照射するべきか見積もる。高精度な結果を得 るためには、より多くの計算時間が必要となり、大規模な計算資源が必要とされる。しか しながら、治療施設内に於いてこうした大規模な計算資源を定常運転することは電力及び 空間コストの観点から困難が伴う。こうした困難を回避し、大規模な計算資源を必要とす る計算を短時間で大量かつ安全に処理するために、Grid インフラへのウェブインターフェ ースが開発された [5] 。5.2.8 ユーザ対応・他
グリッドの運転維持には多くの計算資源 と人的資源が必要とされるため、大学研究室 の規模で継続的に運用をまかなうことは困難 である。当センターでは 2007 年 3 月に国内の 共同研究機関（東北大・筑波大・名古屋大・ 神戸大・広工大）にシステム一式を構築し、 拠点間を遠隔相互診断するための計算基盤と して KEK を含む 6 拠点間で科学的目標に依存 しない加速器科学仮想組織を整備した。 2008 年度は自動監視・診断システム [1] 図 4 加速器科学仮想組織上に実施された 運用支援実績。2008 年度は 184 人時間の支 援業務が実施され、うち6 割はミドルウェ ア更新作業であった。 図 5 SAGA の構成 (http://saga.cct.lsu.edu/)78
79
の開発に注力し、業務効率の向上に努め、また、各拠点のソフトウェア・アップデート、 QA 対応といった運用支援も継続的に行われている。2008 年度は 184 人・時間のサポートが 各拠点に対して行われた。 機構内の研究グループ（ILC と BELLE）への支援も継続的に行われている。定期的にミ ーティングを開催し、性能向上・環境改善に役立てられた。成果のうちいくつかは測定器 研究会で報告された [3] 。
発表等
[1] “An Automatic Monitoring and Diagnostic System over a Virtual Organization for the Accelerator Science in Japan”, G. Iwai, M. Fujii, T. Koyama, Y. Nagasaka, T. Sasaki and Y. Watase, Proc. of the IEEE Nucl. Sci. Symp. 2008, Dresden, Germany, pp. 3017-3020
[2] “RNS Requirements from KEK based on operational experiences using LCG/SRB/NAREGI”, Go Iwai, Talk given at GFS-WG of OGF24., 15-19 Sep 2008, Singapore
[3] “KEK Grid and Computing”, Go Iwai, Talk given at ILC Detector Workshop., 15-17 Dec 2008, Tsukuba, Japan
[4] “RNS Requirements from KEK based on operational experiences using LCG/SRB/NAREGI”, Go Iwai, Talk given at GFS-WG of OGF25., 2-6 Mar 2009, Catania, Italy
[5] “放射線治療シミュレーションでの GRID の利用”, G. Iwai and Y. Watase, 日本
シミュレーション学会誌「シミュレーション」, Vol.28, No.1, Mar 2009
[6] “SAGA-NAREGI Adaptor”, Go Iwai, Talk given at SAGA-WG of OGF25., 2-6 Mar 2009, Catania, Italy
