Copyright National Institute of Informatics, Japan. All rights reserved. This file or a portion of this file is licensed under the terms of

(1)

NAREGI Middleware

導入手引書

V 1.1

2008 年 10 月

(2)

This file or a portion of this file is licensed under the terms of the NAREGI Public License, found at

http://www.naregi.org/download/ . If you redistribute this file, with or without modifications, you must include this notice in the file.

(3)

J2SSH Library

“This product includes software developed by SSHTools (http://www.sshtools.com/).”

openssl

“This product includes software developed by the OpenSSL Project for use in the OpenSSL Toolkit (http://www.openssl.org/)”

“This product includes cryptographic software written by Eric Young (eay@cryptsoft.com)” “This product includes software written by Tim Hudson (tjh@cryptsoft.com)”

MyProxy

This product includes software developed by Computing Services at Carnegie Mellon University (http://www.cmu.edu/computing/).

This product includes software developed by the NetBSD Foundation, Inc. and its contributors.

mod-ssl

“This product includes software developed by Ralf S. Engelschall <rse@engelschall.com> for use in the mod_ssl project (http://www.modssl.org/).”

NetBSD libnbcompat

“This product includes software developed by the NetBSD Foundation, Inc. and its contributors.”

gLite/gLite Security Utilities

“This product includes software developed by The EU EGEE Project (http://cern.ch/eu-egee/).”

VOMS/VOMS C API

“This product includes software developed by the EU DataGrid (http://www.eu-datagrid.org/).” aica

“This product includes software developed by Akira Iwata Laboratory,Nagoya Institute of Technology in Japan (http://mars.elcom.nitech.ac.jp/).”

Xerces Java Parser , XML Security

“This product includes software developed by the Apache Software Foundation (http://www.apache.org/).”

(4)

登録商標または商標について

Java は、米国 Sun Microsystems, Inc.の米国およびその他の国における登録商標または商標です。

Linux は、Linus Torvalds 氏の米国およびその他の国における登録商標または商標です。 AppArmor、openSUSE は米国 Novell, Inc.の米国およびその他の国における商標です。 PBS Professional は、米国 Altair Grid Technologies,LLC の商標です。

AIX、LoadLeveler は米国 International Business Machines Corporation の商標です。 Globus Toolkit は、米国シカゴ大学の商標です。

(5)

NAREGI Middleware 導入手引書

はじめに

本書はNAREGI Middleware の導入手引書です。

NAREGI Middleware(以下、NAREGI ミドルウェア)は「超高速コンピュータ網形成プロジェクト(National Research Grid Initiative：通称 NAREGI)」において開発されたソフトウェアです。

NAREGI ミドルウェアは、分散した計算資源を管理するだけでなく、利用環境やプログラミング環境をも含めた、統合グリッド環境を提供いたします。NAREGI ミドルウェアを構成する多くのコンポーネントは、WSRF(Web Services Resource Framework)に準拠した Web サービスとして実装されています。NAREGI ミドルウェアは、これらコンポーネントを連携動作させ、より使い易く、より高度なグリッド環境を実現しています。 NAREGIミドルウェアについての詳細は、 http://www.naregi.org/ をご覧ください。 z 本書の対象読者本書は、NAREGI ミドルウェアの導入作業や運用保守を実施される方、利用される方を対象としています。 z ドキュメント体系 NAREGI ミドルウェアのドキュメントは、次の分冊構成を取っています。 ¾ NAREGI Middleware 機能説明書 NAREGI ミドルウェア全体の機能概要について説明しています。 ¾ NAREGI Middleware 導入手引書(本書) NAREGI ミドルウェア全体を通しての動作条件や、rpm パッケージを用いたインストール方法について説明しています。 ¾ NAREGI Middleware 使用手引書(管理者編) インストール後のNAREGI ミドルウェア全体を通して運用するにあたり、必要な事項について説明しています。NAREGI ミドルウェア各サービス個々の運用に関する詳細は、後述のNAREGI ミドルウェア AG および UG を参照してください。 ¾ NAREGI Middleware 使用手引書(利用者編) インストール後のNAREGI ミドルウェア各サービスを利用するにあたり、主に GUI を持つサービスについて操作方法を説明しています。NAREGI ミドルウェア各サービスの操作詳細については、後述のNAREGI ミドルウェア UG を参照してください。

¾ 管理者ガイド NAREGI Middleware AG(Administrator Guide)

NAREGI ミドルウェア各サービスの管理者向け使用手引書です。サービスを構成するコンポーネントごとに分冊構成を取っています。

(6)

¾ 利用者ガイド NAREGI Middleware UG(User Guide)

NAREGI ミドルウェア各サービスの利用者向け使用手引書です。サービスを構成するコンポーネントのうち、利用者向け機能を持つコンポーネントごとに分冊構成を取っています。 z 重要 NAREGI ミドルウェア V1.1 の最新情報（サポートする OS バージョンなど）につ いては、Readme を参照ください。

(7)

はじめに... i 1. 導入にあたって ... 1 1.1 VO の設計 ... 1 1.1.1 VO 構成の種別 ...1 1.1.2 単一 VO 内のノード構成例 ...3 1.1.3 ノード別コンポーネントの主な機能...4 1.2 動作環境 ... 7 1.2.1 推奨ハードウェア環境 ...7 1.2.2 サポート OS とローカルスケジューラ...7 1.2.3 前提ソフトウェア...8 2. NAREGI ミドルウェアの導入（単一 VO）... 9 2.1 事前準備および確認事項 ... 10 2.1.1 構成情報の設定 ...10 2.1.2 OS のインストールと設定...12 2.1.3 ホスト名について...12 2.1.4 アカウントの作成...13 2.1.5 ローカルスケジューラの導入...13 2.2 NAREGI インストーラの取得と導入 ... 15 2.2.1 NAREGI インストーラの取得 ...15 2.2.2 NAREGI インストーラの導入 ...15 2.2.3 NAREGI インストーラの起動 ...15 2.3 旗艦ノードの OS 更新 ... 17 2.3.1 旗艦ノードへのセキュリティパッチ適用 ...17 2.4 ノード構成の設定 ... 19 2.4.1 管理ノード構成情報の設定 ...19 2.4.2 GridVM 計算ノード構成情報の設定...28 2.5 全ノードの OS 更新 ... 33 2.5.1 全ノードへのセキュリティパッチ適用 ...33 2.6 証明書の取得 ... 37 2.6.1 CA の構築と証明書発行準備...37 2.6.2 登録局構築と証明書発行準備...46 2.6.3 ホスト証明書の発行 ...49

(8)

NAREGI Middleware 導入手引書 2.6.4 ユーザ証明書の発行 ...52 2.6.5 ホスト証明書の配置 ...56 2.7 前提ソフトウェアパッケージのインストール ... 60 2.7.1 Globus までの共通前提ソフトウェアのインストール...60 2.8 UMS および VOMS の導入と設定(手動)... 62 2.8.1 環境変数の設定 ...62 2.8.2 UMS の導入...62 2.8.3 既存パッケージ(MySQL, tomcat)の確認 ...64 2.8.4 Java のインストール...64 2.8.5 VOMS の導入 ...65 2.8.6 MyProxy のインストール...67 2.8.7 セキュアログインシェルスクリプトの展開...67 2.8.8 証明書の設定...68 2.8.9 MySQL 設定...72 2.8.10 テンプレートファイルの編集...72 2.8.11 VO の作成と設定 ...72 2.8.12 VO 登録アカウントの確認 ...73 2.9 PluS のインストール ... 75 2.10 NAREGI ミドルウェアパッケージのインストール ... 76 2.10.1 NAREGI ミドルウェアのインストール ...76 2.11 NAREGI サービスの起動と停止 ... 79 2.11.1 サービスの起動と停止...79 2.12 IS handle 作成... 84 2.13 インストールの終了 ... 89 2.14 VO 内共有ディレクトリの作成 ... 90 2.14.1 VO ごとの共有ディレクトリの作成 ...90 2.15 DataGrid(DG)のインストール... 92 2.15.1 事前準備 ...92 2.15.2 DG ノード構成情報の設定 ...92 2.15.3 DG ノードの OS 更新 ...96 2.15.4 DG ノードのホスト証明書の配置 ...99 2.15.5 前提ソフトウェアパッケージのインストール ...104 2.15.6 DataGrid のインストール ...106 2.15.7 DataGrid サービスの起動 ...108 2.16 GridRPC フロントエンドノードの構築...113 2.17 NAREGI ミドルウェアのテスト ...113

(9)

NAREGI Middleware 導入手引書 3. 複数 VO の構築...114 3.1 RCS とは ...114 3.2 複数サイトの計算資源を共有する VO の作成...115 3.2.1 連携用 VO の作成 ... 116 3.2.2 Portal ノードでの設定...120 3.2.3 LRPS の設定 ...120 3.2.4 grid-mapfile へのノード登録 ...122 3.2.5 ルート証明書の交換 ...123 3.2.6 ユーザ用 grid-mapfile の設定 ...124 3.2.7 NAREGI デーモンの再起動 ...125 3.2.8 動作確認 ...125 3.3 設定方法 ... 126 3.3.1 SS の停止...126 3.3.2 設定方法 ...126 3.3.3 gridss-mkconf の実行...127 3.3.4 SS の起動...127 4. アンインストール ... 128 5. NAREGI ミドルウェアの更新(CentOS の場合)... 130 5.1 事前準備 ... 130 5.1.1 UMS および VOMS の更新...130 5.2 設定ファイルの編集 ... 130 5.3 NAREGI インストーラの更新 ... 130 5.4 アプリケーションの更新 ... 131 5.5 IS handle 再設定... 133 5.5.1 サービスの停止 ...133 5.5.2 古い IS handle からスキーマの削除 ...135 5.5.3 サービスの起動 ...136 5.5.4 IS-handle の置換...138 5.6 CA、RA サーバプロセスの起動確認... 143 5.6.1 起動確認 ...143 5.6.2 CA、RA サーバプロセスの起動...143 5.7 SSL 通信への対応... 145 5.7.1 SS ノード用ホスト証明書の発行...145 5.7.2 ホスト証明書の入れ替え...146

(10)

NAREGI Middleware 導入手引書 5.8 UMS ホスト証明書の配置 ... 147 6. (付録) 環境変数... 148 7. (付録) ユーザ資産の移行... 150 7.1 サービス別ユーザ資産移行方法 ... 150 7.2 DG... 151 7.2.1 RMS...151 7.2.2 AMS...153 7.3 SBC ... 154 7.4 Mediator... 155 7.5 GridMPI... 155 8. (付録) NAREGI ミドルウェア導入事前設定手順例 ... 156 8.1 構成情報 ... 156 8.2 Cent OS のインストールと設定... 156 8.3 インストール後の設定 ... 157 8.3.1 サービスの追加 ...157 8.3.2 不要サービスの削除・停止 ...158 8.3.3 ntp の設定 ...161 8.4 アカウントの作成と設定 ... 163 8.4.1 テストアカウントの作成と設定...163 8.4.2 インストールアカウントの作成と設定 ...165 8.4.3 VOMS アカウントの作成 ...167 8.5 PBS Professional のインストールと動作確認 ... 169 8.5.1 rsh の設定 ...169 8.5.2 PBS Professional のインストール ...169 9. (付録) GridRPC フロントエンドノードの構築... 180 9.1 ノードの構築 ... 180 9.1.1 OS のインストールと設定...180 9.1.2 開発環境の導入 ...180 9.1.3 NAREGI コンポーネントのインストール ...180 9.1.4 ホスト証明書の配置 ...180 9.1.5 ユーザごとの設定...182 9.2 ジョブの実行 ... 182

(11)

1. 導入にあたって

本章では、NAREGI ミドルウェアの動作に必要となる前提条件や注意事項、そして VO

（Virtual Organization）の構成について説明します。VO および NAREGI ミドルウェアを構成する各コンポーネントの機能概要については「NAREGI Middleware 機能説明書」を参照ください。

1.1 VOの設計

NAREGI ミドルウェアを導入する前に VO の設計を行います。 VOは人的資源と計算資源から構成されます。計算資源はさらに管理ノードと計算ノードから構成されます。管理ノード、計算ノードの詳細については、「1.1.2 単一VO内のノード構成例」を参照ください。 1.1.1 VO構成の種別 VO の作成にあたっては、NAREGI ミドルウェアの資源管理、情報サービス、データ管理等を行う管理ノードをVO ごとに構築します。 (1) 単一VO 単一VO は、１つのノード群上に VO を１つ作成します。NAREGI ミドルウェアでは、この構成が基本構成となります。 VO1 管理ノード計算ノード図 1.1-1 単一 VO 構成例 (2) 複数VO 複数VOは、原則としてVOごとに管理ノード群を作成します（「(2-1) 複数VOでVO ごとの管理ノード」）。ただし、例外として１つの管理ノードに対して複数のVOを作成することができます（「(2-2) 複数VOで管理ノードを共有」）。

(12)

NAREGI Middleware 導入手引書 (2-1) 複数VOでVOごとの管理ノード 複数の VO を構築する際は、VO ごとに管理ノード群を構築するのが基本になっています。各VO は個別の計算資源を利用することは勿論、資源を共有することも可能です。大規模なグリッド環境構築に向いています。 VO1 管理ノード計算ノード VO2 管理ノード計算ノード図 1.1-2 複数 VO で管理ノードが VO ごとの構成例 (2-2) 複数VOで管理ノードを共有 VO 管理者が同一の場合など、複数の VO で１つの管理ノード群を共有することも可能です。ただし、管理ノードに負荷が集中する場合があるので留意ください。VO 管理者は、VO メンバーのユーザ登録・変更・削除や資源の選択を行います。 VO1 管理ノード計算ノード VO2 計算ノード図 1.1-3 複数 VO で管理ノードを共有する構成例

(13)

1.1.2 単一VO内のノード構成例

管理ノードと計算ノードの構成例を以下に示します。図中のGridVM クラスタは、

GridVM 管理ノード 1 台につき 1 台以上の GridVM 計算ノードをもちます。その GridVM

クラスタの構成が１つ以上とIS-CDAS ノードが 1 台の構成（または、IS-MCDAS ノー

ドとIS-SCDAS ノードの１組）をセルドメインとしています。セルドメインもまた１

つ以上存在します。

構成例のうちNAREGI ミドルウェア環境を構築する際の必須ノードは、旗艦ノード、

UMS ノード、Portal ノード、IS-NAS ノード、IS-CDAS ノード(セルドメインごとに必要)、SS ノード、GridVM 管理ノードおよび GridVM 計算ノードです。GridVM 管理ノ

ードとGridVM 計算ノードのノード数は、各センターの運用形態により異なります。認証局(CA)ノード、登録局(RA)ノード、DG-DGUFT ノード、DG-Gfarm-VO ノード、およびGridRPC フロントエンドノードは、運用形態によって必要となります。 (*1) gLiteVOMSはNAREGIミドルウェアには含まれません。 (*2) MyProxyはNAREGIミドルウェアには含まれません。 (*3) DataGridを使用する場合に必要です。 (*4) GridRPCを使用する場合に必要です。 (*5) すでに運用されているCAから発行された証明書を利用する場合は不要です。NAREGIミドルウェアrpmパッケージ同梱のCAを利用する場合は、旗艦ノードと同一ノードになります。　　　　管理ノード　　　　計算ノード GridVM Scheduler LRPS GridVM管理ノード GridVM ｸﾗｽﾀ GridVM Engine GVS PV SS Client SBC Mediator GridRPC GridMPI GridVM計算ノード GridVM Engine GVS PV SS Client SBC Mediator GridRPC GridMPI GridVM計算ノード GridVM Engine GVS PV SS Client SBC Mediator GridRPC GridMPI GridVM計算ノード IS-MCDAS IS-RUS IS-CDASノード IS-SCDAS ｾﾙﾄﾞﾒｲﾝｾﾙﾄﾞﾒｲﾝ GridVM ｸﾗｽﾀ Portalノード Portal Renewal Service GridPSE WFT GVS SP IS SS Client DataGrid UI MyProxy（*2） gLite VOMS（*1） UMSノード UMS IS-NAS IS-MCDAS LRPS IS-NASノード IS-SCDAS SBC SS SSノード Renewal Service Gfarm Client DG-Gfarm-VOノード(*3) Gfarm-DSI Gfarm metadata Gfarm file system

DataGrid UFT DG-DGUFTノード(*3)

Gfarm file system

NAREGIインストーラ旗艦ノード CA 認証局(CA)ノード (*5) RA 登録局(RA)ノード (*5) GridRPC GridRPCﾌﾛﾝﾄｴﾝﾄﾞﾉｰﾄﾞ(*4) GridMPI 図 1.1-4 標準ノード構成例 なお以下の各ノード間は、IP リーチャブルである必要があります。・管理ノード間

(14)

NAREGI Middleware 導入手引書・管理ノードとGridVM 管理ノード・ GridVM 管理ノードと Grid 計算ノード 1.1.3 ノード別コンポーネントの主な機能 ノードごとの役割について説明します。 (1) 旗艦ノード NAREGI ミドルウェアを rpm パッケージを用いてインストールする場合に必要なノードです。 (2) CAノード、RAノード

認証局(CA：Certificate Authority) ソフトウェア、登録局(RA：Registration Authority) ソフトウェアが搭載されるノードです。証明書はすでに運用されている認証局より取得してください。この際、本ノードは不要となります。 NAREGI ミドルウェアの rpm パッケージに含まれる NAREGI-CA を用いる場合は、評価・研究用の簡易的な証明書を発行することが出来ます。この際、CA ノードおよびRA ノードは旗艦ノードと同一ノードになります。 (3) UMSノード

VO 管理を行う VOMS(VO Membership Service)機能とユーザ管理を行う UMS(User Management Server)機能から成ります。VOMS は VO 作成と削除、VO 管理者の登録、 VO ユーザの登録などを行いますが、ユーザは意識する必要はなく VO 管理者におい

て管理されます。UMS はユーザ証明書の発行要求や管理などのユーザ管理機能を持っ

ています。

(4) Portalノード

ユーザが Web ブラウザで NAREGI ミドルウェアにサインオンする際は、このノー

ド上の Web サーバにアクセスすることになります。Portal、PSE（Problem Solving

Environment）、WFT(WorkFlow Tools)、GVS SP(Grid Visualization System Service Provider)、 IS(Information Service)、SS(Super Scheduler) client、Renewal Service の各コンポーネントが搭載されたノードです。

Globus Toolkit に含まれる MyProxy も導入されます。My Proxy は CA から発行されたユーザ証明書の公開鍵と秘密鍵よりユーザ証明書の有効期間内で短い期間のプロキシ証明書を作成します。これによりてシングルサインオンの実現や認証が必要なノードへのアクセスが可能となります。

データグリッド（以下、DG）コンポーネントを利用する際は、DG-UI のサブコンポーネントが搭載され、転送ジョブの一覧や共有ファイルシステムの使用状況を画面

(15)

上から確認できます。

(5) IS-NASノード

管理ノード上に配置され IS-NAS(Node Aggregator Service)、IS-MCDAS(Monitoring Celldomain Aggregator Service)、IS-LRPS(Local Resource Provider Service)のサブコンポー

ネントが搭載されます。IS-NAS サブコンポーネントは VO 単位で情報集約を行います。 IS-MCDAS、LRPS サブコンポーネントによって SS および PSE からの情報を受けて IS-NAS に情報を集約しジョブ状態情報収集の役割も担います。LRPS は、計算ノードにもありますが管理ノードではSS から登録されるジョブの情報を収集します。 (6) IS-CDASノード 計算ノード上に配置されIS-MCDAS と IS-SCDAS ノードに分けることも可能です。その時IS-MCDAS ノードには、IS-MCDAS、IS-RUS のサブコンポーネントが搭載され、

IS-SCDAS ノードには IS-SCDAS サブコンポーネントが搭載されます。IS-SCDAS サブコンポーネントは、現在参照可能な情報に加えて過去履歴情報の参照が可能です。 IS-RUS サブコンポーネントは、資源利用記録を収集します。 (7) SSノード SS コンポーネントが搭載されているノードです。DG コンポーネントを利用する際は、Gfarm Client コンポーネントも導入されます。SS は、ジョブ要求に応じた計算資源の確保、他のコンポーネント間でジョブ要求の仲介、ジョブの予約および管理、ある１つのジョブに対し複数のマシン資源を要求するメタスケジューラ機能などを提供します。 SSはVOごとに構築が必要となり、複数のSSを構成する場合には複数SS用のRCS （Reservation Cache Service）を設定する必要があります。RCSについては、「3.1 RCS とは」を参照してください。

(8) GridVMノード(GridVM管理ノード、およびGridVM計算ノード)

GridVM ノードは、SS からのジョブ要求に対してローカルスケジューラでスケジュ

ーリングを行い、ジョブの実行を行うGridVM コンポーネントが搭載されています。

GridVM 管理ノードと、GridVM 計算ノードが含まれます。

GridVM 管理ノードには GridVM Scheduler および IS-LRPS サブコンポーネントが搭載されています。GridVM Scheduler は、GridVM 計算ノードの制御を行います。GridVM

計算ノードにはGridVM Engine およびその他のコンポーネントが搭載され、NAREGI

ミドルウェアの計算ノードとして動作します。

GridVM 管理ノードは、GridVM Engine サブコンポーネントを搭載することにより自ら計算ノードとして動作が可能ですが負荷が高くなるのでご注意ください。

(16)

NAREGI Middleware 導入手引書本ノードには予約ジョブ（予め計算資源の利用時間を予約するジョブ）と非予約ジョブの混在も可能です。ただし予約ジョブの方が優先度が高いため、予約ジョブ投入時に実行中の非予約ジョブはキャンセルされます（ローカルスケジューラが PBS Professional の場合）。非予約ジョブ実行を保証する環境を確保するには、GridVM Scheduler の設定で予約不可としたGridVM 計算ノードを準備されることをお勧めします。サポートするジョブの種類については「NAREGI Middleware 機能説明書 1.2.4 ジョブの種類」を参照ください。 (9) DG-DGUFTノード、およびDG-Gfarm-VOノード

DGのサブコンポーネントであるDataGridUFT、Gfarm-GSI、Gfarm metadata serverが搭載されたノードです。図 1.1-4では、Gfarm file systemもそれぞれのノードに搭載さ

れています。DGUFTは共有ファイルの登録・更新・削除などファイル管理を行うアクセス管理機能を持ちます。Gfarm-VOはNAREGIミドルウェア上での共有ファイルの割当て配置および使用容量を統一的に管理する資源管理機能を持ちます。 DG を用いると、グリッド環境上における共有空間の中で大容量のディスクの確保を行いメタデータ（情報を付加したデータ）として登録が可能となります。また、ワークフローに基づいてファイルをジョブの割当てノードにステージング（データ転送）を行います。 (10) GridRPCフロントエンドノード NAREGI ミドルウェアから GridRPC を使用する際に必要になるノードです。 GridRPC および GridMPI コンポーネントが搭載されます。

(17)

1.2 動作環境

1.2.1 推奨ハードウェア環境 標準ノード構成においてNAREGI ミドルウェアが動作するにあたり、推奨するハードウェア環境は次の通りです。コンポーネント単位の推奨ハードウェア構成は、コンポーネントごとの管理者ガイドを参照ください。表 1.2-1 推奨ハードウェア環境（ノードタイプごと） 対象ノードメモリ空きディスク容量 CPU 旗艦ノード(*1) 1GB 以上 10GB 以上 IA-32 CA ノード RA ノード 128MB 以上 10MB＋10KB/証明書 IA-32 UMS ノード 512MB 以上 10GB 以上 IA-32 Portal ノード 2GB 以上 100GB 以上 IA-32 IS-NAS ノード 3GB 以上（*4） 30GB 以上 IA-32 IS-CDAS ノード 3GB 以上（*4） 30GB 以上 IA-32 SS ノード 2GB 以上 30GB 以上 IA-32 2GB 以上 10GB 以上 AMD64 Opteron Power4+ GridVM 管理ノード (*2) 1GB 以上 10GB 以上 _IA-32 AMD64 Opteron Power4+ GridVM 計算ノード (*3) 1GB 以上 30GB 以上 _IA-32 DG ノード(DG-DGUFT ノード、DG-Gfarm-VO ノード) 1GB 以上 10GB 以上 IA-32 GridRPC フロントエンドノード(*3) 1GB 以上 30GB 以上 IA-32 (*1) rpmパッケージによりインストールを行う場合、旗艦ノード(インストールを代表して行うノード) は、パッケージをダウンロードするために最大3.5GBのディスク容量が必要になります。ダウンロードをプロキシ経由で行う場合は、プロキシサーバも同様のスペックを必要とします。また、インストール作業は一般ユーザ権限(“インストールユーザ”）で行うため、ディスククォータ (disk-quota)が設定されている場合はリミットが 3.5GB以上に設定されている必要があります。インストールユーザについては 2.1.1(4)を参照してください。

(*2) GridVM 管理ノードでは、必須ソフトウェアである Globus Toolkit および Tomcat のメモリ・ディスク要件も満たす必要があります。 (*3) GridVM 計算ノードおよび GridRPC フロントエンドノードでは、メモリ／空きディスク容量は動作アプリケーションの要件に依存します。 (*4)MCDAS と SCDAS を別ノードとする場合は 2GB。 1.2.2 サポートOSとローカルスケジューラ 推奨ノード構成においてNAREGI ミドルウェアが動作するにあたり、サポートする OS およびローカルスケジューラは下表の通りです。

(18)

表 1.2-2 サポートする OS とローカルスケジューラ（ノードタイプごと）

対象ノード OS ローカルスケジューラ UMS ノード Scientific Linux 3.0.9

― 旗艦ノード CA,RA ノード Portal ノード IS-NAS ノード IS-CDAS ノード SS ノード DG-DGUFT ノード DG-Gfarm-VO ノード CentOS 5.x (5.1 以上), openSUSE 10.3, RHEL 5 (*1), SUSE ES 10 (*1) ― RHEL 5 PBS Professional 9.1 (*2)

openSUSE 10.3 Sun Grid Engine v6.0 + Plus 1.0 (*3)

AIX5.2 LoadLeveler V3.2 (*4)

CentOS 5.x (5.1 以上) (*1) PBS Professional 9.1 (*2)

GridVM 管理ノード

SUSE ES 10 (*1) Sun Grid Engine v6.0 + Plus 1.0 (*3)

RHEL 5 PBS Professional 9.1 (*2)

openSUSE 10.3 Sun Grid Engine v6.0 + Plus 1.0 (*3)

AIX5.2 LoadLeveler V3.2 (*4)

CentOS 5.x (5.1 以上) (*1) PBS Professional 9.1 (*2)

GridVM 計算ノード

SUSE ES 10 (*1) Sun Grid Engine v6.0 + Plus 1.0 (*3)

GridRPC フロントエンドノード

CentOS 5.x (5.1 以上)

(*1) 正式サポート OS ではなく「動作実績のある OS」です (*2) CPU は IA-32

(*3) CPU は AMD64 Opteron (*4) CPU は Power4+

1.2.3 前提ソフトウェア

NAREGI ミドルウェアの動作に必要となる前提ソフトウェアは、rpm パッケージによるインストール実施と同時に導入されます(rpm 未対応コンポーネントを除く)。

(19)

2. NAREGIミドルウェアの導入（単一VO）

本章では、rpmパッケージを用いたNAREGIミドルウェアの導入方法について「表 2.1-3 標準ノード構成例」に準じて説明します。rpmパッケージによらない導入方法については、NAREGI ダウンロードサイトよりソースプログラムを入手いただいたうえ、ソースプログラム同梱のドキュメントを参照ください。なおrpmバイナリパッケージ版はGNUコンパイラ(gcc/g77)で作成されています。 GridMPI や GridRPC 、 SBC 、 Mediator コンポーネントにおいて Intel コンパイラや Myrinet/MX他を使用される場合はソースファイルから導入が必要となりますのでご注意ください。導入にあたっては、GridMPIコンポーネントはソースプログラム同梱のREADMEおよび http://www.gridmpi.org/gridmpi-2-x/install.html を、GridRPCコンポーネントはソースプログラム同梱のoverview.htmlおよびinstall.htmlを、SBCコンポーネントは「管理者ガイド NAREGI Middleware SBC(Synchronous Data Transfer Library)」を、 Mediatorコンポーネントは「管理者ガイド NAREGI Middleware Mediator」を参照ください。 NAREGI ミドルウェアの導入は次の順序で行います。かぎ括弧内は説明している節番号です。なお、旗艦ノードとはインストールを代表して行うノードです。 1. 事前準備および確認事項【2.1】 2. NAREGIインストーラの取得と導入【2.2】 3. 旗艦ノードのOS更新【2.3】 4. ノード構成の設定【2.4】 5. 全ノードのOS更新【2.5】 6. 証明書の取得【2.6】 7. 前提ソフトウェアパッケージのインストール【2.7】 8. UMSおよびVOMSの導入と設定(手動)【2.8】 9. NAREGIミドルウェアパッケージのインストール【2.10】 10. NAREGIサービスの起動と停止【2.11】 11. IS handle作成【2.12】 12. インストールの終了【2.13】 13. VO内共有ディレクトリの作成【2.14】 14. DataGrid(DG)のインストール【2.15】（DataGridを利用する場合に実施） 15. GridRPCフロントエンドノードの構築【2.16】（GridRPCを利用する場合に実施）

(20)

2.1 事前準備および確認事項

ここでは、NAREGI ミドルウェアのインストールを開始する前の準備や確認事項について説明します。 2.1.1 構成情報の設定 (1) インストールディレクトリ NAREGI ミドルウェアは /usr/naregi 配下にインストールされます。 (2) 環境変数 NAREGIミドルウェアが動作するにあたって必要な環境変数は、rpmパッケージによるインストール実施時に設定されます。設定される環境変数は「6 環境変数」を参照ください。 (3) 設定情報次の各設定情報について、事前に設定値を決定しておきます。表 2.1-1 事前に決定する設定情報 設定情報設定値（例）備考 VO 名 rpmtest 認証局DN /C=JP/O=naregi/OU=togo CA 名 naregica ホスト証明書 /C=JP/O=naregi/OU=togo/CN=host/ホスト名ホスト証明書DN は、認証局DN とホスト名より自動的に決定されますユーザ証明書 /C=JP/O=naregi/OU=togo/CN=ユーザ名ユーザ証明書DN は、認証局DN とユーザ名より自動的に決定されます (4) アカウント情報 rpmを用いたインストールにおいて使用する／作成されるユーザアカウントは次の通りです。管理者による事前作成が「必要」とあるアカウントは、予め作成しておく必要があります。作成手順および作成時の注意事項については「2.1.4 アカウントの作成」を参照ください。

(21)

NAREGI Middleware 導入手引書表 2.1-2 アカウント情報 アカウント種別アカウント名管理者による事前作成(*1) ユーザ証明書の発行(*2) インストールアカウント installuser 必要 (全ノードに作成。すでに NIS 管理されているアカウントの場合は作成不要) しない VOMS 管理者アカウント voms 必要 (UMS ノードのみに作成) 発行する NAREGI システムアカウント globus 不要(*3) 発行する NAREGI システムアカウント portal 不要(*3) しないテストアカウント naregiuser 必要 (UMS ノード、GridVM 管理兼計算ノード、GridVM 計算ノード、 DG-DGUFT ノード(*4)、 DG-Gfarm-VO ノード(*4)に作成) 発行する (*1) ノードについては2.1.1(5)を参照ください。 (*2) ユーザ証明書の発行は 2.6.4 で実施します。

(*3) globus アカウントは UMS ノード以外のノードに、portal アカウントは Portal

ノードに、NAREGI インストーラが各々自動作成します。

(*4) Gfarm medata server コンポーネント以外のコンポーネントが存在する DG ノードは、テストアカウントの作成が必要です。 (5) ノード構成 NAREGI ミドルウェアをインストールする際の標準ノード構成例は次の通りです。表 2.1-3 標準ノード構成例 No. ホスト名(*1) IP アドレス ノードタイプノード種別 1 naregi-portal 192.168.93.38 Portal 管理ノード 2 naregi-ss 192.168.93.39 SS 管理ノード 3 naregi-isnas 192.168.93.40 IS-NAS 管理ノード 4 naregi-iscdas 192.168.93.41 IS-CDAS 計算ノード 5 naregi-gvms1 192.168.93.44 GridVM 管理兼 GridVM 計算計算ノード 6 naregi-gvmc1 192.168.93.45 GridVM 計算計算ノード 7 naregi-cara 192.168.93.52 CA/RA 兼旗艦旗艦ノード 8 naregi-ums 192.168.93.64 UMS(*2) 管理ノード 9 naregi-dguft 192.168.93.42 DGUFT 10 naregi-gfarm 192.168.93.43 Gfarm 11 naregi-rpcfe 192.168.93.51 GridRPC フロントエンド (*2)

(22)

NAREGI Middleware 導入手引書 (*1) FQDN は「ホスト名.naregi.org」 (*2) NAREGI ミドルウェア rpm パッケージ未対応のため手動インストールを行います。それぞれ「2.8 UMSおよびVOMSの導入と設定(手動)」および「2.16 GridRPCフロントエンドノードの構築」を参照ください。 2.1.2 OSのインストールと設定 各ノードにOSをインストールします。サポートOSのバージョンは1.2.2 サポートOS とローカルスケジューラを参照ください。次項以降の説明例では、UMSノードは Scientific Linux 3.0.9、その他のノードはCentOS 5.2 を用いています。なお、OSセキュリティパッチはrpmパッケージのインストール実施中に適用します（「2.3.1 旗艦ノードへのセキュリティパッチ適用および「2.5.1 全ノードへのセキュリティパッチ適用」）。インストールするノードには、できるだけ必要最小限のパッケージを導入し、 N ウェア導入事前設定手

なお openSUSE を使用される場合は、syslogd を動作させるために予め、AppArmor

（ AREGI ミドルウェアが動作するために必要なパッケージを後から補うようにしてください。各ノードのネットワークの設定、NIS の設定(アカウントを NIS 管理する場合)、 NFS の設定(テストアカウントの登録)、ntp 等による全ノード時刻同期の設定は、rpm パッケージのインストール前に実施しておく必要があります。 OSのインストールと設定手順の例は「8 (付録) NAREGIミドル順例」の「8.1 構成情報」から「8.3 インストール後の設定」を参照ください。セキュリティツール）を無効にしておきます。 # /sbin/chkconfig boot.apparmor off

# /sbin/chkconfig --list boot.apparmor

boot.apparmor 0:off 1:off 2:off 3:off 4:off 5:off 6:off

← off になっていることを確認設定後はノードの再起動を行 2.1.3 ホスト名について をインストールするノードのホスト名は、FQDN で設定されています。 NAREGI ミドルウェアいる必要があります。全てのノードでhostname コマンドを実行し、FQDN が正しく設定されていることを確認ください。 # hostname naregi-portal.naregi.org ← portalノードの例

(23)

NAREGI Middleware 導入手引書 openSUSE 環境では、ドメイン名が付かないホスト名が既定で設定されています。こ集し、次の変更を行ってください。編集後のため、openSUSE を使用される場合は起動スクリプトを編集し、ホスト名に FQDN が設定されるようにする必要があります。 /etc/rc.d/init.d/boot.localnet をエディタで編、マシンの再起動を行い、ホスト名がFQDN であることを確認してください。 # vi /etc/rc.d/init.d/boot.localnet hostname ${XHOSTNAME%%.*} ↓ hostname ${XHOSTNAME} ← %%.* の部分を削除するなお、ローカルスケジューる場合は、ホスト名の長さが 2.1.4 アカウントの作成 カウントのうち、事前作成が必要なものを作成します。カウ 2.1.5 ローカルスケジューラの導入 VM 計算ノードにローカルスケジューラを導入しま 1. ローカルスケジューラの導入方法および設定については、各ローカルスケジューラ付定については「8 (付録) NAREGIミドルウェア導入

また、Sun Grid Engine の導入後には、GridVM 管理ノードおよび GridVM 計算ノードに

ラにSun Grid Engine を使用す 24 文字以下になるよう設定する必要があります。 2.1.1(4)で決定した各ア作成手順の例は「8 (付録) NAREGIミドルウェア導入事前設定手順例」の「8.4 アントの作成と設定」を参照ください。 (1) ローカルスケジューラの導入 GridVM 管理ノード、および Grid す。次項以降の説明例では、PBS Professional が導入されることを想定しています。 NAREGIミドルウェアがサポートするローカルスケジューラおよびバージョンは 2.2を参照ください。属の説明書を参照してください。なおPBS Professionalの導入および設事前設定手順例」の「8.5 PBS Professionalのインストールと動作確認」を参照ください。おいてreporting ファイルへの出力情報の設定をしておく必要があります。 # qconf -mconf

(24)

reporting_params accounting=true reporting=true joblog=true ¥ flush_time=00:00:15 sharelog=00:00:00

← reporting_params の accounting、reporting、 joblogの値をすべて =true に変更

Sun Grid Engineへジョブ投入、実行が可能な状態にしておきます。ジョブの作成方法 (2) gangliaが導入済の場合 すでに Ganglia を導入されている場合は、port 番号が重複しないようにする必要があ、GridVM 管理ノードおよび GridVM 計算ノードに

等に関してはSun Grid Engineインストールガイドを参照してください。なおPluSのインストールは「2.9 PluS のインストール」で行います。ります。なおNAREGI ミドルウェアでインストールされる Ganglia(naregi-ganglia)は "8649"番 port を使用します。既存 Ganglia のインストール情報については、計算機センターの管理者に確認ください。 naregi-ganglia の port 番号の変更はおいて次の手順で行います。以下の例において /usr/naregi は NAREGI ミドルウェアのインストールディレクトリです。

[installuser@ naregi-gvms1 ~]$ vi /usr/naregi/etc/gmond.conf

(25)

2.2 NAREGIインストーラの取得と導入

2.2.1 NAREGIインストーラの取得

NAREGI ダウンロードサイトから NAREGI インストーラを取得し展開します。・(CentOS の場合)

[installuser@naregi-cara ~]$ lftpget http://rpm1.naregi.org/naregi/ver1.1/system/cent5/noarc

h/naregi-utils-1.11-0cent5.28.noarch.rpm

← ダウンロードサイトからNAREGIインストーラを取得

・(openSUSE の場合)

[installuser@naregi-cara ~]$ lftpget http://rpm1.naregi.org/naregi/ver1.1/system/oSuSE10/n

oarch/RPMS.oSuSE10/naregi-utils-1.11-0oSuSE10.28.noarch.rpm

oarch/naregi-apt-0.5.15lorg3.2-0oSuSE10.0.i586.rpm

oarch/naregi-apt-0.5.15lorg3.94a-0oSuSE10.0.x86_64.rpm ← ダウンロードサイトからNAREGIインストーラを取得 2.2.2 NAREGIインストーラの導入 旗艦ノード上に NAREGI インストーラをインストールし起動することを確認します。インストールはrpm コマンドを利用します。・(CentOS の場合)

[installuser@naregi-cara ~]$ sudo rpm -Uvh naregi-utils-1.10-0cent5.23.noarch.rpm

← NAREGIインストーラのインストール(rpmパッケージを取得したディレクトリで実行)

・(openSUSE の場合)

[installuser@naregi-cara ~]$ sudo rpm -Uvh naregi-utils-1.11-0oSuSE10.14latest.noarch.rp

m

[installuser@naregi-cara ~]$ sudo rpm -Uvh naregi-apt-0.5.15lorg3.2-0oSuSE10.0.i586.rpm

← NAREGIインストーラのインストール(rpmパッケージを取得したディレクトリで実行) 2.2.3 NAREGIインストーラの起動 [installuser@naregi-cara ~]$ /usr/naregi/sbin/nrg-install.sh ← NAREGIインストーラの起動 ####################################################################### ################# NAREGI TOOL ############################ #######################################################################

(26)

### Select Operation ### ### [1] OS update (this node) ### ### [2] setup NAREGI nodes information ### ### [3] OS update (remote nodes) ### ### [4] certificate ### ### [5] install globus (all nodes except UMS,onlyCA,onlyRA) ### ### [-] build UMS ### ### [7] install each rpm-pkg (each node) ### ### [8] start naregi-service ### ### [9] IS handle ### ### [0] exit ### ####################################################################### Select Operation (0-9) : 以降、NAREGI インストーラの指示に従い、対話的にインストールを行います。

(27)

2.3 旗艦ノードのOS更新

2.3.1 旗艦ノードへのセキュリティパッチ適用 NAREGI インストーラは、旗艦ノードから他ノードに対してインストールを行います。従って、まず旗艦ノードのOS のセキュリティパッチを適用します。 [installuser@naregi-cara ~]$ /usr/naregi/sbin/nrg-install.sh ← NAREGIインストーラの起動 ####################################################################### ################# NAREGI TOOL ############################ ####################################################################### ### Select Operation ### ### [1] OS update (this node) ### ### [2] setup NAREGI nodes information ### ### [3] OS update (remote nodes) ### ### [4] certificate ### ### [5] install globus (all nodes except UMS,onlyCA,onlyRA) ### ### [-] build UMS ### ### [7] install each rpm-pkg (each node) ### ### [8] start naregi-service ### ### [9] IS handle ### ### [0] exit ### ####################################################################### Select Operation (0-9) : 1

← “OS update (this node)“ (本例では1)を選択

Your input : 1 OK? [Y/n]:

← 空送信(リターンキー)で次へ

sudo Defaults setting. ssh Defaults setting.

*********************************************************************** *********************************************************************** *********************************************************************** [1] OS update (this node)

*********************************************************************** 1. appling security update

*********************************************************************** check naregi-globus installation...

NOTE: yum affairs ... (略)

*********************************************************************** * Note : To complete kernel update, you have to reboot!

*********************************************************************** Reboot now? [Y/n]: Y

(28)

reboot!!!!!!!!!

date : Fri Apr 11 08:34:58 JST 2008

*********************************************************************** [1] OS update (this node) complete

*********************************************************************** （略）

リブート開始を指示後、旗艦ノードから一旦ログアウトし、セキュリティパッチが適用された状態で旗艦ノードが再起動されるまでお待ちください。

(29)

2.4 ノード構成の設定

2.4.1 管理ノード構成情報の設定 NAREGIインストーラを起動しノード構成設定（メニューの 2）を選択し、管理ノードの情報設定（メニューの1）を選択します。以下、管理ノード（計算ノード以外）の情報設定（ホスト名、IPアドレス、ホスト証明書DN）を順次行います。管理ノードおよび計算ノードについては、2.1.1(5)を参照してください。 (1) ノード構成設定画面の表示 [installuser@naregi-cara ~]$ /usr/naregi/sbin/nrg-install.sh ← NAREGIインストーラの起動 ####################################################################### ################# NAREGI TOOL ############################ ####################################################################### ### Select Operation ### ### [1] OS update (this node) ### ### [2] setup NAREGI nodes information ### ### [3] OS update (remote nodes) ### ### [4] certificate ### ### [5] install globus (all nodes except UMS,onlyCA,onlyRA) ### ### [-] build UMS ### ### [7] install each rpm-pkg (each node) ### ### [8] start naregi-service ### ### [9] IS handle ### ### [0] exit ### ####################################################################### Select Operation (0-9) : 2

← “setup NAREGI nodes information“(本例では2)を選択 Your input : 2 OK? [Y/n]: ← 空送信(リターンキー)で次へ (2) 管理ノード情報設定メニューの表示 *********************************************************************** *********************************************************************** *********************************************************************** [2] setup NAREGI nodes information

*********************************************************************** ---

--- setup NAREGI nodes information --- ---

(30)

--- Select NAREGI node config --- --- (1) node config --- --- (2) VM node config --- --- (0) exit --- ---

Select NAREGI node config (0-2):

(3) 認証局DN情報の設定とCA(認証局)・RA(登録局)の設定

証明書発行を行う認証局(CA)の DN を設定します。すでに運用されている認証局か

ら取得した証明書を利用する場合は、CA/RA ノードを構築しない(“n”を選択)とする必

要があります。

Select NAREGI node config (0-2):1

← “node config”(本例では1)を選択

*********************************************************************** [2]-(1) NAREGI node configration

*********************************************************************** ### NAREGI node setting ###

## DN subject ##

DN subject [/C=JP/O=naregi/OU=mylab]: /C=JP/O=naregi/OU=togo

← 予め決定したDNを入力

Your settings:

DN subject : /C=JP/O=naregi/OU=togo Setting is correct? [Y/n]:

Do you need CA/RA? 1. yes

You can issue trial certificate files

for all the hosts of this site, globus user and Job submit test user. Build CA/RA and issue certificate files at section [4].

Note: CA/RA are built on this node. 2. no

(31)

for all the hosts/users of this site.

Extract the certificate files from tar archives at section [4]. Do you need CA/RA? [Y/n]:

← NAREGIミドルウェアrpmパッケージ同梱のCAから発行した証明書を利用する場合は”y” (デフォルト)、すでに運用されているCAから発行された証明書を利用する場合は”n”を選択する。 ## CA ## CA node IP : 192.168.93.52

CA node host name : naregi-cara.naregi.org

CA DN : /C=JP/O=naregi/OU=togo/CN=host/naregi-cara.naregi.org ## RA ##

RA node IP : 192.168.93.52

RA node host name : naregi-cara.naregi.org

RA DN : /C=JP/O=naregi/OU=togo/CN=host/naregi-cara.naregi.org

(4) UMSのノード情報設定

## UMS ##

UMS node IP [192.168.2.11]: 192.168.93.64

UMS node host name [ums.hoge.org]: naregi-ums.naregi.org

← UMSノードのIPアドレスとノード名を入力

UMS DN [/C=JP/O=naregi/OU=togo/CN=host/naregi-ums.naregi.org]:

Your settings:

UMS node : naregi-ums.naregi.org 192.168.93.64

UMS DN : /C=JP/O=naregi/OU=togo/CN=host/naregi-ums.naregi.org Setting is correct? [Y/n]:

(5) IS -NASのノード情報設定

## ISNAS ##

ISNAS node IP [192.168.2.12]: 192.168.93.40

ISNAS node host name [isnas.hoge.org]: naregi-isnas.naregi.org

← ISNASノードのIPアドレスとノード名を入力

ISNAS DN [/C=JP/O=naregi/OU=togo/CN=host/naregi-isnas.naregi.org]:

(32)

Your settings:

ISNAS node : naregi-isnas.naregi.org 192.168.93.40

ISNAS DN : /C=JP/O=naregi/OU=togo/CN=host/naregi-isnas.naregi.org Setting is correct? [Y/n]:

(6) IS -CDASのノード情報設定

## ISMCDAS ##

Celldomain name [Celldomain1]:

← デフォルトから変更の必要がなければ空送信(リターンキー) で次へ

ISMCDAS node IP [192.168.2.12]: 192.168.93.41

ISMCDAS node host name [iscdas.hoge.org]: naregi-iscdas.naregi.org

← ISCDASノードのIPアドレスとノード名を入力

ISMCDAS DN [/C=JP/O=naregi/OU=togo/CN=host/naregi-iscdas.naregi.org]:

Your settings:

Celldomain name : Celldomain1

ISMCDAS node : naregi-iscdas.naregi.org 192.168.93.41

ISMCDAS DN : /C=JP/O=naregi/OU=togo/CN=host/naregi-iscdas.naregi.org Setting is correct? [Y/n]:

## ISSCDAS ##

ISSCDAS node IP [192.168.93.41]:

ISMCDAS node host name [naregi-iscdas.naregi.org]:

ISSCDAS DN [/C=JP/O=naregi/OU=togo/CN=host/naregi-iscdas.naregi.org]:

Your settings:

ISSCDAS node : naregi-iscdas.naregi.org 192.168.93.41

ISSCDAS DN : /C=JP/O=naregi/OU=togo/CN=host/naregi-iscdas.naregi.org Setting is correct? [Y/n]:

(7) SSのノード情報設定

(33)

SS node IP [192.168.2.13]: 192.168.93.39

SS node host name [ss.hoge.org]: naregi-ss.naregi.org

← SSノードのIPアドレスとノード名を入力 SS DN [/C=JP/O=naregi/OU=togo/CN=host/naregi-ss.naregi.org]: ← 空送信(リターンキー)で次へ Your settings: SS node : naregi-ss.naregi.org 192.168.93.39 SS DN : /C=JP/O=naregi/OU=togo/CN=host/naregi-ss.naregi.org Setting is correct? [Y/n]:

SS RCS node IP [192.168.93.39]:

← SSノードと同一ノード(デフォルト)でよければ空送信(リターンキー)で次へ

SS RCS node host name [naregi-ss.naregi.org]:

← 空送信(リターンキー)で次へ SS RCS node port [8080]: ← 空送信(リターンキー)で次へ SS RCS DN [/C=JP/O=naregi/OU=togo/CN=host/naregi-ss.naregi.org]: ← 空送信(リターンキー)で次へ Your settings: SS RCS node : naregi-ss.naregi.org:8080 192.168.93.39 SS RCS DN : /C=JP/O=naregi/OU=togo/CN=host/naregi-ss.naregi.org Setting is correct? [Y/n]:

(8) GridVM Schedulerのノード数設定

GridVM管理ノードの情報設定(2.4.1(9))に先立ち、ノード数を設定します。なおノード構成については2.1.1(5)を参照してください。

## GVMSNUM ##

The number of GridVM Scheduler node [1]: 1

← GridVM管理ノード数を指定 (本例では1)を入力

Your settings:

The number of GridVM Scheduler node : 1 Setting is correct? [Y/n]:

(34)

NAREGI Middleware 導入手引書 (9) GridVM Schedulerのノード情報設定 GridVM 管理ノードが 2 ノード以上ある場合は、GridVM 管理ノードごとに IP アドレス、ホスト名、証明書DN、RP（Resource Provider）を設定します。その際、RP は共有することも可能で、同一RP 名（名前は任意）を指定することで実現します。 ## GVMS ##

GridVM Scheduler node 1 IP [192.168.2.14]: 192.168.94.44

GridVM Scheduler node 1 host name [gvms1.hoge.org]: naregi-gvms1.naregi.org

← GridVM管理ノードのIPアドレスとノード名を入力

GridVM Scheduler node 1 DN [/C=JP/O=naregi/OU=togo/CN=host/naregi-gvms1.naregi.or g]:

← 空送信(リターンキー)で次へ GridVM Scheduler node 1 RP [kyushu-u-1]: RP-1

← RP(Resource Provider)を設定 (本例では"RP-1")を入力

Your settings:

GridVM Scheduler node 1 : naregi-gvms1.naregi.org 192.168.94.44

GridVM Scheduler node 1 DN : /C=JP/O=naregi/OU=togo/CN=host/naregi-gvms1.naregi.o rg

GridVM Scheduler node 1 RP : RP-1 Setting is correct? [Y/n]:

← 空送信(リターンキー)

(10) Portalのノード情報設定

Portal ノードがグローバルおよびローカルの 2 つのアドレスを持つ場合に限り、 Portal node host name と Portal node GATE name の値が異なります。Portal node GATE name には外向きのグローバルアドレスを持つホスト名を指定してください。

## PORTAL ##

Portal node IP [192.168.2.15]: 192.168.93.38

Portal node host name [portal.hoge.org]: naregi-portal.naregi.org

← PortalノードのIPアドレスとノード名を入力

Portal node GATE name [naregi-portal.naregi.org]:

← Portal node GATE nameは外向きのグローバスアドレスを持つホスト名を指定(本例では空送信 (リターンキー)で次へ) Portal DN [/C=JP/O=naregi/OU=togo/CN=host/naregi-portal.naregi.org]: ← 空送信(リターンキー)で次へ Your settings:

(35)

Portal node : naregi-portal.naregi.org 192.168.93.38 Portal node GATE name : naregi-portal.naregi.org

Portal DN : /C=JP/O=naregi/OU=togo/CN=host/naregi-portal.naregi.org Setting is correct? [Y/n]:

(11) VO名の設定

## VO ##

VO name [nrg-vo]: rpmtest

← VO名(本例では”rpmtest”)を入力

Your settings:

VO name : rpmtest Setting is correct? [Y/n]:

← 空送信(リターンキー)で次へ (12) 全体の設定確認 Your settings: CA node : naregi-cara.naregi.org 192.168.93.52 CA DN : /C=JP/O=naregi/OU=togo/CN=host/ naregi-cara.naregi.org RA node : naregi-cara.naregi.org 192.168.93.52 RA DN : /C=JP/O=naregi/OU=togo/CN=host/naregi-cara.naregi.org UMS node : naregi-ums.naregi.org 192.168.93.64

UMS DN : /C=JP/O=naregi/OU=togo/CN=host/naregi-ums.naregi.org ISNAS node : naregi-isnas.naregi.org 192.168.93.40

ISNAS DN : /C=JP/O=naregi/OU=togo/CN=host/naregi-isnas.naregi.org IS Celldomain name : Celldomain1

ISMCDAS node : naregi-iscdas.naregi.org 192.168.93.41

ISMCDAS DN : /C=JP/O=naregi/OU=togo/CN=host/naregi-iscdas.naregi.org ISSCDAS node : naregi-iscdas.naregi.org 192.168.93.41

ISSCDAS DN : /C=JP/O=naregi/OU=togo/CN=host/ naregi-iscdas.naregi.org SS node : naregi-ss.naregi.org 192.168.93.39

SS DN : /C=JP/O=naregi/OU=togo/CN=host/naregi-ss.naregi.org SS RCS node : naregi-ss.naregi.org:8080 192.168.93.39

SS RCS DN : /C=JP/O=naregi/OU=togo/CN=host/naregi-ss.naregi.org GridVM Schd NUMBER : 1

GridVM Schd 1 node : naregi-gvms1.naregi.org 192.168.93.44

GridVM Schd 1 DN : "/C=JP/O=naregi/OU=togo/CN=host/naregi-gvms1.naregi.org" GridVM Schd 1 RP : "RP-1"

Portal node : naregi-portal.naregi.org 192.168.93.38 Portal Gate name : naregi-portal.naregi.org

(36)

VO name : rpmtest Do you modify it again? [y/N]:

← 設定を修正する場合は “n”を応答し、最初から再度設定を実施する(空送信(リターンキー)で次へ)。

(13) ノード構成情報の各ノードへの配布

NAREGI node setting is completed.

*********************************************************************** check the remote nodes

*********************************************************************** *********************************************************************** access to HOST:naregi-gvms1.naregi.org...

check ssh to HOST:naregi-gvms1.naregi.org... ssh Defaults setting.

Connection to naregi-gvms1.naregi.org closed. check sudo at HOST:naregi-gvms1.naregi.org... sudo Defaults setting.

Connection to naregi-gvms1.naregi.org closed.

User installuser may run the following commands on this host: (ALL) NOPASSWD: ALL

Login Shell : check OS release... check clockdiff...

list rpm packages at HOST:naregi-gvms1.naregi.org... --- OK? [Y/n]: ← パッケージリストの更新確認(空送信(リターンキー)で次へ) *********************************************************************** access to HOST:naregi-portal.naregi.org... check ssh to HOST:naregi-portal.naregi.org...

The authenticity of host 'naregi-portal.naregi.org (192.168.93.38)' can't be established. RSA key fingerprint is a0:8f:d2:e2:40:4a:d5:75:90:67:95:dc:33:b3:89:25.

Are you sure you want to continue connecting (yes/no)? yes ssh Defaults setting.

Connection to naregi-portal.naregi.org closed. check sudo at HOST:naregi-portal.naregi.org... sudo Defaults setting.

Connection to naregi-portal.naregi.org closed.

(37)

check clockdiff...

list rpm packages at HOST:naregi-portal.naregi.org... --- OK? [Y/n]: ← パッケージリストの更新確認 (空送信(リターンキー)で次へ) （中略） ← 以降、各ノード分繰り返し（中略） *********************************************************************** deploy the naregi node config

*********************************************************************** * get remote host's list from /usr/naregi/etc/node.conf

* remote nodes : * naregi-gvms1.naregi.org * naregi-portal.naregi.org * naregi-ss.naregi.org * naregi-isnas.naregi.org * naregi-iscdas.naregi.org *********************************************************************** Deploy node.conf to the remote nodes? [Y/n]:

← 空送信(リターンキー)で各ノードへ構成情報を配布する

*********************************************************************** deploy the naregi node.conf to HOST:naregi-gvms1.naregi.org...

*********************************************************************** deploy the naregi node.conf to HOST:naregi-portal.naregi.org...

*********************************************************************** deploy the naregi node.conf to HOST:naregi-ss.naregi.org...

*********************************************************************** deploy the naregi node.conf to HOST:naregi-isnas.naregi.org...

*********************************************************************** deploy the naregi node.conf to HOST:naregi-iscdas.naregi.org...

*********************************************************************** deploy the naregi node config complete

← 配付完了

*********************************************************************** *********************************************************************** [2]-(1) NAREGI node configration complete

*********************************************************************** ---

--- Select NAREGI node config --- --- (1) node config ---

(38)

--- (2) VM node config --- --- (0) exit --- ---

Select NAREGI node config (0-2):

なお、配布中にパスワードの問合せがある場合はインストールアカウントのパスワードを入力してください。 2.4.2 GridVM計算ノード構成情報の設定 管理ノードに続いて、 GridVM 計算ノードの情報を設定します。 (1) 計算ノード情報設定メニューの表示 ---

Select NAREGI node config (0-2): 2

← “VM node config”を選択 Your input : 2 OK? [Y/n]: ← 空送信(リターンキー)で次へ (2) GridVM Engineのノード情報設定と配布(1 ノード目) *********************************************************************** [2]-(2) GridVM node configration

*********************************************************************** NOTE: To identify Grid VM scheduler, please select Grid VM scheduler twice. * number of GridVM (Scheduler): 1

* GridVM LIST :

* 1. naregi-gvms1.naregi.org * ---

* 0. exit

*********************************************************************** Select GridVM from the LIST (input number) (0-1): 1

← GridVM管理ノードを選択

(39)

configure GridVM 1... ### VM node setting ###

Note: If you had certificate files for "Job submit test user", you can deploy certificate files and setup by this tool. Preconditions

1. "Job submit test user" were already useradded to GridVM nodes. 2. you have certificate files for this user,

or you will make certificate files with this site's CA/RA. Do you need operations for Job submit test user? [Y/n]:

← テストユーザの証明書類をGridVM計算ノードに配布を行うかの確認デフォルトは”y”(空送信(リターンキー) で次へ)。 ”n”を選択した場合は、インストール終了後に手動でGridVMノードのgrid-mapfile に登録を行う。登録手順は統合マニュアル利用手引書 (管理者編)「2.3 grid-mapfileへの登録」を参照ください。

Job submit test user [voms-test]: naregiuser

← テストユーザを入力 Job submit test user DN [/C=JP/O=naregi/OU=togo/CN=naregiuser]:

← 空送信(リターンキー)で次へ GridVM engine user [globus]:

GridVM engine group [globus]:

← 空送信(リターンキー)で次へ GridVM engine port [7474]:

← 空送信(リターンキー)で次へ GridVM scheduler port [7777]:

← 空送信(リターンキー)で次へ The number of GridVM engine host [1]: 2

← 1ノード目のGridVM管理ノード配下で持つGridVM Engineのノード数を入力 GridVM engine 1 host name []: naregi-gvms1.naregi.org

← 1ノード目のGridVM計算(兼 GridVM管理) ノードのホスト名

GridVM engine 1 DN [/C=JP/O=naregi/OU=togo/CN=host/naregi-gvms1.naregi.org]:

← 空送信(リターンキー)で次へ GridVM engine 2 host name []: naregi-gvmc1.naregi.org

← 2ノード目のGridVM計算ノードのホスト名

(40)

Your settings:

The RP name : RP-1 GridVM engine user : globus GridVM engine group : globus GridVM engine port : 7474

GridVM scheduler host : naregi-gvms1.naregi.org

GridVM scheduler host DN : /C=JP/O=naregi/OU=togo/CN=host/naregi-gvms1.naregi.org GridVM scheduler port : 7777

The # of GridVM engine hosts : 2

GridVM engine 1 host name : naregi-gvms1.naregi.org

GridVM engine 1 DN : "/C=JP/O=naregi/OU=togo/CN=host/naregi-gvms1.naregi.org" GridVM engine 2 host name : naregi-gvmc1.naregi.org

GridVM engine 2 DN : "/C=JP/O=naregi/OU=togo/CN=host/naregi-gvmc1.naregi.org" Job submit test user : naregiuser

Job submit test user DN : /C=JP/O=naregi/OU=togo/CN=naregiuser Do you modify it again? [y/N]:

← セッティングした内容を確認し空送信(リターンキー)で次へ

VM node setting is completed.

*********************************************************************** check the remote nodes

*********************************************************************** *********************************************************************** access to HOST:naregi-gvms1.naregi.org...

check ssh to HOST:naregi-gvms1.naregi.org... ssh Defaults setting.

Connection to naregi-gvms1.naregi.org closed. check sudo at HOST:naregi-gvms1.naregi.org... sudo Defaults setting.

Connection to naregi-gvms1.naregi.org closed.

list rpm packages at HOST:naregi-gvms1.naregi.org... --- OK? [Y/n]: ← 空送信(リターンキー)で次へ *********************************************************************** access to HOST:naregi-gvmc1.naregi.org... check ssh to HOST:naregi-gvmc1.naregi.org... ssh Defaults setting.

Connection to naregi-gvmc1.naregi.org closed. check sudo at HOST:naregi-gvmc1.naregi.org...

(41)

sudo Defaults setting.

Connection to naregi-gvmc1.naregi.org closed.

list rpm packages at HOST:naregi-gvmc1.naregi.org... ---

OK? [Y/n]:

*********************************************************************** *********************************************************************** deploy the GridVM node config

*********************************************************************** * get remote host's list from /usr/naregi/etc/vmnodes/vmnode001.conf

* remote nodes :

* naregi-gvms1.naregi.org * naregi-gvmc1.naregi.org

*********************************************************************** NOTE: If you changed a GridVM node configuration,

you have to deploy vmnode.conf to the GridVM nodes.

Deploy vmnode.conf & node.conf to the remote GridVM scheduler/engine nodes? [Y/n]:

← 空送信(リターンキー)で GridVM Scheduler 1のGridVM

計算ノードの構成情報を配布

*********************************************************************** deploy the vmnode.conf & node.conf to HOST:naregi-gvms1.naregi.org...

*********************************************************************** deploy the vmnode.conf & node.conf to HOST:naregi-gvmc1.naregi.org...

***********************************************************************

(3) 情報設定メニューの終了

*********************************************************************** [2]-(2) GridVM node configration

*********************************************************************** NOTE: To identify Grid VM scheduler, please select Grid VM scheduler twice. * number of GridVM (Scheduler): 1

* GridVM LIST :

* 1. naregi-gvms1.naregi.org * ---

* 0. exit

*********************************************************************** Select GridVM from the LIST (input number) (0-1): 0

Copyright National Institute of Informatics, Japan. All rights reserved. This file or a portion of this file is licensed under the terms of

NAREGI Middleware

導入手引書

V 1.1

2008 年 10 月

はじめに

目次

1. 導入にあたって

1.1 VOの設計

1.2 動作環境

2. NAREGIミドルウェアの導入（単一VO）

2.1 事前準備および確認事項

2.2 NAREGIインストーラの取得と導入

2.3 旗艦ノードのOS更新

2.4 ノード構成の設定