HPCI 共用ストレージ
利用マニュアル
2
更新履歴
版数 日付 更新内容 作成者 初版 2012/03/31 第2 版 2012/08/30 パス名とアカウントについてローカル とGfarm 上の違いを追記 代理証明書の更新について追記 安全にファイル共有する方法を追記 ファイル複製数に関する注意を追記 自動複製に関する注意事項を修正 並列処理の並列度の説明を追記 クオータの説明を追記 トラブルシューティングの追加・変更 第3 版 2012/11/30 証明書の更新について重複する節を削 除し、代わりに有効期限への注意を記 載 gfarm2fs でマウントした状態でのフ ァイル複製自動作成の方法を一部変更 並列処理コマンドを紹介する節のタイ トルにコマンド名を追加 GSI-SSH でログインした場合の代理 証明書関連の注意事項を追加 Anonymous Web と Samba アクセス についてファイルの置き場所などを追 記 トラブルシューティングの修正 第4 版 2013/03/22 マウント方法の変更に伴い、パスに関 する記載を全て変更し、代理証明書に 関する注意事項を削除 フ ァ イ ル 複 製 の 管 理 方 法 よ り も gfpcopy の説明を先にするように節の 順番を変更し、gfpcopy の実行例と説 明を修正
3
目次
1. はじめに ...4 1.1. HPCI共用ストレージの概要 ...5 1.2. Gfarmの用語 ...7 2. HPCI共用ストレージ利用方法 ...8 2.1. 代理証明書作成方法 ...8 2.2. 安全にファイルにアクセスする方法 ...8 2.3. HPCI共用ストレージのマウント ...9 2.4. 高速ステージングコマンド - gfpcopy ... 10 2.5. ファイル複製の管理方法 ... 11 2.5.1. ファイル複製の格納場所 ... 11 2.5.2. ファイル複製作成 ... 11 2.5.3. ファイル複製自動作成 ... 12 2.5.4. 多数ファイルに対する高速複製作成 - gfprep ... 12 2.6. アクセス制御 ... 14 2.7. ストレージ利用状況表示 ... 15 2.8. Webアクセス方法 ... 16 2.9. Anonymous Web利用方法 ... 19 2.10. Samba利用方法 ... 20 3. トラブルシューティング ... 21 3.1. はじめに ... 21 3.2. マウントできない ... 223.3. 「Transport endpoint is not connected」でファイルにアクセスできな い 24 3.4. 「Invalid argument」でファイルにアクセスできない ... 25
3.5. 「Connection refused」でファイルにアクセスできない ... 27
4
1. はじめに
本書は、HPCI 共用ストレージを利用する方法について解説した文書です。 本書に掲載されているコマンドターミナル画面において、太字の部分は実際に入力してい ただくコマンドを表しています。 なお、本書ではあらかじめHPCI 証明書発行システムにより電子証明書を取得していること を前提に解説しています。 電子証明書の取得に関しては「HPCI ログインマニュアル」を参照してください。5 1.1. HPCI 共用ストレージの概要 HPCI 共用ストレージは組織をまたがってファイル共有を可能にするもので、Gfarm ファ イルシステムとよばれる広域分散ファイルシステムで実現されています。Gfarm ファイル システムは、主に以下の4 つで構成されます。 ① メタデータサーバ（マスター）1 台 gfmd (Gfarm metadata server) PostgreSQL
② メタデータサーバ（スレーブ）複数台 gfmd (Gfarm metadata server) PostgreSQL
③ ストレージサーバ（ファイルシステムノード）複数台 gfsd (Gfarm filesystem daemon)
④ クライアント 複数台 各種Gfarm コマンド gfarm2fs （任意）Apache httpd、Samba 上記 4 種類は、必ずしも別のホストである必要はありません。すなわち、もし利用可能な ホストの数が限られているのであれば、同一のホストを、これらの用途で利用することが できます。ただし、メタデータサーバのマスターとスレーブはその目的から別ホストであ る必要があります。
6
アカウントとパスに関する注意事項
Gfarm ファイルシステム上のアカウント（ユーザ名、グループ名、ホームディレクトリな ど）は、クライアントホストのローカルアカウントとは別に独立して設定されており、当 該Gfarm ファイルシステムが利用できる環境であれば、どこからでも常に同じものが使わ れます。なお、本書ではGfarm ファイルシステム上のアカウント名を「HPCI-ID」と表記 しています。 Gfarm ファイルシステム上のファイルやディレクトリのパスは、クライアントホストのロ ーカルパスとは別のものであり、当該Gfarm ファイルシステムが利用できる環境であれば、 どこからでも同じパス（絶対パス）でGfarm ファイルシステム上のファイルやディレクト リを参照できます。なお、本マニュアルではGfarm ファイルシステムをクライアントホス トにマウントして利用することを前提に、マウント後のクライアントホスト上でのパスで 解説します。7 1.2. Gfarm の用語 Gfarm クライアント Gfarm ファイルシステムを利用するホストまたは端末です。 gfarm2fs Gfarm ファイルシステムを Unix/Linux 上にマウントするコマンドです。
gfmd (Gfarm metadata server)
メタデータを管理するサーバで、マスターサーバ 1 台とスレーブサーバ複数台で構成 することができます。メタデータはマスターの gfmd からスレーブの gfmd に転送さ れます。またジャーナルファイルにメタデータの更新情報を保存し、そのジャーナル ファイルからメタデータの更新情報を読み出して、PostgreSQL データベース上のメ タデータを更新します。
gfsd (Gfarm filesystem daemon)
ファイルの実体を保存・管理するサーバで、1 台でも構成可能ですが、Gfarm ファイ ルシステムの性質上、一般的に複数台で構成します。また同一ホスト内に複数の gfsd を起動し、複数のファイルシステムノードとして機能させることも可能です。 メタデータ Gfarm ファイルシステムに保存されるファイルの実体以外の情報のことで、以下の情 報などが含まれます。 エントリ情報（ファイル、ディレクトリ、シンボリックリンク） ファイル複製（冗長化）情報（gfsd 上の実ファイルへの参照情報） gfmd ホスト情報 gfsd ホスト情報 ユーザ情報 グループ情報 ジャーナルファイル メタデータの更新情報を保存します。
8
2. HPCI 共用ストレージ利用方法
2.1. 代理証明書作成方法 「HPCI ログインマニュアル」を参照してください。 なお、GSI-SSH でログインできる環境では既に代理証明書が作成され、使用できる状態に なっています。ただし、以前に作った代理証明書を使う場合は、有効期限に注意してくだ さい。 2.2. 安全にファイルにアクセスする方法 HPCI 共用ストレージ上のファイル（やディレクトリ）は、標準設定では平文でネットワー ク共有されます。ネットワーク上を暗号化した状態でファイルにアクセスするには、クラ イアントホスト上のホームディレクトリに .gfarm2rc という名前の設定ファイルを作成 し、その中に以下のように記述します。 暗号化されているか確認するには以下のように実行します。 ここで左から2 番目の文字が「G」となっていることを確認してください。もし「g」にな っている場合は、設定ファイルの名前が間違っているか、設定内容の記述ミスである可能 性があります。ファイル名とファイルの内容の両方をご確認ください。 gfhost コマンドの詳細については man ページを参照してください。 auth enable gsi *auth disable gsi_auth *
$ gfhost –lv 0.01/0.03/0.03 G i386-fedora3-linux 2 linux-1.example.com 600 0(10.0.0.1) 0.00/0.00/0.00 G i386-fedora3-linux 2 linux-2.example.com 600 0(10.0.0.2) 0.00/0.02/0.00 G i386-redhat8.0-linux 1 linux-4.example.com 600 0(10.0.0.4) 0.10/0.00/0.00 G sparc-sun-solaris8 1 solaris-1.example.com 600 0(10.0.1.1) ...
9 2.3. HPCI 共用ストレージのマウント
HPCI 共用ストレージは各クライアントホストにおいてそれぞれのユーザがマウントして 利用することができます。なお、HPCI 環境ではマウントポイントが「/gfarm/課題 ID/ ユーザ名」として用意されています。 マウントする場合は以下のように実行します。 アンマウントする場合は以下のように実行します。 マウント状況はdf コマンドで確認できます。 マウント後は、ls や cp などの通常のコマンドによりファイルアクセスが可能となります。 マウントに失敗する場合は、「3. トラブルシューティング」を参照してください。 なお、mount.hpci でマウントすると、そのマウントポイントが HPCI 共用ストレージのホ ームディレクトリになります。 注意事項 HPCI 共用ストレージの利用にあたっては、まず代理証明書の有効期限を確認してください。 確認するには以下のように実行します。 代理証明書の有効期限が切れていた場合、myproxy-logon を利用している場合は再度 myproxy-logon を、GSI-SSH でログインしている場合は再度 mount.hpci（umount.hpci によるアンマウントは不要）を実行してください。
$ mount.hpci
$ df –h /gfarm/課題ID/ユーザ名
Filesystem Size Used Avail Use% Mounted on
gfarm2fs 20P 16P 4.5P 78% /gfarm/課題ID/ユーザ名 $ umount.hpci
10 2.4. 高速ステージングコマンド - gfpcopy 拠点スパコンのファイルシステムとの間のファイルのコピーは HPCI 共用ストレージをマ ウントして cp コマンドなどでコピーできますが、多数のファイルをコピーする場合は gfpcopy コマンドを使います。gfpcopy コマンドは並列にファイルコピーを行うことによ り、高速にファイルコピーが完了します。デフォルトでは 4 並列でファイルコピーを行い ますが、-j オプションで変更することが可能です。なお、最適な並列度は、ファイルサイ ズやファイル数、拠点スパコンのファイルシステム性能、ストレージサーバまでの距離、 ストレージサーバまでのバンド幅によって変わります。 標準では 4 並列ですが、/etc/gfarm2.conf に下記の設定がされている場合は、指定さ れている「数字」が標準の並列度になります。 また、ホームディレクトリに .gfarm2rc を作成し、上記と同様の設定を追加すると、ユ ーザごとに標準の並列度を変えることができます。
以下は、HPCI 共用ストレージ上にあるディレクトリ/gfarm/課題 ID/ユーザ名/dir とそ のサブディレクトリ以下にあるファイルを、クライアントのローカルディスク上の /tmp/dir としてコピーする例です。
以下は、クライアントのローカルディスク上にあるディレクトリ/tmp/dir とそのサブディ レクトリ以下にあるファイルを、HPCI 共用ストレージ上の/gfarm/課題 ID/ユーザ名/dir としてコピーする例です。 コピー先にファイルが存在する場合、コピー元のほうが新しければ、コピー先ファイルを 上書きします。 なお、gfpcopy はディスク容量の空きが多いホストへ優先的にコピーします。また、-D オ プションを利用することにより、指定したドメインの拠点へコピーできます。以下は、 *.c1.example.com ドメインの拠点にコピーする例です。 詳細はgfpcopy の man ページを参照してください。 $ gfpcopy /gfarm/課題ID/ユーザ名/dir /tmp
$ gfpcopy /tmp/dir /gfarm/課題 ID/ユーザ名 client_parallel_copy 数字
11 2.5. ファイル複製の管理方法 Gfarm ファイルシステムでは、ファイルはいずれかのファイルシステムノードに格納され ますが、2 つ以上のファイルシステムノードにファイルの複製を保持することもできます。 ファイルの複製を保持することにより、ファイルシステムノードの障害時でも、ファイル アクセスが可能になる他、ファイルアクセスの分散によりファイルアクセス性能を向上さ せることができます。 ただし、ファイルの複製を作ると、それだけディスクの容量を消費しますので、一時的な ファイルに対しては複製を作ることは避けてください。なお、複製数はファイルの重要度 に応じて変えることができます。 2.5.1. ファイル複製の格納場所 ファイルがどこに格納されているかを知るためには gfwhere コマンドを利用します。 例えば具体的には以下のように実行します。 2.5.2. ファイル複製作成 ファイルの複製を作成するには gfrep コマンドを使います。例えば、1 つの複製（オリジ ナルと合わせて2 つの同じファイル）を作成したい場合は、以下のように実行します。 この場合、同じファイルがlinux-1.example.com と linux-2.example.com に格納され ます。オプション-N で指定する数字は（オリジナルを含む）複製数です。 $ gfwhere ファイルパス $ cd /gfarm/課題ID/ユーザ名 $ gfwhere test.txt linux-1.example.com $ cd /gfarm/課題ID/ユーザ名 $ gfrep –N 2 test.txt $ gfwhere test.txt linux-1.example.com linux-2.example.com
12 逆に複製の数を減らす場合には-x オプションをつけて gfrep コマンドを使います。 ただし、次項で説明する「ファイル複製自動作成」を設定している場合、設定している値 より少ない数に減らすことはできません。 2.5.3. ファイル複製自動作成 自動的に複製を作るためには、gfncopy コマンドを使ってファイルを作成するディレクト リに対して複製数を指定します。以下の例では、ディレクトリ/gfarm/課題 ID/ユーザ名 /dir およびそのサブディレクトリ以下に作られたファイルに対して自動的に3 つの複製（オ リジナルを含む）が作られるように設定しています。 また、設定は以下のように実行して確認できます。 詳細はgfncopy の man ページを参照してください。 なお、自動複製作成中にネットワーク切断やハードウェア故障などの障害が発生した場合 は、6 時間以内に自動的に複製数が修復されます。 2.5.4. 多数ファイルに対する高速複製作成 - gfprep 多数のファイルに対して高速に複製を作成するには、gfprep コマンドを使います。gfprep コマンドは複数のファイルに対し並列にファイル複製を作成します。デフォルトでは 4 並 列でファイル作成を作成しますが、-j オプションで変更することが可能です。なお、最適 な並列度は、ファイルサイズやファイル数、拠点スパコンのファイルシステム性能、スト レージサーバまでの距離、ストレージサーバまでのバンド幅によって変わります。 $ cd /gfarm/課題ID/ユーザ名 $ gfwhere test.txt linux-1.example.com linux-2.example.com $ gfrep –x –N 1 test.txt $ gfwhere test.txt linux-2.example.com $ cd /gfarm/課題ID/ユーザ名 $ gfncopy -s 3 dir $ cd /gfarm/課題ID/ユーザ名 $ gfncopy -v dir gfarm://メタデータサーバ名:601/home/課題ID/HPCI-ID/dir: 3
13 標準では 4 並列ですが、/etc/gfarm2.conf に次の設定がされている場合は、指定され ている「数字」が標準の並列度になります。 また、ホームディレクトリに .gfarm2rc を作成し、上記と同様の設定を追加すると、ユ ーザごとに標準の並列度を変えることができます。 gfprep コマンドは gfrep コマンドとほぼ同様に利用することができ、以下は、指定したデ ィレクトリ以下にあるファイル複製が3 個ずつになるように増やす例です。 以下は、指定したディレクトリ以下にあるファイル複製が1 個ならば 2 個に増やし、2 個 より多くあれば2 個に減らす例です。 ただし、gfncopy で自動複製作成を設定している場合、gfncopy で設定している値より少 ない数に減らすことはできません。 以下は、指定したディレクトリ以下にあるファイルの中で、*.c1.example.com ドメイン の拠点にだけ存在するファイルに対して、*.c2.example.com ドメインの拠点にも複製を 1 個作成する例です。 特にある拠点にあるファイルの複製を別拠点に作成する場合に便利です。詳細はgfprep の man ページを参照してください。 $ cd /gfarm/課題ID/ユーザ名 $ gfprep -N 3 dir $ cd /gfarm/課題ID/ユーザ名 $ gfprep -N 2 -x dir $ cd /gfarm/課題ID/ユーザ名
$ gfprep -S c1.example.com -D c2.example.com dir client_parallel_copy 数字
14 2.6. アクセス制御 HPCI 共用ストレージは所有者、グループ、それ以外のグループに対する読込、書込のアク セス制御だけではなく、特定の個人、特定のグループに対するアクセス制御も可能です。 所有者、グループ、それ以外のグループに対するアクセス制御はgfls コマンドで確認でき ます。 アクセス制御の変更はgfchmod コマンドを利用します。 特定のユーザ HPCI-ID2 に対し、あるディレクトリの読込、書込権限を与えるためには gfsetfacl コマンドを利用します。 アクセス権限の確認はgfgetfacl コマンドを利用します。 詳細はそれぞれのman ページを参照してください。 $ cd /gfarm/課題ID/ユーザ名 $ gfls –ld dir
drwxr-xr-x 2 HPCI-ID 課題 ID 0 Apr 1 06:46 gfarm://メタ データサーバ名:601/home/課題ID/HPCI-ID/dir
$ cd /gfarm/課題ID/ユーザ名 $ gfchmod 775 dir
$ cd /gfarm/課題ID/ユーザ名
$ gfsetfacl –m u:HPCI-ID2:rwx dir
$ cd /gfarm/課題ID/ユーザ名 $ gfgetfacl dir
# file: gfarm://メタデータサーバ名:601/home/課題ID/HPCI-ID/dir # owner: HPCI-ID # group: 課題ID user::rwx user:HPCI-ID2:rwx group::rwx mask::rwx other::r-x
15 2.7. ストレージ利用状況表示 クオータ（利用量の制限）が設定されているユーザの場合、gfusage コマンドや gfquota コマンドを実行することでディスクの使用量や制限値を表示することができます。 なお、ここで FileSpace はファイルの複製を含まない使用量、PhysicalSpace はファ イルの複製を含めた使用量です。また、それぞれに対し、警告を発するようになる上限値 SoftLimit と、物理的に書き込みが不可能になる上限値 HardLimit が設定可能ですが、 上記の例では、PhysicalSpace に対しては SoftLimit も HardLimit も設定されてい ません。
詳細についてはgfusage と gfquota の man ページを参照してください。 $ gfusage
# UserName : FileSpace FileNum PhysicalSpace PhysicalNum HPCI-ID : 1197588688 319925 2240368868 639851 $ gfquota UserName : HPCI-ID GracePeriod : 86400 FileSpace : 1197588688 FileSpaceGracePeriod : disabled FileSpaceSoftLimit : 10000000000 FileSpaceHardLimit : 11000000000 FileNum : 319925 FileNumGracePeriod : disabled FileNumSoftLimit : disabled FileNumHardLimit : disabled PhysicalSpace : 2240368868 PhysicalSpaceGracePeriod : disabled PhysicalSpaceSoftLimit : disabled PhysicalSpaceHardLimit : disabled PhysicalNum : 639851 PhysicalNumGracePeriod : disabled PhysicalNumSoftLimit : disabled PhysicalNumHardLimit : disabled
16 2.8. Web アクセス方法 gfarm2fs でマウントした HPCI 共用ストレージを、それぞれのユーザの権限で httpd を起 動してWeb 経由でアクセスできるようにする方法について紹介します。ただし、GSI-SSH でログインしたセッションにおいてgfarm2fs でマウントした場合は、そのセッションをロ グアウトすると代理証明書が自動的に削除されてしまうために、マウントしておいた共用 ストレージにアクセスできなくなることに注意してください。 ① 使用するポートの決定 httpd は標準で 80/tcp を使用しますが、一般ユーザの権限では 1024 番以降のポート番号 のみが利用可能です。管理者と相談し、どのポートを使うかを決めます。またiptables な どでファイアウォールが設定されている場合は管理者に頼んでそのポートを開放してもら ってください。 ② 設定ファイルの用意 ホームディレクトリ以下に設定ファイルやログファイルなどを保存するディレクトリを用 意します。以下の例ではホームディレクトリ直下の www ディレクトリ以下に作成します。 httpd の標準設定ファイルをコピー（またはリンク）します。 ③ 設定ファイルの書き換え ~/www/conf/httpd.conf を以下のように書き換えます。 ④ ⑤ $ mkdir ~/www $ cd ~/www
$ mkdir conf logs run
$ ln –s /etc/httpd/modules .
$ cd ~/www/conf
$ cp /etc/httpd/conf/httpd.conf . $ ln –s /etc/httpd/conf/magic .
Listen 80 Listen 使用するポート番号
Include conf.d/*.conf #Include conf.d/*.conf
ServerRoot "/etc/httpd" ServerRoot "/home/ユーザ名/www"
17 ここで Options や AllowOverride などの設定は適宜使用形態に合わせて書き換えてく ださい。詳細は、httpd の設定マニュアルなどを参照してください。 なお、上記の例ではHPCI 共用ストレージ上のホームディレクトリに Web でアクセスでき るように設定していますが、ホームディレクトリではなく、その下のディレクトリに設定 したい場合は、上記の設定のうち、「/gfarm/課題ID/ユーザ名」としている部分を適宜変 更してください。 ④ 認証パスワードの設定 パスワードによるアクセス制限をかけるために、httpd.conf に追記した AuthUserFile で指定したファイルにパスワードを保存します。まず以下のようにして自分のみが読み書 き可能なパスワードファイルを作成します。 DocumentRoot "/var/www/html"
DocumentRoot "/gfarm/課題ID/ユーザ名" <Directory "/gfarm/課題ID/ユーザ名">
AuthUserFile /home/ユーザ名/www/conf/.htpasswd AuthGroupFile /dev/null
AuthName "Gfarm Web of ユーザ名" AuthType Basic
require valid-user
Options Indexes FollowSymLinks AllowOverride None
Order allow,deny Allow from all </Directory> $ cd ~/www/conf $ touch .htpasswd $ chmod 600 .htpasswd $ ls -l .htpasswd -rw--- 1 ユーザ名 グループ名 0 Feb 2 12:37 .htpasswd
18 アクセスを許可するユーザ名とパスワードを設定します。 同様にして必要なユーザについて登録します。詳細はhtpasswd の man ページを参照して ください。 ⑤ httpd の起動 まずGfarm ファイルシステムをマウントします。
Gfarm ファイルシステム上のホームディレクトリが「/gfarm/課題 ID/ユーザ名」として アクセスできるようになっていることを確認した上で、以下のように実行します。 これにより、 http://ホスト名または IP アドレス:ポート番号/ の URL で Gfarm ファ イルシステム上のホームディレクトリにアクセスできるようになります。閲覧には先ほど 設定したユーザ名とパスワードが必要です。 ⑥ httpd の停止 以下のように実行します。 アンマウントします。 $ htpasswd ~/www/conf/.htpasswd アクセスを許可するユーザ名 New password: ← パスワードを設定
Re-type new password: ← 確認のためにパスワードを再入力 Adding password for user アクセスを許可するユーザ名
$ /usr/sbin/httpd -d ~/www
$ kill `cat ~/www/run/httpd.pid` $ mount.hpci
19 2.9. Anonymous Web 利用方法
HPCI 共用ストレージに対して、Anonymous Web アクセスを行うための Web サーバが 準備される予定です。そのWeb サーバに対し、 http://Web サーバのホスト名/gfarm/ 課題ID/HPCI-ID/ の URL でアクセスできます。 Anonymous Web で共有するファイルは下記のディレクトリ以下に置いてください。 /gfarm/課題ID/ユーザ名/www/ 上記のディレクトリ（実体はシンボリックリンク）は自動的に作成されますが、その前に www という同じ名前のファイルやディレクトリが存在している場合は自動的に作成されま せん。その場合は、以下のように実行して他の名前でシンボリックを作成してください。 ここで、課題ID と HPCI-ID を間違えないように注意してください。 この例の場合、Anonymous Web で共有するファイルは下記のディレクトリ以下に置きま す。 /gfarm/課題ID/ユーザ名/www2/
Anonymous Web を通じて共有するファイルは全てのユーザが読み込み可能（a+r）とし、 共有するディレクトリは全てのユーザが実行可能（a+x）としてください。
なお、Web サーバについて接続方法などの詳細は HPCI 運用事務局のウェブサイトを参照 してください。
$ cd /gfarm/課題ID/ユーザ名
20 2.10. Samba 利用方法
HPCI 共用ストレージに対して、Samba アクセスを行うための Samba サーバが準備され る予定です。そのSamba サーバに対し、 ¥¥Samba サーバのホスト名¥gfarm¥課題 ID¥HPCI-ID のパスでアクセスできます。また、書き込み可のフォルダは ¥¥Samba サ ーバのホスト名¥gfarm-share のパスでアクセスできます。 Samba で共有するファイルは下記のディレクトリ以下に置いてください。 /gfarm/課題ID/ユーザ名/samba/ 上記のディレクトリ（実体はシンボリックリンク）は自動的に作成されますが、その前に samba という同じ名前のファイルやディレクトリが存在している場合は自動的に作成され ません。その場合は、以下のように実行して他の名前でシンボリックを作成してください。 ここで、課題ID と HPCI-ID を間違えないように注意してください。 この例の場合、Samba で共有するファイルは下記のディレクトリ以下に置きます。 /gfarm/課題ID/ユーザ名/samba2/ Samba を通じて共有するファイルは全てのユーザが読み込み可能（a+r）とし、共有する ディレクトリは全てのユーザが実行可能（a+x）としてください。 なお、Samba サーバについて接続方法などの詳細は HPCI 運用事務局のウェブサイトを参 照してください。 $ cd /gfarm/課題ID/ユーザ名
21
3. トラブルシューティング
3.1. はじめに まず自分のユーザ証明書の期限が切れていないか確認してください。期限が切れている場 合は証明書（代理証明書）を更新します。電子証明書の取得に関しては「HPCI ログインマ ニュアル」を参照してください。また、代理証明書の有効期限の確認方法や期限切れの際 の対応方法については「2.3. HPCI 共用ストレージのマウント」の「注意事項」を参照し てください。 証明書の期限が切れていないにもかかわらず、何らかの認証（credential）に関するエラー メッセージが表示される場合は、改めて「gfhost –lv」を実行して状況を確認し、エラ ーメッセージが表示された場合は、その内容を HPCI 事務局ヘルプデスクに連絡してくだ さい。 それ以外の場合は次の3.2 以降を参照してください。22 3.2. マウントできない マウントできない原因には以下のようなものがあります。 ① 実行権限がない 以下のようなメッセージが表示される場合はマウントに必要な権限（FUSE の利用権限）が 付与されていない可能性があります。利用しているクライアントホストを管理している資 源提供機関にお問い合わせください。 ② マウントポイントが使用済み 以下のようなメッセージが表示される場合はマウントポイントが既に使用（マウント）さ れているか、何らかのファイルが存在している可能性があります。他の場所にマウントす るか、マウントポイントを空にしてください。 ③ 前回のマウントが異常終了 以下のようなメッセージが表示される場合は前回実行したマウントプロセスが異常終了し た可能性があります。 以下のようにアンマウントしてからマウントし直してください。 ④ マウントポイントに書き込み権限がない 以下のようなメッセージが表示される場合はマウントポイントを使用する権限がありませ ん。自分が書き込む権限のある場所にマウントするか、利用しているクライアントホスト を管理している資源提供機関にお問い合わせください。
fuse: mountpoint is not empty
fuse: if you are sure this is safe, use the 'nonempty' mount option
fusermount: user has no write access to mountpoint /gfarm/課題ID/ユーザ名 fusermount: mount failed: Operation not permitted
libgfarm: <err> [2000058] realpath(/gfarm/課題ID/ユーザ名): Transport endpoint is not connected
$ umount.hpci $ mount.hpci
23 ⑤ マウントポイントが存在しない 以下のようなメッセージが表示される場合はマウントポイントが存在しないと考えられま す。利用しているクライアントホストを管理している資源提供機関にお問い合わせくださ い。 ⑥ 認証エラー 以下のようなメッセージが表示される場合は、代理証明書が有効ではない可能性がありま す。「2.3. HPCI 共用ストレージのマウント」の「注意事項」を参照して改めて有効な代理 証明書を用意してください。
libgfarm: <err> [2000058] realpath(/gfarm/課題ID/ユーザ名): No such file or directory
libgfarm: <err> [1000699] Can't acquire my credential because of: libgfarm: <err> [1000607] : GSS Major Status: General failure
libgfarm: <err> [1000609] : GSS Minor Status Error Chain: globus_gsi_gssapi: Error with GSI credential
globus_gsi_gssapi: Error with gss credential handle （中略）
24
3.3. 「Transport endpoint is not connected」でファイルにアクセスできない マウントした HPCI 共用ストレージ上のファイルにアクセスしようとして、「Transport endpoint is not connected」とメッセージが表示される場合は、マウントしたまま の状態でマウントプロセスが終了している可能性があります。以下のようにアンマウント してからマウントし直してください。
$ umount.hpci $ mount.hpci
25
3.4. 「Invalid argument」でファイルにアクセスできない
HPCI 共用ストレージ上のファイルにアクセスしようとして、「Invalid argument」とメ ッセージが表示される場合は、まず以下のように実行して認証できているかを確認します。 上記のようなエラーメッセージが表示された場合は、代理証明書が有効ではない可能性が あります。「2.3. HPCI 共用ストレージのマウント」の「注意事項」を参照して改めて有効 な代理証明書を用意してください。 もし以下のように表示された場合は、ストレージサーバが全て使用不能な状態にあります。 HPCI の「障害情報」を確認してください。 以下のようにストレージサーバ名が表示される場合は、認証はできていることになります。 その場合は次のステップに進んでください。 アクセスできなくなっているファイルに対して以下のように実行します。 上記のようにストレージサーバ名が表示される場合は、以下のように再マウントします。 $ gfsched -w -n 1
libgfarm: <err> [1000059] cannot connect to gfmd at メタデータサーバ:601, give up: cannot acquire client-side GSI credential
gfsched: metadata scheduling: cannot acquire client-side GSI credential
$ gfsched -w -n 1
gfsched: client side scheduling: no filesystem node
$ gfsched -w -n 1 linux-1.example.com $ cd /gfarm/課題ID/ユーザ名 $ gfsched –f ファイル名 linux-1.example.com linux-2.example.com ... $ cd / $ umount.hpci $ mount.hpci
26
詳細は「2.3. HPCI 共用ストレージのマウント」を参照してください。再マウントしても ファイルにアクセスすると「Invalid argument」とメッセージが表示される場合は、HPCI 事務局ヘルプデスクにお問い合わせください。 もし以下のように表示された場合は、ストレージサーバが全て使用不能な状態にあります。 HPCI の「障害情報」を確認してください。 以下のように表示される場合は、ファイル複製が全て失われています。 この場合は、この状況に加えて、当該ファイルに対して以下のようにgfstat コマンドを実 行した出力とともに、HPCI 事務局ヘルプデスクにお問い合わせください。 このような状況に備え、事前にファイル複製を作成しておくことをお勧めします。 $ cd /gfarm/課題ID/ユーザ名 $ gfsched –f ファイル名
gfsched: client side scheduling: no filesystem node
$ cd /gfarm/課題ID/ユーザ名 $ gfsched –f ファイル名
gfsched: metadata scheduling: no such object
$ cd /gfarm/課題ID/ユーザ名 $ gfstat ファイル名
27 3.5. 「Connection refused」でファイルにアクセスできない HPCI 共用ストレージ上のファイルにアクセスしようとして、しばらく（標準では 30 秒） 待たされた後に「Connection refused」とメッセージが表示される場合は、まず gfls が実行できるか確認します。 上記のようなエラーメッセージが表示された場合は、メタデータサーバが停止している可 能性があります。HPCI 事務局ヘルプデスクにお問い合わせください。 $ gfls
libgfarm: <warning> [1000058] connecting to gfmd at ホスト名:ポート番号 failed, sleep 1 sec: connection refused
libgfarm: <warning> [1000058] connecting to gfmd at ホスト名:ポート番号 failed, sleep 2 sec: connection refused
（中略）
libgfarm: <warning> [1000058] connecting to gfmd at ホスト名:ポート番号 failed, sleep 16 sec: connection refused
libgfarm: <err> [1000059] cannot connect to gfmd at ホスト名:ポート番号, give up: connection refused
libgfarm: <err> [1000017] connecting to gfmd at ホスト名:ポート番号: connection refused
28
3.6. 「Input/output error」でファイルにアクセスできない
HPCI 共用ストレージ上のファイルにアクセスしようとして、「Input/output error」 とメッセージが表示される場合は、まず以下のように実行して状況を確認します。 もしファイルサイズが0 である、または「gfwhere -di」の出力にストレージサーバ名が 表示された場合は、ハードウェア障害が発生している可能性があります。HPCI 事務局ヘル プデスクに状況をご連絡ください。 一方、ファイルサイズが0 より大きく、且つ「gfwhere -di」の出力に何も表示されない 場合は、ファイルの実体が全て壊れたか、消失した可能性があります。次のようにgfstat コマンドを実行し、その出力結果をHPCI 事務局ヘルプデスクにご連絡ください。 gfstat コマンドの詳細については man ページを参照してください。 $ cd /gfarm/課題ID/ユーザ名 $ gfexport ファイル名
gfexport: gfarm://メタデータサーバ名:601/home/課題ID/HPCI-ID/ファイル名: input/output error $ gfls –l ファイル名
-rw-r--r-- 2 HPCI-ID 課題ID ファイルサイズ Apr 1 06:46 gfarm://メタデータサーバ名:601/home/課題ID/HPCI-ID/ファイル名 $ gfwhere –di ファイル名
$ cd /gfarm/課題ID/ユーザ名 $ gfstat ファイル名
File: "gfarm://メタデータサーバ名:601/home/課題ID/HPCI-ID/ファイル名" Size: ファイルサイズ Filetype: regular file
Mode: (0644) Uid: ( HPCI-ID) Gid: (課題 ID) Inode: 524 Gen: 8 (000000000000020C0000000000000008) Links: 1 Ncopy: 2 Access: 2012-12-03 18:32:42.585304000 +0900 Modify: 2012-02-15 15:15:06.000000000 +0900 Change: 2012-02-15 15:15:06.000000000 +0900
