更新履歴版数日付更新内容作成者初版 2012/03/31 第 2 版 2012/08/30 パス名とアカウントについてローカルと Gfarm 上の違いを追記代理証明書の更新について追記安全にファイル共有する方法を追記ファイル複製数に関する注意を追記自動複製に関する注意事項を修正並列処理の並

(1)

HPCI 共用ストレージ

利用マニュアル

(2)

2

更新履歴

版数日付更新内容作成者初版 2012/03/31 第2 版 2012/08/30  パス名とアカウントについてローカルとGfarm 上の違いを追記  代理証明書の更新について追記  安全にファイル共有する方法を追記  ファイル複製数に関する注意を追記  自動複製に関する注意事項を修正  並列処理の並列度の説明を追記  クオータの説明を追記  トラブルシューティングの追加・変更第3 版 2012/11/30  証明書の更新について重複する節を削除し、代わりに有効期限への注意を記載  gfarm2fs でマウントした状態でのファイル複製自動作成の方法を一部変更  並列処理コマンドを紹介する節のタイトルにコマンド名を追加  GSI-SSH でログインした場合の代理証明書関連の注意事項を追加

 Anonymous Web と Samba アクセスについてファイルの置き場所などを追記  トラブルシューティングの修正第4 版 2013/03/22  マウント方法の変更に伴い、パスに関する記載を全て変更し、代理証明書に関する注意事項を削除  ファイル複製の管理方法よりも gfpcopy の説明を先にするように節の順番を変更し、gfpcopy の実行例と説明を修正第5 版 2015/03/18  概要から不要な記述を削除  複製の配置指定を追加  ファイル複製作成の節を後ろに移動  ファイルのdigest の節を追加

(3)

3

第6 版 2015/09/17  2.5.4 節で記載していたファイル複製作成・削除の削除

 2.3 節で課題 ID のグループディレクトリをマウントする方法を記載

(4)

4

1. はじめに ...5 1.1. HPCI 共用ストレージの概要 ...6 2. HPCI 共用ストレージ利用方法 ...8 2.1. 代理証明書作成方法 ...8 2.2. 安全にファイルにアクセスする方法 ...8 2.3. HPCI 共用ストレージのマウント ...9 2.4. 高速コピーコマンド - gfpcopy ... 10 2.5. ファイル複製の管理方法 ... 11 2.5.1. ファイル複製の格納場所 ... 11 2.5.2. ファイル複製数の確認 ... 11 2.5.3. ファイル複製数の変更 ... 12 2.6. ファイルの digest ... 13 2.7. アクセス制御 ... 14 2.8. ストレージ利用状況表示 ... 15 2.9. Web アクセス方法 ... 16 2.10. Anonymous Web 利用方法 ... 19 2.11. Samba 利用方法... 20 3. トラブルシューティング ... 21 3.1. はじめに ... 21 3.2. マウントできない ... 22

3.3. 「Transport endpoint is not connected」でファイルにアクセスできない 24 3.4. 「Invalid argument」でファイルにアクセスできない ... 25

3.5. 「Connection refused」でファイルにアクセスできない ... 27

(5)

5

1. はじめに

本書は、HPCI 共用ストレージを利用する方法について解説した文書です。本書に掲載されているコマンドターミナル画面において、太字の部分は実際に入力していただくコマンドを表しています。なお、本書ではあらかじめHPCI 証明書発行システムにより電子証明書を取得していることを前提に解説しています。電子証明書の取得に関しては「HPCI ログインマニュアル」を参照してください。

(6)

6 1.1. HPCI 共用ストレージの概要

HPCI 共用ストレージは HPCI 計算資源利用時における大容量のデータの格納や HPCI 計算資源間あるいはHPCI コミュニティでのデータ共有を目的とした、広域に分散した大規模ストレージです。Gfarm ファイルシステムとよばれる広域分散ファイルシステムで実現されています。

(7)

7

アカウントとパスに関する注意事項

Gfarm ファイルシステム上のアカウント（ユーザ名、グループ名、ホームディレクトリなど）は、クライアントホストのローカルアカウントとは別に独立して設定されており、当該Gfarm ファイルシステムが利用できる環境であれば、どこからでも常に同じものが使われます。なお、本書ではGfarm ファイルシステム上のアカウント名を「HPCI-ID」と表記しています。 Gfarm ファイルシステム上のファイルやディレクトリのパスは、クライアントホストのローカルパスとは別のものであり、当該Gfarm ファイルシステムが利用できる環境であれば、どこからでも同じパス（絶対パス）でGfarm ファイルシステム上のファイルやディレクトリを参照できます。なお、本マニュアルではGfarm ファイルシステムをクライアントホストにマウントして利用することを前提に、マウント後のクライアントホスト上でのパスで解説します。

(8)

8

2. HPCI 共用ストレージ利用方法

2.1. 代理証明書作成方法「HPCI ログインマニュアル」を参照してください。なお、GSI-SSH でログインできる環境では既に代理証明書が作成され、使用できる状態になっています。ただし、以前に作った代理証明書を使う場合は、有効期限に注意してください。 2.2. 安全にファイルにアクセスする方法 HPCI 共用ストレージ上のファイル（やディレクトリ）は、標準設定では平文でネットワーク共有されます。ネットワーク上を暗号化した状態でファイルにアクセスするには、クライアントホスト上のホームディレクトリに .gfarm2rc という名前の設定ファイルを作成し、その中に以下のように記述します。暗号化されているか確認するには以下のように実行します。ここで左から2 番目の文字が「G」となっていることを確認してください。もし「g」になっている場合は、設定ファイルの名前が間違っているか、設定内容の記述ミスである可能性があります。ファイル名とファイルの内容の両方をご確認ください。gfhost コマンドの詳細についてはman ページを参照してください。

auth enable gsi *

auth disable gsi_auth *

$ gfhost –lv

0.01/0.03/0.03 G i386-fedora3-linux 2 linux-1.example.com 600 0(10.0.0.1) 0.00/0.02/0.00 G i386-redhat8.0-linux 1 linux-4.example.com 600 0(10.0.0.4) 0.10/0.00/0.00 G sparc-sun-solaris8 1 solaris-1.example.com 600 0(10.0.1.1) ...

(9)

9 2.3. HPCI 共用ストレージのマウント

HPCI 共用ストレージは各クライアントホストにおいてそれぞれのユーザがマウントして利用することができます。なお、HPCI 環境ではマウントポイントが「/gfarm/課題 ID/ ユーザ名」として用意されています。マウントする場合は以下のように実行します。アンマウントする場合は以下のように実行します。マウント状況はdf コマンドで確認できます。マウント後は、ls や cp などの通常のコマンドによりファイルアクセスが可能となります。マウントに失敗する場合は、「3. トラブルシューティング」を参照してください。なお、mount.hpci でマウントすると、そのマウントポイントが HPCI 共用ストレージのホームディレクトリになります。課題 ID のグループディレクトリをマウントする場合は --group オプションを指定してマウントします。グループディレクトリをマウントすると同一課題ID のユーザのディレクトリが参照できるようになります。注意事項 HPCI 共用ストレージの利用にあたっては、まず代理証明書の有効期限を確認してください。確認するには以下のように実行します。代理証明書の有効期限が切れていた場合、myproxy-logon を利用している場合は再度 myproxy-logon を、GSI-SSH でログインしている場合は再度 mount.hpci（umount.hpci によるアンマウントは不要）を実行してください。

$ mount.hpci

$ df –h /gfarm/課題ID/ユーザ名

Filesystem Size Used Avail Use% Mounted on

gfarm2fs 20P 16P 4.5P 78% /gfarm/課題ID/ユーザ名 $ umount.hpci

$ gfarm2fs-proxy-info -t /gfarm/課題ID/ユーザ名 $ mount.hpci --group

(10)

10 2.4. 高速コピーコマンド - gfpcopy 拠点スパコンのファイルシステムとの間のファイルのコピーは HPCI 共用ストレージをマウントして cp コマンドなどでコピーできますが、多数のファイルをコピーする場合は gfpcopy コマンドを使います。gfpcopy コマンドは並列にファイルコピーを行うことにより、高速にファイルコピーが完了します。デフォルトでは 4 並列でファイルコピーを行いますが、-j オプションで変更することが可能です。なお、最適な並列度は、ファイルサイズやファイル数、拠点スパコンのファイルシステム性能、ストレージサーバまでの距離、ストレージサーバまでのバンド幅によって変わります。標準では 4 並列ですが、/etc/gfarm2.conf に下記の設定がされている場合は、指定されている「数字」が標準の並列度になります。また、ホームディレクトリに .gfarm2rc を作成し、上記と同様の設定を追加すると、ユーザごとに標準の並列度を変えることができます。

以下は、HPCI 共用ストレージ上にあるディレクトリ/gfarm/課題 ID/ユーザ名/dir とそのサブディレクトリ以下にあるファイルを、クライアントのローカルディスク上の /tmp/dir としてコピーする例です。

以下は、クライアントのローカルディスク上にあるディレクトリ/tmp/dir とそのサブディレクトリ以下にあるファイルを、HPCI 共用ストレージ上の/gfarm/課題 ID/ユーザ名/dir としてコピーする例です。コピー先にファイルが存在する場合、コピー元のほうが新しければ、コピー先ファイルを上書きします。なお、gfpcopy はディスク容量の空きが多いホストへ優先的にコピーします。また、-D オプションを利用することにより、指定したドメインの拠点へコピーできます。以下は、 *.c1.example.com ドメインの拠点にコピーする例です。詳細はgfpcopy の man ページを参照してください。 $ gfpcopy /gfarm/課題ID/ユーザ名/dir /tmp

$ gfpcopy /tmp/dir /gfarm/課題 ID/ユーザ名 client_parallel_copy 数字

(11)

11 2.5. ファイル複製の管理方法 Gfarm ファイルシステムでは、ファイルはいずれかのファイルシステムノードに格納されますが、2 つ以上のファイルシステムノードにファイルの複製を保持することもできます。ファイルの複製を保持することにより、ファイルシステムノードの障害時でも、ファイルアクセスが可能になる他、ファイルアクセスの分散によりファイルアクセス性能を向上させることができます。ただし、ファイルの複製を作ると、それだけディスクの容量を消費しますので、一時的なファイルに対しては複製を作ることは避けてください。なお、複製数はファイルの重要度に応じて変えることができます。 2.5.1. ファイル複製の格納場所ファイルがどこに格納されているかを知るためには gfwhere コマンドを利用します。例えば具体的には以下のように実行します。この例では、ファイルtext.txt は linux-1.exmple.com に格納されています。 2.5.2. ファイル複製数の確認自動的に作成されるファイル複製数はgfncopy コマンドで確認できます。この例ではユーザのホームディレクトリ以下に作成したファイルは 2 つの複製（オリジナルを含む）が作られるように設定されています。複製の配置も指定されている場合は以下の様に表示されます。この例ではAICS_ALLとUTokyo_ALLにそれぞれ一つずつの複製が作成されるように設定されています。 $ gfwhere ファイルパス $ cd /gfarm/課題ID/ユーザ名 $ gfwhere test.txt linux-1.example.com

$ gfncopy /gfarm/課題ID/ユーザ名 2

$ gfncopy /gfarm/課題ID/ユーザ名 AICS_ALL:1,UTokyo_ALL:1

(12)

12 2.5.3. ファイル複製数の変更自動的に作成される複製数を変更するためには、ファイルを作成するディレクトリに対してgfncopy コマンドの-s オプションで複製数を指定します。以下の例では、ディレクトリ /gfarm/課題ID/ユーザ名/dir およびそのサブディレクトリ以下に作られたファイルに対して3 つの複製（オリジナルを含む）が作られるように設定しています。複製の配置も指定したい場合は、-S オプションで配置毎に複製数を指定します。配置は AICS_ALL、UTokyo_ALL、TokyoTech_ALL を指定することが可能です。以下の例では、 AICS_ALL と UTokyo_ALL に 1 つずつ複製を作成するように指定しています。配置を指定しない複製数と、配置毎の複製数は両方指定することも可能です。その場合、配置毎の指定数が作成され、その総数より配置を指定しない複製数の指定数が多い場合、その分任意の場所に作成されます。詳細はgfncopy の man ページを参照してください。複製数を変更後、しばらくすると自動的に複製が作成あるいは削除されます。 $ cd /gfarm/課題ID/ユーザ名 $ gfncopy -s 3 dir

(13)

13 2.6. ファイルの digest HPCI 共用ストレージに書き込んだファイルは digest が計算されます。書き込み後にデータ化けした場合は読み込み時にエラーが発生し、該当ファイル複製は自動的に別領域に移動します。正しいファイル複製が存在する場合は、もう一度読み込むことにより正しいデータを読み込むことが可能です。ファイルのdigest は gfcksum コマンドで確認できます。出力は、digest 値、digest 型、フラグ、ファイル名です。フラグが 0 以外の場合はファイルが更新中であることを示しています。実際にファイル複製のdigest を計算して比較するためには以下のように実行します。 digest 値が異なる場合は以下のようにエラーとなります。この場合、このファイルをアクセスすると I/O エラーが起こり、データ化けしたファイル複製は自動的に別領域に移動します。正しいファイル複製が存在する場合は、もう一度アクセスすると正しくアクセスできます。 $ cd /gfarm/課題ID/ユーザ名 $ gfcksum file aa8dbce88e54027dbd4723ccd142f717 (md5) 0 file $ gfcksum –c file aa8dbce88e54027dbd4723ccd142f717 (md5) 0 file $ gfcksum –c file c4980337b8dcd60f2f225736b83636b7 (md5) 0 file gfarm://.../file: md5 differs

$ cat file > /dev/null

(14)

14 2.7. アクセス制御 HPCI 共用ストレージは所有者、グループ、それ以外のグループに対する読込、書込のアクセス制御だけではなく、特定の個人、特定のグループに対するアクセス制御も可能です。所有者、グループ、それ以外のグループに対するアクセス制御はgfls コマンドで確認できます。アクセス制御の変更はgfchmod コマンドを利用します。特定のユーザ HPCI-ID2 に対し、あるディレクトリの読込、書込権限を与えるためには gfsetfacl コマンドを利用します。アクセス権限の確認はgfgetfacl コマンドを利用します。詳細はそれぞれのman ページを参照してください。 $ cd /gfarm/課題ID/ユーザ名 $ gfls –ld dir

drwxr-xr-x 2 HPCI-ID 課題 ID 0 Apr 1 06:46 gfarm://メタデータサーバ名:601/home/課題ID/HPCI-ID/dir

$ cd /gfarm/課題ID/ユーザ名 $ gfchmod 775 dir

$ cd /gfarm/課題ID/ユーザ名

$ gfsetfacl –m u:HPCI-ID2:rwx dir

$ cd /gfarm/課題ID/ユーザ名 $ gfgetfacl dir

# file: gfarm://メタデータサーバ名:601/home/課題ID/HPCI-ID/dir # owner: HPCI-ID # group: 課題ID user::rwx user:HPCI-ID2:rwx group::rwx mask::rwx other::r-x

(15)

15 2.8. ストレージ利用状況表示クオータ（利用量の制限）が設定されているユーザの場合、gfusage コマンドや gfquota コマンドを実行することでディスクの使用量や制限値を表示することができます。なお、ここで FileSpace はファイルの複製を含まない使用量、PhysicalSpace はファイルの複製を含めた使用量です。また、それぞれに対し、警告を発するようになる上限値 SoftLimit と、物理的に書き込みが不可能になる上限値 HardLimit が設定可能ですが、上記の例では、PhysicalSpace に対しては SoftLimit も HardLimit も設定されていません。

詳細についてはgfusage と gfquota の man ページを参照してください。 $ gfusage

# UserName : FileSpace FileNum PhysicalSpace PhysicalNum HPCI-ID : 1197588688 319925 2240368868 639851 $ gfquota UserName : HPCI-ID GracePeriod : 86400 FileSpace : 1197588688 FileSpaceGracePeriod : disabled FileSpaceSoftLimit : 10000000000 FileSpaceHardLimit : 11000000000 FileNum : 319925 FileNumGracePeriod : disabled FileNumSoftLimit : disabled FileNumHardLimit : disabled PhysicalSpace : 2240368868 PhysicalSpaceGracePeriod : disabled PhysicalSpaceSoftLimit : disabled PhysicalSpaceHardLimit : disabled PhysicalNum : 639851 PhysicalNumGracePeriod : disabled PhysicalNumSoftLimit : disabled PhysicalNumHardLimit : disabled

(16)

16 2.9. Web アクセス方法 gfarm2fs でマウントした HPCI 共用ストレージを、それぞれのユーザの権限で httpd を起動してWeb 経由でアクセスできるようにする方法について紹介します。ただし、GSI-SSH でログインしたセッションにおいてgfarm2fs でマウントした場合は、そのセッションをログアウトすると代理証明書が自動的に削除されてしまうために、マウントしておいた共用ストレージにアクセスできなくなることに注意してください。 ① 使用するポートの決定 httpd は標準で 80/tcp を使用しますが、一般ユーザの権限では 1024 番以降のポート番号のみが利用可能です。管理者と相談し、どのポートを使うかを決めます。またiptables などでファイアウォールが設定されている場合は管理者に頼んでそのポートを開放してもらってください。 ② 設定ファイルの用意ホームディレクトリ以下に設定ファイルやログファイルなどを保存するディレクトリを用意します。以下の例ではホームディレクトリ直下の www ディレクトリ以下に作成します。 httpd の標準設定ファイルをコピー（またはリンク）します。 ③ 設定ファイルの書き換え ~/www/conf/httpd.conf を以下のように書き換えます。 ④ ⑤ $ mkdir ~/www $ cd ~/www

$ mkdir conf logs run

$ ln –s /etc/httpd/modules .

$ cd ~/www/conf

$ cp /etc/httpd/conf/httpd.conf . $ ln –s /etc/httpd/conf/magic .

Listen 80 Listen 使用するポート番号

Include conf.d/*.conf #Include conf.d/*.conf

ServerRoot "/etc/httpd" ServerRoot "/home/ユーザ名/www"

(17)

17 ここで Options や AllowOverride などの設定は適宜使用形態に合わせて書き換えてください。詳細は、httpd の設定マニュアルなどを参照してください。なお、上記の例ではHPCI 共用ストレージ上のホームディレクトリに Web でアクセスできるように設定していますが、ホームディレクトリではなく、その下のディレクトリに設定したい場合は、上記の設定のうち、「/gfarm/課題ID/ユーザ名」としている部分を適宜変更してください。 ④ 認証パスワードの設定パスワードによるアクセス制限をかけるために、httpd.conf に追記した AuthUserFile で指定したファイルにパスワードを保存します。まず以下のようにして自分のみが読み書き可能なパスワードファイルを作成します。 DocumentRoot "/var/www/html"

DocumentRoot "/gfarm/課題ID/ユーザ名" <Directory "/gfarm/課題ID/ユーザ名">

AuthUserFile /home/ユーザ名/www/conf/.htpasswd AuthGroupFile /dev/null

AuthName "Gfarm Web of ユーザ名" AuthType Basic

require valid-user

Options Indexes FollowSymLinks AllowOverride None

Order allow,deny Allow from all </Directory> $ cd ~/www/conf $ touch .htpasswd $ chmod 600 .htpasswd $ ls -l .htpasswd -rw--- 1 ユーザ名グループ名 0 Feb 2 12:37 .htpasswd

(18)

18 アクセスを許可するユーザ名とパスワードを設定します。同様にして必要なユーザについて登録します。詳細はhtpasswd の man ページを参照してください。 ⑤ httpd の起動まずGfarm ファイルシステムをマウントします。

Gfarm ファイルシステム上のホームディレクトリが「/gfarm/課題 ID/ユーザ名」としてアクセスできるようになっていることを確認した上で、以下のように実行します。これにより、 http://ホスト名または IP アドレス:ポート番号/ の URL で Gfarm ファイルシステム上のホームディレクトリにアクセスできるようになります。閲覧には先ほど設定したユーザ名とパスワードが必要です。 ⑥ httpd の停止以下のように実行します。アンマウントします。 $ htpasswd ~/www/conf/.htpasswd アクセスを許可するユーザ名 New password: ← パスワードを設定

Re-type new password: ← 確認のためにパスワードを再入力 Adding password for user アクセスを許可するユーザ名

$ /usr/sbin/httpd -d ~/www

$ kill `cat ~/www/run/httpd.pid` $ mount.hpci

(19)

19 2.10. Anonymous Web 利用方法

HPCI 共用ストレージに対して、Anonymous Web アクセスを行うための Web サーバが準備される予定です。そのWeb サーバに対し、 http://Web サーバのホスト名/gfarm/ 課題ID/HPCI-ID/ の URL でアクセスできます。 Anonymous Web で共有するファイルは下記のディレクトリ以下に置いてください。 /gfarm/課題ID/ユーザ名/www/ 上記のディレクトリ（実体はシンボリックリンク）は自動的に作成されますが、その前に www という同じ名前のファイルやディレクトリが存在している場合は自動的に作成されません。その場合は、以下のように実行して他の名前でシンボリックを作成してください。ここで、課題ID と HPCI-ID を間違えないように注意してください。この例の場合、Anonymous Web で共有するファイルは下記のディレクトリ以下に置きます。 /gfarm/課題ID/ユーザ名/www2/

Anonymous Web を通じて共有するファイルは全てのユーザが読み込み可能（a+r）とし、共有するディレクトリは全てのユーザが実行可能（a+x）としてください。

なお、Web サーバについて接続方法などの詳細は HPCI 運用事務局のウェブサイトを参照してください。

$ cd /gfarm/課題ID/ユーザ名

(20)

20 2.11. Samba 利用方法

HPCI 共用ストレージに対して、Samba アクセスを行うための Samba サーバが準備される予定です。そのSamba サーバに対し、 ¥¥Samba サーバのホスト名¥gfarm¥課題 ID¥HPCI-ID のパスでアクセスできます。また、書き込み可のフォルダは ¥¥Samba サーバのホスト名¥gfarm-share のパスでアクセスできます。 Samba で共有するファイルは下記のディレクトリ以下に置いてください。 /gfarm/課題ID/ユーザ名/samba/ 上記のディレクトリ（実体はシンボリックリンク）は自動的に作成されますが、その前に samba という同じ名前のファイルやディレクトリが存在している場合は自動的に作成されません。その場合は、以下のように実行して他の名前でシンボリックを作成してください。ここで、課題ID と HPCI-ID を間違えないように注意してください。この例の場合、Samba で共有するファイルは下記のディレクトリ以下に置きます。 /gfarm/課題ID/ユーザ名/samba2/ Samba を通じて共有するファイルは全てのユーザが読み込み可能（a+r）とし、共有するディレクトリは全てのユーザが実行可能（a+x）としてください。なお、Samba サーバについて接続方法などの詳細は HPCI 運用事務局のウェブサイトを参照してください。 $ cd /gfarm/課題ID/ユーザ名

(21)

21

3. トラブルシューティング

3.1. はじめにまず自分のユーザ証明書の期限が切れていないか確認してください。期限が切れている場合は証明書（代理証明書）を更新します。電子証明書の取得に関しては「HPCI ログインマニュアル」を参照してください。また、代理証明書の有効期限の確認方法や期限切れの際の対応方法については「2.3. HPCI 共用ストレージのマウント」の「注意事項」を参照してください。証明書の期限が切れていないにもかかわらず、何らかの認証（credential）に関するエラーメッセージが表示される場合は、改めて「gfhost –lv」を実行して状況を確認し、エラーメッセージが表示された場合は、その内容を HPCI 事務局ヘルプデスクに連絡してください。それ以外の場合は次の3.2 以降を参照してください。

(22)

22 3.2. マウントできないマウントできない原因には以下のようなものがあります。 ① 実行権限がない以下のようなメッセージが表示される場合はマウントに必要な権限（FUSE の利用権限）が付与されていない可能性があります。利用しているクライアントホストを管理している資源提供機関にお問い合わせください。 ② マウントポイントが使用済み以下のようなメッセージが表示される場合はマウントポイントが既に使用（マウント）されているか、何らかのファイルが存在している可能性があります。他の場所にマウントするか、マウントポイントを空にしてください。 ③ 前回のマウントが異常終了以下のようなメッセージが表示される場合は前回実行したマウントプロセスが異常終了した可能性があります。以下のようにアンマウントしてからマウントし直してください。 ④ マウントポイントに書き込み権限がない以下のようなメッセージが表示される場合はマウントポイントを使用する権限がありません。自分が書き込む権限のある場所にマウントするか、利用しているクライアントホストを管理している資源提供機関にお問い合わせください。

fuse: mountpoint is not empty

fuse: if you are sure this is safe, use the 'nonempty' mount option

fusermount: user has no write access to mountpoint /gfarm/課題ID/ユーザ名 fusermount: mount failed: Operation not permitted

libgfarm: <err> [2000058] realpath(/gfarm/課題ID/ユーザ名): Transport endpoint is not connected

$ umount.hpci $ mount.hpci

(23)

23 ⑤ マウントポイントが存在しない以下のようなメッセージが表示される場合はマウントポイントが存在しないと考えられます。利用しているクライアントホストを管理している資源提供機関にお問い合わせください。 ⑥ 認証エラー以下のようなメッセージが表示される場合は、代理証明書が有効ではない可能性があります。「2.3. HPCI 共用ストレージのマウント」の「注意事項」を参照して改めて有効な代理証明書を用意してください。

libgfarm: <err> [2000058] realpath(/gfarm/課題ID/ユーザ名): No such file or directory

libgfarm: <err> [1000699] Can't acquire my credential because of: libgfarm: <err> [1000607] : GSS Major Status: General failure

libgfarm: <err> [1000609] : GSS Minor Status Error Chain: globus_gsi_gssapi: Error with GSI credential

globus_gsi_gssapi: Error with gss credential handle （中略）

(24)

24

3.3. 「Transport endpoint is not connected」でファイルにアクセスできないマウントした HPCI 共用ストレージ上のファイルにアクセスしようとして、「Transport endpoint is not connected」とメッセージが表示される場合は、マウントしたままの状態でマウントプロセスが終了している可能性があります。以下のようにアンマウントしてからマウントし直してください。

$ umount.hpci $ mount.hpci

(25)

25

3.4. 「Invalid argument」でファイルにアクセスできない

HPCI 共用ストレージ上のファイルにアクセスしようとして、「Invalid argument」とメッセージが表示される場合は、まず以下のように実行して認証できているかを確認します。上記のようなエラーメッセージが表示された場合は、代理証明書が有効ではない可能性があります。「2.3. HPCI 共用ストレージのマウント」の「注意事項」を参照して改めて有効な代理証明書を用意してください。もし以下のように表示された場合は、ストレージサーバが全て使用不能な状態にあります。 HPCI の「障害情報」を確認してください。以下のようにストレージサーバ名が表示される場合は、認証はできていることになります。その場合は次のステップに進んでください。アクセスできなくなっているファイルに対して以下のように実行します。上記のようにストレージサーバ名が表示される場合は、以下のように再マウントします。 $ gfsched -w -n 1

libgfarm: <err> [1000059] cannot connect to gfmd at メタデータサーバ:601, give up: cannot acquire client-side GSI credential

gfsched: metadata scheduling: cannot acquire client-side GSI credential

$ gfsched -w -n 1

gfsched: client side scheduling: no filesystem node

$ gfsched -w -n 1 linux-1.example.com $ cd /gfarm/課題ID/ユーザ名 $ gfsched –f ファイル名 linux-1.example.com linux-2.example.com ... $ cd / $ umount.hpci $ mount.hpci

(26)

26

詳細は「2.3. HPCI 共用ストレージのマウント」を参照してください。再マウントしてもファイルにアクセスすると「Invalid argument」とメッセージが表示される場合は、HPCI 事務局ヘルプデスクにお問い合わせください。もし以下のように表示された場合は、ストレージサーバが全て使用不能な状態にあります。 HPCI の「障害情報」を確認してください。以下のように表示される場合は、ファイル複製が全て失われています。この場合は、この状況に加えて、当該ファイルに対して以下のようにgfstat コマンドを実行した出力とともに、HPCI 事務局ヘルプデスクにお問い合わせください。このような状況に備え、事前にファイル複製を作成しておくことをお勧めします。 $ cd /gfarm/課題ID/ユーザ名 $ gfsched –f ファイル名

gfsched: client side scheduling: no filesystem node

$ cd /gfarm/課題ID/ユーザ名 $ gfsched –f ファイル名

gfsched: metadata scheduling: no such object

$ cd /gfarm/課題ID/ユーザ名 $ gfstat ファイル名

(27)

27 3.5. 「Connection refused」でファイルにアクセスできない HPCI 共用ストレージ上のファイルにアクセスしようとして、しばらく（標準では 30 秒）待たされた後に「Connection refused」とメッセージが表示される場合は、まず gfls が実行できるか確認します。上記のようなエラーメッセージが表示された場合は、メタデータサーバが停止している可能性があります。HPCI 事務局ヘルプデスクにお問い合わせください。 $ gfls

libgfarm: <warning> [1000058] connecting to gfmd at ホスト名:ポート番号 failed, sleep 1 sec: connection refused

（中略）

libgfarm: <err> [1000059] cannot connect to gfmd at ホスト名:ポート番号, give up: connection refused

libgfarm: <err> [1000017] connecting to gfmd at ホスト名:ポート番号: connection refused

(28)

28

3.6. 「Input/output error」でファイルにアクセスできない

HPCI 共用ストレージ上のファイルにアクセスしようとして、「Input/output error」とメッセージが表示される場合は、まず以下のように実行して状況を確認します。もしファイルサイズが0 である、または「gfwhere -di」の出力にストレージサーバ名が表示された場合は、ハードウェア障害が発生している可能性があります。HPCI 事務局ヘルプデスクに状況をご連絡ください。一方、ファイルサイズが0 より大きく、且つ「gfwhere -di」の出力に何も表示されない場合は、ファイルの実体が全て壊れたか、消失した可能性があります。次のようにgfstat コマンドを実行し、その出力結果をHPCI 事務局ヘルプデスクにご連絡ください。 gfstat コマンドの詳細については man ページを参照してください。 $ cd /gfarm/課題ID/ユーザ名 $ gfexport ファイル名

gfexport: gfarm://メタデータサーバ名:601/home/課題ID/HPCI-ID/ファイル名: input/output error $ gfls –l ファイル名

-rw-r--r-- 2 HPCI-ID 課題ID ファイルサイズ Apr 1 06:46 gfarm://メタデータサーバ名:601/home/課題ID/HPCI-ID/ファイル名 $ gfwhere –di ファイル名