利用者説明会の準備、割当容量の管理 （課題#5,#8）

HPCI共用ストレージ利用者説明会資料

2015/5/28

HPCI運用事務局

ストレージSub-WG

- 筑波大学 建部 修見

- 理研AICS／東工大／東大

目次

1. 説明会開催の主旨

2. 共用ストレージの割当/使用容量の推移

3. 資源割当方針

4. 大規模障害報告

5. 使用量管理

6. 依頼事項

2

１．説明会開催の主旨

HPCI共用ストレージに関する



新しい利用制度のご紹介

提供可能なストレージ資源

理研計算科学研究機構 • W1 storage • Gfarm • DDN SFA10000(Total10PB) • メタデータサーバ2台 • データサーバ16台 • 10GbE ネットワーク • 60 PB tape archive

西拠点

東京大学情報基盤センター • E1 storage • Gfarm • DDN SFA10000 9 セット（Total 8PB) • メタデータサーバ8台 • データサーバ36台 • ログイン4台 • 10GbE ネットワーク • E2 storage • Gfarm • DDN SFA10000(Total 5.5PB) • メタデータサーバ2台 • データサーバ8台 • 10GbE ネットワーク • 20 PB tape archive （内部バックアップ利用）

東拠点

• Tokyo Tech storage • Gfarm • DDN SFA10000(Total 400TB) • データサーバ4台 • 10GbE ネットワーク 東京工業大学情報基盤センター

東工大

4

新しい利用制度

• 共用ストレージ利用規約を2015年度から正式適用

HPCI 情報共有CMS,HPCIポータルにて公開

https://www.hpci-office.jp/info/pages/viewpage.action?pageId=28246203

• 2015年度からディスク容量管理が、ファイルスペース使用量か

らディスクスペース使用量に変更

ファイルスペース使用量： ファイルの使用量

ディスクスペース使用量： ディスクの実使用量(ファイル複製を含む)

HPCI共用ストレージ利用規約（抜粋）

利用目的（第3条）

• 学術研究、および社会貢献に供する

禁止事項（第11条）

• 運用の妨げになる行為 • 利用目的に反する • 課題に関係ないデータの保存 • 知財の侵害、その他法令・公序良俗に反する etc.

ストレージアカウントの有効期間（第7条）

• 採択された実施期間（成果報告期限）終了後1ヶ月＋ 運営者が承認した期限

終了後のデータの扱い(第9条）

• データ保存期間中：削除時期は運営者と協議 • 終了後：削除時期については運営者が自由に決定

ユーザデータのバックアップ(第10条）

• 利用者が責任を持つ

保証範囲（第12条）

以下はベストエフォートであり保障しない • エラーや不具合改善 • サービス品質 • 正常動作 • etc.

免責（第13条）

• 過失、システム故障等によるデータ損失に関わる損害 等について、賠償等の責任を負わない • 􏰗データ保存利用容量が申請時􏰗容量を下回って追 加保存ができない場合の責任を負わない 6

２．共用ストレージの割当/使用容量の推移

年度 希望割当容量 （ファイルスペース） 実際の割当容量 （ディスクスペース/ファイルスペース） 年度末使用容量 （ディスクスペース/ファイルスペース） 年度末達成度 （実績/希望） 平均複製数

2013年度 13.9PB

－(※1)/13.9PB

（希望通り）

9.91PB/4.18PB

30%

2.37

2014年度 15.6PB

20.8PB/10.4PB

14.64PB/7.25PB

47%

2.02

2015年度 20.9PB

21.3PB/－(※2)

21PB/14PB

（予測）

67%

（算出）

1.5

（算出） 総容量：22.5PB

• 2013年度/2014年度は、複製数２以上での格納を維持

• 2015年度は、現状の複製数２での格納が困難と予測

※1 2012年、2013年度当初は、二重化無し ※2 2015年度から、割当量をディスクスペースに変更

共用ストレージ利用量予測（～2018/10）

8

４PB

7PB

３．資源割当方針

• ディスクストレージだけでは割当量が不足するため、ディスクとテープ

の併用を前提にストレージ資源を割当

• ディスクストレージへの割当方針

 希望容量が小さく、平均容量以下の課題

⇒従来通り、希望容量(ファイルスペース)の2倍のディスク容量(ディスクスペース)を割当

 昨年度の利用率が高い課題は、ディスクスペースを多く割当

• テープストレージへの割当方針

 共用ストレージの希望容量と同等の容量を割当

 全課題を西拠点のテープアーカイブ装置に割当

３．資源割当方針：資源割当表

昨年度の利用状況 希望容量 _{（ファイルスペース）} ディスク割当容量 _{（ディスクスペース）} テープ割当容量※ （ファイルスペース） 平均複製数（合算） 昨年度利用率高 ～20TB 希望容量 × 2.0 希望容量 3.0 20TB～33.3TB 一律40TB 希望容量 2.2～3.0 33.3TB～3000TB 希望容量 × 1.2 希望容量 2.2 3000TB～ 一律3600TB（最大） 希望容量 2.2以下 昨年度利用率低 ～20TB 希望容量 × 2.0 希望容量 3.0 20TB～50TB 一律40TB 希望容量 1.8～3.0 50TB～875TB 希望容量 × 0.8 希望容量 1.8 875TB～ 一律700TB（最大） 希望容量 1.8以下 昨年度割当済 （利用無） － 希望容量 × 1.0 希望容量 2.0 10 ※共用ストレージの希望容量(ファイルスペース)と同等の容量を割り当て テープストレージ装置内では、2個のカートリッジに同時に格納しており二重化しているが、装置レベルでの 二重化のため、ディスクのRAID構成と同様に複製数にはカウントせず （備考） 2015年度の資源割当ポリシー確定前に応募のあった、随時募集の産業利用課題については、希望資源量をそのままディスク スペースとして割当て

4. 大規模障害報告

• 概要

• 全1,071個のファイル（4課題4ユーザ）が消失

• 平成26年8月20日～10月29日に、東工大拠点へ

最初に作成・変更されたファイル

が破損

• 被害ユーザに、5月13日に連絡済み

• 3月末のユーザからの問い合わせにより、4月20日に大規模ファイル破損を確認

• 破損ファイルは読み込み時にI/Oエラーとなり、読み込みが失敗します

• 原因

• 東工大拠点設置のストレージサーバの不具合により、ディスクへの書き込み時にファイルが

破損

• 発見が遅れた原因

• ファイル検査はユーザによるファイル読み込み時に行われるが、3月末まで、ユーザのファ

イル読み込みが無かったため

4. 大規模障害報告：今後の対策

• 対策

• ハードウェア障害等によるファイル破損は避けられないため、被害拡大防止のため

に、

早期の障害検出

_が重要

• 対策内容

• ファイルが複製される段階での障害検出 （対策済: 平成27年4月～）

• 4週間毎に変更ファイルを実際に読み込み整合性を確認 (実施予定)

• お願い

• HPCI共用ストレージにファイルコピー後、1ヶ月程度

はオリジナルの保持に努めてく

ださい (可能であれば)

• 特に重要なファイルは、テープ装置等へのバックアップも併せて検討してください

12

５．使用量管理

① 月末に課題代表者あてに、利用率を含む、利用実績メールを送信

② 四半期ごとに、利用計画ヒアリング後に再割当実施

③ 既にディスク使用量が割当容量を上回っている課題は、上期中に割当容量以下に削減頂く

④ 9月から、割当容量超過警告メールの送付開始

⑤ 下期（10月）から、課題（グループ）単位でHard Quota設定(

③達成次第で早期実施可能性

₎

13 0 1 2 3 4 5 6 7 8 9 10 11 12 ⑤使用量制限実施 ④割当量超過警告メイル ③使用量削減 ②利用計画ヒアリング・再… ①使用量通知メイル 系列 1 系列 2 系列 3 系列 4 系列 5 系列 6 系列 7 系列 8 系列 9 系列 10

５．使用量管理:使用量通知メイル

14 10 11 12 ①使用量通知メイル 系列 1 系列 2 系列 3 系列 4 系列 5 系列 6 系列 7 系列 8 系列 9 系列 10 Apr15 Jun15 Sep15 Dec15 Jan16 Mar16

• 毎月末に課題代表者あてに使用量をメイルで通知

• 通知内容は下記の通り

① 課題使用量（ファイルスペース容量：ファイル複製分抜き）

② 課題使用量（ディスクスペース容量：ファイル複製分込み）

③ 課題割当容量（ディスクスペース容量：ファイル複製分込み）

④ 課題利用率（②／③）

⑤ 全課題使用量（ファイルスペース容量：ファイル複製分抜き）

⑥ 全課題使用量（ディスクスペース容量：ファイル複製分込み）

⑦ HPCI共用ストレージ総容量

• 計画的利用の参考にお役立てください

５．使用量管理：利用計画ヒアリング・再割当

0 1 2 3 4 5 6 7 8 9 10 11 12 ②利用計画ヒアリング・再割当 系列 1 系列 2 系列 3 系列 4 系列 5 系列 6 系列 7 系列 8 系列 9 系列 10

Apr15 Jun15 Sep15 Dec15 Jan16 Mar16

• 4半期ごとに利用計画のヒアリングを実施します

• ヒアリング時点での利用実績を考慮した現実的な、利用計画・使用容量見込

みをお教えください

• ヒアリング結果に応じて、割当容量の再割当を行います

• 利用見込みが課題申請時の利用計画を下回る課題に対しては、資源の解放

をお願いします

• 利用見込みが課題申請時の利用計画を上回る課題に対しては、できる限りご

要望に応じる所存です

• HPCI共用ストレージ資源の有効活用のため、ご協力をお願いいたします

参考）

今年度希望割当量：20.9PB(ファイルスペース)

HPCI共用ストレージ総容量：22.5PB

５．使用量管理:使用量削減

• 9月末までに割当容量以下に使用量を削減してください • 10月から課題ごとの使用量を割当量に制限します • 利用者による複製数管理 • ファイルの重要度に応じた複製数設定 • 現在HPCI共用ストレージは複製数：２で運用しています • テープアーカイブの活用 • 低アクセス頻度ファイルをテープアーカイブに退避 • 削減推奨方法 ① 計算機資源ローカルディスクにコピーがあるファイルは複製を削除 ② テープアーカイブにデータをコピーして、複製を削除 ③ アクセス頻度の低いファイルはテープアーカイブに

退避してHPCI共

用ストレージから削除(右グラフ参照）

16 0 1 2 3 4 5 6 7 8 9 10 11 12 ③使用量削減 系列 1 系列 2 系列 3 系列 4 系列 5 系列 6 系列 7 系列 8 系列 9 系列 10 Apr15 Jun15 Sep15 Dec15 Jan16 Mar16

52% 4% 8% 6% 4% 5% 3% 2% 2% 1% 3% 5% 5% アクセスタイムごとのファイル分布 （総容量） 2014年3月以前 2014年4月 5月 6月 7月 8月 9月 10月 11月 12月 2015/1月 2月 3月

５．使用量管理：割当容量超過警告メイル

• 9月から、割当容量の95%を超過した課題に警告メイルを自動送付します

• 使用量通知メイルとは別便です

• 送信先は課題代表者とご指定アドレス一つ（MLが望ましい）

• 容量超過警告メイルの宛先登録をお願いいたします

• 警告メイルが送信された課題はすみやかに使用量を確認し、使用量抑制に

ご協力ください。

0 1 2 3 4 5 6 7 8 9 10 11 12 ④割当容量超過警告メイル 系列 1 系列 2 系列 3 系列 4 系列 5 系列 6 系列 7 系列 8 系列 9 系列 10

５．使用量管理：使用量制限の実施

• 10月からHard Quotaを設定します

• 使用量削減の達成次第で前倒し実施の可能性あり

• 使用量制限値は割当量(複製分込み)とします

• 課題（グループID）のディスクスペース（複製分込み）に対して書込制限します

• 課題内でグループ分割した書込み制限は現在検討中

• ご要望をお聞かせください

• 複数課題に属する課題実施者は、ディレクトリ・ファイルのグループIDを確認して、

初回採択時課題IDと等しいグループIDに変更してください

• HPCI共用ストレージでは親ディレクトリのグループIDを引き継ぎます

• HPCI共用ストレージのグループIDは初回採択時課題IDと同じです

• 課題実施者自らによる使用量管理の徹底をお願いします

18 0 1 2 3 4 5 6 7 8 9 10 11 12 ⑤Hard Quota設定 系列 1 系列 2 系列 3 系列 4 系列 5 系列 6 系列 7 系列 8 系列 9 系列 10 Apr15 Jun15 Sep15 Dec15 Jan16 Mar16

６．依頼事項

• 利用容量超過警告メイルの宛先アドレスの登録

• 警告メイルは課題代表者と登録アドレスに送信されます。

• 主要な課題利用者を含むMLをご登録ください。

• 四半期ごとの資源利用計画の提出

• ヒアリング時点での利用実績を考慮した現実的な、利用計画・使用

容量見込みをお教えください

• HPCI共用ストレージ資源の有効活用のため、ご協力お願いします

• オリジナルファイルを一ヶ月保存

• 約一月ごとに全更新ファイルのチェックサム確認

６．依頼事項：使用量管理

• 利用者自らによる使用量管理 • Hard Quota管理を前提に、課題内利用者に使用量管理を徹底 • 課題配下のディレクトリ、ファイルのgid確認と修正 • 既にディスク使用量が割当容量を上回っている課題は、上期中に割当容量以下まで、削減 • 複製数を意識した使用量管理 • 重要度に応じた複製数の管理 • 複製数の変更方法は”HPCI共用ストレージ利用マニュアル”を参照してください • HPCIポータルページ→利用者のページ→マニュアルからダウンロードできます。 • http://www.hpci-office.jp/pages/hpci_manuals?parent_folder=18 • 「京」ユーザの方は”HPCI共用ストレージ利用マニュアル 「京」ユーザ向け”も参照ください。 • HPCI情報共有CMS → スーパーコンピュータ「京」 → HPCI共用ストレージ関連マニュアル • https://www.hpci-office.jp/info/pages/viewpage.action?pageId=24707232 20 ※複製数を減らす $ gfncopy -s 1 /gfarm/hp120273/hpci001130/replicadir $ gfprep -x -N 1 /gfarm/hp120273/hpci001130/replicadir ※複製数を増やす $ gfncopy -s 3 /gfarm/hp120273/hpci001130/work/replicadir $ gfprep -N 3 /gfarm/hp120273/hpci001130/work/replicadir 5/29からの定期メンテナンスでは、東拠点の移設工事の事前バックアップのため、一時的にレプリカを増殖しています。 上記コマンドは、定期メンテナンス明けの6月からご利用ください。

６．依頼事項：ファイルサイズ管理

• 平均ファイルサイズを50MB以上にしていただきたい • 2015年度からファイル数増加＆ファイルサイズ低下 傾向 • メタデータサーバの使用メモリも増加傾向 • メタデータサーバの物理メモリを使い切りそう • キロバイト・メガバイト単位のファイルはtarなどでマ トメテ保存してほしい 1 10 100 1,000 10,000 100,000 1,000,000 10,000,000 100,000,000 1,000,000,000 10,000,000,000 0.00% 2.00% 4.00% 6.00% 8.00% 10.00% 12.00% 14.00% 16.00% 18.00% 20.00% ファイル数占有率・平均ファイルサイズ 分布 (2015/5/25時点) 課題ID hp130030 hp120051 hp120273 hp120131 hp120213 hp150019 hp130023 hp130001 50MB hp130018 平均ファイルサイズ ファイル数 占有率 • メタデータサーバの円滑運用のためファイル数制限を かける可能性もあります • ファイル数占有率の高い課題に対してファイル数削減 を要請する可能性があります ファイル数遷移

６．依頼事項：ファイルサイズ管理

• 平均ファイルサイズを50MB以上にしていただきたい • 2015年度からファイル数増加＆ファイルサイズ低下傾向 • メタデータサーバの使用メモリも増加傾向 • メタデータサーバの物理メモリを使い切りそう • キロバイト・メガバイト単位のファイルはtarなどでマトメテ 保存してほしい • メタデータサーバの円滑運用のためファイル数制限をかける 可能性もあります • ファイル数の多い課題にファイル数削減要請の可能性あり 22

• 低アクセス頻度で100MB以上のファイルはテープアー

カイブへの退避を推奨します

• データ長期保存対策

• 課題実施期間後にデータ保存を希望する課題

• 課題実施期間後３年間はアーカイブにデータ保

存可能

• 2015年度３課題、2014年度５課題、合計８課題

がデータ保存中

• 特に今年度で実施期間が終了する課題は計画的

なテープアーカイブへのデータ退避をお願いします

６．依頼事項：テープアーカイブの活用

3.8% 4.2% 44.2% 47.8% 100MB未満 100MB以上 2014年度内 2013年度以前 最終アクセス月 サイズ

６．依頼事項：大規模アーカイブシステムの活用

• 計画的なデータ移動の推奨

• 今年度終了予定でデータ保存課題への移行を予定している課題

• 戦略枠は今年度で課題実施期間終了

• ペタバイトオーダのデータ保存を予定している課題は、時間コスト・作業コストを

早めに見積もってください

• 「京」ユーザは、「京」ユーザ向けログインサーバの活用

• 「京」グローバルファイルシステム⇄アーカイブシステム間で直接コピー可能です

• アーカイブ利用に限らず、「京」グローバルファイルシステム⇄共用ストレージ間

データコピーにも活用してください

• 共用ストレージの割り当て容量以上のアーカイブ領域が必要な課題は早めにご連

絡ください

• ポスト「京」重点課題でアーカイブシステム利用希望の課題は早めにご相談ください

24

６．依頼事項：参）大規模アーカイブシステムの紹介

理研計算科学研究機構

西拠点

• 総容量60PBの階層型ファイルシステム

• 共用ストレージ全課題利用可能

• 共用ストレージ全課題で割当希望量を利用可能

• 共用ストレージユーザ向けログインサーバ：4台

• 「京」ユーザ向けログインサーバ：6台

• マニュアル

• HPCIポータルサイト→利用者のページ→マニュアル

http://www.hpci-office.jp/pages/hpci_manuals?parent_folder=18

に公開

• “HPCIアーカイブシステム利用マニュアル”

• “HPCIアーカイブシステム利用マニュアル「京」ユーザ向け”

• 主な制限事項

• 最小ファイルサイズ：100MB

• 最大ファイルサイズ: 1.2TB

６．依頼事項：参）「京」ユーザ向け環境

• 「京」ユーザ向けログインノードとマニュアルを準備しています • 「京」ユーザ向け環境 • esciwtl05〜esci-wtl10の6台 • 「京」のローカルアカウントを採用 • 「京」グローバルファイルシステムにアクセス可能 • 「京」:/home → /K/home • 「京」:/data → /K/data • 「京」グローバルファイルシステム⇄アーカイブ間で直接データ転送可能 • 「京」グローバルファイルシステム⇄共用ストレージ • ぜひ、共用ストレージへのアクセスには「京」ユーザむけアーカイブシ ステムログインサーバを活用してください。 • 「京」ログインサーバは混雑しています • 共用ストレージ⇄アーカイブ間で直接データ転送可能 26