FOCUSスーパーコンピュータシステムにおける並列課金インセンティブの効果III

全文

(1)Vol.2017-HPC-161 No.3 2017/9/19. 情報処理学会研究報告 IPSJ SIG Technical Report. FOCUS スーパーコンピュータシステムにおける並列課金インセンティブの効果 III 西川武志†1 概要：前回の報告ではＡ，Ｄ二つの異なるシステムの存在下でも演算性能あたりの時間単価を基準に適切な課金インセンティブを設計することで一方のシステムに利用が大きく偏ること無く並列度を向上させることに成功したことを報告した．今回はさらに異なるＦ，Ｈ二つのシステムを追加し、またＤシステムよりメモリ容量が２倍のＥシステムの課金時間単価をＤシステムと同一にし、Ａ，Ｄ，Ｅ，Ｆ，Ｈの五つの性能や機器構成の異なるシステムが存在する状況で課金インセンティブを適切に設定することで特定のシステムに大きく利用が偏ることが無いような運用を実現していることを報告する．キーワード：インセンティブ設計，計算センター運用，運用統計，並列度向上. 1. はじめに. 108GFLOPS, RAM：48GB, HDD：500GB (2) D システム（80 ノード）. 前々回の報告[1]では計算科学振興財団（FOCUS）が運用. 高並列化環境（56Gbps FDR-Iinfiniband 接続）. する産業界向けエントリースーパーコンピュータシステム. CPU：Xeon E5-2670 v2（Ivy-Bridge） 2.5 GHz 10 コア×2. 「FOCUS スパコン」の A システム（Westmere-EP 世代）に. 400GFLOPS, RAM：64GB, HDD：6000GB. 関して１ジョブで複数のノードを確保して使うとノード課. (3) E システム（48 ノード）. 金時間単価を割引くという並列課金インセンティブを毎年. 高並列化環境（56Gbps FDR-Iinfiniband 接続）. 度変化させて設定することでジョブ実行時の並列度を増加. CPU：Xeon E5-2670 v2（Ivy-Bridge） 2.5 GHz 10 コア×2. させることに成功したことを示した．. 400GFLOPS, RAM：128GB, HDD：2000GB. 前回の報告 [ 2 ] では FOCUS スパコン D システム. Xeon Phi 5110P 1.053GHz 60 コア×4, 4044GFLOPS. （Ivy-Bridge 世代）の D システムを A システムに追加して. (4) F システム（12+2 ノード）. 並行運用した場合についても適切な並列課金インセンティ. 高並列化環境（56Gbps FDR-Iinfiniband 接続）. ブを導入することで A，D で一方のシステムに利用が大き. CPU：Xeon E5-2698 v4（Broadwell） 2.2 GHz 20 コア×2. く偏ること無く並列度を向上させたことを示した．. 1152GFLOPS, RAM：128GB, HDD：6000GB. 本稿ではそれまで並列課金インセンティブを設定してい. (5) H システム（136 ノード）. なかった FOCUS スパコン E システム（Ivy-Bridge 世代）に. 高密度高並列化環境（34 ノード/3U シャーシ, シャーシ間. D システムと同等のものを設定し,さらに 2016 年 9 月から. 40Gbps Ethernet ×16 シャーシ内ノード間 10Gbps Ethernet. 追加導入し 10 月から課金運用した FOCUS スパコン F, H シ. ×2 接続）. ステム（Broadwell 世代）が加わる状況下でも適切な課金イ. CPU ： Xeon D-1541 （ Broadwell ） 2.1 GHz 8 コア × 1. ンセンティブを設定することで一部のシステムに利用が集. 205GFLOPS, RAM：64GB, SSD：512GB. 中することなく並列度向上と負荷が特定のシステムに集中することを回避できていることを報告する．. 2. FOCUS スパコンシステム FOCUS スパコンシステムの概要については前々回の報告[1]に A〜E，G システム，ストレージシステム等について詳細に述べているので，ここでは今回の報告の中心である A，D，E，F，H システムについて概要を述べる． 2.1 FOCUS スパコン A, D, E, F, H 概要 FOCUS スパコン A，D，E，F，H システムの概要は次の通りである． (1) A システム（224 ノード）高並列化環境（40Gbps QDR-Iinfiniband 接続） CPU：Xeon L5640（Westmere-EP） 2.26 GHz 6 コア×2 †1(公財)計算科学振興財団 Foundation for Computational Science. ⓒ 2017 Information Processing Society of Japan. このように現在の FOCUS スパコンでは Westmere-EP、 Ivy-Bridge、Broadwell と三つの Xeon 世代が混在し、ノード性能と課金単価が A システムの 108GFLOPS・100 円/ノード時間から F システムの 1,152GFLOPS・500 円/ノード時間と性能で 10.7 倍,課金単価で 5 倍もの開きが存在する．システムの特徴もノード間通信路に InfiniBand を備えた A, D, E, F システムと 10Gbit Ethernet を備え H システムと利用者がどのシステムが自分の利用目的に合致しているか, 絶対性能やコストパフォーマンスがどうなのかについて単純に判断できない状況にある．FOCUS では利用者に向けてシステムの理論性能のみならず複数の実アプリケーション（OpenFOAM, ANSYS Fluent, NAMD, iconCFD）の性能について開示して利用者の目的に応じたシステム選択に役立てている[3]．. 1.

(2) Vol.2017-HPC-161 No.3 2017/9/19. 情報処理学会研究報告 IPSJ SIG Technical Report. 2.2 FOCUS スパコン課金制度とインセンティブ. 表 2 A システムの従量課金単価 2017 年度. FOCUS スパコンの課金制度には大きく二つあり従量制と予約制がある[4]．従量制は常設キューを利用したノード数と経過時間の積にノード時間単価を乗じて利用課金する．予約制は事前に１日単位、月単位、年度単位でノード数を確保し従量制とは別の単価で課金する．これまでの経験から課金インセンティブは従量制と１日単位の予約キューに強く現れていることが判明している．表 1 に A システムの 2011 年度から 2016 年度，表 2 に 2017 年度，表 3 に D システム，表 4 に E システムの 2014 年度から 2017 年度，表 5 に F，H システムの 2016 年度から 2017 年度の従量課金単価を示す．表１ A システムの従量課金単価 2011-2016 年度. 表 3 D システムの従量課金単価 2014-2017 年度. 2017 年度の課金インセンティブの設計方針は l. 前年度に対し翌年度は同じノード数であれば課金単価が上昇させる. l. Xeon Phi, Tesla P100 等のアクセラレータの付加価値は設定しない. ⓒ 2017 Information Processing Society of Japan. 2.

(3) Vol.2017-HPC-161 No.3 2017/9/19. 情報処理学会研究報告 IPSJ SIG Technical Report l. A システムから H システムへの移行を促すためにノ. 4.0. ード性能が A システムの約 2 倍の H システムの課金. コストパフォーマンス 2015年度 A D 2016年度 A D 2017年度 A D. インセンティブを A システムと同一にする D, E システムから F, H システムへの移行を促すために全てのノード数領域に置いて F, H システムのコストパフォーマンスを D, E システムより優位にする表 4 E システムの従量課金単価 2014-2017 年度. 3.5. Cost performance (GFLOPS/Yen). l. F F. H H. HH. FF. 3.0. HH. FF. HH D. FF. F. F. DD. HH. F. F H H H. H. D. HH. FF. 2.5. 2.0. H H. H. DD A. H DD. DD AA. AA. DDH AA DD. AA DD AAA. 1.5. 1.0. D. D D D. A. A A A. 1. 表 5 F, H システムの従量課金単価 2016-2017 年度. 4. DD D D DD AA DA D AA DA D A A DD D DD AA D DD AA A A D A A AA AA A A A A. 16. 64. Num. Nodes 図1. 2015 年度から 2017 年度のコストパフォーマンス. 3. 課金インセンティブの効果図 2 に A，D，E，F，H システムの 24 時間キューにおける全課題の平均ノード数に対する月あたり利用ノード時間を示す． A システムは 2011 年度から 2014 年度まで平均ノード数が年度を経る毎に拡大して行っていたのが 2015 年度から 2017 年度までは 2 ノードから 3 ノードの間に止まり計算資源利用量が減少している．一方で D システムは前年度に対して翌年度は概ね平均ノード数が拡大し課金インセンティブが有効に働いていると言える． E システムは課金インセンティブを導入した 2017 年度は前年度に比べて平均ノード数が減少してしまっている． F, H システムについては課金インセンティブが全く無かった 2016 年度に比べて 2017 年度は平均ノード数が向上しており,特に H システムは約 4 倍も平均ノード数が向上して図 1 に 2015 年度から 2017 年度のコストパフォーマンス. いる．. （GFLOPS/円）を示す．. 図 2 は課金インセンティブがノード単位のため平均ノー. 同様な課金インセンティブは従量制と同様に１日単位の. ド数に対し全課題の平均ノード数に対する月あたり利用ノ. 予約制にも同様に適用し月単位と年度単位の予約制には適. ード時間をプロットしているため各システムのノード当た. 用していない．. りのコア数が顕になっておらず，課金インセンティブが並. ⓒ 2017 Information Processing Society of Japan. 3.

(4) Vol.2017-HPC-161 No.3 2017/9/19. 情報処理学会研究報告 IPSJ SIG Technical Report 列度向上に有効に働いていない誤解を与える恐れがある．. 35. 35 13. 30. 30 12. 3. 25. 20 15. 15. 15. 10. 16. 11. 16. 25. 20 15. 15. 15. 10. 16 11 16. 14. 14. 16. 16. 14. 14. 17. 17. 5. 5. 17 16 16 17 15. 1 図 2. 2. 17. 14. 4 5 6 Average Nodes. 7. 8. A，D，E，F，H システムの 24 時間キューにおける. 全課題の平均ノード数に対する月あたり利用ノード時間そこで図 3 に A，D，E，F，H システムの 24 時間キューにおける全課題の平均プロセス数に対する月あたり利用ノ. 20. 17. 17. 16. 17 15. 17. 3. a024h d024h e024h f024h h024h. 13. Monthly average Proc hoursx10. Monthly average node hoursx10. 3. 12. a024h d024h e024h f024h h024h. 40. 16 17 14. 60 80 100 Average Procs. 120. 図 3 A，D，E，F，H システムの 24 時間キューにおける全課題の平均プロセス数に対する月あたり利用ノード時間. 4. まとめ. ード時間を示す．これにより１ノード当たりコア数が 20. 本稿では A，D, E, F, H と複数の CPU 世代の異なるシス. コアの D, E システムおよび 40 コアの F システムの利用が. テムの存在下でも演算性能あたりの時間単価を基準に適切. A システムより移行することにより平均プロセス数が増大. な課金インセンティブを設計することで特定のシステムに. していることがはっきりと分かる．一方，H システムが約. 利用が大きく偏ること無く並列度を向上させることを示し. 4 倍のノード数と著しく増えたのは並列課金インセンティ. た．今後の課題として個別の利用者の年度毎の詳細な利用. ブの効果もあるが 1 ノード 8 コアと少ないため 8 ノード利. 推移を調査し，さらに有効な並列課金インセンティブの設. 用することで A システムの 2013,2014 年度や D, E システム. 計を目指す．. の 2016 年度に利用されていたコア数に匹敵するようにな. FOCUS スーパーコンピュータシステムの運用に関して. るためであることが類推される．. 使いやすくするための改良を加えていくつもりであるため. 前回の報告と同様に A システムの月あたり利用ノード時. 運用に関する要望や意見を，是非 [email protected] まで. 間が減少した分に匹敵またはそれ以上の計算量が D, E, F,. お寄せいただきたい．. H システムの利用量として増大していることがわかる．. 謝辞. FOCUS スーパーコンピュータシステムの運用や. 利用者の開拓に尽力されている計算科学振興財団の同僚と利用してくださっている利用者各位に，謹んで感謝の意を表する．. ⓒ 2017 Information Processing Society of Japan. 4.

(5) 情報処理学会研究報告 IPSJ SIG Technical Report. Vol.2017-HPC-161 No.3 2017/9/19. 参考文献 [1]. FOCUS スーパーコンピュータシステムにおける並列課金インセンティブの効果, 西川武志, 研究報告ハイパフォーマンスコンピューティング（HPC）,2015-HPC-149(2),1-4 (2015-06-19). [2] FOCUS スーパーコンピュータシステムにおける並列課金インセンティブの効果 II, 西川武志, 研究報告ハイパフォーマンスコンピューティング（HPC）, 2016-HPC-157(10),1-5 (2016-12-14). [3] FOCUS スパコンベンチマーク http://www.j-focus.jp/benchmark/ [4] FOCUS スーパーコンピュータシステム利用料金詳細, http://www.j-focus.or.jp/focus/fee.html. ⓒ 2017 Information Processing Society of Japan. 5.

(6)