核融合プラズマ乱流シミュレーションの階層的並列化

全文

(1)2011年ハイパフォーマンスコンピューティングと計算科学シンポジウム High Performance Computing Symposium 2011. HPCS2011 2011/1/18. 核融合プラズマ乱流シミュレーションの階層的並列化井戸村泰宏、ジョリエセバスチャン日本原子力研究開発機構、東京都台東区東上野 6-9-3 核融合プラズマにおける乱流現象の第一原理モデルであるジャイロ運動論モデルに基づく 5 次元格子コード GT5D における階層的並列化手法について議論する。GT5D では方程式系の物理的特性や対称性に基づいて 5 次元位相空間の階層的な多次元領域分割を行う。これを複数の MPI コミュニケータと SMP を組み合わせた階層的通信構造によって実装することにより高いスケーラビリティを実現し、BX900 システム 16384 コアを用いて実効性能 19.4TFlops を達成した。. 散化し、①に関してはハミルトン方程式で与えられる非圧縮乱流場による移流の保存則を満たす無散逸保存型差分によって精度と数値安定性を両立し、②については中心差分を適用する。時間積分には半陰的ルンゲ・クッタ法を使用し、1010 次元の連立一次方程式として与えられる陰的ステップを一般化共役残差法に基づく反復法によって解く。 ③のポアソン方程式はトーラス方向にフーリエモード展開を適用し、トーラス断面を 2 次元有限要素近似で取り扱うが、乱流場の非等方構造を反映したフィルターを適用して有限要素演算子サイズを圧縮することにより、直接法で. 乱流場を解く。これらの差分・有限要素演算子に演算子の物理的特性や対称性に応じて設計した階層的領域分割を適用し、3 つの MPI コミュニケータと SMP によって構成される階層的ハイブリッドネットワーク構造上で並列化する。これによって 1 つの集団通信を行う MPI プロセス数を百程度以下に抑制し、1 万コアを超える領域まで高いスケーラビリティを実現した。ここで、SMP によるハイブリッド並列化は MPI プロセス数削減による通信コスト削減のみならず、MPI バッファ等によるメモリ使用量の削減にも大きく寄与する。図 1 では複数の超並列プラットフォーム上で GT5D のストロングスケーリングを計測し、 BX900 システム 16384 コアの実効性能として ~19.4TFlops（対ピーク性能比~10.1%）を達成した。講演では演算カーネル性能やスケーラビリティの各プラットフォーム間の比較等についても議論する。 Sustained Performance (GFlops/total). 乱流輸送現象は核融合炉心プラズマの閉じ込め性能を支配するため核融合エネルギー開発における重要な課題となっている。中性流体乱流と比較して、核融合プラズマ乱流は、①電子流体とイオン流体という移動度や特性長が異なる流体成分が電磁場を介して相互作用する、②閉じ込め磁場構造によって非等方な乱流構造が形成される、そして、③約 1 億度という高温の核融合プラズマでは衝突周波数が非常に小さく、波と粒子の共鳴現象や粒子軌道効果といった運動論的効果が顕著となる、といった特徴がある。 3 次元空間の中性流体乱流シミュレーションと異なり、核融合プラズマ乱流シミュレーションは、特に、③の運動論的効果のために 5 次元位相空間（3 次元空間+2 次元速度）における粒子分布の取り扱いを必要とし、膨大な計算量になる。このため、現実的なパラメータでシミュレーションを行うことが長年困難であったが、近年急速に発展している超並列計算機の利用によって実装置規模の 5 次元ジャイロ運動論シミュレーションが盛んに行われるようになってきた[1,2,3]。しかしながら、現在の計算資源では ITER （国際熱核融合実験炉）のような大型装置の計算は難しく、将来のペタ超級の計算資源の利用、および、それに向けたシミュレーションの超並列最適化が必要とされている。ジャイロ運動論方程式系は①乱流場による 5 次元位相空間の移流、②粒子衝突効果による速度空間の移流・拡散、 ③乱流場を決定するポアソン方程式から構成される。数値計算法としては粒子モデル、および、格子モデルという 2 つの異なるアプローチが存在するが、本研究で開発している GT5D[4,5]は格子モデルを採用している。トーラス状の炉心プラズマの 5 次元位相空間を 1010 程度の構造格子で離. BX900 SR16k. 10000 . FX1 Altix T2K 1000 . BG/P. 100 100. 1000. 10000 Cores. 図 1:GT5D コードのストロングスケーリング参考文献 [1] 渡邉, 洲鎌, 井戸村, プラズマ・核融合学会誌 81 (2005), pp.534-546, pp. 581-592, pp. 686-702. [2] Y. Idomura, T.-H. Watanabe, and H. Sugama, C. R. Physique 7, 650 (2006) [3] X. Garbet, Y. Idomura, L. Villard, T.-H. Watanabe, Nucl. Fusion 50, 043002 (2010). [4] Y. Idomura et al., Comput. Phys. Commun. 179, 391 (2008).; Nucl. Fusion 49, 065029 (2009). [5] S. Jolliet et al., submitted to J. Comput. Phys.. 58. ⓒ 2011 Information Processing Society of Japan.

(2)