東京大学情報基盤センターFX10スパコンシステム（Oakleaf-FX）活用事例

あ ら ま し 東京大学情報基盤センター様の大型計算機センターは，全国共同利用施設として，多 様な利用者ニーズに対応されている。そこで，スーパーコンピュータ「京」に適用した技 術を更に進化させ，高性能と省電力を両立した富士通製の「FUJITSU Supercomputer PRIMEHPC FX10」を中核としたシステム「Oakleaf-FX」の本 格 運用を2012年4月か ら開始した。Oakleaf-FXは，2012年6月に実行性能1 PFLOPS（世界18位）を達成した 76 800 CPUコアで構成される大規模超並列スパコンで，学内外で1500名以上の利用者が 様々な先端的研究開発・教育活動に利用する。富士通は，アプリケーションの高い実行 性能，使いやすいシステムと柔軟な運用環境，更には省電力という課題解決に向けたア プローチを行っている。 本稿では，Oakleaf-FXのシステム概要，スパコンに求められている課題と課題解決の 施策について紹介する。更に，Oakleaf-FXを活用した様々な研究成果が報告されており， アプリケーションの成果事例として四つの分野についても報告する。 Abstract

Information Technology Center, The University of Tokyo (ICT/UT) is a core organization of Joint Usage/Research Center for Interdisciplinary Large-Scale Information Infrastructures which consists of eight academic supercomputer centers in Japan. There, Oakleaf-FX, a system centered on Fujitsu s PRIMEHPC FX10 (76 800 CPU cores,) which has been developed by further enhancing the technology applied to the K computer to realize both high performance and superior energy efficiency, started operations in April 2012 and achieved a performance of 1 PFLOPS (ranked 18th in the world) in June 2012. Supercomputing Division of ITC/UT provides services for operations of supercomputer systems and supporting more than 1500 users from both of inside and outside of the university for various cutting-edge R&D and education activities. Fujitsu is working to develop products with high application execution performance, and create user-friendly systems that can work in various operational environments and that are energy efficient. This paper presents a system overview of Oakleaf-FX and the issues to be overcome to develop supercomputers, together with measures for solving them. The results of various studies making use of Oakleaf-FX have been reported and this paper reports on four fields as successful examples of its application.

● 坂口吉生　　　● 小倉崇浩　　　

システム（

Oakleaf-FX

_{）活用事例}

Practical use of FX10 Supercomputer System (Oakleaf-FX) of Information

Technology Center, The University of Tokyo

Server PRIMERGY」74台，ストレージ「FUJITSU Storage ETERNUS」234台，ネットワーク機器な

どにより構成される（図

-1

）。ソフトウェアは，ペ

タスケールシステムに対応したHPCミドルウェア 「Technical Computing Suite」とそのコンポーネ ントである大容量・高性能・高信頼分散ファイル システム「FEFS（Fujitsu Exabyte File System）」 などで構成されている。 Oakleaf-FXは， ピ ー ク 性 能1 PFLOPSを 超 え る大規模超並列スパコンであり，地球科学・宇宙 物理学・地震学・気候モデリング・材料科学・エ ネルギー・生物学・流体力学・固定力学など幅広 い研究分野で活用される。更に，計算科学を担 う人材の育成として，HPC（High Performance Computing）教育にも活用される。 スパコンに求められている課題 2004年頃までのスパコンの性能向上は，CPUの クロック周波数を高めて実現していたが，近年で は，メニーコア化と呼ばれるCPUコア数を増加す る方法で性能を向上させている。TOP500（1）_（世界 で最も高速なスパコンのランキング）における上 位10システムからスパコンの性能トレンドを見る と，総理論演算性能は，2010年以降では156％の 急成長を遂げているのに対し，CPUの周波数につ いては2010年以降では99.8％の成長率でほぼ横ば いになっている（図

-2

）。メニーコア化による性能 の場合には，利用者がシステムに合わせて既存ア プリケーションの書換えや，新規に開発してアプ リケーション実行性能を高める必要がある。永続 スパコンに求められている課題 ま　え　が　き 東京大学情報基盤センター様（以下，東大セン ター）は，1965年に全国共同利用施設の大型計算 機センターとして発足（1999年以降現在の名称） 以来，スーパーコンピュータ（以下，スパコン） による様々な科学技術分野における先端的な研究， 教育利用を推進したセンター運用を行っている。 東大センターでは，従来のスパコン利用者に対す る継続的なサポート，新しい利用分野の開拓，スー パーコンピュータ「京」（注）_{利用に向けた開発環境} の整備，人材育成という，多様かつ重要なニーズ に応えるとともに，企業を含めた学内外の利用者 1500名以上の利用者に最先端のスパコン環境の提 供を行うべく，2012年4月に大規模超並列スパコン 「Oakleaf-FX」の稼働を開始した。Oakleaf-FXは， 世界一の性能を達成した「京」に適用したスパコ ン技術を更に向上させ，高性能・高信頼，かつ省 電 力 性 に 優 れ た「FUJITSU Supercomputer PRIMEHPC FX10」を中核としたシステムである。 本 稿 で は，Oakleaf-FXの 概 要， ス パ コ ン に 求 められている課題と課題解決アプローチ，そして Oakleaf-FXを活用した成果事例を紹介する。

Oakleaf-FX

の概要 Oakleaf-FXは，大規模超並列スパコンの中核と して，PRIMEHPC FX10 50筐体（4800計算ノー ド），周辺システムとしてPCサーバ「FUJITSU ま　え　が　き （注） 「京」は理化学研究所の登録商標。

Oakleaf-FX

の概要 図-1 Oakleaf-FX概要 ノード構成 4800計算ノード （76 800 CPUコア） （300 IOノード） ピーク性能 1.13 PFLOPS メモリ容量 150 Tバイト FUJITSU Storage ETERNUS DX80 S2 ［1.1 Pバイト］ DX410 S2 ［2.1 Pバイト］ FUJITSU Server PRIMERGYなど FUJITSU Supercomputer PRIMEHPC FX10 RX300 S6RX200 S6 NW機器

実 現 す るVISIMPACT（Virtual Single Processor by Integrated Multicore Parallel Architecture） を備えている。 Oakleaf-FXは，76 800 CPUコアで構成される大 規模超並列が可能なシステムであり，MPI並列に スレッド並列を組み合わせたハイブリッド並列は， アプリケーションの高い実行性能を実現する有効 な並列化手法である。 ハイブリッド並列化を容易に実現するための仕 組みであるVISIMPACTにより，利用者のアプリ ケーション開発の負担を軽減し，今後のペタスケー ルに向けたアプリケーション開発環境を提供して いる。VISIMPACTは以下機能を組み合わせて実 現している。 ・ CPUコア間のハードウェアバリア機構 ・ 12 Mバイトの共有L2キャッシュ ・ コンパイラーの高度な自動並列機能 大規模並列の高い実効性能は，ベンチマークプ ログラムHPL（High-Performance Linpack）で 1.04 PFLOPS，実行効率91.86％を達成し，2012年 6月発表のTOP500で世界18位，実行効率では上位 50システムの比較で「京」に次ぐ世界2位の高い性 能を実現したことで証明されている。 ● 使いやすいシステムと柔軟な運用環境の提供 東大センターのスパコン運用は，これまでの利用 性のあるシステム利用環境の提供という意味で， 超 並列アプリケーションの高い実行性能と開発負荷 軽減が課題である。 スパコンのセンター運用は，様々な利用者と用 途ごとに複数の利用方法があり，システムの効率 的かつ柔軟な運用が求められている。利用面にお いても，アプリケーション開発を支える高度な開 発環境の要求や，日本のみならず世界的に利用が 進んでいるOpen Source Software（OSS）環境の 充実が求められている。 スパコンの性能向上に貢献している超高密度実 装技術は，性能向上を求められる一方で設置面積 は変わらず，消費電力に至っては削減要求の問題 が顕在化している。これは2011年3月に発生した東 日本大震災の影響で電力供給が逼迫し，倫理的な 観点からも省電力化が求められたことが一因であ る。よって消費電力の低減と，その効果を確認す るための電力の見える化， 監視など運用面の課題が ある。

Oakleaf-FX

の課題解決アプローチ ● アプリケーションの高い実行性能の実現 PRIMEHPC FX10は，6次元メッシュ /トーラス アーキテクチャーの高速インタコネクト（Tofuイ ンタコネクト），アプリケーションの超並列対応を

Oakleaf-FX

の課題解決アプローチ 図-2 スパコンの性能と規模のトレンド 0 1000 2000 3000 4000 5000 6000 7000 8000 1 10 100 1000 10 000 100 000 1 000 000 10 000 000 100 000 000 ク ロ ッ ク 周 波 数 （M H z ） コ ア 数 （ 個 ） 総 理 論 演 算 性 能 （ G FL O P S ） 上位10システムのコア数平均（個） 上位10システム総理論演算性能平均（GFLOPS） 上位10システムクロック周波数平均（MHz） 1998年以降の平均成長率：109％ 2010年以降の平均成長率：99.8％ 1998年以降の平均成長率：141％ 2010年以降の平均成長率：156％ 1998年以降の平均成長率：126％ 2010年以降の平均成長率：140％ （年/月） 1998 /06 1999 /06 2000 /06 2001 /06 2002 /06 2003 /06 2004 /06 2005 /06 2006 /06 2007 /06 2008 /06 2009 /06 2010 /06 2011 /06 2012 /06 2013 /06

者以外に社会貢献や人材育成の観点で，企業利用・ 教育利用・若手利用といった様々なサービスを提供 している。Oakleaf-FXでは，様々な利用者が目的 に応じた分かりやすいシステムを実現するために東 大センターと富士通でシステム設計・ツール開発を 行い，利用者に使いやすいシステムを提供している。 （1） トークン制度による利便性向上 Oakleaf-FXの課金は，従来の利用できる最大 ノード数制限ではなく，割り当てられたトークン （利用ノード×利用時間）内で自由にノードが利用 できる仕組みを利用者に提供している。 （2） 利用しやすい開発環境の提供 アプリケーションのデバッグ・チューニングと いった作業を行う上でジョブが流れやすくなるよ う配慮し，対話的に操作できるインタラクティブ ジョブ環境とデバッグ環境を提供している。 （3） 柔軟な運用環境の実現 教育での利用は，講義時間中など決められた期 間のみノードを効率的に割り当てるスケジューリ ング方式を開発し運用している。また最大24時間 全ノードを利用し研究成果を上げる「大規模HPC チャレンジ」といった運用も実現し，稼働率向上 を図っている。

（4） 充実したOpen Source Softwareの提供

Oakleaf-FXでは，頻繁に使われるアプリケーショ ン・数学ライブラリ・ツール類といったOSSを幅 広く提供し，利用者の研究促進に貢献している。 ● 高性能と省電力を両立したグリーンスパコン Oakleaf-FXは，2012年6月 のGreen500（2） _{（ 世 界} で最もエネルギー消費効率の良いスパコンのラ ンキング）で，システムの消費電力1176.8 kW/ 1.043 PFLOPSの性能を達成し，886.3 MFLOPS/W という電力性能比により，世界43位を達成した。 昨今の電力事情を考慮するとスパコン運用にお いて，電力の見える化が重要である。そのためサ ブシステム単位にリアルタイムで消費電力に関する データを収集し，電力使用量予測監視（デマンド監 視）を行える電力監視システムを開発・導入し運用 している。電力監視システムは，これまでの電力設 備情報から全体の電力量を把握する方式ではなく， Oakleaf-FXの各サブシステム単位で電力の見える 化を実現している（図

-3

）。その結果，節電要請時 の縮退運転などの効果をより具体的に把握するこ とができ，またデマンド監視機能により許容上限 に近づく傾向があった場合のメール通報が可能に なっている。

Oakleaf-FX

の活用事例 2012年4月 か ら 2012年12月 ま で の 期 間 で Oakleaf-FXを活用した研究成果（論文・ポスター 発表）は，物理学・情報学・応用物理学（工学基礎）・ 地球惑星科学・機械工学で37件が報告されている。 また，2012年6月のGraph500（3） _{（世界で最もグ} ラフ処理性能の良いスパコンのランキング）にお いて，東京工業大学 鈴村豊太郎准教授がOakleaf-FXを使用し，世界4位の性能を達成している。 東大センターでは，学内外におけるOakleaf-FX の利用を考えている利用者に加え，社会貢献の 一環として高性能計算や並列処理の技術習得を目 的にした企業の技術者を対象に，2012年7月から 2013年8月までの間に計8回の講習会を実施してい る。講習会では，お試しアカウントが与えられ実 際にスパコンを使った並列プログラミングの体験 が可能である。このようにOakleaf-FXは，幅広い 研究分野で活用されているだけではなく，人材育 成・社会貢献にも活用されている。 以下にOakleaf-FXでのHPCチャレンジ運用やハ イブリッド並列を用いて実現した成果事例を四つ 紹介する。 ● 不均質多孔質媒体における

3

次元地下水流れ （東大センター中島研吾教授）（4）－（6） 不均質3次元多孔質媒体を有限体積法によって

Oakleaf-FX

の活用事例 図-3 電力監視システム画面

● 大西洋起源海流の北極海氷分布への影響評価 （東京大学大気海洋研究所羽角博康教授）（7），（8） 水平数km以下の現象をパラメーター化して表 現した海水の運動方程式と熱・塩分の輸送拡散方 程式，および粘塑性レオロジーを持つ連続体とし て近似した海氷の力学・熱力学方程式からなる 連成系を有限差分法によって離散化して時間積 分することにより，時々刻々の海洋海氷場を得 る。全海洋を計算領域とするが，北極海の大西洋 側を集中的に高解像度化する格子系を採用してい る（図

-6

）。空間格子数は1280×768×45であり， Oakleaf-FX 128ノードを使用して1年分のシミュ レーションデータセットを5時間程度で得ることが できる。50年分程度の海洋海氷場シミュレーショ 離散化，不均質場における定常ポアソン方程式 を大規模問題に適したスケーラブルな手法であ る 多 重 格 子 前 処 理 付 き 共 役 勾 配 法（Conjugate Gradient Method with Multigrid Preconditioner， MGCG）によって解いている（図

-4

）。Oakleaf-FX 4096ノード（65 536 CPUコア）を使用して最 大17 179 869 184元の大規模連立一次方程式の求 解を10秒程度で実現している。不完全コレスキー 分解付共約勾配法（ICCG法）などの従来の前処理 付き共役勾配法ではこの10倍以上の計算時間がか かる。並列アルゴリズムの改良によって従来の手 法と比較して，アプリケーション全体で20％以上 の性能の改善が得られている（図

-5

）。 図-4 不均質多孔質媒体における3次元地下水流れシミュレーション結果 図-5 Oakleaf-FXにおけるMGCGソルバの並列性能 図-6 海洋海氷場のシミュレーション結果 0.0 5.0 10.0 15.0 ELL-hCGA，

lev＝6：51 levELL-CGA＝7：55，levELL-CGA＝8：60，ELL：65 CRS：66

se

c.

疎行列格納法・逐次ソルバーへの移行レベル Rest

Coarse Grid Solver MPI_Allgather

MPI_Isend/Irecv/Allreduce MPI_Isend/Irecv/Allreduce

たプロセス配置の最適化や通信と演算のオーバー ラップ手法を用い，演算性能・ストロングスケー リングの向上を実現している（図

-9

）。 ● ブラックホール降着流の磁気流体・輻ふくしゃ射磁気 流体シミュレーション（千葉大学理学研究科 松 元亮治教授）（10） ブラックホールに回転しながら落下する物質に よって形成される回転円盤（降着円盤）の時間発 展を磁気流体シミュレーションによって調べてい る。図

-10

は，銀河系の中心に存在する太陽の400万 倍の質量を持つ巨大ブラックホールに落下しつつ あるガス雲と降着円盤の衝突過程を近似リーマン 解法の一種であるHLLD法に基づく円筒座標系3次 元磁気流体コードを用いてシミュレートした結果 である。数値的な電流散逸を抑制するため，メッ シュ境界値の計算には空間5次精度のMP5法を適用 ンデータセットを作成し，大西洋から北極海へ流 入する高温海水の挙動と海氷分布への影響を評価 している（図

-7

）。 ● マルチスケールプラズマ乱流のジャイロ運動 論的シミュレーション（東京大学生産技術研究 所加藤千幸教授）（9） ジャイロ運動論方程式（5次元位相空間における プラズマ分布関数の移流・拡散方程式）に基づき， 磁場閉じ込めプラズマ中で生じる乱流揺動の時間 発展を解く（図

-8

）。数値解法にはスペクトル法・ 差分法・陽的時間積分法を用い，並列化にはMPI/ OpenMPを用いた多次元領域分割とスレッド並列 を実装している。問題規模は格子点数109_{∼ 10}10_， 時間ステップ数∼ 105_{程度であり，1ケースあたり} Oakleaf-FX 512ノード（8192 CPUコア）を使用 して48時間程度で計算できている。新たに開発し 図-7 大西洋から北極海へ流入する高温海水の挙動と 海氷分布への影響を評価した結果 図-8 ジャイロ運動論方程式に基づき，磁場閉じ込めプラズマ中で生じる乱流揺動の時間発展を解いた結果 図-9 Oakleaf-FXにおけるジャイロ運動論方程式の ストロングスケール並列計算結果 25 20 15 10 5 0 Number of cores［×1000］ マッピング ＋オーバーラップ マッピング 最適化なし P er fo rm an ce （TF LO P S ） 0 5 10 15 20

今後の展望

2013年3月，東京大学と筑波大学は「計算科学・ 工学及びその推進のための計算機科学・工学の発 展に資するための連携・協力推進に関する協定」 を締結した。本協定のもと最先端共同HPC基盤施 設（JCAHPC：Joint Center for Advanced High Performance Computing）を設置した。東京大学 柏キャンパス内に双方のスーパーコンピュータシ ステムを設置して，最先端の大規模高性能計算基 盤を構築・協力して運営するこの取組みは，過去 に類を見ない新たな挑戦であり，最先端の計算科 学を推進し，我が国の学術および科学技術の振興 に寄与することになる。 Oakleaf-FXの高性能と省電力を両立させたハー 今後の展望 し た。 メ ッ シ ュ 数 は256×64×256，Oakleaf-FX の64ノ ー ド（1024 CPUコ ア ） を 用 い て100時 間 で計算している。図

-11

は，ブラックホールへの 降着率が高い場合に輻射圧によって加速された噴 出流が形成される過程を，軸対称性を仮定してシ ミュレートした結果である。数値計算には輻射輸 送方程式の0次，1次モーメント式を磁気流体方程 式と連立させて解く相対論的抵抗性輻射磁気流体 （R3MHD） コ ー ド を 使 用 し た。MPI/OpenMPを 用いて並列化したコードをチューニングした結果， Oakleaf-FXの64ノード（1024 CPUコア）を用い て10％の実効効率が得られた。今後，軸対称性を 仮定しない3次元輻射磁気流体計算を世界に先駆け て実施していこうとしている。 図-10 HLLD法に基づく円筒座標系3次元磁気流体コードを用いてシミュレートした結果 図-11 ブラックホールへの降着率が高い場合に輻射圧によって加速された噴出流が形成される過程を， 軸対称性を仮定してシミュレートした結果

System．IEEE Proceedings of 2012 International Conference on Cluster Computing Workshops， 2012，p.199-206．

（5） K. Nakajima：Large-scale Simulations of 3D Groundwater Flow using Parallel Geometric Multigrid Method．Procedia Computer Science ， Vol.18，p.1265-1274（2013）．

（6） K. Nakajima：Challenges in Sparse Linear Solvers for Post-Peta/Exascale Systems，Latest Advances in Scalable Algorithms for Large Scale Systems．ISC 13（International Supercomputing Conference），Leipzig，Germany，2013．

（7） T. Kawasaki et al.：High-resolution modeling study on the Atlantic water inflow to the Arctic Ocean．IAHS-IAPSO-IASPEI Joint Assembly， Goteborg，Sweden，2013．

（8） T. Kawasaki et al.：High resolution modeling for long-term prediction of the Arctic sea ice．NIPR Symposium，Tokyo，Japan，2012．

（9） 前山伸也ほか：京におけるジャイロ運動論的シ ミュレーションコードGKVの超並列スペクトル計算． HPCS 2013，Tokyo，Japan，P1-1，2013．

（10） R. Matsumoto：X-ray Flares Triggered by the Tidal Disruption of a Gas Cloud Approaching the Galactic Center Supermassive Black Hole．12th International Workshop on the Interrelationship between Plasma Experiments in Laboratory and Space （IPELS），Hakuba，Japan，July 1-5，2013． ドウェア技術，安定稼働と使いやすさを追求した ソフトウェア技術，利用者の立場に立った運用ノ ウハウを活用して，今後の最先端共同HPC基盤施 設の成果最大化にも貢献していきたい。 む　　す　　び 本稿では，東大センター Oakleaf-FXのシステ ム概要，課題解決への取組みを説明し，更にアプ リケーションの活用事例・成果について紹介した。 今後，著者らはより汎用的なスーパーコンピュー タシステムを創造することで，日本および世界の サイエンスの推進と発展に寄与していきたい。 本稿執筆に当たり，数多くのアプリケーション 情報の提供をいただきました。この場をお借りし て深く感謝いたします。 東京大学情報基盤センター 中島研吾教授 東京大学大気海洋研究所 羽角博康教授 東京大学生産技術研究所 加藤千幸教授 千葉大学理学研究科 松元亮治教授 参 考 文 献 （1） TOP 500． http://www.top500.org/ （2） Green 500． http://www.green500.org/lists/green201206 （3） Graph 500． http://www.graph500.org/results_june_2012

（4）K. Nakajima：OpenMP/MPI Hybrid Parallel Multigrid Method on Fujitsu FX10 Supercomputer

む　　す　　び 坂口吉生（さかぐち　よしお） テクニカルコンピューティング・ソ リ ュ ー シ ョ ン 事 業 本 部 計 算 科 学 ソ リューション統括部 所属 現在，科学分野におけるHPCビジネス 推進とスパコンセンターのサポートに 従事。 小倉崇浩（おぐら　たかひろ） テクニカルコンピューティング・ソ リ ュ ー シ ョ ン 事 業 本 部 計 算 科 学 ソ リューション統括部 所属 現在，東大センターにてOakleaf-FXの 運用支援に従事。 著 者 紹 介