スーパーコンピュータ「京」：1. プロジェクト概要 -10ペタFLOPS級スーパーコンピュータ「京」の開発-

全文

(1)けい. 特集｜スーパーコンピュータ「京」. 1. プロジェクト概要. 基応専般. ─10 ペタ FLOPS 級スーパーコンピュータ「京」の開発─. 横川三津夫渡辺貞理化学研究所. プロジェクトの開始. アの開発であり，1 つは分子科学研究所を主体として進められている「次世代ナノ統合シミュレーショ. 2006 年度からスタートした第 3 期科学技術基本. ンソフトウェア」，もう 1 つは理研の和光研究所を. 計画において，スーパーコンピューティング技術は，. 主体として進められている「次世代生命体統合シミ. 宇宙輸送システムなどと並んで「国家的な大規模プ. ュレーションソフトウェア」である．項目（3）に関. ロジェクトとして集中的に投資すべき基幹技術（「国. しては，神戸に建設された「京」設置のための施設に，. 家基幹技術」という）」として指定された．これを. 理研計算科学研究機構（機構長平尾公彦）が 2008. 受けて，次世代スーパーコンピュータ（2010 年に. 年 7 月に設置され，この組織を中心とした拠点が. 愛称を「京」とした）の開発が 2012 年度完成を目. 作られてすでに活動を開始しているところである．. 指してスタートした．愛称「京」は公募により決め. 図 -1 にプロジェクトのスケジュールを示す．. たものであり，開発目標性能の 10 ペタを表す万進法の単位である．このプロジェクトは「世界最先端・最高性能の次世代スーパーコンピュータの開発・整. 開発方針. 備及び利用技術の開発・普及」という目標を掲げ，. 2006 年に理研はスーパーコンピュータ「京」の. 将来にわたり我が国が科学技術・学術研究，産業，医・. 開発のための組織として「次世代スーパーコンピュ. 薬など広汎な分野で世界をリードし続けるべく，. ータ開発実施本部」を立ち上げた．ここでまず行っ. （1）世界最先端・最高性能の「次世代スーパーコン. たことは，システム評価のためのアプリケーション. ピュータ（10 ペタ FLOPS 級）」の開発・整備. を選定することであった．このために，アプリケー. （2）次世代スーパーコンピュータを最大限利活用す. ション検討部会（部会長平尾公彦東大教授（当時））. るためのソフトウェアの開発・普及. を開催し，国内の主要な研究者によって，21 本の. （3）次世代スーパーコンピュータを中核とする世界. ターゲットアプリケーションと呼ぶシステム評価用. 最高水準のスーパーコンピューティング研究教育. のアプリケーションを選定した．これら 21 本の. 拠点（COE）の形成. アプリケーションは特定の分野に偏らずナノ，ライ. 1）. を文部科学省のイニシアティブにより，開発主体（理. フ，地球科学，ものづくり，基礎科学などの分野に. 「理研」））を中心に産学官の密化学研究所（以下，. おいて「京」のような大規模計算環境で使われてい. 接な連携の下，一体的に推進することとされた．本. くと予想されるアプリケーションでかつ有限要素法，. プロジェクトは，2006 年度からの 7 年計画，計画. FFT（高速フーリエ変換）やモンテカルロ法など代. 予算総額 1,154 億円で開始された．このプロジェク. 表的な手法やアルゴリズムを含むものである．これ. トで推進すべき項目のうち上記（2）は，具体的に. らのアプリケーションのうち代表的な 6 本について. は，「京」を利用するアプリケーションソフトウェ. は，その後の概念設計や詳細設計などの開発の節目. 754 情報処理 Vol.53 No.8 Aug. 2012.

(2) 1プロジェクト概要. ─ 10 ペタ FLOPS 級スーパーコンピュータ「京」の開発─. 平成 18 年度平成 19 年度平成 20 年度平成 21 年度平成 22 年度平成 23 年度平成 24 年度（2011）（2012）（2008）（2009）（2006）（2010）（2007）. システム. 概念設計. ソフトウェア. アプリケーション）（グランドチャレンジ. 次世代ナノ統合シミュレーション. 実証. 実証. 開発・製作・評価. 設計. 性能チューニング. 試作・評価・製造. 開発・製作・評価. 次世代生命体統合シミュレーション. 計算機棟. 詳細設計. 建設. 施設研究棟. 設計. 節目で設計に基づく性能予測，実機による評価プログラムとして利用されている（本特集「6. アプリ. 建設. 図 -1 プロジェクトのスケジュール. を重視したシステム構築を目指す・幅広い活用を促すため，低コストを実現しつつ，. ケーションの性能と最適化」参照）．また，ターゲ. 利便性の高い汎用機により目標性能を達成するこ. ットアプリケーションの選定と並行して，全国の主. とを目指す. 要な大学・研究所等のコンピュータセンター調査を. ・並行して，アクセラレータの検討も行う. 実施した．この調査の目的は，センターの現状の問. ・低消費電力 CPU など，新規性の高い技術をベー. 題点や将来システムへの要望を聞くことにより，開. スとした波及効果の高いハードウェア技術の開発. 発すべきシステムに対する要求仕様の参考にするた. を目指す. めであった．. さらに，コンピュータセンター調査結果に基づいて，. これらの結果に加えて，プロジェクトのスタートに. システムの総消費電力は 30MW 以下，設置面積. 先立って開催された文部科学省情報科学技術委員会. 3,200m2 以下，従来システムとの互換性・移行性に. の計算科学技術推進ワーキンググループによる報告. 配慮し，高信頼性で，かつ，運用性・利便性の高い. 書. 2）. などを参考として，理研としてプロジェクトお. システムなどを開発目標とした．図 -2 は，2006 年. よびシステム開発の基本方針を以下のように定めた．. 度のプロジェクト開始にあたって作成したシステム. プロジェクトの基本方針 :. 構成決定のための諸要因の間の関連性を示したもの. ・計算機シミュレーションにより，科学技術・産業. である．. の競争力を高めること・スーパーコンピュータの開発力を国内に保持し，継続的な開発を可能とすること. 開発経緯. ・完成時までに世界最速と内外から広く認められること. 2006 年度初めに，次世代スーパーコンピュータ. システム開発方針 :. の概念構築を行うために公募によって選定した 6 機. ・理論性能や LINPACK 性能（10PFLOPS 以上）を. 関（富士通，NEC, 日立，筑波大，九大，東大，国. 考慮しつつ，実効性能（アプリケーション性能）. 立天文台および海洋研究開発機構）と，共同研究に. 情報処理 Vol.53 No.8 Aug. 2012. 755.

(3) けい. 特集｜スーパーコンピュータ「京」. システム開発 -世界最高レベルのスーパーコンピューティング研究開発基盤を目指して制約条件電力，設置面積ナノサイエンス. その他. ライフ. 信頼性，保守性. （ものづくり等）. 1400. （センタ調査から）. 1200. 設置面積（㎡）. グランドチャレンジからの要求要件. 1000 800 600 400 200 0. 0. 500 1000 1500 2000 2500 3000 3500 電力（kW ）. コスト（開発費，製造費，保守費等）重要な解析手法フラグメント分子軌道法 RISM. 大規模分子動力学法実空間密度汎関数法. 高速変換法. 有限要素法空間探索法. モンテカルロ法. 有限差分法. 行列ソルバ. 最適なシステム構成性能10 PFLOPS以上. 【海外調査】【国内技術調査】システム HPC分野の動向（開発計画，予算等）アーキテクチャ【運用・利用】. （メモリ容量，ファイル容量，システム運用，ユーザ管理，保守条件等）. ターゲットアプリケーションによるシステム検討. 【要素技術】. - 5分野，21 本のベンチマークテストを抽出ナノサイエンス（ 6 本）. ライフ（ 6 本）. 環境・防災（ 3 本）. 工学（ 4本）. 半導体製造半導体製造プロセスプロセス. 物理･天文（ 2 本）. 低消費電力化低消費電力化 SOI ソフトウェア光伝送技術ソフトウェア Low-k OS，コンパイラ等 High-k. 産業への波及効果. 技術条件，運用条件. 図 -2 システム構成決定のための検討項目. よりシステムの検討を開始した．共同研究によるシ. ウェア資産のより有効な利用や共用施設として効率. ステム提案の中から，実現可能性のあるシステムと. 的なユーザ対応ができるだけでなく，多くのアプリ. して，広い分野のアプリケーションで利用可能性の. ケーションで有効な複合シミュレーションのための. ある汎用機としての 2 つの案（富士通，NEC ＋日. 最適なシステム環境を構築できること，将来の我が. 立），汎用的な CPU に付加して演算を加速するアク. 国のスパコン開発の技術力，国際競争力等の向上に. セラレータを主体とする案（国立天文台＋東大）の. 一層貢献することなどであった．. 3 案に絞って，システムのアーキテクチャ，CPU. 2007 年 9 月の総合科学技術会議本会議において，. や実装などの要素技術検討，性能評価などを行う概. 前述の複合型システム構成が正式に承認された後，. 念設計を 2006 年度半ばから開始した．2006 年度終. CPU など主要な部品，筐体実装，システムソフト. わりから 2007 年度の初めにかけて，システムの実. ウェアなどの詳細な設計が開始された．2009 年 4. 現可能性，開発スケジュール，実現可能な性能，ア. 月には，システムの詳細設計がほぼ終わり，試作評. プリケーションとの適合性など，詳細に検討した結. 価のフェーズに入る前に，文部科学省科学技術・学. 果，最終的にシステム構成を図 -3（a）に示す複合. 術審議会研究計画・評価分科会情報科学技術委員会. 型システムとすることに理研として決定した．ここ. の下に設置された次世代スーパーコンピュータ中間. でアクセラレータを主体とするシステム構成案を採. 評価作業部会による詳細設計結果の評価が開始され. 用しなかったのは，この複合型システムで「利便性. た．この評価の中で，複合型システムは，その構成. の高い汎用機によって目標性能である LINPACK 性. を活かした連携計算において評価および性能が十分. 3）. 能 10PFLOPS の達成」の目処が立ったことによる．. でなく，また米国のスーパーコンピュータ開発状況. このシステム構成では，スカラ部を富士通が担当. から見て，日程的に世界最速を獲得することは相当. し，ベクトル部を NEC・日立のチームが担当する. 困難であるとの指摘を受け，システム構成の再検討. こととした．複合型システムを採用した主な理由は，. が要請された．これを踏まえて，理研では，システ. 両者の CPU を用いた統合システムにより，ソフト. ム構成や開発スケジュールの見直しを検討していた. 756 情報処理 Vol.53 No.8 Aug. 2012.

(4) 1プロジェクト概要. ─ 10 ペタ FLOPS 級スーパーコンピュータ「京」の開発─. スカラ部スカラ部. 計算ノード群. ベクトル部. ローカルファイル. (>10PFLOPS). ローカルファイル. システムコネクト. 共有ファイル 30PB 以上. (a) 複合型システム. ローカルファイル. グローバルIO用ネットワーク. グローバルファイル 30PB 以上. 図 -3 システム構成の変遷. (b)スカラ部による超並列システム. ところ，5 月に入り，前年 9 月のリーマンショック. トを切ることとなった．「京」の開発もこのプロジ. による世界的経済情勢の悪化がもたらした事業環境. ェクトの中で継続することとなった．. 悪化により，NEC がプロジェクトからの撤退を表. HPCI の構築では，我が国の計算科学技術にかか. 明し，共に開発に加わっていた日立もプロジェクト. わるコミュニティの幅広い意見を集約し，利用者視. からの離脱を余儀なくされた．. 点の環境を構築するために，ユーザコミュニティ. これら状況の変化に対応して，システム構成を. 機関および計算資源提供機関の意見の合意形成の. スカラ部単独のシステム構成とし，また CPU 間. 場となる「準備段階における HPCI コンソーシア. を接続するネットワークの強化を図るとともに，. ム」を構成して，コンソーシアム本格段階への移行. LINPACK 性能 10PFLOPS の達成時期を 2011 年 11. に向け，HPCI 運営体制の整備，HPCI システムの. 月と半年ほど早めることとした（図 -3（b））．さらに，. 整備，産業利用促進，人材育成などの課題について. 複合型システムのベクトル部での実行を想定してい. 議論を深めた．この結果，2012 年度より一般社団. たアプリケーションがスカラ部においても十分な性. 法人 HPCI コンソーシアムを設立することになり，. 能で実行できるようアプリケーション支援をより一. HPCI システム資源提供機関の資源を利用する環境. 4）. 層推進することとした．. 事業仕分けと HPCI の推進. 整備が進んでいる．. 「京」の製作と性能実証. 2009 年 11 月，行政刷新会議の事業仕分けにお. 「京」は，2010 年度に製作を開始し，2010 年 9. いて，本プロジェクトは「予算計上見送りに近い縮. 月 29 日に最初の 8 筐体が神戸に搬入，設置され. 減」との判定がなされた．このことはスーパーコン. た．富士通の関連会社富士通 IT プロダクツにお. ピュータに限らず科学技術政策はどうあるべきかと. いて，ハードウェアの製作は順調に進み，2011 年. の国民的な議論を巻き起こした．その後，学界や産. 6 月には，全体の約 8 割の筐体が搬入された．こ. 業界から多くの支援もあり，文部科学省での検討の. の時点で LINPACK 計測を行い，国際会議 ISC'11. 結果，「京」を中心として全国の大学等のスーパー. （International Supercomputing Conference'11）にお. コンピュータセンターをネットワークで有機的に接. ける第 37 回 TOP500 リストにおいて第 1 位を獲得. 続し，多様なユーザニーズに応える革新的な計算環. することができた．このときの LINPACK 性能は，. 境を実現する「革新的ハイパフォーマンス・コンピ. 8.162 PFLOPS（実行効率 93%）である．世界一に. ューティング・インフラの構築（HPCI）」を目指す. なった反響は大きく，世界的にも大きなニュースに. プロジェクトとして，2010 年度より新たなスター. なったのは記憶に新しい．. 情報処理 Vol.53 No.8 Aug. 2012. 757.

(5) けい. 特集｜スーパーコンピュータ「京」その後，さらに整備が進み，. 2011 年 8 月末にはすべてのハードウェアの搬入，設置が完了，現地でのシステム調し（図 -4）整の後，2011 年 11 月には，プロジェクトの目標性能である. LINPACK 性能 10PFLOPS を達成することができた．また，この性能により，11 月の第 38 回 TOP500. 図 -4 スーパーコンピュータ「京」. リストにおいても，6 月に引き続いて 2 回目の第 1 位を獲得することができた．システム全体（864 筐体，IO ノード用の CPU を. まとめ. 含め CPU 総数 88,128 個）による計測を行い，. 「京」の開発は，汎用性および高い性能を目標と. LINPACK 性能値 10.51 PFLOPS（毎秒 1.051 京回. したことにより多くの困難な問題があった．そのた. の浮動小数点演算数），実行効率 93.2％と高水準の. びに，多くの方々のご支援を受け，完成に漕ぎ着け. 記録を観測した．この測定では，LINPACK 実行時. ることができた．ここに謝意を表したい．我が国に. 間が約 29.5 時間に達し，88,128 個の CPU を搭載. おいても世界トップクラスのシステムを持つことに. したシステムが 1 つも故障せずに動作した点は世. より今後大きな成果が創出されることを期待すると. 界的に高く評価されている．また，国際会議 SC11. ともに，今回の開発の経緯も含め今後の教訓とする. （The International Conference for High Performance. ことにより，我が国がスーパーコンピューティング. Computing, Networking, Storage and Analysis'11）で. 技術で世界の先頭を走るよう，今後も継続的に努力. はスーパーコンピュータの総合的な性能を評価する. することが大事であろう．. ベンチマーク「HPC チャレンジ賞」の 4 部門においても第 1 位を獲得することができ，当初の目的である多様なアプリケーションに対し高い実行性能を得られる見通しを示すことができた．また，実空間密度汎関数法（RSDFT）によるシリコンナノワイヤの電子状態計算を行い，この実アプリケーションの成果に対してもゴードン・ベル賞（最高性能賞）を受賞し，一部の性能評価用プログラムだけでなく，. 参考文献 1）ターゲット・アプリケーション・ソフトウェア候補の選定について，http://www.nsc.riken.jp/application.html 2）計算科学技術推進ワーキンググループ報告書「計算科学技術の，http://www.mext.go.jp/ 推進に向けて」，文部科学省（July 2006）. b_menu/shingi/gijyutu/gijyutu2/006/shiryo/06091207/004.htm 3）次世代スーパーコンピュータ概念設計評価報告書（June 2007），http://www.mext.go.jp/b_menu/shingi/gijyutu/gijyutu2/ toushin/07061321.htm 4）次世代スーパーコンピュータプロジェクト中間評価作業部会報告書（July 2009），http://www.mext.go.jp/b_menu/ houdou/22/01/__icsFiles/afieldfile/2010/01/26/1289511_1.pdf （2012 年 4 月 27 日受付）. 実アプリケーションに対しても高い性能を発揮することを示した（本特集「2. システム概要」，「6. アプリケーションの性能と最適化」参照）．一方，2011 年 4 月から，システムの一部稼働を受け，グランドチャレンジ担当機関および戦略プログラム機関の一部のユーザに対し，試験利用環境を提供し，アプリケーションの移植，高度化の作業を実施している．これにより，「京」の共用開始後，早期に世界的な成果が出ることが期待されている．. 758 情報処理 Vol.53 No.8 Aug. 2012. 横川三津夫（正会員） [email protected] 1984 年筑波大学修士課程理工学研究科修了．同年日本原子力研究所入所．1997 年地球シミュレータ研究開発センター．2002 年産業技術総合研究所グリッド研究センター．2006 年理化学研究所にて次世代スーパーコンピュータ開発に従事．大規模数値シミュレーションに興味を持つ．工博．渡辺貞（正会員） [email protected] 1968 年東京大学大学院工学系研究科修士課程修了．同年 NEC 入社．汎用コンピュータ，スーパーコンピュータの開発・販促に従事． 2006 年より理化学研究所にて．次世代スーパーコンピュータの開発統括．.

(6)