統合汎用スーパーコンピュータシステムの
設計状況と施設整備状況
2009年4月2日
理化学研究所
次世代スーパーコンピュータ開発実施本部
秘密情報，取扱注意
資料
8−1
内 容
システム全体構成と利用イメージ
コネクト部の構成
スカラ部（ユニット
A）の構成
ベクトル部（ユニット
B）の構成
施設
/設備
HPC Challenge Awardの推定性能と重点化アプリケーション
今後のスケジュール
開発スケジュール
1 2 3 4 5 6 7 8 9 10 11 12 1 2 3 4 5 6 7 8 9 10 11 12 1 2 3 4 5 6 7 8 9 10 11 12 1 2 3 4 5 6 7 8 9 10 11 12 1 2 3 4 5 6 7 8 9 10 11 12 1 2 3 4 5 6 7 8 9 10 11 12 1 2 3 4 5 6 7 8 9 10 11 12 1 2 3 平成20年度 トータルシステ ムソフトウェア 平成18年度 平成19年度 システム開発 （ハードウェア， システムソフト ウェア） 平成22年度 平成23年度 平成24年度 平成21年度 共用法施行 CSTP フォローアップ 文科省 概念設計評価作業部会 CSTP 評価検討会 CSTP 本会議 設計・製造計画評 価検討部会 文科省 中間評価作業部会 演算部完成 詳細設計 概念設 計 試作・評価 製造，搬入・据付調整 詳細設計 インターフェース 詳細設計書 基本設計 プロトタイプ，ソフトウェア作成 統合システム構築 演算部部分稼動統合汎用スーパーコンピュータシステムの構成（概要）
システム・コネクト
ローカル ファイル 11PB以上スカラ部
ベクトル部
計算ノード数（CPU数）： 88,128
コア数：
705,024
ピーク性能： 11.28PFLOPS
メモリ容量：
1.34PB
消費電力：
約16MW
設置面積：
約1,470㎡
ローカルファイル 7.6PB以上計算ノード数（CPU数）： 12,288
コア数：
49,152
ピーク性能： 3.1PFLOPS
メモリ容量：
0.375PB
消費電力：
約7MW
設置面積：
約1,070㎡
（柱部分含む）外部接続
統合フロントエンドサーバ
（ユーザ・ログイン）
インターネット
可視化サーバ
システム利用のイメージ
スカラ部共有ファイル
システム・コネクト ローカル ファイル ベクトル部 ローカル ファイル スカラ部共有ファイル
システム・コネクト ローカル ファイル ベクトル部 ローカル ファイル スカラ部共有ファイル
システム・コネクト ローカル ファイル ベクトル部 ローカル ファイル スカラ部共有ファイル
システム・コネクト ローカル ファイル ベクトル部 ローカル ファイル ファイル・ステージイン （共有ファイルからローカルファイル に利用するデータを移動） スカラ部，ベクトル部でJOBを実行 （ローカルファイルのデータを利用） ファイル・ステージアウト （ローカルファイルから共有ファイル にデータを移動） JOB投入 （JOB記述，利用演算部を指定）統合スケジューラ
統合スケジューラ
統合スケジューラ
統合スケジューラ
JOB実行
JOB投入 JOB記述を見てジョブを振分け ジョ ブ 用 デー タ JOB実行 ジョ ブ 用 デー タ ジョ ブ 用 デー タ 出力 デー タ 出力 デー タ 出力 デー タ 利用演算部，ステー ジング指定等をJOB スクリプトに記述JOB終了
ジョブ状態表示 で確認 スカラ部で実行する場合 スカラ部で実行する場合 スカラ部で実行する場合アプリケーション実行の形態（
1/2）
スカラ部
ベクトル部
共有ファイル コネクト(1) 演算部単独実行
スカラ部，またはベクトル部のどちらかで実行
JOB1
JOB2
(2) ファイル共有による実行（Ｈ24年9月末）
共有ファイルを利用し，スカラ部及びベクトル部の両方を用いて実行
②
On-the-flyジョブ（データ受渡し）
① ファイル共有ジョブ
スカラ部
ベクトル部
共有ファイル コネクトJOB1-s
JOB1-v
共通データ
スカラ部
ベクトル部
共有ファイル コネクトJOB1-s
JOB1-v
データ
JOB1-s
JOB1-v
同時進行
アプリケーション実行の形態（
2/2）
スカラ部
ベクトル部
共有ファイル コネクトJOB1-s
JOB1-v
(3) 連成ジョブ実行（マルチフィジックス/マルチスケールジョブ）（Ｈ24年度中）
スカラ部及びベクトル部の両方を，統合
MPIを介して利用．
統合MPI
血管内の血流シミュ
レーション
血管壁の変形シミュ
レーション
JOB1-s
JOB1-v
例．
3次元血流・血管壁連成解析モジュール（RSS21)
z 血管壁を超弾性体として扱うことができる流体構造連
成解析コードの開発
z 血流-血管壁-物質輸送の連成シミュレーションの実現
統合MPIにより，ジョブ間でデータを転送．
共有ファイルを経由しない．
コネクト部の構成
コネクト部の主な機能
ユーザ
（
W
ebブラウザ） インター ネット・ アクセス【ジョブ操作，ジョブ状態表示】
統合スケジューラにより，ジョブ操作を一箇 所に集約 両演算部共通のジョブ処理記述に基づき， 両ユニットへのジョブ投入を操作． 統合スケジューラにより一括管理されたシス テム全体のジョブ実行状態を，広報機能を 介して1箇所に集約して表示【広報機能】
システム全体の稼働状況を一箇所に 集約して表示 システム利用状態，ディスク使用 状況等の一括表示が可能 システムの利用マニュアルを一箇所 にて管理，閲覧可能【プログラム開発】
一箇所でプログラム開発が可能． ただし，コンパイル及びリンクは各演算部 の機能を使用【ユーザ・ログイン】
統合ユーザ管理機能により，ユーザ 管理を一箇所に集約 ローカル スケジューラ ファイルサーバ ローカル スケジューラ グローバルスイッチ ベクトル部 スカラ部 統合MPI ・トータルシステムソフトウェア ・統合スケジューラ機能 ・統合ユーザ管理機能 共有ファイル制御フロントエンド機能
・統合ユーザ利用環境【共有ファイル機能】
両演算部から同一のファイルへのアクセス が可能． 両演算部間でファイル転送が不必要となり， ユーザ処理を簡便化． 連成ジョブでの演算部間ファイル移動が不 必要コネクト部のシステム構成
統合ユーザ利用環境 統合スケジューラ 総合ユーザ管理機能NW-SW
ローカル スケジューラ 演算部間プロセス 通信機構 ローカルディスク スカラ部 ローカル スケジューラ 演算部間プロセス 通信機構 ローカルディスク ベクトル部 ファイルサーバ共有ファイルシステム
演算部間プロセス 通信サーバ リモートマウント ＋ ステージングコネクト部
外部へ
統合FEP CS 統合ユーザ利用環境 統合スケジューラ 総合ユーザ管理機能NW-SW
NW-SW
ローカル スケジューラ 演算部間プロセス 通信機構 ローカルディスク スカラ部 ローカル スケジューラ 演算部間プロセス 通信機構 ローカルディスク ベクトル部 ファイルサーバ共有ファイルシステム
演算部間プロセス 通信サーバ リモートマウント ＋ ステージングコネクト部
外部へ
統合FEP CS主な構成要素：ソフトウェア
統合ユーザ利用環境
トータルシステムソフトウェア
統合スケジューラ機能
統合ユーザ管理機能
統合課金システム
共有ファイルシステム
統合
MPI機能
ハードウェア機器
スカラ部，ベクトル部，及び共有ファイル
システムを接続するスイッチ群
IB及びEthernet
共有ファイルシステム
ファイルサーバ，磁気ディスク装置
管理サーバ（CS），ログイン・サーバ（統合FEP）
統合ユーザ利用環境
統合システムを利用するための機能を提供
一般ユーザ向け
一般ユーザがシステムを円滑に利用できるようにするための機能
管理者向け
システム管理者が各演算部の結合部分（コネクト部）を管理できるようにするための機能
CUI環境 （ターミナル環境）およびGUI環境 （Web Browser環境）でのサービスを
提供
図：
Webサービスの処理イメージ
ユーザのPC等で利用す るWebベースの利用環 境（統合Webポータル） を提供 Webクライアント（IEv6,v7, Firefoxなど） （JSP，サーブレット，cgiなど）Webサーバソフトウェア
ユーザからのリクエストを解 釈し，必要な作業を実施 スカラ部の ソフトウェア トータルシステム ソフトウェア リクエスト(HTTP) リスポンス(HTTP) リクエスト(HTTP) リスポンス(HTTP) 情報取得コマンド 結果（情報） 情報取得コマンド 結果（情報） ベクトル部の ソフトウェア スカラ部 スカラ部 ベクトル部 ベクトル部 情報取得コマンド 結果（情報） 情報取得コマンド 結果（情報）
統合ユーザ利用環境： 一般ユーザ向け機能
ユーザ認証機能
統合ユーザ管理機能と連携し，一般ユーザのログイン認証を行う機能
ファイル操作機能
共有ファイルシステム上のファイルに対して，ファイル操作を行う機能
共有ファイルシステムと他のサーバ間でファイル転送を行う機能
プログラム開発機能
プログラムのコンパイル・リンクやデバッグ・チューニングを支援する機能
スクリプト作成支援機能
ジョブスクリプトやワークフロースクリプトの作成を支援する機能
ジョブ操作機能
統合スケジューラと連携し，ユーザジョブを操作したり，ジョブの実行状態を表示する機能
広報機能
統合ユーザ利用環境： 管理者向け機能
統合スケジューラ管理機能
ジョブや統合スケジューラのキューを管理する機能
統合ユーザ管理機能
ユーザデータを管理する機能
課金情報表示機能
統合課金システム経由で各演算部の課金データを参照し表示する機能
広報機能
運用情報やマニュアルなどユーザへの提供情報を編集する機能
その他
ログイン履歴を管理する機能
GUI環境のメニュー管理などを行う機能
統合スケジューラ
各演算部のローカルスケジューラと連携し，ジョブ実行を統一的に制御
On-the-flyジョブなどの演算部間連携ジョブの実行
ユーザがシングルシステムイメージで利用できる環境を提供
演算部に依存しないユニークなJOBIDでジョブを管理
ジョブスクリプトは1ファイルで記述
ACLによるジョブ実行制限
ワークフロー制御用情報の提供
スクリプトベースのワークフロー制御に必要なコマンド群の提供
統合スケジューラ機能 両演算部連携制御 トータルシステムソフトウェア 統合ユーザ管理機能 ACL ユーザを一元に管理する機能 統合課金システム機能 ACL連携 •資源制限 •個別ユーザ差異化 運用管理 •ジョブ管理（一括表示，操作） •ノード管理（スケジューリング状態表示） 課金情報 オペレータ 統合ユーザ 利用環境 ユーザ ジョブ操作 •基本操作 （投入，参照，削除） •拡張操作 （中断，再開） •ワークフロー操作 （中断，再開） 統合スケジューラ機能 両演算部連携制御 トータルシステムソフトウェア 統合ユーザ管理機能 ACL ユーザを一元に管理する機能 統合課金システム機能 ACL連携 •資源制限 •個別ユーザ差異化 運用管理 •ジョブ管理（一括表示，操作） •ノード管理（スケジューリング状態表示） 課金情報 オペレータ 統合ユーザ 利用環境 ユーザ 統合ユーザ 利用環境 ユーザ ジョブ操作 •基本操作 （投入，参照，削除） •拡張操作 （中断，再開） •ワークフロー操作 （中断，再開）統合ユーザ管理機能
/ 統合課金システム機能
統合ユーザ管理機能
各演算部のユーザ情報を一元管
理し，ユーザの利便性およびシス
テム管理者の管理作業を軽減
各演算部との連携には
LDAPを利
用
統合スケジューラと連携し，
ACL
に基づくジョブの投入可否の判断
を実施
統合課金システム機能
各演算部の課金システムと連携
し，課金情報を参照できる機能を
提供
システムの使用に関して，統合ス
ケジューラと連携し，課金情報を
もとに利用制限を実施
図：統合ユーザ管理機能概念図
システムコネクト部
統合ユーザ管理ユーザ
管理情報
LDAP
（マスタ）
ユーザ
管理情報
LDAP
（スレーブ）
各演算部
複写ユーザ
情報
ユーザ情報 •参照 •登録 •更新 •削除システム
管理者
システムコネクト部
統合ユーザ管理ユーザ
管理情報
LDAP
（マスタ）
ユーザ
管理情報
LDAP
（スレーブ）
各演算部
複写ユーザ
情報
ユーザ情報 •参照 •登録 •更新 •削除システム
管理者
メタ サーバ群 データ サーバ群 • グローバルFS CL • ステージング CL
I/O ノード群
• グローバルFS CL • ステージング CLI/O ノード群
スカラ部
ベクトル部
80GB/s以上
22GB/s以上
IBまたは10GbE
• グローバルFS SV • ステージング SV メタ サーバ群 データ サーバ群 • グローバルFS CL • ステージング CLI/O ノード群
• グローバルFS CL • ステージング CLI/O ノード群
• グローバルFS CL • ステージング CLI/O ノード群
• グローバルFS CL • ステージング CLI/O ノード群
• グローバルFS CL • ステージング CLI/O ノード群
• グローバルFS CL • ステージング CLI/O ノード群
スカラ部
ベクトル部
80GB/s以上
22GB/s以上
IBまたは10GbE
• グローバルFS SV • ステージング SV共有ファイルシステム
スカラ部，ベクトル部および統合
FEPから利用
可能なファイルシステム
主な構成要素
IB-SW
ファイルサーバ
磁気ディスク装置
ディスク容量
約30PB以上
帯域
地球シミュレータの運用データを元に要求性能
を算定
スカラ部側に80GB/s以上，ベクトル部側に
22GB/s以上の実効帯域
合計で350GB/s以上の理論帯域
機能
ノード CPU: 2GHz, 128GFLOPS (8 Core)
