目的と提案
• 目的
– e-Science実現のための、NIS、LLS間連携可能なインフラシステムの提供
– 資源連携サービス（他サブテーマ成果物）研究者と応用計算（シミュレー
ションなど）研究者間の連携支援
• 提案:
RENKEI-PoPによるホスティング・データ共有クラウド
– RENKEI-PoP: 仮想マシン管理機能、
1GBpsの理論転送性能を持つ
サーバアプライアンス
– Gfarm2による広域共有ファイルシステム
を介した拠点間データ共有
– RENKEI-VPEによる仮想マシンの
起動・停止・イメージ管理
RENKEI-PoP
• 仮想マシン実行支援と大容量ストレージを持ったサーバ
アプライアンス
– 仮想環境によるe-サイエンスソフトウェア開発・実証評価環境を提供
• RENKEI-VPE: KVM, libvirt, OpenNebulaをベースに開発
– 拠点間のデータ転送・共有環境を提供
• Gfarm2によるRENKEI-PoPストレージの統合
• RENKEI-PoP間Disk-to-Disk理論転送性能を1GBpsで設計
CPU Core i7 975 Extreme (3.33 GHz)
Memory 12GB (DDR3 PC3-10600 , 2GB*6)
NIC 10GBASE-SR or LR
System Disk 500GB HDD
Storage 30TB (RAID 5, 2TB HDD x 16)
OS CentOS, globus, gfarm, libvirt, …
Write Re-Write Read Re-Read
16GB 750 1030 800 810 単位: MBps
ファイルシステムIO性能
RENKEI-PoPによるe-サイエンスシステム連携
• 個々の拠点にRENKEI-PoPを1つ設置
– 拠点リソースにアクセスするための
ゲートウェイ
– PoP間は高速ネットワークで接続
– 拠点間ポリシーと拠点内ポリシー調停
• 認証、情報サービスなど
– RENKEI-PoP間はグリッド認証対応
[RENKEI-PoPアプライアンスの仕様策定・展開]
RENKEI-PoP配備・展開
東京工業大学 (titech, titech2)
大阪大学 (osaka)
国立情報学研究所 – 千葉 (nii)
高エネルギー加速器研究機構 (kek)
名古屋大学 (nagoya)
筑波大学 (tkb)
産業技術総合研究所 (aist)
東北大学 (thk)
RENKEI-POP設置拠点（H21まで）
H22新規設置拠点
国立遺伝学研究所 新学術領域研究「ゲノム支援」にて、データ処理基盤として使
用予定。主に、遺伝研@三島 => TSUBAME2.0@東工大への
データ転送に利用
北海道大学
VMホスティングが主な用途。北大の次期クラウド型システム
や他クラウドとの連携についての共同研究を開始
利用ポータルの整備: https://rpop-mngr-g.cc.titech.ac.jp/portal BASIC認証
User: rpopuser
Pass: sub5user
[RENKEI-PoPアプライアンスの仕様策定・展開]
RENKEI-PoPで利用可能なサービス
• 認証
– Unix認証、RENKEI-PoP間GSI認証
– 9大学学術グリッド認証基盤
(& HPCI?)との連携
• RENKEI-PoP間データ転送・共有
– scp, gridftp, gsiscpなど
– SINET CSI-Grid上での、Gfarmに
よる約164TBの広域分散ファイルシステム
– 拠点ストレージ間データ転送の中継サーバとして利用可能
• e-Scinece連携サービスのホスティング
[RENKEI-PoPアプライアンスの仕様策定・展開]
RENKEI-Pop間通信性能チューニング
• 広帯域・高遅延なSINET3ネットワーク上でのNative通信、
Gfarm通信の性能向上のために、
各種ネットワークパラメータを調整
• チューニングパラメータ一例
– TCPバッファサイズ
– 送受信キュー長
– 帯域制御
– 各種NIC固有機能
（TSO on/offなど）
チューニング前後の通信性能（Mbps）
上段がチューニング前、下段がチューニング後
[RENKEI-PoPによる拠点間データ転送・共有基盤]
Gfarmデータ転送性能
• 14GB単一ファイル転送性能
gfarm構成
[RENKEI-PoPによる拠点間データ転送・共有基盤]
750
バージョン 2.3.2
gfarm mds 管理用サーバ@東工大
gfarm fs CSI-Grid接続RENKEI-PoP
認証
ホスト間: 共有秘密鍵
ホスト – ユーザ: gsi認証
通信パラメータ
gfarm デフォルト
暗号化通信 なし
RENKEI-VPEの開発
• OpenNebulaをベースに開発した広域分散VM管理システム
– VM実行にはkvmを使用
– GSI認証、Gfarm上へのVMイメージ保存に対応
– 利用者毎のリソース制御（実行可能VM数、VM実行利用可能なサイト、
IPアドレスの静的事前割当）
– VM、OSイメージ定義の再利用
[RENKEI-VPEによる仮想マシン管理]
VM実行フロー
RENKEI-VPEのRENKEI-PoPへの導入
• RENKEI-PoP上でのVMによるRENKEIソフトウェア導入実績
– 東工大、NII、KEKにてNAREGI、グリッドミドルウェアを運用
• RENKEI-VPEの試験導入
– 東工大、NII、北海道大学で試験的に運用
– 他RENKEI-PoPも容易に接続可能
標準VM構成
Architecture x86_64
CPU Core 1
Memory 4GB
Disk 256GB
Network 1000Mbps
OS CentOS 5.5
Scientific Linux 3.0.9
[RENKEI-VPEによる仮想マシン管理]
RENKEI-PoP
管理サーバ
• RENKEI-VPE
• Gfarm MDS
• 利用ポータル
RENKEI-PoP
@Tokyo Tech
RENKEI-PoP
@NII
RENKEI-PoP
@Hokudai
実行ホスト選択
VM実行
Gfarm on RENKEI-PoP
OSイメージの転送
NISとしてのTSUBAME2.0グリッド連携
TSUBAME2.0 / NAREGI
• TSUBAME2.0ジョブスケジュー
ラにジョブ投入するNAREGI
GridVM Schedulerを導入
375ノード、計5つのキュー、最大600TFlopsをNAREGIで利用可能
実績
• 8大学基盤センター + 筑波大学 + NII連携グリッドへの接続
• サブテーマ1のWFTからのジョブ投入デモ @ SC10
• RENKEI-PoP上に構成したNAREGI環境への接続
[TSUBAME2.0スーパーコンピュータのグリッド接続]
TSUBAME2.0とRENKEI-PoPの連携
• RENKEI-PoPをTSUBAME2.0ストレージネットワークに統合
– 拠点間データ共有のための、
ステージングからライフサイクル
管理までを行う運用モデルの提唱
– RENKEI-PoPをTSUBAME2.0 IB QDR
に接続
– TSUBAME2.0アカウントと
RENKEI-PoPアカウントを統合
東工大 TSUBAME2.0
RENKEI-PoP
テープライブラリ、階層型ファイルシステム
と連動した運用体制の実証
Gfarm on RENKEI-PoPと
TSUBAME2.0ストレージの
連携手法について検討中
検討中案（一例）
• sshfs経由でRENKEI-PoP
上gfarm領域をマウント
• ディレクトリSync
[RENKEI-PoPとTSUBSAMEのストレージシステム統合]
（進行中プロジェクト）
