Interconnect
Compute node Compute
node
NS Network System
NSnet NS Electricity & Air Conditioning Unit NSEACU
NS Computer Facility
図G2.1 NSIIIシステムの概要
166 宇宙航空研究開発機構研究開発報告 JAXA-RR-10-005
(2)システム構成表
NSシステムは，NS計算機設備，NS ネットワーク，NS 電気・空調設備から成る．それぞれの構成要素の 名前，略称などを下表G2.2に示す．
表G2.2 ＮＳシステムの構成一覧
システム名 英語名 略号
NSシステム Numerical Simulator NS NS計算機設備 NS Computer Facility NSCF
中央NSシステム Central Numerical Simulation System CeNSS
計算ノード Compute Node CPN
サービスノード Service Node SVN
I/Oノード I/O Node ION
ログインノード Login Node LIN システムノード System Node SYN
結合ネットワーク Interconnect CBN
GSNネットワーク GSN Link GSNLink ネットワークディスク Network Attached Disk NR1000 中央マスストレージシステム Central Mass Storage System CeMSS
ディスクサブシステム Disk Storage Subsystem テープサブシステム Tape Storage Subsystem
中央可視化システム Central Visualization System CeViS 可視化サーバ Visualization Server VisServ 大型三次元表示装置 Large-Sized 3D Display System Aerovision NSネットワーク NS Network NSnet
NSｼｽﾃﾑｴﾘｱﾈｯﾄﾜｰｸ NS System Area Network NSSAN
基線 Gigabit Ethernet
ルータ Router Alpine
連携ネットワーク Cooperation Network COOPnet ファイアウオール NS Fire Wall NSFW 暗号化サーバ SSH Server
NS電気・空調設備 NS Electricity & Air Conditioning Unit NSEACU
NS設備 NS Equipment NSequip
電気設備 Electricity Equipment
空調設備 Air Cooling Equipment
NS空調自動運転システム NS Active Zone Control Air Cooling Sys. NAZCA 自動運転システム
３．システムの詳細
3.1 中央NSシステム（CeNSS）
中央 NS システムは，NS システムの中核をなす計算機設備の主要部分である．Central Numerical Simulation Systemを略してCENSSと呼ぶ．高速のスカラーCPUを多数結合した共有メモリのSMPノード を，高速なクロスバーネットワークで結合した分散主記憶パラレルアーキテクチャの計算機である．
主要ハードウェア
【計算ノード】
・ピーク性能 9.3TFLOPS
・総メモリ容量 3.6TB
・CPUアーキテクチャ SPARC64 V
・CPU数 1,792
・計算ノード数 56
・計算ノード構成 SMP(32CPU)
【その他】
・IOノード数 1（128CPU）
・サービスノード数 4（64CPU）
・ログインノード数 2（64CPU）
・システムノード数 1（PP650 8CPU）
・結合ネットワーク クロスバ（4GB/s×2）
・占有面積 410m2
・電気量 800KVA
主要ソフトウェア
・オペレーティングシステム Solaris 8 (64bit UNIX)
・ バッチ処理 NQS＋航技研独自NSJS
・ ファイルシステム BLASTSRSF, BLASTBAND
・コンパイラ C, C++, F77, F90
・並列化サポート XPFortran, MPI, 自動並列, OpenMP
・数学ライブラリ SSLII/VP, LAPACK/VP, BLAS/VP, C-SSLII/VP
・プログラミング支援ツール Parallelnavi Workbench
・アプリケーション NASTRAN, VisLink, WANS, UPACS, GNU
その他特記事項
・可視化システムとの高速リンク GSNLink
・可視化システムとの高速リンク用ライブラリ STF 3.2 中央マスストレージシステム（CeMSS, 中央データサイロ）
中央NSシステムのうち，特にストレージ部分を中央マスストレージシステムと呼ぶ．Central Mass Storage
Systemを略してCeMSS，または中央データサイロと呼ぶ．ディスクとテープをファイバーチャネルで階層的
に接続したものである．
主要緒元
・総ストレージ容量 677TB
・ディスク容量 57TB
・テープ容量 620TB
・総ユーザ領域 640TB（ディスク 40TB, テープ 600TB）
・運用・管理形態 HSM
・使用ソフトウェア SAM-FS, QFS
ディスクストレージサブシステム
・接続種類 ファイバーチャネル(FC1)
・接続本数 80本
テープストレージサブシステム
・接続種類 ファイバーチャネル(FC1)
・接続本数 40本
・ドライブ数 40
・テープ媒体 LTO
・テープ１巻当たりの容量 100GB 3.3 中央可視化システム（CeViS）
中央可視化システムは，NS システムの中核をなす計算機設備のもう一つの主要部分である．Central Visualization Systemを略してCeViSと呼ぶ．32個の高速のスカラーCPUを多数結合した共有メモリアーキ テクチャの計算機である．
168 宇宙航空研究開発機構研究開発報告 JAXA-RR-10-005
主要ハードウェア
・ピーク性能 24GFLOPS
・総メモリ 64GB（共有）
・CPU R12000(400MHz)
・CPU数 32
・ディスク容量 1.4TB
主要ソフトウェア
・オペレーティングシステム IRIX6.4. (64bit UNIX)
・ バッチ処理 LSF
・コンパイラ C, C++, F77, F90
・並列化サポート MPI, OpenMP
・数学ライブラリ SSLII/VP, LAPACK/VP, BLAS/VP, C-SSLII/VP
・プログラミング支援ツール SpeedShop, perfex, ja
・可視化ライブラリ OpenGL, OpenGL Volumizer, IRIS Performer
・可視化アプリケーション AVS/MPE, EnSight, FIELDVIEW, COVISE, VisLink
・解析アプリケーション ANSYS, GASPex 3.4 NSネットワーク（NSnet）
NSシステムのネットワーク部分をNSネットワーク（NSnet）と呼ぶ．スイッチやネットワークディスクか ら成るNSシステムエリアネットワーク（NS System Area Network: NSSAN）と，外部への接続をコントロ ールする連携ネットワーク（Cooperation Network: COOPnet）から成る．
NSSANの主要緒元
・基線 Gigabit Ethernet
・ルータ Alpine
・ネットワークディスク NR1000(1TB)
COOPnetの主要緒元
・基線 Ethernet
・FW Sidewinder V4.
・VPNサーバ cisco VPN3030
・SSHサーバ Sun Fire280R
・ルータ cisco34.4.0 3.5 NS電気・空調設備
電気・空調設備部分を，NS電気・空調設備（NSEACU）とよぶ．電気・空調の機器部分（NSequip）と，
空調機器を自動制御する空調自動運転システム（NAZCA）からなる．
NSequipの主要緒元
・電気設備 計算機用電力供給能力 2050KVA
空調用電力供給能力 1050KVA
・空調設備 空調機（20馬力）×19台
冷却能力 807,500kcal/h（700KVA）
NAZCAの主要緒元
・空調機設備とスーパーコンピュータをネットワークで接続させ，室内を仮想８ブロックに区分し，各ブロ ック内スーパーコンピュータの稼動状況と連携し，最適な空調機だけを稼動させる空調省エネ容量制御を 行う．スーパーコンピュータの稼動率に合わせて，空調機も稼働率を変化させ省エネ運転を行う．さらに，
天井に取付けた 25 個の赤外線センサーで，スーパーコンピュータ周囲環境を敏速に判断させ，スーパー コンピュータへ最適な空調環境を提供する．
４．運用方針
4.1 運用時間（2003.4.1～2004.3.31） (1) NS計算機設備
運用時間
①窓口業務（受付，クレーム対応，プログラム相談）
平日 9時30分～12時00分，13時00分～17時00分 ②アーカイブ室
平日 9時00分～20時00分 保守点検日 13時30分～20時00分
（注）上記時間外におけるアーカイブ室の利用については以下の通りとする．
・20時に建屋出入口自動ロック
・20時に夜間操作員による各種点検及び残業作業者依頼 ・20時以降の入館は北側通用口のインターホンにて解錠依頼 ・24時より夜間操作員仮眠
・入館は24時以降は原則として禁止する ③NSシステムの運用時間帯
平日 9時00分～翌9時00分 閉庁日の前日 9時00分～翌7時00分 保守点検日 13時30分～翌9時00分 （注）平日18時00分以降において，
・中央ＮＳシステム（CeNSS）のジョブが途絶えるとCeNSSは停止する．
・中央可視化システム（CeViS）のジョブが途絶えるとCeViSは停止する．
④システム作業が必要であるとCFD技術開発センターが判断した場合は，運用を一時停止することがある．
この場合は，原則として停止予定時刻の6時間以上前に運用停止予定時刻と運用再開時刻をユーザにメー ルする．ただし，障害発生時は除く．
休館
⑤年末，年始休館 平成15年12月26日（金）～平成16.年1月5日（月）
（注）平成16年1月5日は保守点検を実施するため月間定期保守は省略する．
⑥年度末休館 平成16年3月31日（月）
⑦運用不可能な状況(機器の導入，撤去，システム関連工事等)の場合は休館とする．その他，CFD技術開発セ ンタ－が運用不可能と判断した場合は休館とする．
保守
⑧定期保守 毎月第2月曜日 8時00分～13時30分
（注）保守点検日が祝・祭日と重なった場合は，その次の日に行う．
(2) NSネットワーク
①窓口業務（申請受付，クレーム対応など）
平日 9時30分～12時00分，13時00分～17時00分
②定期保守 毎月第2木曜日 8時00分～10時00分
（注）保守点検日が祝・祭日と重なった場合は，第3木曜日に定期保守を行う．
(3)NS電気・空調設備
①運用方針はNS計算機設備と同一とする．
②定期保守はNS計算機設備に合わせて行う．
4.2 運用体制
・NSシステムの運用に関する最終権限は，CFD技術開発センター長にある．
・計画管理室長は，対外機関との調整，所内センター間の要望処理などを行う．
・NSシステムの運用管理は，計算情報基盤技術開発室において行う．
・運用管理する所掌範囲により以下の担当者を置く．
NS計算機： ○○，（△△）
NSネットワーク： ○○，（△△）
NS設備： ○○，（△△） （ ）内は権限代行者
各担当者は，担当する機器範囲の運用計画の策定，機器の管理，障害対応などを行う．
・NSシステムの特別利用に関する担当を置く．
NSシステム特別利用 ○○，（△△） （ ）内は権限代行者
特別利用担当者は，システムの特別利用に関する要望の吸い上げ，要望の調整，計画の策定，報告などを 行う．
・NS計算機及びNSネットワークに関する研究開発担当を置く．
NSシステム技術開発 ○○，（△△） （ ）内は権限代行者
研究開発担当は，NSシステムの計算機及びネットワークに関して，企画立案，研究開発などを行う．また，
障害対応には運用担当者と連携して当たる．
・保守はアウトソーシングにより実施する．保守業者との対応は，各担当者が責任を持って行うものとする．
4.3 運用・技術支援者 (1) 作業内容
・ NS システムの円滑な運営を維持するために運用支援者及び技術支援者を置く．Q&A，要望，障害などへの 対応，システム設定・更新，ソフトウェア作成・改善支援，ユーザ教育支援などを行う．
(2) 作業場所
・運用・技術支援者は，原則としてCFD技術開発センター１号館にて作業を行なう．
(3) 常駐時間
・運用・技術支援者の常駐時間は，通常運用時間帯を原則とする．
・夜間運用支援者の常駐時間帯は，夜間・休日運用時間帯を原則とする．
170 宇宙航空研究開発機構研究開発報告 JAXA-RR-10-005
CFD技術開発センター長
計画管理室長
運用調性会議
運用調整会議
計算情報基盤技術開発室長
運用担当者会議
NS設備担当 NSﾈｯﾄﾜｰｸ担当
NSﾈｯﾄﾜｰｸ担当 特別利用担当 研究開発担当
運用技術支援 運用技術支援
保守業者
保守業者 保守業者
保守定例会
室長
NS計算機
CeNSS運用支援1
CeNSS運用支援2
CeNSS技術支援1
CeNSS技術支援2
CeViS運用支援1
CeViS技術支援1
夜間運用支援
NSネットワーク
運用支援1
技術支援1
技術支援2
NS設備
特別利用
研究開発
保守定例会 保守業者
保守定例会 保守業者
保守定例会 保守業者
図G4.1 NSIIIシステム運用体制
図G4.2 運用・技術支援者の体制及び保守体制