新スーパーコンピューティングシステム特集 Ⅰ. 移行スケジュール Ⅱ. 新スーパーコンピューティングシステム概要 Ⅲ. 利用方法の変更点 Ⅳ. 変更されないもの Ⅴ. アプリケーション一覧 Ⅵ. 注意事項

■ 新スーパーコンピューティングシステム特集 ■

Ⅰ．移行スケジュール Ⅱ．新スーパーコンピューティングシステム概要 Ⅲ．利用方法の変更点 Ⅳ．変更されないもの Ⅴ．アプリケーション一覧 Ⅵ．注意事項

表紙の図 新スーパーコンピューターSR11000 HITACHI スーパーテクニカルサーバ SR11000 モデル K2 は、科学技術計算システムに要求さ れる「高性能ノード」「高スケーラビリティ（高いシステム性能）」「高信頼性」を追求するコン セプトに基づいて開発されたシステムです。高性能ノードを実現するために、マイクロプロセ ッサーは、最新の高速 RISC プロセッサーPOWER5+が採用されています。POWER5+は、最新の半導 体テクノロジーが採用されており、周波数、集積度ともに、世界トップレベルです。また、現 スーパーコンピューターSR8000 と同様に、日立独自のプロセッサー間高速同期機構が組み込ま れ、ショートベクトル性能が改善されています。また、 288MB/ノードの大容量 L3 キャッシュ により、高いキャッシュヒット率が確保でき、実効メモリレイテンシの削減により、様々なア プリケーション性能が向上します。また、コンパイルや対話処理等のスカラー処理、IO 処理性 能も向上します。さらに、ハードウェアプリフェッチとソフトウェアプリフェッチが採用され ており、主記憶データをキャッシュメモリ経由で高速にアクセスする擬似ベクトル機能を有し ています。 ハードウェアプリフェッチは、ハードウェアが自動的に主記憶データアクセスのパターンを検 出し、起動されるので、チューニングレベルの低いプログラムや、低い最適化レベルでコンパ イルしたプログラム、C 言語のようなポインタ型を使用したプログラムにおいても、実効性能 を向上させることができます。

1

新スーパーコンピューティングシステムの概要

11 月 1 日 発 行 の計 算 材 料 学 センター便 り（Vol.8）ですでにお知 らせしましたが、スーパーコンピュ ーティングシステムの更 新 を今 年 度 ３月 に行 います。以 下 にその概 要 、変 更 点 、ジョブの投 入 方 法 、主 なアプリケーションなどについて説 明 します。約 1 ヶ月 の停 止 になり利 用 者 の方 々へはご 迷 惑 をおかけしますが、事 情 ご拝 察 の上 、どうぞよろしくお願 いします。 Ⅰ．移 行 スケジュール 現 スーパーコンピューティングシステムの停 止 ： 平 成 19 年 2 月 14 日 （水 ） 9 時 新 スーパーコンピューティングシステムの運 用 開 始 ： 平 成 19 年 3 月 16 日 （金 ） 13 時 試 験 期 間 ： 平 成 19 年 3 月 16 日 （金 ）から 4 月 16 日 （月 ）まで Ⅱ． 新 スーパーコンピューティングシステム概 要 「高 度 情 報 化 社 会 基 盤 構 築 に寄 与 する超 高 速 スーパーコンピューティングシステム」を目 指 す新 スーパーコンピューティングシステムは以 下 のマシンより構 成 されます。 1. スーパーコンピューター ： HITACHI SR11000 モデル K2 新 しいスーパーコンピューターは、現 スーパーコンピューターSR8000 に比 べ理 論 演 算 性 能 で 8 倍 の 7.5TFLOPS の性 能 を誇 ります。メモリーは 6.5 倍 の 5TB を搭 載 しました。またプロセッ サーのソフトベクトル機 能 が強 化 され、より理 論 性 能 に近 い実 行 効 率 を実 現 できるようになり

2

ました。ノード当 たりでは理 論 演 算 性 能 が従 来 の 10 倍 の 147.2GFLOPS、メモリーは 7 倍 以 上 の 96GB 共 有 メモリー空 間 を利 用 でき、ゆとりある実 行 が可 能 になりました。実 行 ジョブはフロ ントエンドマシンから投 入 します。独 自 に開 発 したジョブ一 元 管 理 システムにより、非 常 に容 易 にジョブを投 入 できます。 ・ ハードウェア構 成 a. スーパーコンピューター本 体 ノード数 ： 51 総 理 論 性 能 ： 7.5TFLOPS （１ノード 147.2GFLOPS） 総 主 記 憶 容 量 ： 5TB（64GB：22 ノード， 128GB：29 ノード） b. フロントエンド ： EP8000 520× ２ ・ オペレーティングシステム AIX 5L ・ ホスト名 （フロントエンド） super1，super2

2. アプリケーションサーバーA ： NIWSGene/S Turbo（IBM eServer Blue Gene Solution）×２ アプリケーションサーバーA は高 性 能 密 結 合 分 散 並 列 アークテクチャにより並 列 実 行 可 能 な アプリケーションプログラムの並 列 度 を向 上 させることに特 化 した計 算 サーバーです。実 行 ジ ョブの投 入 はサービスノードから独 自 に開 発 したジョブ一 元 管 理 システムにより行 います。 ・ ハードウェア構 成

a. NIWSGene/S Turbo（IBM eServer Blue Gene Solution） 計 算 ノード数 ： コプロセッサーモード 256（１台 128） バーチャルノードモード 512（１台 256） 総 理 論 性 能 ： 1,440GFLOPS（1 台 720GFLOPS） 総 主 記 憶 容 量 ： 256GB（1 台 128GB） b. サービスノード ： IBM pServer システム p5 モデル 520 ・ オペレーティングシステム（サービスノード） SuSE Linux Enterprise Server V9 ・ ホスト名 （サービスノード） appa1, appa2 3. アプリケーションサーバーB ： hp ProLiant BL35p アプリケーションサーバーB は汎 用 性 の高 いクラスター構 成 の計 算 サーバーです。AMD64 の ハードウェアアーキテクチャに汎 用 OS である Linux を搭 載 したことにより、ほとんどのアプリケ ーションソフト、プログラムの実 装 を可 能 としました。搭 載 された多 数 のアプリケーションは対 話 型 インターフェースまたは独 自 に開 発 したジョブ一 元 管 理 システムにて実 行 できます。 ・ ハードウェア構 成 ノード数 ： 48(うちログインノードは 1 ノード) 総 理 論 性 能 ： 844.8GFLOPS 総 主 記 憶 容 量 ： 4GB× 48

3

・ オペレーティングシステム

SuSE Linux Enterprise Server V9 ・ ホスト名 （ログインノード） appb 4. アプリケーションサーバーC ： SGI Altix450 アプリケーションサーバーC は分 散 型 共 有 メモリーアークテクチャにより 384GB の広 大 な共 有 メモリー空 間 を提 供 できる計 算 サーバーです。使 用 されている Itanium2 プロセッサーは Gaussian アプリケーションの実 行 において定 評 があります。またスクラッチファイルを高 速 接 続 されたディスク上 に配 置 することにより、快 適 な Gaussian 実 行 環 境 を実 現 しています。 アプリケーションの実 行 は独 自 に開 発 したジョブ一 元 管 理 システムまたは対 話 型 インターフ ェースにより可 能 です。 ・ ハードウェア構 成 CPU 数 ： 32（64 コア） 総 理 論 性 能 ： 409.6GFLOPS 総 主 記 憶 容 量 ： 384GB ・ オペレーティングシステム

SGI ProPack4 SUSE Linux Enterprise Server 9 ・ ホスト名

appc

5. 可 視化 サーバーA ： Silicon Graphics Prism DeskSide

Windows などの環 境 から、ネットワークを経 由 して可 視 化 サーバーA のグラフィック機 能 を使 用 することにより、パソコンの性 能 に依 存 せず可 視 化 をすることができます。

・ ハードウェア構 成 CPU 数 ： 2

・ オペレーティングシステム

SGI ProPack4 SUSE Linux Enterprise Server 9 ・ サービスするソフトウェア

OpenGL Vizserver ・ ホスト名

visa

6. 可 視 化 サーバーB ： Tezro Visual Workstation

可 視 化 サーバーB では Cerius2 の実 行 が可 能 です。また、Cambridge Structural Database がインストールされますので、X ウィンドウのソフトをインストールすることで Windows や Mac か らネットワーク経 由 で Cambridge Structural Database を利 用 することができます。

・ ハードウェア構 成 CPU 数 ： 2

4

IRIX ・サービスするソフトウェア Cerius2 ・ ホスト名 visb 7. ファイルサーバー ： IBM System p5 モデル 520× ４ 利 用 者 のホームディレクトリを管 理 します。ファイルサーバーへログインすることにより、各 自 のディスク情 報 を得 ることができます。 ・ ハードウェア構 成 CPU 数 ： 8 総 主 記 憶 容 量 ： 32GB ・ オペレーティングシステム AIX 5L ・ ホスト名 serv

8. ストレージシステム ： HITACHI SANRISE AMS1000

1PB（1000TB）のストレージのうち、FC ディスクはホームディレクトリと各 マシンのスクラッチ領 域 に使 用 し、SATA ディスクはバックアップ領 域 として使 用 します。 ・ ハードウェア構 成 FC ディスク 345TB SATA ディスク 704TB Ⅲ． 利 用 方 法 の変 更 点 3 月 16 日 (金 )からの利 用 方 法 は、以 下 の点 が変 更 になります。 (1) ジョブ一 元 管 理 システム 新 スーパーコンピューティングシステムのジョブ管 理 システムは、NQS から LL（LoadLeveler） に変 更 となります。アプリケーションサーバーは従 来 どおり LSF です。スーパーコンピューティ ングシステムとしてジョブ実 行 コマンドの統 一 を図 るため、ジョブの一 元 管 理 を行 います。 表 １がジョブ実 行 時 の操 作 コマンドになります。詳 しい使 い方 およびキュー構 成 については、 追 って公 開 予 定 の Web マニュアルを参 照 ください。

5

表 １：ジョブ実 行 の主 なコマンド（旧 システムとの比 較 ） (例 ) ・ 入 力 ファイル名 が H2O.com である Gaussian ジョブをアプリケーションサーバーC で実 行 する。 submit cg03 H2O.com ・ vasp ジョブをスーパーコンピューターで実 行 する。 submit EB vasp (2) ファイル管 理 について 新 スーパーコンピューティングシステムではホームディレクトリの容 量 が一 人 あたり 50GB とな ります。現 システムでホームディレクトリ直 下 の migrate ディレクトリ内 のデータを自 動 的 にテー プライブラリに格 納 する運 用 を行 っていますが、新 スーパーコンピューティングシステムでは廃 止 します。なお、migrate ディレクトリ内 のデータも新 スーパーコンピューティングシステムに移 行 されます。 (3) ログイン方 法 の変 更 新 スーパーコンピューティングシステムでは、各 サーバーへのログインを ssh に統 一 します。従 来 は telnet でのログインを可 能 としていましたが、セキュリティ上 の問 題 があるため、新 スーパ ーコンピューティングシステムではすべてのサーバーにおいて telnet でのログインを禁 止 します。 実 際 のログイン方 法 として、スーパーコンピュータネットワーク内 （所 内 ネットワークを含 む）の マシンからログインする場 合 は ssh のパスワード認 証 となります。ファイヤウォール外 のマシン からログインする際 は、従 来 と同 様 に一 旦 SSH リレーサーバー(cms-ssh)に鍵 認 証 でログイン してから、内 部 の計 算 サーバー等 に ssh のパスワード認 証 でログインすることになります。 (4) ドメイン名 の変 更 新 スーパーコンピュータネットワークのドメインを imr.edu に変 更 します。したがって、例 えば新 スーパーコンピューターをフルドメイン名 で表 記 する場 合 、super1.imr.edu、super2.imr.edu とな ります。 機 能 新 スーパーコンピューテ ィングシステム全 体 スーパーコンピューター (現 在 ) スーパーコンピューター 以 外 (現 在 )

ジョブの投 入 submit qsub bsub

ジョブの状 態 確 認 statj qstat bjobs

ジョブの取 り消 し jobdel qdel bkill

キューの情 報 qinfo bqueues ジョブ投 入 時 の作 業 ディレクトリ submit コマンドを実 行 し たディレクトリ qsub コマンドを実 行 し たディレクトリ bsub コマンドを実 行 し たディレクトリ

6

Ⅳ．変 更 されないもの メールサーバー（SMTP,POP,IMAP）等 のネットワーク関 係 のサーバーは従 来 環 境 との整 合 性 保 持 のため、これまでと同 じホスト名 を継 承 します。 メールサーバー ： cmsmail SMTP サーバー ： cmssmtp POP サーバー ： cmspop IMAP サーバー ： cmsimap プロキシサーバー ： cmsproxy NTP サーバー ： cmsntp SSH リレーサーバー ： cms-ssh Ⅴ． アプリケーション一 覧 以 下 に新 スーパーコンピューティングシステムで導 入 されるアプリケーションを紹 介 します。それ ぞれの使 用 法 については、追 って公 開 予 定 の Web マニュアルを参 照 下 さい。

・Gaussian 社 製 量 子 力 学 計 算 ソフトウェア Gaussian03 および GaussView3

・Scientific Computing & Modeling 社 製 密 度 汎 関 数 ソフトウェア ADF2005 および ADF-GUI ・ Atomistix 社 製 ナ ノ デ バ イ ス シ ミ ュ レ ー タ ー ソ フ ト ウ ェ ア Atomistix ToolKit お よ び Virtual

NanoLab

・Materials Design 社 製 材 料 設 計 支 援 統 合 システムソフトウェア MedeA

・Accelrys Software 社 製 マテリアルサイエンスソフトウェア Cerius2 および Materials Studio ・ANSYS 社 製 有 限 要 素 法 ソフトウェア ANSYS/Multiphysics

・CHAM 社 製 流 体 解 析 ソフトウェア PHOENICS

・Exa Corporation 社 製 流 体 解 析 ソフトウェア PowerFLOW および PowerVIZ ・Advanced Visual Systems 社 製 可 視 化 ソフトウェア AVS/Express Developer ・Tecplot 社 製 可 視 化 ソフトウェア Tecplot360

・Computational Engineering 社 製 可 視 化 ソフトウェア EnSight ・Wolfram Research 社 製 数 式 処 理 ソフトウェア Mathematica ・Maplesoft 社 製 数 式 処 理 ソフトウェア Maple

・The MathWorks 社 製 数 値 解析 ソフトウェア MATLAB

・結 晶 格 子 構 造 データベースソフトウェア Cambridge Structural Database ・混 合 基 底 第 一 原 理 計 算 ソフトウェア TOMBO ・GW 近 似 計 算 ソフトウェア GW ・第 一 原 理 分 子 動 力 学 ソフトウェア VASP ・第 一 原 理 電 子 状 態 計 算 ソフトウェア WIEN2k その他 SIESTA, ABINIT, CPMD, PWscf

7

Ⅵ．注 意 事 項 1. 新 スーパーコンピューティングシステムではすべてのマシンが入 れ替 えとなります。バイナリー ファイルは機 種 依 存 性 があるので、現 システムで作 成 したバイナリーファイルについては、新 スーパーコンピューティングシステムでは基 本 的 に利 用 できないとお考 え下 さい。 アプリケーションが作 成 するバイナリーファイルの例 ・ Gaussian の*.chk ファイル ・ vasp の WAVECAR ファイル 2. 各 自 においてコンパイルされた実 行 モジュールはバイナリーファイルです。新 スーパーコンピ ューティングシステムで利 用 するには再 コンパイルが必 要 となります。コンパイル方 法 は機 種 により異 なります。追 って公 開 予 定 の Web マニュアルに記 載 される各 マシンについてのコンパ イル方 法 を参 照 下 さい。 3. ホームディレクトリ直 下 に.login、.cshrc というファイルがあります。これにはログイン時 の環 境 変 数 の設 定 値 が記 述 されています。このファイルは現 在 のまま新 スーパーコンピューティング システムに移 行 されます。現 在 、各 自 にて.login、.cshrc ファイルをカスタマイズしている場 合 は、新 スーパーコンピューティングシステムとの不 整 合 を起 こす可 能 性 がありますので、ご注 意 下 さい。不 都 合 が発 生 した場 合 は、追 って公 開 するディフォルトの.login ファイル、.cshrc フ ァイルに置 き換 えてください。 4. 現 システムのホームディレクトリのデータは、2 月 14 日 時 点 のものをすべて移 行 します。 ホームディレクトリ以 外 は移 行 しません。

計算材料学センターだより No.9 2007 年 1 月 31 日（水）発行 31st January (Wed.), 2007 東北大学金属材料研究所 計算材料学センター 〒980-8577 宮城県仙台市青葉区片平二丁目 1 番 1 号 電話（022）215-2411 ／ FAX（022）215-2166 URL http://www-lab.imr.edu/~ccms/ E-mail ccms-adm@imr.edu

Center for Computational Materials Science of IMR, Tohoku University

2-1-1 Katahira, Aoba-ku, Sendai, 980-8577, Japan Tel +81-22-215-2411(DIAL-IN), FAX +81-22-215-2166