HPCソリューションの紹介と
技術トピックス
～エクサスケールコンピュータを目指して～ 基盤イノベーション技術部 中谷 光裕 1目次
１．HPCとは 1.1 HPCの概要 1.2 HPCの歴史 1.3 HPCの有用性 ２．エクサのHPC 2.1 エクサのHPCの歴史 2.2 エクサのHPCソリューションとビジネス体系 2.3 エクサのHPCスキル ３．今後のHPCとエクサ 3.1 エクサスケールスーパーコンピュータ 3.2 エクサのHPCの目指すもの目次
１．HPCとは 1.1 HPCの概要 1.2 HPCの歴史 1.3 HPCの有用性 ２．エクサのHPC 2.1 エクサのHPCの歴史 2.2 エクサのHPCソリューションとビジネス体系 2.3 エクサのHPCスキル ３．今後のHPCとエクサ 3.1 エクサスケールスーパーコンピュータ 3.2 エクサのHPCの目指すもの 31.1 HPCの概要
HPC(High Performance Computing)とは
大規模な解析対象(地球全球、多自由度系、ビッグデータなど)に対する数値 計算処理、およびこれら処理の高度化、効率化を目的とする学問分野
1.1 HPCの概要
HPC(High Performance Computing)とは
大規模な解析対象(地球全球、多自由度系、ビッグデータなど)に対する数値 計算処理、およびこれら処理の高度化、効率化を目的とする学問分野 ・気象予報 地球全球シミュレーション →エルニーニョ影響予測、熱帯域のマッデン・ジュリアン振動を再現！ メッシュ高密度化 →ゲリラ雷雨や竜巻など、極限定エリアの気象現象の把握が可能に！！ 画像出典情報 ・大気海洋結合モデル：https://www.jili.or.jp/kuraho/2006/inochi/web11/i_web11.html(いのちを守る WEB.11) 5
1.1 HPCの概要
HPC(High Performance Computing)とは
大規模な解析対象(地球全球、多自由度系、ビッグデータなど)に対する数値 計算処理、およびこれら処理の高度化、効率化を目的とする学問分野 ・医療 タンパク質構造解析 ・血流シミュレーション →数か月から数年単位の実験期間を大幅(数週間など！)に短縮 →オーダーメイド医療 ・予測医療！
1.1 HPCの概要
• 世界での取り組み – アメリカ •1991年 HPC法策定 国家的投資と開発 •Sequoia, Titanなど世界トップシステムを開発 •世界のスパコンの総計算能力の半分を占める – 中国 •2013年6月 世界のスパコンの総計算能力の20％を占める •2013年6月～2014年6月 スパコン世界一位 •独自プロセッサ開発、HPC重点投資 – ヨーロッパ •2008年から欧州各国のスパコンを欧州全体の計算基盤として 利用(PRACE) •2014年からHPC関連予算の倍増と取組強化を計画 71.1 HPCの概要
• 日本での取り組み – 2011年6月・11月 京がスパコン世界1位 •2004年6月 地球シミュレータの世界1位から7年ぶり – HPCI(ハイパフォーマンスコンピューティングインフラ)の 推進 •「京」と全国の大学や研究機関に設置されたスパコンを高速 ネットワークで結び、多様なユーザーニーズに応える革新的な 教養計算環境を実現する基盤システム – 産学連携の推進 – 世界的な割合(性能・台数)は減少傾向 – 大学などの学術施設におけるスパコンの性能が世界に 比べて低い傾向• スーパーコンピュータ – 一定以上の性能を持つ計算機もしくは計算機クラスタ •日本では50TFlop/s以上を政府調達の必要なスパコンと定義される – 専用機(京、Cray等)によるスパコンとIAサーバを組合せたス パコン(TSUBAME等)が存在 •技術展開モデルは専用機⇔IAサーバの双方向あり
(参考)スーパーコンピュータ
33PFlop/sRank Name Computer Total
Cores Rmax (GFlop/s) Rpeak (GFlop/s) Power (kW) 1 Tianhe-2 (MilkyWay-2)
TH-IVB-FEP Cluster, Intel Xeon E5-2692 12C 2.200GHz, TH Express-2, Intel Xeon Phi 31S1P
3,120,000 33,862,700 54,902,400 17,808 2 Titan Cray XK7 , Opteron 6274 16C 2.200GHz, Cray Gemini interconnect, NVIDIA K20x 560,640 17,590,000 27,112,550 8,209
3 Sequoia BlueGene/Q, Power BQC 16C 1.60
GHz, Custom 1,572,864 17,173,224 20,132,659 7,890 4 K Computer K computer, SPARC64 VIIIfx
2.0GHz, Tofu interconnect 705,024 10,510,000 11,280,384 12,660 5 Mira BlueGene/Q, Power BQC 16C
1.60GHz, Custom 786,432 8,586,612 10,066,330 3,945
画像出典情報
・Performance Development：http://www.top500.org/statistics/perfdevel/(Top500 Performance Development)
(参考)HPCにおけるH/W
• FileSystem – GPFSやLustre等の 分散共有ファイル システムが主流 – HPSSなど大容量特化 • ManyCore – GPUやXeonPhi等の アクセラレータ – 行列演算などを高速に実現 • InfiniBand – 高速なインターコネクト – 現在FDR(56Gbps)まで CPU GPGPU XeonPhi(参考)HPCにおけるM/W & S/W
• ジョブスケジューラ – 計算機のリソース及びプログラムの実行スケジュールを管理 – LSFやPBSなどからシステム規模や管理するリソースに応じた適切な選択が 必要 • Compiler – 言語やH/Wによって使い分けが必要• 例：CUDA Fortran：PGI Compiler、XeonPhi：Intel Compiler
• CUDA
– GPUによる計算を行うために必要なフリーライブラリ
• MPI
– 並列コンピューティングを実行するために標準化された規格
目次
１．HPCとは 1.1 HPCの概要 1.2 HPCの歴史 1.3 HPCの有用性 ２．エクサのHPC 2.1 エクサのHPCの歴史 2.2 エクサのHPCソリューションとビジネス体系 2.3 エクサのHPCスキル ３．今後のHPCとエクサ 3.1 エクサスケールスーパーコンピュータ 3.2 エクサのHPCの目指すもの1.2 HPCの歴史
• スーパーコンピュータの歴史は短く30年 – スーパーコンピュータの世界ランキングであるTop500は始まって 20年 – コンピュータの歴史でよく話題に上るENIACは70年前(1944年) • 最初のランキングで1位になったスパコンは1024プロセッサ、 59.7GFlop/s – 現在のワークステーションと同程度 • 日本で初めてスパコン1位になったのは1996年 HITACHI製 の東京大学のスパコン – 2002年には地球シミュレータが2位に5倍の性能差で1位 •その後5回連続で世界1位 – 2011年には10PFlop/sの高性能で京が世界1位に！ 131.2 HPCの歴史
• 全世界にスパコン性能シェア はアメリカがトップ(約50％) • 日本のシェアは減少傾向 (30%→10％) – 新規スパコンが完成した 際には一時的に増加 HITACTI SR2201/1024 地球 シミュレータ 京目次
１．HPCとは 1.1 HPCの概要 1.2 HPCの歴史 1.3 HPCの有用性 ２．エクサのHPC 2.1 エクサのHPCの歴史 2.2 エクサのHPCソリューションとビジネス体系 2.3 エクサのHPCスキル ３．今後のHPCとエクサ 3.1 エクサスケールスーパーコンピュータ 3.2 エクサのHPCの目指すもの 151.3 HPCの有用性
• シミュレーションは理論・実験と並ぶ第3の研究手法 – 気象・気候、地震などの実際には実験できない現象の研究 – 高温・高圧・微小スケールなどの極限環境での現象の研究 – 銀河の形成といった実時間では再現できない現象の研究 etc… • 理論の理解、未来・未知の予測！1.3 HPCの有用性
• 京の成果 – 2011年 「京によるシリコン・ナノワイヤの第一原理計算」 がゴードン・ベル賞を受賞 •世界で初めてナノレベルの高精度シミュレーションを可能に！ •従来システムで30年以上→京で1週間 – 2012年 「約2兆個のダークマター粒子の宇宙初期に おける重力進化の計算」がゴードン・ベル賞を受賞 •世界最大規模である数兆個に及ぶダークマター粒子の重力進化 を計算！ •アプリケーションも他国の研究グループと比べ6倍程効率が高い 17目次
１．HPCとは 1.1 HPCの概要 1.2 HPCの歴史 1.3 HPCの有用性 ２．エクサのHPC 2.1 エクサのHPCの歴史 2.2 エクサのHPCソリューションとビジネス体系 2.3 エクサのHPCスキル ３．今後のHPCとエクサ 3.1 エクサスケールスーパーコンピュータ 3.2 エクサのHPCの目指すものHPCに特化した システム構築 プログラムの 高速化・最適化 チューニング
HPC
システム運用 リソース管理2.エクサのHPC
そんなHPCの世界でエクサは・・・ GPGPU XeonPhi 19年月 ビジネス 概要 1980年代後半 ～ 1990年代中盤 ・シリコングラフィックス社のグラフィックス ワークステーション販売ビジネス ・コンベックス社のミニスーパーコンピュータ販売 ビジネス ・地球シミュレータ利用に向けた大気海洋気象 シミュレーションソフトウェアの並列化プロジェクトに 参画 グラフィックス処置の高度化に関してお客様を リード クレイリサーチ社のベクトル型スーパーコン ピュータの10分の1の価格で半分の性能を 実現し、中規模高速 計算の分野で活躍 プログラムのベクトル高速化に関して、お客様 へのサポートを実施 コンベックス社にSEを派遣し、リアルタイムOSの 共同開発も実施 1990年代後半 ～ 2000年代後半 ・超並列計算機、クラスター型計算機システムの 実用普及 ・スパコンセンターの運用サポート業務 シリコングラフィックス社、コンベックス/HP社の 超並列システムの販売 並列処理を用いたプログラム高速化に関して、 お客様へのサポートを実施 障害対応だけでなく、大規模HPCシステムとして の運用に合わせた改善を提案、具現化 GPGPUの黎明期に実システムでユーザを
2.1 エクサのHPCの歴史
2.1 エクサのHPCの歴史
• NKK、NK-EXA時代にはお客様や内部向けに技術誌も発刊！
画像出典情報
・SPP技術情報誌Octave Vol.16(NKK 情報システム部、1999年8月 発行) ・Route 17(NK-EXA)
目次
１．HPCとは 1.1 HPCの概要 1.2 HPCの歴史 1.3 HPCの有用性 ２．エクサのHPC 2.1 エクサのHPCの歴史 2.2 エクサのHPCソリューションとビジネス体系 2.3 エクサのHPCスキル ３．今後のHPCとエクサ 3.1 エクサスケールスーパーコンピュータ 3.2 エクサのHPCの目指すものファイルシステム
2.2 エクサのHPCソリューションとビジネス体系
• 前述分野を対象としたソリューションをHPCソリューションと呼称 – スーパーコンピュータ提案 – プログラムチューニング – ファイルシステム構築 etc 23 計算クラスタ プログラム エンドユーザ ManyCore：GPU、XeonPhi インターコネクト：InfiniBand ジョブスケジューラ：LSF、 PBS コンパイラ：Intel、PGI 高速化：スレッド並列、MPI並列 大規模化：省メモリ、領域分割 高速分散ファイルシステム：GPFS、 Lustre 階層型ストレージ：GPFS+TSM、 HPSS サポート：プログラム作成、 システム利用、マニュアル作成 対象顧客：民間製造業、 各種研究機関、 大学(基盤センター～研究室まで) 他F/W、ドライバ、OS基盤設計・設定 高速ネットワーク 設計・設定 大規模ファイル システム設計・設定 アクセラレータ (GPGPUなど) 並列計算ライブラリ、ジョブスケジューラ等 設計・導入・調整 ISVアプリケーション、 ユーザプログラム実行環境最適化 保守サポート 障害切り分け 運用支援 導入後コンサ ルティング 導入前コンサ ルティング ボトルネック 調査 ベンチマーク バックアップ 設 備 工 事 か ら ア プ リ 高 速 化 運用フェーズ 導入フェーズ 設計フェーズ
2.2 エクサのHPCソリューションとビジネス体系
設備工事からお客様プログラムのチューニングまで「そうだ 高速処理、しよう」と思った全ての方へ
目次
１．HPCとは 1.1 HPCの概要 1.2 HPCの歴史 1.3 HPCの有用性 ２．エクサのHPC 2.1 エクサのHPCの歴史 2.2 エクサのHPCソリューションとビジネス体系 2.3 エクサのHPCスキル ３．今後のHPCとエクサ 3.1 エクサスケールスーパーコンピュータ 3.2 エクサのHPCの目指すもの 252.3 エクサのHPCスキル ～ジョブスケジューラ～
• ジョブスケジューラ
– HPCで利用しているシステムのリソースを最大限 有効に活用するためジョブを管理
• ジョブスケ – ジョブスケジューラがない場合 CPU CPU Memory CPU CPU Memory CPU CPU Memory CPU CPU Memory CPU CPU Memory GPGPU CPU CPU Memory GPGPU CPU CPU Memory CPU CPU Memory CPU 10個で計算開始～♪ 大容量メモリ消費するアプリ を1ノード内で計算開始～♪ GPGPU使って高速計算 するぜ～♪ ユーザが好きなところで計算す るためリソースが衝突！
2.3 エクサのHPCスキル ～ジョブスケジューラ～
27• ジョブスケ – ジョブスケジューラを導入した場合 CPU CPU Memory CPU CPU Memory CPU CPU Memory CPU CPU Memory CPU CPU Memory CPU CPU Memory CPU CPU Memory CPU CPU Memory CPU 10個で計算開始～♪ 大容量メモリ消費するアプリ を1ノード内で計算開始～♪ GPGPU使って高速計算 するぜ～♪
2.3 エクサのHPCスキル ～ジョブスケジューラ～
CPU CPU Memory CPU CPU Memory CPU CPU Memory CPU CPU Memory CPU CPU Memory GPGPU CPU CPU Memory GPGPU CPU CPU Memory CPU CPU Memory スパコンで計算開始～♪ スパコンで計算開始～♪ GPGPU使って高速計算 するぜ～♪ 未使用 リソース ユーザが少しずつ使うだけでは リソースがもったいない！ • 普通に作ったプログラムでは高性能なハードウェア性能を使 いこなせない！ – メモリのキャッシング – CPUの複数コア – 複数ノードにまたがる計算 etc
2.3 エクサのHPCスキル ～チューニング～
29(参考)MPI(Message Passing Interface)
• 並列コンピューティング利用するための標準化された 規格 – MPIライブラリ(OpenMPI、MVAPICHなど)が必要 – プログラム内に「開始」「終了」「送信」「受信」などの指示 を記述 – プロセス間でデータをやり取りして計算処理を分割 /* Start up MPI */ MPI_Init(&argc, &argv); /* Find out process rank */MPI_Comm_rank(MPI_COMM_WORLD, &my_rank);
/* Find out number of processes */ プロセス0 プロセス1 プロセス2
(参考)OpenMP
• 並列コンピューティング利用するための規格 – OpenMP対応のコンパイラが必要(GCCも対応) – プログラム内に「並列化開始」「並列化終了」 「同期」などの指示をコメント形式で記述 – スレッド間で計算処理を分散int main(int argc, char *argv[]) {
int i;
#pragma omp parallel for for(i = 0; i <= 10000; i++) { // (並列処理させたいプログラム) } } CPU Core Core Core Core スレッド0 スレッド1 スレッド2 スレッド3 31
2.3 エクサのHPCスキル ～チューニング～
• A大学様案件 – 地震後の耐震性を解析するプログラムが対象 – スーパーコンピュータ上(16コア×8ノード＝128 並列)で高速に計算できるようにプログラムを チューニング •スレッド並列、MPI並列、ライブラリ利用2.3 エクサのHPCスキル ～チューニング～
• B社様案件 – 河川氾濫解析用プログラムが対象 – お客様のワークステーション環境で高速に 計算できるようにプログラムをチューニング •高速化予測、スレッド並列 332.3 エクサのHPCスキル ～GPU/XeonPhi対応～
• ManyCore – 1つのプロセッサデバイスの中に複数コアを搭載した デバイス •GPU：本来画像処理向けに利用されるデバイスを計算に利用 最新のK40では2880コア、1.43TFlop/s •XeonPhi：Intel社から販売されている高速計算用デバイス 7120Dでは61コア、1.2TFlop/sGPGPU
XeonPhi
(参考)GPGPU＆CUDA
• GPGPU・・・GPUを汎用的な計算に利用する方法及びデバイ スを指す
– フリーのnVIDIA製GPGPUライブラリ「CUDA」
Feature Tesla K40 Tesla K20 倍精度 1.43 Tflops 1.17 Tflops 単精度 4.29 Tflops 3.52 Tflops メモリバンド幅
(ECC off) 288 GB/sec 208 GB/sec Memory 12 GB 5 GB CUDA cores 2880 2496
画像出典情報
・GK110 Block：http://www.nvidia.com/content/PDF/kepler/NVIDIA-Kepler-GK110-Architecture-Whitepaper.pdf(WhitePaper NVIDIA’s Next Generation CUDA Compute Architecture:Kepler)
(参考)GPGPU＆CUDA
• GPGPU・・・GPUを汎用的な計算に利用する方法及びデバイ スを指す
2.3 エクサのHPCスキル ～XeonPhi～
• Intelが販売しているメニーコアプロセッサ – Larrabeeから派生したMICアーキテクチャ – x86互換のコプロセッサを搭載しているため、 x86 CPU向けのプログラムをほぼそのまま利用可能 – 実行ファイルをPhiに転送する「ネイティブ実行」と実行時に 指定部のみPhiに渡す 「オフロード実行」がある – Intel Compilerが必須 37 画像出典情報・Xeon Phi Block Diagram：http://www.intel.com/content/www/us/en/processors/xeon/xeon-phi-coprocessor-block-diagram.html(Even Higher Efficiency for Parallel Processing)
2.3 エクサのHPCスキル ～GPU/XeonPhi対応～
• C様案件 別案件にて高速化していたプログラムでのXeonPhiでの検証を実施！ １. プログラム全体のX64化（利用ライブラリ含む） ２．offloadプラグマを利用したオフロード実行手順検証 ３．プログラム全体のLinux対応化（利用ライブラリ含む） ４．Native実行による性能計測2.3 エクサのHPCスキル HPC技術紹介 ～HSM～
HSM・・・階層型のストレージ管理 利用例：頻繁に使うデータのみを高速ディスクにおき, 頻度の低いデータは低速の大容量ストレージにおくことで ディスク利用の効率化 GPFS/TSM・・・利用頻度の低いデータをテープ装置へ 移すことで高速アクセス領域を有効利用 ユーザからは単一のファイルシステムとして利用可能 392.3 エクサのHPCスキル HPC技術紹介 ～HSM～
HSM・・・階層型のストレージ管理 利用例：頻繁に使うデータのみを高速ディスクにおき, 頻度の低いデータは低速の大容量ストレージにおくことで ディスク利用の効率化 HPSS・・・ディスクとテープの一体型大規模ストレージ システム ディスク装置のキャッシュ利用やテープにより高速かつ 大規模なシステムを実現2.3 エクサのHPCスキル HPC技術紹介 ～運用～
• 某スパコン運用支援案件 一部アクセラレータ搭載の700台以上の計算ノード（100TFlop/s以上）、1.6PBの 大規模高速分散ストレージ、InfiniBandによる高速通信環境により構成された 大規模スパコンシステムの運用支援を提供！ ◆ハードウェア管理、障害切り分け パーツ交換管理、ノード障害時における継続運用処理な どのあらゆる障害対応窓口を完遂 ◆ジョブ・スケジューラ運用支援・機能追加 1,000人以上の利用者を抱えるシステムにおいて、 20種類のアプリケーションやユーザ・プログラムを 最適なノードへ投入されるよう設定。柔軟な課金設計、 各種イベント等への対応。 ◆法定停電、イベント時スケジュール調整 停電前後の停止・起動における分単位の スケジュール立案および関係各所への調整、 バックアップ、機能追加作業。 41目次
１．HPCとは 1.1 HPCの概要 1.2 HPCの歴史 1.3 HPCの有用性 ２．エクサのHPC 2.1 エクサのHPCの歴史 2.2 エクサのHPCソリューションとビジネス体系 2.3 エクサのHPCスキル ３．今後のHPCとエクサ 3.1 エクサスケールスーパーコンピュータ 3.2 エクサのHPCの目指すもの3.1 エクサスケールスーパーコンピュータ
• エクサ・・・10の18乗を示す単位 – 京の100倍の性能！ – 2020年を目指して各国開発推進中 • 実現に向けての課題 – 消費電力の増大 •現行の方法ではスパコン設備の隣に発電所が必要！？ – アルゴリズム/アプリケーションの並列化 •規模が大きくノード間通信にかかる処理時間が大きな ボトルネックになってしまう！ – 膨大な計算結果データのハンドリング •計算結果が膨大な量になるためI/O処理がボトルネックとなる 可能性が高い！ •結果の把握や成果の確認のためのシステムが必要！ 43目次
１．HPCとは 1.1 HPCの概要 1.2 HPCの歴史 1.3 HPCの有用性 ２．エクサのHPC 2.1 エクサのHPCの歴史 2.2 エクサのHPCソリューションとビジネス体系 2.3 エクサのHPCスキル ３．今後のHPCとエクサ 3.1 エクサスケールスーパーコンピュータ 3.2 エクサのHPCの目指すもの3.2 エクサのHPCの目指すもの
• 本日のまとめ – HPC分野の研究は将来的な生活の発展や危機管理に 利用されている – エクサではHWからSWまで幅広い技術領域で HPC分野に貢献している • 今後のエクサのHPCビジネス展開 – 多方面へのビジネス展開を目指す！ •HPCにおける技術をその他分野のシステムに応用する！ – ex.ビッグデータ、グリッドコンピューティング – エクサスケールの実現に向けて新規技術を取り込んだ チャレンジ！ 452014年6月発表 最新スパコン情報
• HPCに関する大きなシンポジウムが年に2回(ISC/SC)実施 • Top500 – LINPACKによるFlop/sで比較 – 3期連続で中国のスパコンが世界1位 – トップ5はスパコン専用機が独占Rank Name Computer Total
Cores Rmax (GFlop/s) Rpeak (GFlop/s) Power (kW) 1 Tianhe-2 (MilkyWay-2)
TH-IVB-FEP Cluster, Intel Xeon E5-2692 12C 2.200GHz, TH Express-2, Intel Xeon Phi 31S1P
3,120,000 33,862,700 54,902,400 17,808 2 Titan Cray XK7 , Opteron 6274 16C 2.200GHz, Cray Gemini interconnect, NVIDIA K20x 560,640 17,590,000 27,112,550 8,209
3 Sequoia BlueGene/Q, Power BQC 16C 1.60
2014年6月発表 最新スパコン情報
• Green500
– ワットあたりのFlop/sで比較
– 東工大の油冷式スパコン：TSUBAME-KFCが世界1位
47
Rank MFLOPS/W Site* Computer*
Total Power
(kW) 1 4,389.82 GSIC Center, Tokyo
Institute of Technology
TSUBAME-KFC - LX 1U-4GPU/104Re-1G Cluster, Intel Xeon E5-2620v2 6C 2.100GHz, Infiniband FDR, NVIDIA K20x
34.58
2 3,631.70 Cambridge University
Wilkes - Dell T620 Cluster, Intel Xeon E5-2630v2 6C 2.600GHz, Infiniband FDR, NVIDIA K20 52.62 3 3,517.84 Center for Computational Sciences, University of
HA-PACS TCA - Cray 3623G4-SM Cluster, Intel Xeon E5-2680v2 10C
2.800GHz, Infiniband QDR, NVIDIA K20x
78.77
4 3,459.46 SURFsara
Cartesius Accelerator Island - Bullx B515 cluster, Intel Xeon E5-2450v2 8C 2.5GHz, InfiniBand 4× FDR, Nvidia K40m 44.4 5 3,185.91 Swiss National Supercomputing Centre (CSCS)
Piz Daint - Cray XC30, Xeon E5-2670 8C 2.600GHz, Aries interconnect , NVIDIA K20x
2014年6月発表 最新スパコン情報
• Graph500
– 大規模データ解析性能による比較
– 京が実用計算分野のランキングでは世界1位！
Rank Machine Installation Site Number
of nodes Number of cores Problem Scale GTEPS C_time (sec) 1 K computer
RIKEN Advanced Institute for Computational Science (AICS) 65,536 524,288 40 17,977 175 2 DOE/NNSA/LLNL Sequoia Lawrence Livermore National Laboratory 65,536 1,048,576 40 16,599 1,357 3 DOE/SC/Argonne National Laboratory Mira Argonne National Laboratory 49,152 786,432 40 14,328 836
4 JUQUEEN Forschungszentrum Juelich
(FZJ) 16,384 262,144 38 5,848 565
免責事項
Intel、Xeon、Xeon Phiは米国およびその他の国におけるインテル コーポ レーションの商標または登録商標です。
Cray、Cray XK7、Cray Gemini interconnectは米国その他の国における Cray Inc.の商標または登録商標です。
PBSは米国およびその他の国におけるAltair Engineering, Incの商標または 登録商標です。
IBM、Blue Gene、Power BQC、GPFS、LSFは米国およびその他の国における International Business Machines Corporationの商標または登録商標です。 SPARC64は米国およびその他の国におけるSPARC International, Inc.の商 標または登録商標です。
NVIDIA、CUDAは米国およびその他の国におけるNVIDIA Corporationの商 標または登録商標です。
InfiniBandは米国またはその他の国におけるInfiniBand Trade Association の商標またはサービスマークです。
その他の社名、製品名などは、一般に各社の商標または登録商標です。
