STAR-CCM+ の大規模並列化仕様と
クラウドライセンス(PoD) ソリューション
ソフトウエア側の対応機能
– クライアント – サーバ アーキテクチャ （リリース当初からの設計仕様） – 区分化(Partitioning) 機能 の実装 (V8.04) – パフォーマンス改善 (V8.02, V8.04) – パラレルトリマーの実装 (V8.06)ライセンス種別による対応
– hpcdomain オプション （Partitioning 数に応じたライセンス） – PowerSession オプション （並列無制限ライセンス）クラウド側のハードウエア利用
– Power of Demand ライセンス（必要な計算時間での課金システム）大規模モデルと STAR-CCM+
© CD-adapco 2013 1クライアントプロセス-サーバプロセス
STAR-CCM+ は開発当初から
GUI 操作などを行う クライアントプロセスと
CFD の実態処理を行う サーバプロセスが分離された設計となっています。
ユーザのプラットフォーム環境に応じた最適パフォーマンスを提供します。
STAR-CCM+ クライアント・サーバ アーキテクチャ
© CD-adapco 2013 2 新規作成、読み込 み画面から並列数 を簡単に指定物理連続体ごとの領域分割
（Continuum-Wide Partitioning）
– 並列計算時に物理連続体ベースで 領域分割をするオプション機能（従 来は領域ベース） – 並列計算効率が改善 – 従来の手法で並列効率が著しく悪 くなっていた大きな解析領域中に小 さな領域があるようなケースを解決V8.04 から実装された区分化 機能
© CD-adapco 2013 3 別領域だが、同じ物理連続体新しい領域分割
12並列
従来の領域分割
対象となる解析事例 複数領域のある解析 車両熱害解析など計算実行中に自動、且つ計算結果依存した再
パーティション分割実行機能を搭載
計算速度（並列性能）パフォーマンスを大幅に改善
ラグランジェ/DEM ロードバランスの改善(V8.02)
© CD-adapco 2013 4 0 5 10 15 20 25 30 35 40 45 50 0 8 16 24 32 40 48 56 64 72 80 88 96 104 112 120 128 Ela p sed time p er st ep [s] CoresWith Load Balancing Without Load Balancing
対象となる解析事例 SCR デバイス
スプレードライヤ
化学反応スプレー
不連続メッシュのインターフェース生成の時間短縮
定常 & 非定常解析
最大２倍のスピードアップ
直接インターフェイス生成の改善 (V8.04)
© CD-adapco 2013 5 対象となる解析事例 移動メッシュケース 回転翼機 ファン 自動車熱害 STAR-CCM+ 1000万セル非定常軸流ファン解析 インターフェース x2 – 149k & 228k フェース 各時間ステップあたりの所要計算時間 1700万セル非定常ヘリコプター解析 インターフェース x1 – 560k フェース 各時間ステップあたりの所要計算時間 v8.02 21.91s 5,98s v8.0411.39s
2.72s
トリムメッシュの並列化処理機能を実装
– 最大で３倍のスピードアップ – シリアルメッシングと同等のメッシュサイズ、メッシュ品質を再現できるよう設計 – 100万cell を下回ると予想された区分は自動的にシリアル処理 – ロードバランスを意識した均等区分化設計パラレルトリマーの実装 (V8.06)
© CD-adapco 2013 6STAR-CCM+のパフォーマンスは開発サイクル
を通しモニターされます
– 毎日17ケースのテストデータが実行されます • パラレルとシングルコアのパフォーマンスがチェック されます • 実行環境– Linux と Windows 64bit ワークステーション – 最大192コアのLinux クラスタ – 24 コア Windows server 2008 R2 クラスタ – 毎月そして、主要な開発マイルストーン時に9ケースの大規模 テストデータが実行されます • Linux 64 bit クラスタ上での最大1152コアでのパフォーマンステスト – 必要に応じて、追加のテストが上記以外にも実行される可能性があります • 特定の開発のテスト、パートナーであるハードウェアベンダーのクラスタ上にて
STAR-CCM+ パフォーマンステスト
すべてのテストの実行環境は ：
– 64bit Scientific Linuxで実行される 64 ブレードクラスタ – 各ブレード • 2 Intel E5-2680 2.70 GHz ８ コア CPU • 32 GB 物理メモリ – Mellanox QDR Infiniband 相互接続 – Panassas パラレルファイルシステム
実行環境
– 使用可能なパラレル I/O – MPI CPU 親和性を有効化 – 前もって40イタレーションの助走計算 – パフォーマンスは20イタレーション以上 の平均経過時間を基に計測実行環境
車両のアンダーフード冷却解析 – 4千6百万 トリムメッシュ • 7 Region（76 万セル～ 4 千万セル） – 分離型ソルバ – 物理連続体 毎 の並列区分化設定のテスト
データセット ： 車両アンダーフード
極超音速の抗力 Polar – 640万セルのポリヘドラルメッシュ – 連成型解法
データセット ： HL-20 MACH 10
0 1 2 3 4 5 6 7 8 1024 512 256 128 64 32 イタレーション毎の経過時間 8.06 8.04複数領域のターボチャージャ CHT – 700万セルのポリヘドラルメッシュ – 分離型解法
データセット ： ターボチャージャ
0 200 400 600 800 1000 1200 1400 0 144 288 432 576 720 864 1008 1152 パラレル効率 Ideal speedup 8.02 8.04 0 0.5 1 1.5 2 2.5 3 3.5 4 4.5 1024 512 256 128 64 32 イタレーション毎の経過時間 8.06 8.04内部流れ – 900万セルのポリヘドラルメッシュ – 分離型解法
データセット ： 原子炉
0 1 2 3 4 5 6 1024 512 256 128 64 32 イタレーション毎の経過時間 8.06 8.04外部空力 – 2000万セルのトリムメッシュ – 連成型解法
データセット ： 民間定期航空機
0 1 2 3 4 5 6 7 8 1024 512 256 128 64 イタレーション毎の経過時間 8.06 8.04外部空力 – 1700万セルのポリヘドラルメッシュ – 分離型解法
データセット ： ルマン車両
0 1 2 3 4 5 6 7 8 9 10 1024 512 256 128 64 32 イタレーション毎の経過時間 8.06 8.04外部空力
– 1億4百万セルのトリムメッシュ – 分離型解法
ソフトウエア側の対応機能
– クライアント – サーバ アーキテクチャ （リリース当初からの設計仕様） – 区分化(Partitioning) 機能 の実装 (V8.04) – パフォーマンス改善 (V8.02, V8.04)ライセンス種別による対応
– hpcdomain オプション （Partitioning 数に応じたライセンス） – PowerSession オプション （並列無制限ライセンス）クラウド側のハードウエア利用
– Power of Demand ライセンス（必要な計算時間での課金システム）大規模モデルと STAR-CCM+
hpcdomain ライセンス
契約並列数に応じた計算利用可
ライセンスファイル内に hpcdomain フィーチャ が明記 ※ccmpsuite フィーチャ （通常の STAR-CCM+ 起動ライ センス）の数だけ 指定並列数が使用できます。hpcdomain オプション ライセンスの特徴
契約してる Partition 数であれば 複数ジョブも利用可能。 例： hpcdomain=100 partition で 以下のようなアレンジが可能です。 100 partition を１ジョブで利用 50 partition を 2 ジョブで利用 25 partition を ４ジョブで利用 ・・・・・・１ジョブ計算に対して 解析対象や、 ハードウエアの空き状況に応じて 自由に並列数を増やせます。
Power Session ライセンス
1 ジョブにつき並列数無制限利用可
ライセンスファイル内に ccmppower フィーチャ が明記Power Session オプション ライセンスの特徴
4 並列 8 並列 16 並列 32 並列 ・・・・並列ソフトウエア側の対応機能
– クライアント – サーバ アーキテクチャ （リリース当初からの設計仕様） – 区分化(Partitioning) 機能 の実装 (V8.04) – パフォーマンス改善 (V8.02, V8.04)ライセンス種別による対応
– hpcdomain オプション （Partitioning 数に応じたライセンス） – PowerSession オプション （並列無制限ライセンス）クラウド側のハードウエア利用
– Power of Demand ライセンス（必要な計算時間での課金システム）大規模モデルと STAR-CCM+
• 必要なときに STAR-CCM+ Power Session にアクセスできる革新的な
製品ライセンスモデル
– スループットの向上 • 非常に多くのパーティションとセッション – 柔軟性の向上 • クラスター、クラウド、ネットワークで 動作 （独自のクラスターを含む） – 強力なライセンス機能• クラウド上の CAE へのゲートウェイ
STAR-CCM+ Power-on-Demand
• 1 時間単位のリアルタイムライセンス（PoDクレジット）を購入
（500 時間以上）
• PoDクレジットは 12 か月間有効
• カスタマーポータルにログインしライセンスタブを開きます
– 複数のタブが表示されます• Account Activity、Account Usage、Manage Keys
• PoDクレジットの使い方
– 例 • 500 時間のPoDクレジットが利用できる場合 – 1 つの Power Session ジョブを 16 コアで 500 時間使用可能 – 5 つの Power Sessions ジョブを 128 コアで 100 時間ずつ使用可能 – 500 の Power Sessions ジョブを 64 コアで 1 時間ずつ使用可能 – お持ちのPoDクレジットをどのように分割し、使用するかはユーザー次第です – 複数のジョブをPoDライセンスを用いて並列で実行する場合、ジョブ実行の際の 合計のPoDクレジット予約時間がお持ちのPoDクレジットを超えることができな いという制限があります具体的には...
• キーは使用状況の記録に使用されます
• 1 つのキーでいくつでもジョブを開始できます
• 必要に応じてキーの作成と削除を行うことができます。キーにアクセスして
いる間、予約時間が使用されます
• キーには有効期間があります。この期間以外は使用できません
キー
• キーは [Manage keys] タブで作成して管理します
• PoDクレジット の使用状況は [Account Usage] タブで確認できます。ま
た、レポートを作成することもできます
• STAR-CCM+ を対話モードで実行すると、sim ファイルの読み込み画面か
ら PoD セッションが開始します
• この操作を行うには、新しいセッションを開始するか、既存の sim ファイル
を読み込んで関連するボックスに情報を入力します
• Power-on-Demand キーをバッチで設定するには、次のフラグを使用しま
す
-podkey <key value>
PoDクレジットの持ち時間により、同時実行できるセッション数に制限があ
ります
同時実行されるセッションすべてに対して、PoDクレジットの予約時間が確
保されます
予約時間の合計がお持ちのPoDクレジットを超えてセッションを実行するこ
とができません
＊ 100時間のPoDクレジットをお持ちの場合 • 世界標準時で1時に計算開始：23時間分の予約時間が確保されます • 4つのセッションを実行：92時間分の予約時間が確保されます • PoDクレジット残は、“8”時間ですが、5つ目のセッションまで実行することが可能です • 6つ目のセッションを起動した際に、クレジット残が“0”時間のため、実行することができ ませんPower-On-Demand クレジット消費に関する注意点
© CD-adapco 2013 28
