hp120042 「京」一般利用 K General Use
アカデミッククラウドを活用した大規模流体関連シミュレーションのための
HPCI ロジスティックスの構築と実証
Development and validation of HPCI logistics for large scale flow simulation
by using academic cloud system
大島伸行 Nobuyuki Oshima 北海道大学 Hokkaido University 要旨 本研究では，HPCI データロジスティックの各層において抽出される問題提起に対して，このよう な複合的ニーズにフレキシブルに対応しうるコンピューティング・システムとして近年注目されつつ あるクラウド・コンピューティングおよびオープンソフトウェアの活用により解決を図ることを基本 的な方針とする．その基礎的検証のため，「工学・ものづくり」分野での HPCI ニーズが高い CAE シ ミュレーションより典型的な実例解析を対象にとりあげて，既に同分野での利用実績が高いオープン ソフトウェアを用いた実装による実証を試みて，HPCI ロジスティックにおける各階層視点でのボト ルネック抽出を行った． キーワード：クラウドシステム，データロジスティック，オープンソフトウェア，ソフトウェア実装， CAE シミュレーション Abstract
This research aims to solve problems extracted in data logistics between each layers of high-performance computing infrastructures (HPCI), by using a cloud computing system and open-licensed software, which interests HPCI engineers flexibly applying to complex requirements for computing environment. For its fundamental investigation, a group of software which are applied to some typical CAE simulation problems in “Manufacturing technologies/Industrial innovation” with the requirement of high-performance computing. An analysis of bottle-neck problems in HPCI data logistics is reported.
Keywords: Cloud computing system, Data Logistics, Open-licensed software, Software implement,
CAE simulation
© 2016 Research Organization for Information Science and Technology All rights reserved. Received: 4 August 2016
Accepted: 27 December 2016 Available online: 28 December 2016
1. 研究の背景と目的 「工学・ものづくり」分野での個々の「知的資産」を保ちつつ HPCI 活用を図りうるような技 術のスタンダード化とオープンシステム化を志向する要求は高まっており，特に情報産業での活 用が広まりつつあるクラウドシステムを利用した複合的ソフトウェア・システムへの関心が高い． そこで，今後一層の HPCI 活用を進めていくには，個々の製品開発目的を満たす要素ソフトウェ ア技術の発展と同時にそれらを繋ぐ「HPCI ロジスティックス」を構築・実証することが急務と 考える．ここでは，ソフトウェア技術の移植性や堅牢性が重視されることから 1) デファクトス タンダードな基盤ソフトウェアに準拠し，2) ライセンスや技術情報がオープン，であるような複 数のソフトウェア群を，クラウドシステムを核とした複合系コンピュータ・ネットワーク・シス テム上に連携する技術の構築・実証が必要である．これらは，最終的にはエンドユーザ評価によ るスタンダードの確立に貢献することを期待している． 本研究では，HPCI ロジスティックの各層において抽出される問題提起に対して，このような 複合的ニーズにフレキシブルに対応しうるコンピューティング・システムとして近年注目されつ つあるクラウド・コンピューティングおよびオープンソフトウェアの活用により解決を図ること を基本的な方針とする．その基礎的検証のため，「工学・ものづくり」分野での HPCI ニーズが高 い流体関連シミュレーションより典型的な実例解析を対象にとりあげて，既に同分野での利用実 績が高いオープンソフトウェアを用いた実装による実証を試みて，HPCI ロジスティックにおけ る各階層視点でのボトルネック抽出と，それらの相互比較，および，最終的には全体システムと してのボトルネックの改善・解決の提案を目的とする． 2. 計算モデル 「工学・ものづくり」分野での流体関連シミュレーション利用を実例として想定した場合，本 研究で設計構築すべき HPCI ロジスティックスは次のような要求をみたすものと考えられる． ・ 工学設計を実施するエンドユーザ環境から「京」ハイエンドコンピューティングリソースに 特定の「要求（demand）」を発行し，「結果（result）」をエンドユーザ環境において得るまで に実行されるデータ記憶，移動，変換などの一連の過程全体の設計を「HPCI ロジスティッ クス」と呼ぶ． ・ 「京」ハイエンドコンピューティングリソースは，10000core 並列規模のデータ処理を同時 実行し，その直接結果として 100TB 規模の数値データを出力すると想定する．データ処理は バッチ型タイムシェアリングにより実行され，特定の許可されたアプリケーション・ソフト ウェアのみが利用可能となる． ・ エンドユーザ環境においては，最小 1core 規模の汎用コンピュータ上においてエンドユーザ がライセンス保有する任意のソフトウェア，データベースが利用可能とする．工学設計シミ ュレーションに一般に利用されるインタラクティブ操作ソフトウェア，シミュレーション・ ソフトウェア（本研究では代表的例として格子生成ツール，OpenFOAM），および，製品デ
ザインや物性値，設計概念（ex. 特許情報，製造ノウハウ）の知識データベースなどが想定 され，通常それらの利用，改変，複製，環境外への移動にはライセンス制約がある． このような「工学・ものづくり」分野の HPCI 利用環境において効率的かつ安全なロジスティッ クスを確立するに際してそれぞれの階層レベルでの一般的な問題提起として以下が挙げられる． ①エンドユーザのインタラクティブ環境からの効率的な HPCI 利用 ②エンドユーザと HPCI 環境とでライセンス共有できない知的資産の運用 ③HPCI と外部との超大規模データの生成，転送，表示 以下では，これらの 3 つの要素技術に関しての研究成果概要を述べる． 3. 並列計算の方法と効果（性能） 本研究では，個々のソフトウェア計算の並列化に関しては直接扱わない． 4. 研究成果 4.1 クラウド－エンドユーザ環境の連携システムの実証 「ものづくり」シミュレーションにおいて，最適設計のための多数ケース・スタディの効率的 実行は一般的かつ重要な HPCI 導入ニーズであり，単に数値計算実行の速度だけでなく，計算条 件の設計（ex. 格子生成）から結果評価（ex. 可視化）までのターンアラウンドの効率化・自動化 が重視される．本課題では，「ものづくり」エンドユーザへの普及度が高い構造解析のためのユ ーザエンド CAE 統合環境 DEXCS／Salome-Meca を対象に，クラウドシステムに標準ユニット化 された仮想環境（VM）をオンデマンド構築することで効率的な CAE 統合環境を提案する． ユーザエンド側の視点から CAE 統合環境には「インタラクティブ性能」や「計算環境の移植 性」などが重視され，それには Windows や Linux など汎用 OS によるローカル・スタンドアロン・ システムが簡便かつ低コストであり商用ソフトウェアの実用例も多数ある．一方，解析やデータ の大規模化，高速化を図るには大規模リソースを占有する際のライセンスやハードウェアのコス トがボトルネックとなり，HPCI 専用あるいは共用システムの利用が不可欠である．そこで，ク ラウドシステムは，前者のソフトウェア資産を継承して，HPCI 環境の効率的運用を図るのに適 している． 本研究では，「ものづくり」普及度が高い構造解析のためのユーザエンド CAE 統合環境 DEXCS ／Salome-Meca を対象に，北大アカデミック・クラウドへの実装検証として以下を実施した． 1) CAE 統合環境の自動ビルドアップ：Linux（Ubuntu）上に構造解析・流体解析の解析とプリ ポスト機能のソフトウェア群を統合ビルドインした統合 CAE 環境を構築し，クラウドシス テム上の VM（ヴァーチャル・マシン），あるいは，仮想 PC として自動生成を実装した．
2) CAE 統合環境のベンチマーク解析：クラウド上の統合環境 VM にて構造解析 Salome-Meca のベンチマーク解析を実施し，解析機能の適切な性能を得られることを確認した． 3) クラウド－リモートユーザ環境の実証：岐阜高専（ユーザサイド PC）より北大情報センター （クラウド・システム）へのリモート利用における，データ・ポータビリティ，GUI 環境の 操作・応答性，可視化環境の操作性などを実証評価した． これらの実証結果により，今後の CAE 環境の高度化に向けて以下のような課題を得ている． クラウドシステム仮想環境のインタラクティブ利用：クラウドシステム上の仮想環境を遠隔地か らネットワークを介してリモート利用する際には操作性の低下が避けがたい．本課題では，利用 ネットワーク環境に応じて DEXCS／Salome 統合環境のうち 3D グラフィックスなどのインタラ クティブ要求が高い機能をローカルユーザ側システムが補完することで操作性を確保すること が望ましい． クラウドシステムでの並列 VM 利用：クラウドシステム上に構築したユーザエンド CAE 統合環 境 DEXCS／Salome 仮想環境（VM）を標準ユニットとして，1) solver 並列実行による計算サイ ズの大規模化，2) 複数ユニットによる多数ケーススタディ並列実行，3) 同一ユニット複製によ る複数ユーザの協調作業などを実現することが期待される． クラウドシステムを核としたハイエンドリソース利用：クラウドシステム上にユーザ共有の汎用 データサーバを運用し DEXCS／Salome 統合環境をアーカイブ化することで，解析ターンアラウ ンドをそのまま再現する知識データベースを構築することできる．HPCI 環境での各種成果デー タに対しても同様のアプローチによりユーザ視点に有用な知識データベース化を図ることが期 待される． 4.2 クラウドシステムを核とした複合系コンピューティング環境の実証 「工学・ものづくり」分野では，エンドユーザと HPCI とでライセンス共有できない知的資産 （プログラム，データ）の連携利用が不可欠である．そこでは，エンドユーザ側においてライセ ンス制約のある情報を無効化するデータ変換処理（ex. CAD データから格子データへの変換によ る形状情報の隠蔽），あるいは，HPCI 利用に適したデータ構造への変換処理（ex. 複数リソース による物性データベースから近似補間式の抽出）などによるライセンス制約やインタラクティブ 操作の隠蔽を図ることが求められる．一方，HPCI 側においては多様な計算 demand を少数の HPCI 専用ソフトウェア，標準化データ構造によって処理する必要性からユーザの観点からも効率的な 実行タスク管理（ex. 複数 demand のパッケージ化，タスク依存関係の最適化）が求められる． そこで，本研究提案では，このような問題提起に対して，エンターテイメントやビジネス系ア プリケーションで先行しているクラウド仮想環境を利用して，論理的に異なるサイト間のデータ 変換処理を物理的ローカルな計算機システムに集約することで，ハードウェア・基盤 OS レベル
の制約をなるべく排除し，作業効率の向上，管理負担の低減を図る．「工学・ものづくり」分野 シミュレーション支援の実例として，実施者らが OpenFOAM ユーザサイトにて構築試行してい るタスク管理 WEB ポータルでの実績成果を参考として，以下の実装検証を行った．
1) クラウド環境での実効環境の自動生成：HPCI 環境の管理権限が無い OS での OpenFOAM（以 下 OF）のビルドを容易にし，普及を促進させることを目的として，北大クラウド（OS: CentOS5）などの intel+GCC のシステムにおいて，OF や OF が必要とするサードパーティの ソースを取得しビルドするスクリプトを作成した． 2) 実効性能と並列化効率ベンチマークスクリプト：様々なシステムでの OF の実効性能と並列 化効率の自動計測を行うため，OF システムに含まれるチュートリアルケースを利用し，複 数のケースを様々なレベルの格子数や並列数で解析し，実効性能と並列化効率を算出するス クリプトを作成した． 3) クラウド環境および京でのベンチマーク解析：日本建築学会屋外空気小委員会検証用ベンチ マーク実施 WG（主査：東京工芸大学 義江龍一郎）と協力して，格子数：100 万～1000 万 要素クラスでの実効性能・並列化効率計測を試験的に実施した． 上記成果より，コンピュータ環境に標準化した実行環境の実装に向けて以下の課題を挙げる． 計算環境の自動ビルドスクリプト：クラウドシステムを基点として，京や FX-10 などの非 intel・ 非 GCC を含む HPCI 環境での自動 OF ビルドやベンチマークのスクリプト作成，および，スクリ プト公開における安全性や知的資産保護などのセキュリティ検討があげられる． 実効性能ベンチマーク：異機種コンピュータの実効性能評価としてスタンダードソフトウェアに よるベンチマークが実用的である。本研究対象の流体解析 OpenFOAM（C++言語）は，工学設計 でのニーズや世界的な普及度などの観点からベンチマーク課題（建築系，機械系工学シミュレー ションを想定）として最有力と考える．また，「京」および大学情報センター共同利用の異機種 計算機における大多数のシミュレーション系ソフトウェアが Fortran 言語に集中していることを 鑑み，実用ソフトウェア開発の基本となるオブジェクト指向プログラミングに準拠した C++言語 プログラムの実効性能評価は将来の EXE コンピュータ仕様設計への有用な知見となると考えら れる． 解析知識・技術のデータベース化：「ものづくり」シミュレーションにおいて解析の信頼性は， 計算実行に選定した物理モデル，数値手法など多数の要因に依存し，その設計運用には高度知識 を要する．そのような複雑化するシミュレーレーションのオンデマンド解析をめざし，国内外の 研究者・技術者コミュニティにより系統的な基礎検証が実施されている．クラウドシステムを核 とした異機種コンピュータ環境において解析技術を共有化・標準化するために，ソフトウェアの みならず実行スクリプトやベンチマーク結果の一覧公開などにより，多数の研究者，技術者のコ ミュニティ参加を促進することが期待される．
4.3 クラウド－ハイエンド・コンピューティングの連携システムの実証 「工学・ものづくり」分野での流体関連シミュレーション利用を実例として想定した HPCI 利 用において効率的かつ安全なロジスティックスを確立する際の障害要因として以下が挙げられ る． a. ソフトウェア，ライブラリ，データの異種機 OS 間ポーティングの移植性 b. データ抽出／データ変換の自動高速化，連成解析アルゴリズム（手順）の実装 c. 遠隔ネットワーク間のデータ転送速度，保存データ容量，分散データの統合管理 d. データベース，ソフトウェアのライセンス，製品情報など知的資産の提供方法 e. ネットワークアクセスのセキュリティと利便性の競合 そこで本課題においては，これらの HPCI ロジスティックの各層において抽出される問題提起に 対してクラウド・コンピュータ環境およびオープンソフトウェアの活用により解決を図ることを 基本的な方針として，典型的な実例解析を対象とした計算実行環境を試作構築してフィアジビリ ティ・スタディを行い，各階層視点でのボトルネック抽出を試みる．特に以下の課題について実 証検証を行った． (1) 実用解析におけるロジスティックス設計 複数ソフトウェアを連成利用する典型的な解析対象として「ガスタービン燃焼器シミュレーシ ョン」を取り上げ，その解析環境構築を HPCI 課題（hp130114 川崎重工）との協力により実施し た．ここでは，ローカル環境でのライセンスド・アプリケーションとして化学反応シミュレーシ ョンに CHEMKIN，格子生成に GridGen，解析結果の可視化に FieldView を運用し，数値ソルバー に公開ソフトウェア FrontFlow/red を適用して，最大 2 億要素規模の実用数値シミュレーションの ための実行環境構築と各要素性能データの取得を行った．その結果，現在利用可能なコンピュー タ・基盤ソフトウェア技術により概ね実用可能な「HPCI ロジスティックス」を構築できる見込 みを得た． (2) 実用設計における超大規模解析およびデータの運用 クラウドシステムを核にした HPCI 計算機リソースを実用計算において運用する際には，具体 的に以下のようなデータ処理が必要となると考えられる． 1) 1core 規模エンドユーザ環境におけるオンタイム・インタラクティブ操作による格子の作成 2) エンドユーザ－クラウド間に初期格子情報を含む「demand」データ転送 3) 100core 規模クラウド仮想環境におけるバッチ・インタラクティブ操作による格子細分化およ び試行計算 4) クラウド－ハイエンド・コンピューティング間の超大規模「demand」データ転送 5) 10000core 規模ハイエンド環境におけるバッチ操作による超大規模格子の自動生成と解析 6) クラウド－ハイエンド・コンピューティング間の超大規模「result」データ転送
7) 100core 規模クラウド仮想環境におけるバッチ・インタラクティブ操作による可視化および特 性データ抽出 8) クラウド－ハイエンド・コンピューティング間に可視化および抽出データの「result」転送 9) 1core 規模エンドユーザ環境におけるオンタイム・インタラクティブ操作による設計評価 このうち，ハイエンド環境においてボトルネックとなりうる障壁として，手順 4), 6) のクラウド －ハイエンド・コンピューティング間データ転送について，gfarm ツールと HPCI 共用ストレー ジを介した実装評価を筑波大の協力により実施した．その結果，100GB 規模データの並列転送（並 列度＜100）について，北大情報センター－東大（東地区），および，北大－AICS（西地区）間に おいて，最大約 440Mbps，および，300Mbps 性能を得ている．これはネットウェア能力の最大に 近く，OS プリミティブなコマンドによる実行速度（約数 Mmps）と比較して十分な加速を得てい る．また，解析ソルバーのターンアランウンド（1 億要素規模～数日）と比較しても適切なもの と評価される． 5. まとめと今後の課題 本課題では「工学・ものづくり」分野での大規模シミュレーションのロジスティックス（計算 運用技術）の高度化を目指して，特にクラウドシステムを核とした HPCI 計算環境における要素 技術の実装検証を行った．複合的な計算機システム環境を効率よく運用するためには，解析結果 データのみならず，計算機環境や関連技術情報の共有化が重要であり，そこでは汎用的フリーラ イセンス・ソフトウェアの役割は大きいと考えられる． 参考文献 [1] FrontFlow/red 公開版 ver.3.1 ダウンロードサイト（北海道大学工学研究院） https://www.eng.hokudai.ac.jp/labo/fluid/download/download.htm [2] DEXCS 公開サイト（岐阜高等工業専門学校） http://dexcs.gifu-nct.ac.jp/pukiwiki/index.php [3] OpenFOAM ダウンロードサイト http://openfoam.com/ マニュアル和訳版（オープン CAE 学会） http://www.opencae.or.jp/
