大規模Ball-Stick系のPov-ray可視化の阪大VCCクラスターでの高速化Speed-up of Pov-ray visualization of large scale Ball-Stick systems using VCC cluster at Osaka University

全文

(1)HPCI Research Report 「京」以外 HPCI 一般利用. hp140191. HPCI other than “K” General Use. 大規模 Ball-Stick 系の Pov-ray 可視化の阪大 VCC クラスターでの高速化 Speed-up of Pov-ray visualization of large scale Ball-Stick systems using VCC cluster at Osaka University 萩田克美 Katsumi Hagita 防衛大学校 National Defense Academy. 要旨約 1000 万粒子と約 1000 万のボンドで構成される大規模な Ball-Stick 系の高解像度 Pov-ray 動画作成について、HPC 的な高速化を検討した。本検討では、ナノ粒子充填ゴム材料の粗視化 MD 法の大規模計算結果について、高精細高解像度可視化装置で表示するための高品位な可視化映像コンテンツを作成した。このために、Pov-ray 処理のシステムへの負荷分析を行い、ファイル IO に関する速度低下要因を回避するためにソースコードを改造し、この大規模系の Pov-ray 処理を高速化した。これにより、大規模な Ball-Stick 系の高解像度 Pov-ray 可視化の作業効率を高めた。. キーワード：大規模可視化、高精細高解像度可視化装置、Pov-ray 処理、Ball-Stick 系、ファイル IO 性能. Abstract We studied HPC based speed up for high-quality Pov-ray visualization of large scale Ball-Stick systems consists of about 10 hundred balls and 10 hundred sticks. We also made impressive movies of coarse grained MD simulations of large-scale polymer nanocomposites model filled with nano-particles. For efficient visualization processing, we revised source code of Pov-ray to avoid obstructive factor related to IO performance.. Keywords: Large-scale visualization, High-resolution tiled displays, Pov-ray processing, Ball-Stick system, File IO performance. © 2015 Research Organization for Information Science and Technology All rights reserved. Received: 29 May 2015 Accepted: 30 September 2015 Available online: 29 October 2015. 30.

(2) HPCI Research Report 1. 研究の背景と目的最近、8K などの高い解像度を持つ高精細高解像度可視化装置が普及しつつある。これらの高精細高解像度可視化装置では、没入感の高い映像表示が可能であるとともに、大規模シミュレーション結果などの多数の要素で構成された混雑した系の鮮明な表示が可能である。比較的混雑した大規模な Ball-Stick 系の映像表示では、Pov-ray 等のレイトレーシングによる影付け表現が効果的であると考えられる。多数の要素からなる系の Pov-ray 動画作成では、各コマの描画処理（レイトレーシング）に時間を要することなる。The POV-Team により開発・維持されているレイトレーシング・ソフトウェア Pov-ray [1]の最新版は、スレッド並列化されている。従って、連続する時間の複数のコマを、ノード毎に独立に描画処理するアレイジョブ型の処理が初歩的な HPC 処理と考えられる。特に、描画対象のデータが大きい場合には、演算処理ではなく、IO の性能調整なども、処理の高速化としては重要である。本研究では、8K やそれを越える高解像度の動画作成において、大阪大学の可視化用 PC クラスター（VCC クラスター）（Intel Xeon E5-2670v2 2.5GHz 10cores 2 基が全 56 ノード）を用いて 1000 コマ程度の Pov-ray 処理について HPC 的な高速化を検討した。具体的な対象として、約 1000 万粒子と約 1000 万のボンドで構成されるナノ粒子充填ゴム材料の粗視化 MD 法の大規模計算結果を用いた。本検討では、Ball と Stick の表現はシンプルな物として、混雑した系での影付け表現を中心に扱う場合を検討した。図１に、Pov-ray 可視化の例を示す。. 図１ Pov-ray 可視化の例. 31.

(3) HPCI Research Report 2. 計算モデル Pov-ray は、物体の配置やカメラやライトの設定などが記述されたシーンファイル（.pov ファイル）と「処理条件ファイル」（.ini ファイル）を解釈し、レイトレーシング法によって高精細で高解像度な画像を作成できる。固定した物体配置に対して、カメラパスのみを変える場合、シーンファイルは、物体の配置など変化のないものと、カメラやライトの設定などの変化のあるものに分割して記録する。（本検討では、前者を「シーンファイル」と呼び、後者を「カメラ位置ファイル」と呼ぶことにする。）Pov-ray の処理は、大きく分けて Parser 処理と Rendering 処理の２つの処理で構成されている。一般に、物体の数（シーンファイルの大きさ）や解像度が大きくなるにつれて、Parser 処理や Rendering 処理の時間が大きくなる。（当然ながら、反射屈折の最大数設定など映像表現に必要なパラメータに応じて、Rendering 処理時間は大きく異なる。物体の数が少ない場合でも、Rendering の計算負荷が高いことがある。）Pov-ray の並列処理については、描画領域を分割した並列や、時系列に対するスクリプトベースでの並列を中心に、これまで、多くの検討がなされてきた。本検討では、時系列に対するスクリプトベースでの並列処理を行う。今回、検討対象としたナノ粒子充填高分子材料の系は、約 1000 万個の粒子と、約 1000 万本のボンドを含む系である。Zindaiji3 [2]を利用して作成した Pov-ray のシーンファイルは、約 2000 万行で、約 930MB のテキストデータである。１つの画像を Pov-ray でレンダリングする場合、約 55GB のメモリを必要とする処理である。. 3. 並列計算の方法と効果（性能）本計算の並列計算の方法は、１ノード内でスレッド並列化された Pov-ray コマンドを、時系列に対するスクリプトベースで並列化するアレイジョブ並列計算である。連続する動画の場合、近隣のコマの描画処理の負荷が同じであるため、コマ番号を cyclic に割り当てた。各ノードでの描画処理の高速化についても検討した。本研究課題では、約 1000 万個の球と約 1000 万本のボンドで構成される Ball-Stick 系を対象とした。試験的にアレイジョブ型の並列処理を実施してみると、Parser 処理において、明らかに、ファイル読込や書込の処理で性能劣化している挙動が見られた。特に、阪大 VCC では、NFS により work ディスクを共有しているため、アレイジョブの実施時の性能に大きく影響したと考えられる。なお、Rendering 処理（Trace）については、（Pov-State ファイルの出力を除けば）20 スレッドでよく並列化されており、現状で十分であると考えられる。本検討課題では、処理性能の向上のために、データ IO 処理などの、演算以外の部分を検討し、実効的に処理速度を高める検討を行った。なお、１コマの Pov-ray 処理のファイル入出力の一例は、図２に示すとおりであった。. 32.

(4) HPCI Research Report. シーンファイル約 930MB. Parser 処理 /tmp/pov プロセス番号約 660MB 膨大な標準出力 (GB 単位). Pov-ray 処理. Pov-State ファイル約 660MB. Rendering 処理. ※今回の高速化では、出力を抑制させた。 PNG ファイル約 60MB. 図２ Pov-ray 処理での大規模ファイルの入出力状況の概要図. 約 1GB のシーンファイルの読み込みは、ネットワーク共有されたファイルシステム構成では、負荷が小さくない。特に、物体の配置の記述は同一で、カメラ位置のみ異なる場合、同じデータのネットワーク転送の重複を避けるために、メモリーベースファイルシステム(/dev/shm)を作業ディレクトリとし、「シーンファイル」をメモリーベースファイルシステム(/dev/shm)にコピーして処理することで、大幅な高速化が期待できる。一時ファイルの出力も律速になり得るので、図３のように、ソースコードを改造した。「/tmp/pov プロセス番号」のファイルは、コード改造が容易ではなさそうであるため、環境変数 TMPDIR をメモリーベースファイルシステム(/dev/shm)に設定し、一時書込を高速化した。一方で、Trace の中断再開機能のための一時ファイル（Pov-State ファイル）については、内部オプション BackupTrace を復活させることで、出力を抑制させることができた。. 146,156c146 < //path = "/tmp/"; < char *tmpdir; < tmpdir=getenv("TMPDIR"); < if(tmpdir == 0) { < tmpdir = "/tmp"; < } else { < printf("TMPDIR (2) is set to %s ¥n",tmpdir); < } < path = tmpdir; < path = path + "/"; < --> path = "/tmp/";. 116d115 < { "Create_Continue_Trace_Log", kPOVAttrib_BackupTrace, kPOVMSType_Bool }, 247d245 < { "CC", kNoParameter, kNoParameter, kPOVAttrib_BackupTrace },. 図３ vfe/unix/unixoptions.cpp と source/frontend/processrenderoptions.cpp の diff. 33.

(5) HPCI Research Report. また、Pov-ray の進捗状況の標準出力を抑制する改造を行った。具体的には、vfe/vfe.cpp の vfeParserMessageHandler::Progress と vfeRenderMessageHandler::Progress の中を、全てコメントアウトした。これにより、バッチ処理の際に数 GB となった標準出力が、ほぼゼロになり、実効的な処理性能が向上した。上記の高速化により、阪大の VCC クラスターの全ノード占有利用時において、Parser 処理の Parse Time と Bounding Time は、それぞれ、約 9～10 分と約 4～5 分であり、Rendering 処理の Trace Time が約 7～8 分（処理の重い場合）という時間で処理できるようになった。. 本検討では、同一の画角（カメラパス）で、大阪大学の「豊中 DS」と「うめきた」の２装置と名古屋大学の合計３装置の解像度に合わせた動画用画像を作成した。. ・大阪大学「豊中 DS」高精細高解像度可視化装置 11540 x 4332 ピクセル ※豊中 DS の装置は、現在は、吹田キャンパスに移設されている。・大阪大学「うめきた」高精細高解像度可視化装置 6894 x 2336 ピクセル・名古屋大学高精細高解像度可視化装置 7680 x 4320 ピクセル. これらのレンダリング処理で、VCC クラスターの 56 ノードを用いると、それぞれの解像度に対して、概ね７時間程度で 1000 枚の画像をレンダリング処理することが可能になった。（数台の手元のワークステーションの処理で、１週間程度の作業が半日で終了する点は、動画作成の作業面では、大きな高速化であると言える。）. 4. 研究成果本研究課題では、ナノ粒子充填高分子材料の粗視化 MD の大規模シミュレーション結果（約 1000 万粒子と約 1000 ボンドからなる系）について、高品位な高精細高解像度の動画を作成する方法を検討した。高品位な可視化のために、レイトレーシングのアプリとして標準的な Pov-ray ver. 3.7 を用いた。Pov-ray 用のカメラパス設定ファイル（カメラのパスやライティングの設定等）を Zindaiji3 [2]で作成し、1000 コマで構成される動画を Pov-ray レンダリングで作成した。ナノ粒子の配置が異なる系や、（リテイクした）複数のカメラパス設定に対して、動画を迅速に作成するために、HPC 的な高速化の検討を行った。作成した動画の一部のコマについて、図４に示す。. 34.

(6) HPCI Research Report. 図４大阪大学「豊中 DS」高精細高解像度可視化装置での表示試験の様子. また、大阪大学の装置では複数台の PC が分担して表示制御しているため、作成した画像を横方向で分割した表示用のデータは、上記で作成した高解像度の画像から作成した。図５は、大阪大学「豊中 DS」高精細高解像度可視化装置での表示試験を実施した際の様子である。. 図５大阪大学「豊中 DS」高精細高解像度可視化装置での表示試験の様子 35.

(7) HPCI Research Report 5. まとめと今後の課題ナノ粒子充填高分子材料の粗視化 MD の大規模シミュレーション結果（約 1000 万粒子と約 1000 ボンドからなる系）について、Pov-ray を用いた高品位で高精細高解像度な動画を作成した。各コマのレイトレーシングにも時間を要するので、動画を迅速に作成するために、阪大の VCC クラスター（56 ノード）で、スクリプトベースのアレイジョブ並列処理を実施した。その際、ファイル IO 負荷を軽減させる工夫を施した。これにより、これまでは、困難であった大規模な Ball-Stick 系の Pov-ray 可視化における計算性能の課題を解決できた。今後の課題としては、約 1.6 億粒子の系などの更に大規模な系の高品位可視化のために、大規模なレイトレーシングに対応したアプリの活用などを考えている。（現状の Pov-ray では、この規模の処理では、整数表現のビット数に関連した不具合がある模様であった。）. 参考文献 [1] http://www.povray.org/ [2] http://qcganime.web.fc2.com/ZINDAIJI3/Zindaiji3Top.html. 36.

(8)