Mode Modylas NAREGI において並列化チューニングを開始 次世代ナノ統合シミュレーションソフトウェアの研究開発 において京コンピュータに最適化した並列化チューニングを実施 MODYLAS CMSI MateriApps に登録 論文公刊 Y.Andoh et al., J. Chem

第六回材料系ワークショップ：

汎用 MD 計算ソフト MODYLAS の開発

および最近の応用事例

名古屋大学工学研究科

附属計算科学連携教育研究センター

特任准教授

安藤　嘉倫

2018/10/12 (金) 10:00-17:30 秋葉原_{UDX 4F NEXT-1}

MODYLAS 開発の履歴

「NAREGI」において並列化チューニングを開始 Mode Modylas MODYLAS 「次世代ナノ統合シミュレーションソフトウェアの研究開発」において 京コンピュータに最適化した並列化チューニングを実施 www.modylas.org においてバイナリ公開 (2013 年 9 月) ソース公開 (2014 年 4 月) CMSI MateriApps に登録 CMSI配信講義/AICS配信講義 ： 計算科学技術特論_{A (2013, 2015, 2017) [吉井]} 計算科学技術特論_{B (2014, 2016, 2018) [安藤]} 計算科学技術特論_{C (2015) [吉井]} 教科書 _: 下司雅章編_{, 計算科学のためのHPC技術, vol 1&2,} 大阪大学出版会 _{(2017) [吉井・安藤 部分執筆]} 論文公刊　Y.Andoh et al., J. Chem. Theory Comp., 9, 3201-3209 (2013). 第_{12回CMSI神戸ハンズオン :} MODYLAS講習会, FOCUS (2013) 第_{21回CMSI神戸ハンズオン :} MODYLAS講習会, CMSI神戸拠点 (2015) Webページに使用方法について の説明資料あり Webページに並列化技術 についての説明資料あり ポスト「京」コンピュータ上での 大規模・長時間_{MD計算実現の} ための最適化中 ダウンロード方法は 付録参照

計算の対象としている物質

小児マヒウィルス (ポリオウイルス) 細胞膜

その他

・クラスレートハイドレート　

・ミセル　

・高分子粘着剤

・対衝撃性高分子材料

高分子ガス分離膜 ウイルス レセプター 界面活性剤ミセル のエマルジョン 高分子ガラスの 一軸延伸

実際の研究に使われた例(1)

クラスレートハイドレートの 融解過程 _(岡山大) T.Yagasaki, M.Matsumoto, Y.Andoh, S.Okazaki, H.Tanaka, J. Phys. Chem. B, 118, 1900 (2014).; 118, 11797 (2014). 650万原子, 200 ns ・日本化薬　 J. Phys. Chem. B, 113, 15181 (2009). ・大日本住友製薬 PLoS ONE, 11, 1 (2016).　　 ・日東電工 企業との共同研究 Micelle of PEG-PBLG-Ac block copolymers 15万原子, 7ns 36万原子, 120 ns 薬剤-膜タンパク質 結合自由エネルギー 高分子粘着材 研究協力_: 中川 _(蛋白研) 野本 _(微化研) 田中（名市大医) 石川（名大医) ポリオウィルスカプシドの安定性 安藤嘉倫, 岡崎進, 情報処理学会会誌「情報処理」８月号. J. Chem. Phys. 141, 165101 (2014). ImPACT プロジェクト： 超薄膜化・強靭化「しなやかタフポリマーの実現」 https://www.jst.go.jp/impact/shinayaka/index.html

実際の研究に使われた例(2)

以下、キーワードのみ

(当日別資料で説明)

・高分子ガラス材料の破壊シミュレーション

・化学結合の切断を扱うための新しいポテンシャル関数

(PE, PMMA, PC, PS)

・応力

-ひずみ曲線

関連学会発表 _{(2018年度)：} 藤本 和士_{, 湯 之也, Rajdeep Payal, 篠田 渉, 岡崎 進, 第12回分子科学討論会, 1E16, 福岡 (2018).} 藤本 和士_{, 高分子計算機科学研究会, 東工大, 10/15 (2018).} 藤本 和士_{, 湯 之也, Rajdeep Payal, 篠田 渉, 岡崎 進, 第32回分子シミュレーション討論会, 303S, 筑波} (2018). ほか

動作確認済みプラットフォーム

力場 _{CHARMM with CMAP, TIP3P [OPLS, AMBER, TIP4P]} アンサンブル NVE, NVT (能勢-Hooverチェイン), 等方的NPT (能勢-アンダーソン) [,異方的NPT (能勢-パリネロ・ラーマン)] 数値積分 _rRESPA 拘束動力学 _{SHAKE/ROLL, RATTLE/ROLL} 静電相互作用 高速多重極展開法 _{(FMM) [,particle mesh Ewald (PME) 法]} [ ] 付き項目は公開版では順次対応. 動作確認済みコンパイラー _{frtpx (富士通), ifort (インテル), pgf90 (PGI)} 並列方式 _{MPI/OpenMP/SIMD の3層ハイブリッド並列} 通信方式 「京」の_{3Dトーラスネットワーク Tofu に最適化} インストール済スパコン 京コンピューター /opt/spire/MODYLAS/　　　　＊実行バイナリのみ Oakforest (東大), FX100(名大), ITO(九大) 連携ソフト REM (レプリカ交換法), FMO (フラグメント分子軌道法) ERmod (エネルギー表示溶液理論)　　　　　　

「京」での性能測定

サイズ _/ nm3 原子数 ノード数 京_† ノード数 ポスト京_** 483 _{10,000,000 65,536 <2,048} 243 _{1,250,000 8,192 <256} 123 _{150,000 1,024 <32} 63 _{20,000 128 <4} 5 ms/step* に必要な「京」ノード数目安 * 35 ns/day (Δt=2fs) †ver_1.0.4での概算値 **開発目標値 Pairwise additive FMM Intra Comm. Fig. Measured partial calculation times and communication time per MD step (Δt)[1] Fig. Strong scaling test with K-computer[1]. ・原子数　107 　　PYPタンパク質 512 個, 水 3005952個, イオン2560個 ・NVEアンサンブル（距離拘束条件含む) ・LJ カットオフ12Å ・FMM (6階層, 展開次数4) ・multi-time step 5 ms/step 65,536 64 [1]Y.Andoh et al., J. Chem. Theory Comp., 9, 3201-3209 (2013). 京 0.128 TFLOPS/node ポスト京§ _{>2.7 TFLOPS/node} §_{http://www.fujitsu.com/jp/Images/20180821hotchips30.pdf}

MODYLAS I/Oの構成

MODYLAS

座標情報ファイル aaa.mdxyz, or aaa.mdxyz.bin 力場情報ファイル aaa.mdff, or aaa.mdff.bin MODYLAS用 計算条件ファイル aaa.mddef 力学,熱力学量モニターファイル aaa.mdmntr リスタート用ファイル aaa.restart.bin, or aaa.restart.asc 解析用ファイル

aaa.dcd, aaa.mdtrj.bin

計算速度ファイル aaa.mdrun 実行情報 (標準出力) aaa: セッション名 全てのI/Oファイルで共通 .bin はバイナリ _{:可視化の対象ファイル} I/O構成 www.modylas.org -> Documentation -> Manual および Tutorial slide を参照

分子座標 .pdb CHARMM トポロジーファイル CHARMM パラメーターファイル Nano-Ignition 座標情報ファイル aaa.mdxyz 力場情報ファイル aaa.mdff MODYLAS用 計算条件ファイル aaa.mddef 可能な操作 ・入力された分子の3D表示 ・力場パラメータの割り当て ・距離拘束条件の指定 ・基本セルサイズの設定 ・力場パラメータの変更 ・水素原子付加 ・水溶媒付加 ・分子の削除, 挿入, 置換 ・分子の複製, 移動 ・化学結合の追加 など (マニュアル参照) 例) top_all22_prot.rtf 例) par_all22_prot.prm

入出力支援ソフト

・インプット作成ソフト

Nano-Ignition

フリーソフト

(登録制)

www.nano-ignition.ims.ac.jp I/O構成 その他のインプット作成方法 ・VMD[2]_{を介してMODYLAS用インプットファイル作成} できる _Plug-in を用意 ・WinmostarTM[3] _{を介したインプット作成&実行} [2] Humphrey, W. et al., J. Molec. Graphics 1996, 14.1, 33-38. [3] https://winmostar.com/jp/index.php ・_{Windows版 (.exe)} ・Linux版 ソースコード 第_{12回CMSI神戸ハンズオン資料, および} www.modylas.org -> Documentation -> Manual, Tutorial slide を参照

Nano-Ignition で力場を設定できる分子種

以下サイトより

, 最新のCAHRMM力場ファイルをダウンロード:

http://mackerell.umaryland.edu/CHARMM_ff_params.html

toppar_c36_jul16.tgz

top_all36_prot.rtf

top_all36_na.rtf

top_all36_lipid.rtf

top_all36_cgenff.rtf

top_all36_carb.rtf

top_all35_ethers.rtf

top_all22_prot.rtf

par_all36_prot.prm

par_all36_na.prm

par_all36_lipid.prm

par_all36_cgenff.prm

par_all36_carb.prm

par_all35_ethers.prm

par_all22_prot.prm

タンパク質

核酸

脂質

CGenFF (有機小分子)

糖質

エーテル

(CHARMM35)

タンパク質

(CHARMM22)

・分子座標は_{.pdbファイル形式で別途用意する (たとえば Winmoster}TM _で作成) ・高分子の力場に使用される OPLS 力場は non_charmm/top_opls_aa.inp,

par_opls_aa.inp をベースに改変を加えることで _{ignition から read 可能に}

MODYLAS 入出力ファイルの書式

・タグ形式　　

<xxxx> ... </xxxx>

　　　

xxxx には所定の

キーワード

が入る

　　　タグの入れ子構造も可　

<xxxx> <yyyy> ... </yyyy> </xxxx>

・変数名

= 値

・「

#」以降は読み込まれない (コメント扱い)

例) aaa.mddef <output> dcd=yes <trjdcd> start=0 interval=100 </trjdcd> # dcd

<restart> start=0 interval=10000 </restart> # restart <monitor> start=0 interval=1 </monitor> # mdmntr </output> <integrator> dt=2.0e-15 # [sec] steps=10000 </integrator> <ensemble> ensemble=npt_a # opt/nve/nvt/npt_a </ensemble> 100ステップごと .dcd を書き出し 10000ステップごと mdxyz.bin を書き出し 1ステップごと mdmntr を書き出し 数値積分の時間刻みΔt=2fs ステップ数 10000 アンサンブルは等方的 NPT (圧力P, 温度T一定)

>tar xvfz MODYLAS_1.0.4.tar.gz

解凍先のソースフォルダへ移動

>cd MODYLAS_1.0.4/source/

コンパイル環境の設定

>./configure --with-kind-fortran-compiler=FC

コンパイル

>make

./src/modylas

が生成

MODYLAS コンパイル方法

FC=(K|FX10|INTEL|PGI) K : 京コンピューター FX10 : FX10/FX100 INTEL : インテルコンパイラー PGI : PGIコンパイラー 必要に応じて_{, コンパイル前に src/Makefile ファイルの} FC=の行に下記プリプロセッサを追記し機能拡張 -DHALFDIRE　 作用反作用ルーチンを有効 -DONEPROC_AXIS プロセス数1,2,4に対応 (標準では8以上) -DSEGSHAKE 熱力学的積分法ルーチンを有効 ./configure --help で候補を表示

MODYLAS 実行方法

インプット一式のあるフォルダへ移動

>cd Met2/

コンパイルした実行モジュールのリンク

>ln –s ../../source/src/modylas ./

並列実行

>mpirun –np 8 ./modylas calcmf_034_0 > output_034_0

./modylas セッション名

実行形式

:

＊実行時のスレッド数は export OMP_NUM_THREADS=? で設定 ＊プロセス数×スレッド数, はマシンのコア数以下とする 以下の aaa をセッション名と呼称

aaa.mddef, aaa.mdff, aaa.mdxyz

①力学・熱力学量 （ポテンシャルエネルギー, 温度, 圧力,etc.) の時間変化

計算結果の可視化

②原子の軌跡 r_i(t) 1. 生成された aaa.dcd を Windows 上で VMD により動画表示 > vmd aaa.pdb aaa.dcd 2. 用意されたコンバータープログラムにより aaa.mdtrj.bin を aaa.xyz に変換 > vmd aaa.xyz ・aaa.mdmntr は gnuplot により直接グラフ化できる ①「File」→「New Molecule ...」を選択 ②「Browse」を押し可視化対象 のaaa.pdb, aaa.dcd を選択 ③「Load」を押す ④動画として表示される

## water_opt.mdmntr -- monitor variables output from MD calculation by modylas #

# datas below are formated as:

# step time Hamiltonian potential-E kinetic-E total energy temperature volume pressure box-length(x) box-length(y) box-length(z)

# [sec] [J/cell] [J/cell] [J/cell] [J/cell] [K] [m3] [Pa] [m] [m] [m] #

1 1.000000000000E-15 8.634745670798E-15 8.634745670798E-15 0.000000000000E+00 8.634745670798E-15 0.000000000000E+00 1.406080000000E-25 0.000000000000E+00 5.200000000000E-09 5.200000000000E-09 5.200000000000E-09

2 2.000000000000E-15 1.449528625793E-15 1.449528625793E-15 0.000000000000E+00 1.449528625793E-15 0.000000000000E+00 1.406080000000E-25 0.000000000000E+00 5.200000000000E-09 5.200000000000E-09 5.200000000000E-09

例) ポテンシャルエネルギー最小化計算 (初期構造最適化) での aaa.mdmntr

コンタクトの方法

名古屋大学 　岡崎　進　　 教授 　吉井　範行 _{特任准教授} 　安藤　嘉倫 特任准教授 　藤本　和士　 _助教 　山田　篤志 _{(現 筑波大)} 　小嶋　秀和 分子科学研究所 　水谷　文保　 技術班長 　岩橋　建輔　 _技術職員 著作権者 開発協力者 名古屋大学情報基盤センター 　片桐　孝洋 教授 　荻野　正雄 _准教授 東京大学情報基盤センター 　大島　聡史 _助教 理研 _AICS 　鈴木惣一朗 　南　一生_{, 黒田明義} 富士通 　市川真一_{, 小松秀美} 　石附　茂,　武田康宏, 福島正雄 金沢大学 　長尾　秀実　 _教授 　川口　一朋 助教 共同研究相談　　 _{okazaki@apchem.nagoya-u.ac.jp} 　　　　　　　 ＊高分子シミュレーションに関連する拡張機能の使用相談を含む 一般的質問　　 http://www.modylas.org の Forum/General discussion へ投稿 使用方法の解説　 _{http://www.modylas.org の Documentation の資料, および} 第12,21回CMSI神戸ハンズオン: MODYLAS講習会資料

ダウンロード方法

登録後このようなメールが送られてくる. リンク先からソースコードをダウンロード www.modylas.org ・マニュアル_(PDF) ・チュートリアル(PDF) のダウンロード ユーザー登録

ダウンロードライセンス

・ユーザー登録制 ・再配布禁止　　　 ・文献引用 _{[Y.Andoh et al., J. Chem. Theory Comp., 9, 3201-3209 (2013)]} ・ベンチマーク結果を著作権者の許可無く公開禁止 ・ソース変更,改良点は著作権者にフィードバック ライセンス詳細は _{www.modylas.org のダウンロードページに記載}

参考文献

分子動力学計算

[1] 岡崎進, 吉井範行, コンピュータシミュレーションの基礎, 化学同人 (2000). [2] 上田顕, 分子シミュレーション –古典系から量子系手法まで-, 裳華房 (2003). [3]　D.Frenkel, B.Smit, Understanding molecular simulation (2nd _{ed.), Academic Press (2001).}

物理化学

, 統計力学

[4] D.A. McQuarrie, J.D. Simon, 物理化学(下) 分子論的アプローチ, 東京化学同人 (2000). [5] M.E. Tuckerman, Statistical Mechanics: Theory and Molecular Simulation, Oxford Univ. Press (2010).

実行制限

MODYLAS_1.0.4 には, 主に並列化方法からの要請により, 以下の実行制限が あります ✓MPI と OpenMP のハイブリッド並列 ✓基本セル各辺の分割数 = 2k _{(均等分割, 3}≤k≤6) ₂k_*3l _{(不均等分割)} ✓分割されたサブセルの一辺長さ > 0.5*カットオフ半径 ✓立方体の基本セル 直方体　　　　　　 　・プロセス数: 2n _{(3≤n) 2}n _{(1≤n) 2}n_*3m _{(1≤n, 1≤m)} 　・スレッド数: 制限なし ✓周期境界条件下 2.0.0 1.0.4

分子動力学計算 手法の概要

繰り返し 離散化

r

_i : 原子座標 F_i: 原子に働く力 m_i: 質量

m

_i

d

2

r

_i

dt

2

= F

i

i = 1,

, N

N : 原子数 r_i, v_i を一定ステップ数ごと出力

Hot spot

は F

_i

の計算部分

基礎方程式 F_i = −∂Φ(r N₎ ∂r_i Φ(r N ): 相互作用ポテンシャル

Φ(r

N

) =

φ

intramolecule

+

φ

Lennard-Jones

+

φ

Coulomb

O(N) O(N2₎

Ewald法での 厳密計算

(周期境界条件下)

Particle Mesh Ewald 法

FFT, 全対全通信, O(N log N) 高速多重極展開法 (FMM) 多重極子展開_{, 隣接通信, O(N)} > 1,000 process ~ 1,000 process MODYLASでは大規模系・超並列を前提に こちらをメインに開発 演算_{, 通信ともに} 分子内 分子間 _短距離 分子間 _長距離 v_i t + Δt 2 " # $ % & ' = vi(t) + Δt 2 F_i(t) m_i r_i(t + Δt) = ri(t) + Δt vi t + Δt 2 " # $ % & ' v_i

₍

t + Δt

₎

= vi t + Δt 2 " # $ % & ' + Δt 2 F_i(t + Δt) m_i

原子間・分子間の相互作用

化学結合長伸縮 結合角伸縮 二面角回転 improper 二面角振動

U

_tot

=

K

_b

(b − b

₀

)

2 bonds

∑

+

K

_θ

(

θ

−

θ

₀

)

2

+

K

_ub

(s − s

₀

)

2 ub

∑

angles

∑

+

K

_φ dihedrals

∑

1+ cos(n

φ

−

δ

)

[

]

+

K

_ψ

(

ψ

−

ψ

₀

)

2 impropers

∑

+

ε

_ij

R

ij

r

_ij

#

$

%%

&

'

((

12

− 2

R

ij

r

_ij

#

$

%%

&

'

((

6

)

*

+

+

,

-.

.

nonbonds

∑

+

q

i

q

j

r

_ij 静電相互作用 (長距離) レナードジョーンズ 相互作用 ₍近距離₎

F

_i

= −∂

U

tot

∂r

_i しばしば結合長伸縮, 結合角伸縮などの速い運動の自由度に距離拘束条件を 導入 (SHAKE/RATTLE/ROLL法) → より大きな Δt を使用でき, 計算可能時間長さが延びる Δt = 10-16 _s Δt = 10-15 _s Δt = 10-16 _{~ 10}-15 _s Δt = 10-15 _s 古典近似された力場関数 (例: CHARMM)

代表的な汎用ポテンシャル

力場名称

主な開発者

MDソフトウェア

タイプ

CHARMM

A.D. Mackerell Jr., M. Karplus,　

J. Klauda

CHARMM

All-atom

GROMOS

_{W.F. van Gunsteren} H.J.C. Berendsen,

GROMACS

United-

_atom

AMBER

P.A. Kollman

AMBER

All/United-

_atom

OPLS

W.L. Jorgensen

--

All/United-

_atom

All-atom

United-atom

例

_{) メチル基}

-CH

₃ 用いる力場およびAA/UAは,要求する計算精度に応じてユーザーが選ぶ 生体分子 高分子