hp120219 「京」産業利用（実証利用） K Industrial Use
数値流体力学の工業利用における標準解の整備に関わる研究 (1)
Study aiming to obtain standard solutions for the industry application of CFD (1)
川原仁志 Hitoshi Kawahara
伊藤忠テクノソリューションズ株式会社
ITOCHU Techno-Solutions Corporation
要旨 高レイノルズ数平行平板間乱流の直接数値計算（DNS）を実施し，世界最高水準のレイノルズ数 （Reτ = 2,500）における DNS 解を得た。これを用いて乱流モデルを用いた数値計算コードの検証 に適用できる乱流統計量の標準解を作成した。さらに高いレイノルズ数（Reτ = 5,000）での直接 数値計算を行うために，DNS コードの「京」向けチューニングを行った[1]。 キーワード：直接数値シミュレーション，ラージ・エディ・シミュレーション，検証と妥当性確認， 平行平板間乱流，円管内乱流 Abstract
We computed turbulent channel flow for the world's highest level Reynolds number (Reτ = 2,500) by using direct numerical simulation (DNS). Then we have developed a standard solution of the turbulence statistics that can be applied to the verification of fluid flow calculation using a turbulence model. Furthermore, the DNS code was tuned for K computer in order to calculate higher Reynolds number (Reτ = 5,000) turbulent flow.
Keywords: DNS, LES, V&V, channel flow, pipe flow
© 2019 Research Organization for Information Science and Technology All rights reserved. Received: 25 December 2017
Accepted: 22 July 2019
1. 研究の背景と目的
数値流体力学（CFD）の工業利用における検証と妥当性確認（Verification & Validation，以下 V&V）を確立する上で必要になる標準解を整備する。標準解とは工業計測における標準ゲージに 相当するもので，種々の仮定に基づく物理モデルを含まない直接数値シミュレーション（DNS） 等によって乱流現象を正確に再現した解である[2]。標準解を得るためには，乱流の渦の最小スケ ールを表現できる細密な格子を用いて数値計算を行う必要があり，「京」クラスの莫大な計算資 源が必要となる。本研究範囲では，まず最も基本的な流路である平行平板間内乱流の DNS コー ドに対して「京」向けのチューニングを行い，世界最高水準の高レイノルズ数域における DNS 解を取得した。 2. 計算モデル エンジンのインテークなど熱流体機器実機では，摩擦・伝熱・物質混合特性などを向上するた めに，非常に複雑な壁面形状を有し，機器内の流れはバルク平均速度と水力学的直径で定義され るバルクレイノルズ数 Rebが約 10 万以上（摩擦レイノルズ数 Reτ では約 5,000 以上）の高レイノ ルズ数域における壁乱流である。一方，流れの支配方程式を数値的に離散化し，乱流内の大小全 てのスケールの物理現象を解像する直接数値計算（DNS）は非常に高計算負荷であるため，最も 単純な壁面形状を有する内部流である平行平板間内乱流においても，摩擦速度と流路半幅で定義 される摩擦レイノルズ数 Reτ の最高値は現状 2,500 程度である。数値流体力学の工業利用におけ る V&V を確立するためには，より高レイノルズ数域での壁面せん断乱流の統計的性質や動的特 性を明らかにする必要がある。 そこで本課題では，平行平板間内乱流を対象とし，Reτ が最高で 5,000 までの高レイノルズ数 平行平板間乱流の DNS をスーパーコンピュータ「京」上で行い，実機相当の高レイノルズ数壁 面乱流の DNS データベース，工業利用のための標準解を構築するとともに，高レイノルズ乱流 における階層構造を明らかにした。平行平板間乱流の計算領域の概念図を Fig.1 に示す。流れの 支配方程式である非圧縮性の Navier-Stokes 方程式と連続の式を基礎方程式とし，平行平板間乱流
Table 1 Numerical condition for DNS of turbulent channel flows. Reτ Rec Reb Lx × Ly × Lz Nx×Ny×Nz 400 8,200 14,030 3πδ × 2δ × πδ 384 × 385 × 192 800 17,760 30,820 2πδ × 2δ × πδ 512 × 769 × 384 1,270 30,320 52,200 2πδ × 2δ × πδ 864 × 1,239 × 648 2,500 62,650 108,830 4πδ × 2δ × πδ 3,456 × 2,477 × 1,280 5,000 133,950 227,630 4πδ × 2δ × πδ 6,912 × 4,953 × 2,560 の DNS を行った。流れ方向（x 方向）とスパン方向（z 方向）には周期境界条件を，壁垂直方向 （y 方向）には壁面上で滑りなしとする no-slip 境界条件を課した。離散化手法には流れ方向とス パン方向にフーリエ・スペクトル法を，壁垂直方向には 4 次精度中心差分法を採用した。時間積 分には 2 ステップ時間分割法を用い，対流項及び粘性項には 2 次精度 Adams-Bashforth 法を，圧 力項には 1 次精度 Backward-Euler 法を用いた。Aliasing 誤差は 3/2 則を用いて完全に除去されて いる。Table 1 に計算条件を示す。本課題では，流路半幅δ と壁面摩擦速度 uτ に基づく摩擦レイ ノルズ数 Reτ が 400 から 5,000 の 5 条件を対象とした。平均中心流速 Umcとδ に基づくレイノルズ 数 Rec，バルク平均流速 Ubとチャネル幅 2δ に基づくレイノルズ数 Rebも合わせて示す。平行平板 間の水力学的直径はチャネル幅の 2 倍，4δ であることを注記しておく。各条件で計算領域と格子 点数は流れ方向，壁垂直方向及びスパン方向にそれぞれ Lx×Ly×Lz，Nx×Ny×Nzである。総格子点数 は，Reτ = 2,500 の条件で約 110 億点，Reτ = 5,000 の条件で約 1,300 億点である。これらは現状で 世界最大の DNS である[3]。このような DNS は，世界最高水準のスーパーコンピュータ「京」を 利用してはじめて可能となるものである。 3. 並列計算の方法と効果（性能） 平行平板間乱流の DNS では，プログラミング言語として Fortran を用いている。「京」へのチ ューニングを行う以前の並列計算プログラムでは，分割軸を流れ方向または壁垂直方向とし，計 算領域を 1 次元分割し，Flat MPI によりデータ通信を行っていた。これに対して OpenMP を用い
てノード内をスレッド並列化し，ハイブリッド MPI プログラムへチューニングを行った。Reτ =
2,500 における平行平板間乱流の DNS において，Hybrid MPI を用いることにより，Flat MPI によ るプログラムに比べ，約 3 倍の高速化を達成した。さらに，概算で約 2 倍の高速度化の目処がつ いており，約 5%の実行効率を達成できる見込みである。継続課題（課題 ID: hp140117，課題名： 数値流体力学の工業利用における標準解の整備に関わる研究）において，Reτ = 5,000 における DNS を実行するためには，更なる高速度化が求められる。そこで，並列数を増やすために，分割 軸を 1 次元から 2 次元へと変更したプログラムを作成した。その 2 次元分割プログラムについて， ノード内スレッド並列化，ノード間 MPI 通信などの点から，「京」へのチューニング，最適化を 進めることにより，Reτ = 5,000 の条件での DNS においても，実行効率として 5~10%を目標とし， 並列化数を増やすことにより高速度化を達成し，Reτ = 5,000 における平行平板間乱流の標準解を 構築する予定である。
4. 研究成果 高レイノルズ数平行平板間乱流の直接数値計算（DNS）を実施し，世界最高水準のレイノルズ 数（Reτ = 2,500）における DNS 解を得た。計算結果は既往の研究[3][4]と比較することでその妥 当性を確認した。この結果を用いて，乱流モデルを用いた数値計算コードの検証に適用できる乱 流統計量について標準解を整備した。Fig.2(a)に平均速度分布のレイノルズ数依存性を示す。上付 き文字+は摩擦速度 uτ と動粘性係数ν の粘性スケールによる無次元化を表す。線形則及び対数則 の分布も合わせて示す。レイノルズ数依存性をみると，本研究におけるレイノルズ数域において は 3 つの領域，粘性底層，対数則領域および伴流域が観察される。レイノルズ数に依らず，y+ < 5 の粘性底層においては，平均速度は線形則に従う。y+ > 30 においても，レイノルズ数に依らず， 平均速度分布はよく知られた対数則分布とよく一致する。一方，レイノルズ数が高くなるにつれ て，対数則領域は広がり，流路中心付近に伴流域が明確に現れる。Fig.2(b)-(d)に，uτ で無次元化 された流れ方向，壁垂直方向及びスパン方向速度変動の r.m.s.値 (u+ r.m.s, v+r.m.s, w+r.m.s) のレイノル ズ数依存性をそれぞれ示す。各方向の速度変動の r.m.s.値のプロファイルは，レイノルズ数に依 らず，定性的にはよく似た分布を示す。壁近傍では，u+ r.m.s, v+r.m.s, w+r.m.sはともに粘性スケールに よる無次元化により良くスケーリングできるが，w+ r.m.sの分布は u+r.m.s, v+r.m.sに比べレイノルズ数 によるばらつきが大きい。一方，u+ r.m.sのピーク位置はレイノルズ数に依らず y+ ≈ 15 であり，レ イノルズ数が高くなるとともにピーク値はやや増加し，対数則領域においては u+ r.m.sの増加は顕 著である。
Fig.2 Distribution of the mean streamwise velocity (a), root-mean-square of the streamwise (b),
0.0 0.5 1.0 1.5 2.0 2.5 3.0 u +r. m .s . 0 5 10 15 20 25 linear log law (u+ =2.5 ln (y+ )+5.05) Reτ = 400 Reτ = 800 Reτ = 1270 Reτ = 2500 u + 0.0 0.2 0.4 0.6 0.8 1.0 1.2 1.4 1 10 100 1000 y+ v + r. m .s . 0.2 0.6 1.0 1.4 1.8 1 10 100 1000 y+ w + r. m .s . (a) (b) (c) (d) (a) (b)
また，v+ r.m.s, w+r.m.sのピーク値及び対数則領域における値もレイノルズ数とともに著しく増加 し，ピークを示す位置は壁面から離れる傾向にある。このように，低次の乱流統計量である平均 速度，速度変動の r.m.s においても本レイノルズ数域においてレイノルズ数依存性が明らかに存 在する。このことから，工業利用における V&V を行うための標準解を構築し，データベースを 整備するためには，バルクレイノルズ数 Rebが約 10 万以上（Reτ で 5,000 以上）における壁乱流 の DNS を行う必要がある。継続課題において，バルクレイノルズ数 Rebが約 10 万以上（Reτ で 5,000 以上）の平行平板間乱流の DNS を行い，工業利用における V&V を行うための標準解を構 築する予定である。
Fig.3 Contour surfaces of the second invariant of velocity gradient tensor
colored by the streamwise velocity fluctuation.
さらに，ラージ・エディ・シミュレーション（LES）における高精度サブグリッドスケール（SGS） モデルを構築するためには，高レイノルズ数における乱流階層構造およびグリッドスケール・サ ブグリッドスケール（GS・SGS）間エネルギー輸送機構を明らかにする必要がある。Fig.3 に， 高レイノルズ数乱流階層構造を示す一つの例として，Reτ = 2,500 における速度勾配テンソルの第 2 不変量が正の値を有する領域 (y+ < 60, y+ > 60) を示す。可視化領域は x+ = 0~15,708, y+ = 0~60, 60~120, 120~360, 360~800, 800~1,270, 1,270~2,500, z+ = 0~7,854 の 6 領域に分割されている。ここで， 等値面の色は主流方向変動速度 (u′+= -0.3~0.3) に対応し，青は低速領域を，赤は高速領域を示す。 微細渦のクラスターは対数則領域に存在する低速領域と良く対応している。また，強い回転を有 する渦は低速領域内に存在し，高速領域内に存在する渦の回転は相対的に弱い。流路中心におい
ては，対数則領域に存在した大規模な低速・高速領域は観察されない。壁面近傍 (y+ < 60) では 微細渦が主流方向に引き伸ばされ，低速ストリークと高速ストリークの境界に分布する傾向にあ る。また，壁面近くの対数則領域に形成された微細渦クラスターのスパン方向のスケールは壁面 から離れるに従い増加し，それに伴って低速・高速領域のスパン方向スケールも増加する。この ような高レイノルズ数乱流階層構造を詳細に解析することにより，従来の乱流モデルの本質的な 問題点を明らかにし，高精度 SGS モデルの構築・検証が可能となる。 本課題において，Reτ = 2,500 における平行平板間乱流の DNS をスーパーコンピュータ「京」 を用いて実現した。継続課題においては，Reτ = 5,000 における平行平板間乱流の DNS を実行し， 実機相当の高レイノルズ数乱流特性を明らかにするとともに，各種乱流モデル検証のための標準 解を整備する予定である。このような実機相当の高レイノルズ数域における壁乱流の標準解の構 築は，世界最高水準のスーパーコンピュータ「京」を利用してはじめて可能となったものである。 5. まとめと今後の課題 高レイノルズ数平行平板間乱流の直接数値計算（DNS）コードの｢京｣向けチューニングを実施 し，世界最高水準のレイノルズ数（Reτ = 2,500）における DNS 解を取得した。継続課題では，バ ルクレイノルズ数 Rebが約 10 万以上（Reτ で 5,000 以上）の平行平板間乱流の DNS を行い，工業 利用における V&V を行うための標準解を取得する予定である。 参考文献 [1] 福島直哉，徳丸千彰，守裕也，岩本薫，深潟康二，阿部浩幸，松尾裕一，店橋護，日本機械 学会流体工学部門講演会講演論文集，pn. 0507, 2 pp. (2013). [2] 沢田龍作，西野耕一，佐藤暁拓，中村均：乱流の数値シミュレーションの V&V，計算工学講 演会論文集, Vol.18, 2013 年 6 月． [3] 河村洋，岩本薫：壁乱流の大規模直接数値シミュレーション，日本流体力学会，ながれ．29(2)， 2010-4. [4] http://turbulence.ices.utexas.edu/MKM_1999.html
