スーパーコンピュータ「京」を用いた防災・減災研究

あ ら ま し 日本では，毎年のように自然災害による重大な被害を被っていることから，迅速で効 果的な対策が喫緊の課題となっている。独立行政法人海洋研究開発機構では全国の大学 や研究機関と共同して，文部科学省のハイパフォーマンス・コンピューティング・イン フラ（HPCI）戦略プログラムにおける分野3「防災・減災に資する地球変動予測」の研究を 実施している。分野3ではスーパーコンピュータ「京」などを用いて自然災害に関する大規 模で高精度のシミュレーションを行い，実際の防災・減災に資することを目指している。 既に，台風の発生を誘発することが知られている熱帯季節内振動に関する高精度な予報 スキルの計測や，日本国内で発生した竜巻の観測結果と高い合致性を示す計算結果，従 来をはるかに上回る高速な地震動計算の実現，南海トラフ地震発生時の高解像度で高精 度な津波シミュレーション結果，高精細な建物の地震応答解析，知的エージェントによ る避難シミュレーションの実現などといった研究成果が得られている。 本稿では，これらの研究成果を紹介する。 Abstract

Japan has often been hit by serious natural disasters. To prevent and mitigate disasters, it is imperative to take effective measures quickly. JAMSTEC has embarked on Strategic Programs for Innovative Research: Advanced Prediction Researches for Natural Disaster Prevention and Reduction (Field 3) , in collaboration with universities and research bodies in Japan. In Field 3, large-scale natural disaster simulations on the K computer have been conducted. We have already obtained good results such as acquiring an ability to make highly precise forecasts of Madden–Julian oscillations, obtaining high-precision tornado simulation results, carrying out advanced simulations on seismic motion, conducting high-resolution tsunami simulations related to a Nankai Trough quake, carrying out high-resolution seismic response analysis, and conducting multi-agent simulations for evacuation actions.

● 上原　均　　　● 安藤和人　　　

防災・減災研究

Studies for Prevention and Mitigation of Natural Disasters Using

the K computer

減災に資することを目指している。一言で自然災 害と言っても多岐にわたるが，分野3では研究テー マを大きく「防災・減災に資する気象・気候・環 境予測研究」と「地震・津波の予測精度の高度化 に関する研究」の二つに分けて，それぞれでの重 要な研究課題に取り組んでいる。 本稿では，この分野3での「京」を用いた研究成 果の中から，紙面の関係上，一部を選んで紹介する。 防災・減災に資する気象・気候・環境予測研究 当該研究開発課題では「地球規模の気候・環境 変動予測に関する研究」と，より局地的な気象現 象にフォーカスした「超高精度メソスケール気象 予測の実証」研究を進めている。 ● 地球規模の気候・環境変動予測に関する研究 本研究は，文字通り，地球全体（全球）の気候 を対象としつつ，数十kmの大きさの雲集団を直接 計算することのできる高解像度全球気候モデルを 用いて，日本の社会・経済に大きな影響を与える 台風の地球温暖化時の動向の変化を明らかにする ことなどを目的としている。 例えば，熱帯の積乱雲はときに数千kmの塊に組 織化され数週間をかけて赤道上を移動することが 知られている。このような「熱帯季節内振動（マッ デン＝ジュリアン振動；MJO，（3） _図

_-1

_{に例示）」現} 象は，熱帯諸国や日本の天候にも大きな影響を与 え，台風の発生を誘発することも分かってきてい 防災・減災に資する気象・気候・環境予測研究 ま　え　が　き 2011年3月11日に発生したマグネチュード9.0の 東北地方太平洋沖地震とそれに伴う巨大津波は， 東北地方を中心に2万人近い犠牲者と壊滅的な被害 をもたらし，その復興は現在でも十全とは言い難 い。この東北地方太平洋沖地震が顕著な事例であ るが，日本では台風や集中豪雨，地震，津波など の自然災害が毎年のように発生し，無視できない 被害を社会・経済活動に与え，人的被害をもたら すため，効果的な防災・減災策を迅速に講じるこ とが急務である。また大規模な自然災害をもたら す自然現象（ナチュラル・ハザード）は物理実験 での評価が困難であるため，計算機を用いた数値 シミュレーションでの検討が防災・減災策の検討 において極めて重要となる。 それらを踏まえ，文部科学省の実施するハイパ フォーマンス・コンピューティング・インフラ （HPCI）戦略プログラムの一環として，独立行政 法人海洋研究開発機構が中心となって実施してい る分野3「防災・減災に資する地球変動予測」（統 括責任者：今脇資郎）（1），（2）_{では，スーパーコンピュー} タ「京」（注）_{などを用いて，ナチュラル・ハザードに} 関する大規模で高精度のシミュレーションを全国 の大学や研究機関と共同して実施し，実際の防災・ ま　え　が　き （注） 「京」は理化学研究所の登録商標。 図-1 外向き長波放射の経度時間断面（雲の経度時間断面） 横方向が経度，縦方向が時間（日），低い値（黒色）は高い雲頂に対応する。 観測（左）とNICAM（右）の両方でMJOの対流域が東進しているのが分かる。 0日 40日 0 90E 180 90W 0 0 90E 180 90W 0 図提供：海洋研究開発機構宮川知己氏 衛星観測 NICAM

（1） 数値モデルの初期値の精度が現象のスケール に対して十分ではない。 （2） 僅かな初期値や計算条件の違いで結果が大き く変わることがある。 （3） 現在の数値予報の格子間隔では積乱雲を直接 表現できていない。 この研究課題では，「京」の計算資源を活用する ことにより，僅かに異なる多数の初期値から，雲 を解像する格子間隔の細かい数値モデルを用いて 予報する実験を行っている。ここで開発された技 術は，集中豪雨や局地的大雨などの災害をもたら す顕著現象の将来の高精度予測につながる。 顕著現象の一つでもあり，大きな災害につなが る竜巻は，これまで数値シミュレーションによっ て発生メカニズムなどを調べる研究は行われてい るが，竜巻の発生や移動を予測することは非常に 難しく，数値モデルで予測するための研究は，日 本ではほとんど行われていなかった。 そこで，気象庁気象研究所と協力して局所アン サンブル変換カルマンフィルタ（LETKF）と呼 ばれる最先端のデータ同化手法を用いた双方向ネ スティングシステムを開発し，領域雲解像数値モ デルによって，竜巻を予測する試みを行っている。 図

-2

は，2012年5月6日につくば市などで災害を引 き起こした竜巻について，LETKFにより得られた 初期値を僅かに変えて複数の予報（アンサンブル る。海洋研究開発機構と東京大学大気海洋研究所 によって開発された，積乱雲集団を直接計算で きる全球雲解像モデルNICAM（Nonhydrostatic Icosahedral Atmospheric Model） は こ れ ま で の

研究（4）_{からMJOの再現性能が優れていると考え} られていたが，計算資源の制約上，定量的に予報 スキルの計測を行うのは困難であった。そこで今 回，「京」において，水平14 km格子および7 km 格子を用いて過去10年の冬季MJOの予報実験およ びその準備実験を実施し，MJOの予報期間を計測 した。現在，3週間を超える有効なMJO予報期間 を有すると認知されているのはEuropean Center for Medium-range Weather Forecast（ECMWF） のIntegrated Forecast Systemモデルのみである。 NICAMによる有効なMJO予報期間は，世界で標

準的に用いられている評価手法（5），（6）_{を用いて，}

ECMWFのIntegrated Forecast Systemモ デ ル に 匹敵すると思われる成果が得られている。 ● 超高精度メソスケール気象予測の実証 本研究では，集中豪雨など災害につながる顕著 現象を取り扱っている。近年，コンピュータの発 達により，数値モデルを用いた予報精度が目覚ま しく向上しているが，その一方で集中豪雨や局地 的大雨など災害につながる顕著現象については， 以下の理由などにより，予測精度はまだ十分では ない。 図-2 2012年5月6日のつくば市周辺の竜巻の被害範囲 図提供：気象庁気象研究所瀬古弘氏 0.1（1/s）を超える 強い渦の発生が 予測された場所 平成24年5月6日に発生した竜巻の被害範囲（関東） 茨城県筑西市・桜川市 竜巻（F1） 被害長さ：約21 km， 被害幅：約600 m 栃木県真岡市・益子町・茂木町・ 茨城県常陸大宮市 竜巻（F1∼F2） 被害長さ：約32 km， 被害幅：約650 m 茨城県つくば市・常総市 竜巻（F3） 被害長さ：約17 km，被害幅：約500 m つくば市での調査 気象庁報道発表資料から ③ ② ① （a）竜巻の被害範囲 （b）シミュレーション結果

予報）を行って得た強い渦の発生分布である。（7） _こ の事例では，水平解像度350 mの数値モデルを用い た結果，12通りの計算結果の内10通りで0.1 sec−1 という大変強い鉛直渦度を持つ低気圧性循環が発 生した。また，強い渦の通過する場所も観測と同 じく三つの箇所になることが分かった。このよう に，多数の初期値から予報を行うアンサンブル予 報を用いると，一つの予報（決定論的な予報）で は得られない発生確率を得ることができ，実際の 観測に対応する強い渦の出現場所が予測できたよ うに，現象を見逃す可能性を抑えることが期待で きる。 地震・津波の予測精度の高度化に関する研究 本研究開発課題では，「地震の予測精度の高度化 に関する研究」「津波の予測精度の高度化に関する 研究」そして「都市全域の地震等 自然災害シミュ レーションに関する研究」の3テーマに大別して研 究に取り組んでいる。 ● 地震の予測精度の高度化に関する研究 本研究では，より高度な地震・津波の災害予測 のための強振動・津波シミュレーションの実現を 目指した研究や，海溝型地震を引き起こすプレー ト境界での滑りに着目した研究，更に地球内部構 造まで考慮した地表における地震波動精度向上を 目指した研究などが多面的に進められている。 これらの研究では，例えば当海洋研究開発機構 が有する地球シミュレータ用に開発された地震 動シミュレーションコード（SEISM3D）（8），（9）_を 「京」向けに高速化した結果，「京」の最大ノード 数（82 944 CPU）までほぼ完全な性能上昇スケー リングを示し，かつ平均実効性能が19.1％という 高効率を達成した。このことにより，最大性能 2.1 PFLOPSの地震動シミュレーションが実現可能 となっている。これは，既存コードによる地球シ ミュレータにおける最大稼働サイズが50 TFLOPS であるため，約40倍の計算速度を達成したことに なる。 ● 津波の予測精度の高度化に関する研究 本研究では，津波データベースに基づく予測シ ステムや，地震発生直後に海底水圧計や海底ケー ブル地震計で記録された地震と津波のリアルタイ ムデータを用いた津波伝播解析システム，海底地 地震・津波の予測精度の高度化に関する研究 形や海岸線を高い分解能でモデル化した高精度津 波シミュレーションや漂流物・土砂移動・海面変 動など複合災害を含めた津波被害の予測手法など の検討・開発が進められている。 例えば高精度津波シミュレーション研究では 米国United Research Services社と豪州政府機関 Geoscience Australiaが共同で開発した津波計算 コード（10）_{を基礎として改良を加えており，ネスティ} ングにより空間分解能を効果的に向上させること ができる。オリジナルコードは長波近似式を逐次 処理するのに対し，本研究では分散理論式を並列 処理するよう改良を加え，更に「京」向けの高速 化も図っている。（11）_{高速化では，ループ分割・IF文} の除去によるSIMD化・ソフトウェアパイプライニ ングの促進のほか，3次元の論理トーラス形状に適 合した3方向の通信への変更などにより，通信量と 送受信回数の削減を行った。結果として，主要演 算部の性能は2倍となり，8748ノード実行時におい て，高速化前に比して7.49倍の高速化がなされた。 この新たな並列津波計算コードを「京」に移植 し，高知県の全沿岸部を含む空間分解能5 m格子の モデルによりテスト計算を実施した結果を図

-3

に示 す。ここではレイヤーの数を，高知県の全沿岸部 を含む南海トラフ全体140 km×100 kmの領域を最 上位の層とした3層とし，総格子数は約6.8億，タ イムステップは数値安定性を保つためのCourant-Friedrichs-Lewy（CFL） 条 件 を 満 た す よ う に 0.015秒と設定した。上記条件のもと，「京」の 8748ノ ー ド を 使 用 し た 場 合，2013年11月 現 在， 5時間分の津波伝播計算を1時間半弱で達成した。 今後，更なる高速化を図る予定である。 図-3 高知県における広域・詳細津波計算 波高で色付けしており，白色が5 m以上，黒色が−2 m以下 を表す。 図提供：海洋研究開発機構馬場俊孝氏

また既往のMASに関する研究では対象とする エージェントの数が少なく，使用されているCPU コアの数も数十程度で，多数のエージェントを扱っ た研究であっても64コアを用いた10万エージェ ント程度のシミュレーションであり，スケーラビ リティにも問題があることが知られている。それ に対して本研究では，領域間通信の隠蔽，領域間 データ通信量の最小化，仮想CPUトポロジーの導 入，領域再分割などを用いることにより，「京」上 で200万エージェントの大規模シミュレーションを 2048 CPUコアという高並列計算によって実現して いる。（12） む　　す　　び 本稿では，当海洋研究開発機構が中心となって 実施しているHPCI戦略プログラム分野3「防災・ 減災に資する地球変動予測」における，「京」を用 いた研究成果の中から，一部を選んで紹介した。 「京」の高速計算性能と膨大な計算機資源は，これ までは創出困難であった研究成果をいくつも現出 させた。もちろん，これは「京」を十二分に活用 して研究成果を創出しようと奮闘した研究者およ び関係者の努力の産物でもある。今後も多くの革 新的研究成果が創出できるよう，分野3関係者一同， まい進する所存である。 参 考 文 献 （1） 文部科学省：革新的ハイパフォーマンス・コンピュー む　　す　　び ● 都市全域の地震等 自然災害シミュレーション に関する研究 本研究では，地震によって建物がどのように揺 れて損傷・崩壊に至るかの解析手法や，被災時に 都市部で人々がどのように行動するかを予測する 解析手法などが進められている。 （1） 地震が建物に与える影響の解析 こ の 研 究 テ ー マ で は 例 え ば， 株 式 会 社 ア ラ イ ド エ ン ジ ニ ア リ ン グ お よ び 独 立 行 政 法 人 防 災 科 学 技 術 研 究 所 で 開 発 さ れ たE-Simulator/ ADVENTUREClusterを「京」に移植し，「京」で の性能評価を行っている。約7400万自由度の31階 建ての超高層ビルのモデルを用いて地震動解析を 行い，パフォーマンスを測定した結果，512ノー ドまで高速化が達成できている。更にこのビルの モデルに長周期地震動を入力し「京」を用いて E-Simulator/ADVENTUREClusterに よ り 地 震 応 答解析を行った，大変形を考慮した弾塑性解析を 行った結果を図

-4

に示す。 （2） 避難シミュレーション研究 本研究では，多数の人間を多数のエージェント により模したマルチエージェントシミュレーショ ン（MAS）を開発している。従来のMASではシン プルなエージェントを使用しているのに対し，本 研究では知的なエージェントが使われており，周 囲の環境やほかのエージェントとの関係を自律的 に判断し，避難行動を行う（図

-5

）。 図-4 31階建て超高層ビルモデルによる弾塑性解析結果 （変形および相当応力分布，変位拡大倍率30倍） 図-5 エージェントによる複雑な判断の例 （太い黒線はエージェントの視野の限界） 図提供：日本大学宮村倫司氏， 株式会社アライドエンジニアリング高谷周平氏 （a）揺れ始めて3秒後 （b）揺れ始めて17.6秒後 近くのエージェント 40 m 望ましい 避難方向 選ばれた 避難方向 図提供：東京大学 M. L. L. Wijerathne氏

（8） T. Furumura et al.：Parallel simulation of strong ground motions during recent and historical damaginge earthquakes in Tokyo，Japan．Parallel Computing，Vol.31，Issue 2，p.149-165（2005）． （9） T. Maeda et al.：FDM Simulation of Seismic

Waves，Ocean Acoustic Waves，and Tsunamis Based on Tsunami-Coupled Equations of Motion． Pure Appl. Geophys.，170（1-2），109-127，DOI： 10.1007/s00024-011-0430-z，2013．

（10） J. D. Jakeman et al.：Towards spatially distributed quantitative assessment of tsunami inundation models．Ocean Dynamics，Vol.60，Issue 5，p.1115-1138 （2010），DOI：10.1007/s10236-010-0312-4，2010． （11） T. Baba et al.：Tsunami inundation modeling of

the 2011 Tohoku earthquake using three-dimensional building data for Sendai，Miyagi Prefecture，Japan． in V. S.-Fandiño et al. （ed.）：Tsunami Events and Lessons Learned；Environmental and Societal Significance，Springer，accepted.，2013．

（12） M. L. L. Wijerathne et al.：Parallel Scalability Enhancements of Seismic Response and Evacuation Simulations of IES．VECPAR 2012，10th International Meeting High Performance Computing for Computational Science，2012． ティング・インフラ（HPCI）の構築について． http://www.mext.go.jp/a_menu/kaihatu/jouhou/hpci/ 1307375.htm （2） JAMSTEC：「HPCI戦略プログラム」（分野3）防災・ 減災に資する地球変動予測． http://www.jamstec.go.jp/hpci-sp/

（3） R. Madden et al.：Detection of a 40-50 Day Oscillation in the Zonal Wind in the Tropical Pacific． J. Atmos. Sci.，Vol.28，Issue 5，p.702-708（1971）． （4） H. Miura et al.：A Madden-Julian Oscillation Event

Realistically Simulated by a Global Cloud-Resolving Model．Science，Vol.318，No.5857，p.1763-1765（2007）． （5） H. Lin et al.：Forecast Skill of the Madden-Julian

Oscillation in Two Canadian Atmospheric Models． Mon. Wea. Rev.，Vol.136，Issue 11，p.4130-4149（2008）． （6） J. Gottschalck et al.：A Framework for Assessing

Operational Madden-Julian Oscillation Forecasts：A CLIVAR MJO Working Group Project．Bull. Amer. Meteor. Soc.，Vol.91，Issue 9，p.1247-1258（2010）． （7） H. Seko et al.：Data Assimilation Experiments

of Tornado occurring on 6th May 2012．CAS/JSC WGNE Res. Activ. Atmos. Ocea. Modell.，43，01.13-01.14，2013． 上原　均（うえはら　ひとし） 独立行政法人海洋研究開発機構地球シ ミュレータセンター 所属 現在，機構内スーパーコンピューター の利用促進業務，HPCI戦略分野3技術 サポート業務を統括。 安藤和人（あんどう　かずと） 独立行政法人海洋研究開発機構地球シ ミュレータセンター 所属 現在，HPCI戦略分野3における研究活 動のサポート業務に従事。 著 者 紹 介