第 2 章 コンピューティング研究部門
2. 1 スーパーコンピューティング研究分野
2. 1. 1 スタッフ
職名 氏名 専門分野
教授 中島 浩 並列システムアーキテクチャ，並列基盤ソフトウェア 准教授 岩下 武史 高性能計算，線形反復法，電磁界解析
特定准教授 矢作 日出樹 大規模多体計算，数値天体物理 助教 平石 拓 プログラミング言語，並列計算
特定助教 伊田 明弘 微積分方程式離散化手法，電磁流体力学
2. 1. 2 研究内容紹介
2. 1. 2. 1 中島 浩スーパーコンピュータシステム 世界最高速のスーパーコンピュータの性能は，国内最高速の「京」の性能
10PFlopsの2倍近くに達しつつあり，日本を含め世界各国ではEFlops（1000PFlops）に向けた研究開発が既に進行
している．一方学術情報メディアセンターでは，総計550TFlopsの性能を持つ新システムが，2012年5月から稼 動を開始した．我々の研究課題はこの新システムや「京」の先を見据えたものであり，次世代のスパコン構築技術 について，それを支えるソフトウェア技術とともにさまざまな側面から研究を進めている．
並列計算技法 高性能システムの大規模並列化により，従来の数十〜数百程度の並列度を念頭に設計された並列ア ルゴリズム・並列化技法では，効率的な計算が困難になってきている．そこで大規模な並列計算のための新たなア ルゴリズム・技法の研究を行うとともに，応用プログラムの局所的な視点での記述を元に高度なアルゴリズム・技 法を適用したコードを生成する研究を進めている．代表例はプラズマ粒子シミュレーションのための負荷分散技法
OhHelpであり，粒子の加速・移動・電流計算や電磁場の時間発展計算の局所的記述から，OhHelpを適用した高効
率の並列コードを生成するための研究開発を行っている．この他，キャッシュを有効に活用するためのコード変換，
空間分割されたプロセス間通信の効率的実装など，さまざまな問題を対象に大規模並列計算技法について研究して いる．
2. 1. 2. 2 岩下 武史
高速な線形ソルバ（連立一次方程式の求解法）の開発 様々な物理現象の数値シミュレーションでは，方程式を離 散化することにより，最終的に大規模な連立一次方程式の求解に帰着する場合が多い．そこで，このような連立一 次方程式を高速に解くことは重要な課題であり，有限要素解析等に多く用いられる反復解法を対象として並列処理 による高速化について研究している．これまでにプロセッサ間の同期コストやキャッシュヒット率を考慮した新た な並列化手法などを開発している．また，反復法では逐次・並列実行のいずれの場合においても求解に必要な反復 回数の低減がその高速化において重要である．そこで，対象とする問題の性質を活用することにより収束性を向上 させる技術について研究を行っている．
高速電磁場解析 電磁場解析は電子デバイス・電気機器の設計において重要な役割を果たしている．そこで，工学 研究科の美舩助教，同志社大学の高橋助教らと共同で大規模電磁場解析の高速化に取り組んでいる．アンテナ等の 電子デバイスの解析に用いられる高周波領域での電磁場解析では，大規模問題に有効性の高いマルチグリッド法と
並列処理を含む高性能計算技術を効果的に活用し，国際的にも事例報告の少ない8億自由度の大規模解析を250秒 以内で実現した．また，時間領域の解析では，実応用解析において幅広く利用されている3次元FDTD法を対象 として，時空間タイリングによるキャッシュメモリの効果的な利用による計算性能改善に関する研究を行っている．
計算科学の基盤技術 計算科学はスーパーコンピュータ上の最も重要な応用で，その基盤となるプログラムには高 速性，頑強性，信頼性等の様々な意味で高性能かつ高品質であることが求められる．一方，近年の計算環境は京コ ンピュータに代表されるように大規模並列化，ノード間結合網の複雑化が進み，このような要請に答えるにはプロ グラマの自助努力だけでは不十分となりつつある．そこで，計算科学シミュレーションにおいて重要な幾つかの問 題や解法に着目し，これを支援するソフトウェア，具体的には並列フレームワーク，並列化ライブラリに関する研 究を行っている．（i）3次元ポアソンソルバの開発：ポアソンソルバは多くの計算科学シミュレーションにおいて 用いられる重要な計算核である．特に大規模並列計算環境上のマルチフィジックスシミュレーションでは，陽的な 解法に基づいた解析プログラムによって実現される物理シミュレーションとの併用化において解析速度のボトル ネックとなることが多い．そこで，大規模並列計算環境において高い性能を実現するポアソンソルバの開発を行っ ている．（ii）大規模境界要素解析支援ソフトウェア：境界要素法は差分法や有限要素法と並んで，偏微分方程式 の離散解法として主要な方法の一つである．しかし，境界要素解析は要素積分等の構成要素に多様性があり，これ までそれを支援するソフトウェア，特に大規模並列計算環境を意識したものはほとんど見当たらないの現状である．
そこで，境界要素解析を大規模並列計算環境下で効率的に実行するための並列化フレームワークの研究を行ってい る．
2. 1. 2. 3 平石 拓
高生産並列スクリプト言語Xcryptの開発 スパコンを使った大規模シミュレーションにおいては，OpenMPや MPIなどによるプログラム内並列化だけでなく，同一のプログラムをパラメータを変えつつ同時に実行するような プログラム間の並列化が行われることも多い．このようなジョブ並列処理に適した並列プログラミング言語の開発 を行っている．具体的には，ジョブ実行や結果解析等をシステム環境に依存せずに記述できるようにするための簡 便なプログラミングインターフェースの設計開発を行っている．
要求駆動型負荷分散フレームワークTascellの開発 グラフ問題等におけるバックトラック探索アルゴリズムや異 機種混合環境における並列計算では，計算前に各ワーカに等しい量の仕事を割り振ることは困難なので，実行中に 仕事を分けあう動的負荷分散を行う必要がある．実現手法としては，仕事を多数の並列計算可能な単位にあらかじ め分割しておき，それを遊休ワーカに割り当てていくものが一般的である．これに対し，普段は逐次計算を行い，
遊休ワーカからの要求を受けた時に初めて分割を行う手法を提案している．これは，一時的な後戻りにより過去の 計算状態を復元することで実現される．このような処理を簡潔に書ける並列言語の開発も行っている．
2. 1. 2. 4 伊田 明弘
高速行列演算を用いた境界要素解析支援フレームワークの開発 境界要素法は偏微分方程式に対する数値解法とし て広く用いられているが，密行列が現れるため計算量が膨大となる欠点を持つ．この欠点を克服する手段として，
並列計算機の利用，行列近似を用いた高速化手法の利用，それらの併用が考えられる．境界要素法を用いる研究者 が，これらの手段を容易に利用できるよう支援するソフトウェアフレームワークの開発を行っている．行列近似手 法としては，H行列法に取り組んでいる．
2. 1. 3 2012 年度の研究活動状況
（1） 筑波大学・東京大学とのT2K連携を中核とした「ポストペタスケールコンピューティングのためのフレームワー クとプログラミング」（JST，筑波大・東大・東工大・仏INRIAなど）や，「International Exascale Software Project」（米 DOE，日・米・欧などの主要大学・研究機関）など，国際的な研究連携活動を積極的に推進している．また「戦 略的高性能計算システム開発に関するワークショップ」を東北大・筑波大・東大・東工大・産総研・理研と共 同開催したほか，「学際大規模情報基盤共同利用・共同研究拠点」や「HPCIコンソーシアム」の活動において も中核的な役割を果たしている．
167 2. 1 スーパーコンピューティング研究分野
（2） 3次元FDTD法において，複数のタイムステップの計算を小領域（タイル）上で行うことによりキャッシュヒッ ト率を向上させる「時空間タイリング技法」を冗長な計算を伴うことなく適用する方法を提案し，情報処理学 会論文誌（ACS）において発表した．また，同手法に基づいたFDTD法プログラムにおけるタイルサイズ等 の性能パラメータを自動チューニングする手法を考案し，実アプリケーションにおいて許容可能な現実的な時 間でプログラムの性能を改善できることを示した．
（3） JST CRESTプロジェクト「自動チューニング機構を有するアプリケーション開発・実行環境」（研究代表者：
中島研吾，東大，H23~H27）の一環として，並列計算環境における境界要素解析フレームワークの開発を行っ ている．H24年度には，同フレームワークの基本設計に基づき，BEM-BBフレームワークとBEM-BBテンプレー トから構成されるソフトウェアの全体構成を確定し，個々のプログラム開発を開始した．一般の境界要素解析 に対応する密行列演算による実装に基づくフレームワーク，静電場解析テンプレートについて，開発・整備を 行い，プロジェクトのWEBサイトにおいて公開した．開発ソフトウェアの性能評価を京都大学学術情報メディ アセンターのスパコン上で行い，その結果を情報処理学会HPC研究会で発表した．また，大規模境界要素解 析において重要な高速行列ベクトル積技術の一つであるH行列法の分散並列計算機向けライブラリの開発に 着手し，プロトタイプ版を開発した．本ライブラリの性能を京都大学理学研究科による地震サイクルシミュレー ション上で評価し，H行列の生成部の並列化により，従来の逐次ライブラリ利用時と比べて大幅な計算時間の 短縮に成功した．
（4） 代表的な線形反復法であるICCG法のマルチスレッド並列処理に関して，一般の疎係数行列を持つ連立一次方 程式を対象とした代数ブロック化多色順序付け法を提案した．同手法により，高いキャッシュヒット率と良好 な収束性を同時に実現し，既存の多色順序付け法と比べて高い並列性能を得た．本研究成果について，並列処 理に関する国際会議であるIPDPS2012で口頭発表を行った．また，同手法を外部回路を伴う実応用電磁場有 限要素解析に適用する場合における改良法を開発し，同解析で既存手法を上回るスレッド並列性能を実現した．
（5） 高生産並列スクリプト言語Xcryptへの利便性向上のための追加機能の開発を行った．具体的には，これま でのPerlベースのプログラミングインターフェースに加え，遠隔手続き呼び出しにより他のプログラミング 言語からもXcryptのジョブ管理機能を利用できるようにするフレームワークを開発し，実際Ruby，Python，
Lispからの利用を可能にした．また，2012年度から稼動を開始した本センターの新スーパーコンピュータシ ステムや東京大学のOakleaf-FX，理化学研究所の「京」でもXcryptを利用できるようにするなどのアップデー トや，利用者に対する支援を行った．
（6） 提案している要求駆動型負荷分散フレームワークTascellの開発を進めた．本年度の研究では，N体問題で用
いられるBarnes-Hutアルゴリズムを対象として，Tascellのワークスティーリング機能とMPIの集団通信を組
み合わせた実装を行い，スーパーコンピュータ上での評価により，並列性能を得られることを確認した．また，
計算の分割数の増大に伴うオーバーヘッドの増加を抑えるため，ユーザが与えた確率式に基づいてワークス ティールを阻止する「確率的ガード」の言語機能を開発した．さらに，創薬分野で用いられる部分グラフ探索 問題のアプリケーションについて，枝刈りを行いつつ並列に正しく探索を実施できるアルゴリズムを検討した．
2. 1. 4 研究業績
2. 1. 4. 1 学術論文・ 河合直聡，岩下武史，中島浩，ブロック化赤―黒順序付け法に基づく並列マルチグリッドポアソンソルバ，情 報処理学会論文誌：コンピューティングシステム（ACS），Vol.5，No.3，pp.1-10，2012-3．
・ Yohei Miyake, Hideyuki Usui, Hirotsugu Kojima, and Hiroshi Nakashima, Plasma Particle Simulations on Stray Photoelectron Current Flows Around a Spacecraft, J. Geophysics Rearch, Vol.117, No.A09210, pp.1-13, 2012-9.
・ Takeshi Iwashita, Yu Hirotani, Takeshi Mifune, Toshio Murayama and Hideki Ohtani, Large-scale time-harmonic electromagnetic fi eld analysis using a multigrid solver on a distributed memory parallel computer, Parallel Computing, Vol.38, pp.485-500, 2012-9.
・ 合田憲人，東田学，坂根栄作，天野浩文，小林克志，棟朝雅晴，江川隆輔，建部修見，鴨志田良和，滝澤真一朗，
永井亨，岩下武史，石川裕，高性能分散計算環境のための認証基盤の設計，情報処理学会論文誌：コンピュー ティングシステム（ACS），Vol.5，No.5，pp.90-102，2012-10．
・ 南武志，岩下武史，中島浩，冗長な計算を伴わない3次元FDTD 法の時空間タイリング，情報処理学会論文誌：