第 2 章 コンピューティング研究部門
2. 1 スーパーコンピューティング研究分野
2. 1. 1 スタッフ
職名 氏名 専門分野
教授 中島 浩 並列システムアーキテクチャ，並列基盤ソフトウェア 准教授 岩下武史 高性能計算，線形ソルバ，電磁界解析
特定准教授 矢作日出樹 大規模多体計算，数値天体物理 助教 平石 拓 プログラミング言語，並列計算
2. 1. 2 研究内容紹介
2. 1. 2. 1 中島 浩スーパーコンピュータシステム 世界最高速のスーパーコンピュータ「京」の性能は10PFlopsを超え，日本を含 め世界各国ではEFlopsに向けた研究開発が既に進行している．一方学術情報メディアセンターでは，筑波大学・
東京大学と共同仕様策定した「T2Kオープンスパコン」がその役割を終え，500TFlops以上の性能を持つ新システ ムが2012年5月から稼動を予定している．我々の研究課題はこの新システムや「京」の先を見据えたものであり，
次世代のスパコン構築技術について，それを支えるソフトウェア技術とともにさまざまな側面から研究を進めてい る．
並列スクリプト言語 「京」の並列度はすでに70万を超えており，百万〜千万オーダーの超大規模並列環境も近い 将来に実現されようとしている．このようなシステムにおける並列プログラミングは従来のパラダイムでは極めて 困難であるため，百〜千のオーダの従来型並列プログラムをタスクとし，これらを百〜万のオーダで階層並列実行 するためのスクリプト言語Xcrypt を開発し，様々な事例に応用する研究を行っている．
並列計算技法 高性能システムの大規模並列化により，従来の数十〜数百程度の並列度を念頭に設計された並列ア ルゴリズム・並列化技法では，効率的な計算が困難になってきている．そこで大規模な並列計算のための新たなア ルゴリズム・技法の研究を行うとともに，応用プログラムの局所的な視点での記述を元に高度なアルゴリズム・技 法を適用したコードを生成する研究を進めている．代表例はプラズマ粒子シミュレーションのための負荷分散技法
OhHelpであり，粒子の加速・移動・電流計算や電磁場の時間発展計算の局所的記述から，OhHelpを適用した高効
率の並列コードを生成するための研究開発を行っている．この他，キャッシュを有効に活用するためのコード変換，
空間分割されたプロセス間通信の効率的実装など，さまざまな問題を対象に大規模並列計算技法について研究して いる．
2. 1. 2. 2 岩下 武史
高速な線形ソルバ（連立一次方程式の求解法） の開発 様々な物理現象の数値シミュレーションでは，方程式を離 散化することにより，最終的に大規模な連立一次方程式の求解に帰着する場合が多い．そこで，このような連立一 次方程式を高速に解くことは重要な課題であり，有限要素解析等に多く用いられる反復解法を対象として並列処理 による高速化について研究している．これまでにプロセッサ間の同期コストやキャッシュヒット率を考慮した新た な並列化手法などを開発している．また，反復法には多くの種類があり，しばしば解析の実行者はその選択に困難 を伴う．そこで，反復解法あるいはそれに関連した前処理，並列アルゴリズムについて，対象とする問題に応じた
選択が容易に可能となるような指標，解法選択技術を開発している．また，最近では冗長な未知変数を持つ連立一 次方程式において当該未知変数を反復法の収束性を悪化させることなく除去する方法であるFolded preconditioning について，当該手法の提案者である本学工学研究科の美舩健助教や同志社大学の高橋康人助教と共同で研究を行っ ている．
高速電磁場解析 電磁場解析は電子デバイス・電気機器の設計において重要な役割を果たしている．そこで，上述 の美舩助教，高橋助教，福井工業大学の島崎眞昭教授と共同で大規模電磁場解析の高速化に取り組んでいる．有限 要素法による電磁場解析では，電磁場問題により生ずる特徴的な連立一次方程式に対する手法を考案し，その高速 化・並列化に取り組んでいる．特に，高周波の周波数領域での解析では，大規模問題に有効性の高いマルチグリッ ド法と並列処理を含む高性能計算技術を効果的に活用し，国際的にも事例報告の少ない8億自由度の大規模解析を 250秒以内で実現しており，さらなる大規模化，高速化に取り組んでいる．また，時間領域の解析では，実応用解 析において幅広く利用されている3 次元FDTD 法を対象として，キャッシュメモリの効果的な利用によるマルチ コアプロセッサの実効演算性能改善に関する研究を行っている．
計算科学の基盤技術 計算科学はスーパーコンピュータ上の最も重要な応用で，その基盤となるプログラムには高 速性，頑強性，信頼性等の様々な意味で高性能かつ高品質であることが求められる．一方，近年の計算環境は京コ ンピュータに代表されるように大規模並列化，ノード間結合網の複雑化が進み，このような要請に答えるにはプロ グラマの自助努力だけでは不十分となりつつある．そこで，計算科学シミュレーションにおいて重要な幾つかの問 題や解法に着目し，これを支援するソフトウェア，具体的には並列フレームワーク，並列化ライブラリに関する研 究を行っている．（i）3次元ポアソンソルバの開発：ポアソンソルバは多くの計算科学シミュレーションにおいて 用いられる重要な計算核である．特に大規模並列計算環境上のマルチフィジックスシミュレーションでは，陽的な 解法に基づいた解析プログラムによって実現される物理シミュレーションとの併用化において解析速度のボトル ネックとなることが多い．そこで，大規模並列計算環境において高い性能を実現するポアソンソルバの開発を行っ ている．（ii）大規模境界要素解析支援ソフトウェア：境界要素法は差分法や有限要素法と並んで，偏微分方程式 の離散解法として主要な方法の一つである．しかし，境界要素解析は要素積分等の構成要素に多様性があり，これ までそれを支援するソフトウェア，特に大規模並列計算環境を意識したものはほとんど見当たらないの現状である．
そこで，境界要素解析を大規模並列計算環境下で効率的に実行するための並列化フレームワークの研究を行ってい る．
2. 1. 2. 3 平石 拓
高生産並列スクリプト言語Xcryptの開発 スパコンを使った大規模シミュレーションにおいては，OpenMPや MPIなどによるプログラム内並列化だけでなく，同一のプログラムをパラメータを変えつつ同時に実行するような プログラム間の並列化が行われることも多い．このようなジョブ並列処理に適した並列プログラミング言語の開発 を行っている．具体的には，ジョブ実行や結果解析等をシステム環境に依存せずに記述できるようにするための簡 便なプログラミングインターフェースの設計開発を行っている．
要求駆動型負荷分散フレームワークTascellの開発 グラフ問題等におけるバックトラック探索アルゴリズムや異 機種混合環境における並列計算では，計算前に各ワーカに等しい量の仕事を割り振ることは困難なので，実行中に 仕事を分けあう動的負荷分散を行う必要がある．実現手法としては，仕事を多数の並列計算可能な単位にあらかじ め分割しておき，それを遊休ワーカに割り当てていくものが一般的である．これに対し，普段は逐次計算を行い，
遊休ワーカからの要求を受けた時に初めて分割を行う手法を提案している．これは，一時的な後戻りにより過去の 計算状態を復元することで実現される．このような処理を簡潔に書ける並列言語の開発も行っている．
2. 1. 3 2011 年度の研究活動状況
（1） 筑波大学・東京大学とのT2K連携を中核とした，国内外との共同研究等の連携・協力活動を積極的に展開した．
主要なものとしては，「シームレス高生産・高性能プログラミング環境」（文科省，筑波大・東大），「e-サイエ ンス実現のためのシステム統合・連携ソフトウェアの高度利用促進」（文科省，筑波大・東大），「ポストペタスケー
163 2. 1 スーパーコンピューティング研究分野
ルコンピューティングのためのフレームワークとプログラミング」（JST，筑波大・東大・東工大・仏INRIAなど），
「International Exascale Software Project」（米DOE，日・米・欧などの主要大学・研究機関）が挙げられる．また「戦 略的高性能計算システム開発に関するワークショップ」を東北大・筑波大・東大・東工大・産総研・理研と共 同開催したほか，「学際大規模情報基盤共同利用・共同研究拠点」や「HPCIコンソーシアム」の活動において も中核的な役割を果たしている．
（2） 高生産並列スクリプト言語Xcryptについて，プロジェクトの最終年度の研究として，最終公開版に向けての 開発を行った．具体的には，これまでXcrypt 言語の仕様記述および処理系の動作検証や，入力ファイル生成・
出力ファイル抽出ライブラリの性能向上を行った．また追加機能として，汎用探索機能ライブラリやWindows
向けGUI の開発も行った．さらに実応用における検証として，ソフトウェアの性能パラメータチューニング
の自動化や，原子核衝突シミュレーションのジョブ並列化のXcrypt を用いた実装，実装支援を行った．
（3） 提案している要求駆動型負荷分散フレームワークTascellの開発を進めた．本年度の研究では，複数のクラス タがWANで接続された広域分散環境におけるTascellの性能制約の原因を詳細に分析するために，Tascellの シミュレータを実装し，評価を行った．分析を通して，さらなる性能向上が可能となる実装方法を提案するこ とができた．また，N体問題やグラフアルゴリズムといったアプリケーションのTascellを用いた並列実装の 多コア環境での性能評価や，空間スティーリングという新たな手法の提案，実装によるさらなる性能向上を行っ た．
（4） 多くの計算科学プログラムにおいてその高速が求められているポアソンソルバについて研究を行った．高速フー リエ変換によるソルバと比べて，多数のノードを持つスーパーコンピュータ上において通信性能上有利な有限 差分法によるソルバを開発した．差分法により生ずる連立一次方程式の求解法として，大規模問題において有 用な幾何マルチグリッド法を用いた．マルチグリッド法の並列化において問題となるスムーザの並列化手法と して，ブロック化赤−黒順序付け法に基づく乗法シュワルツスムーザを新たに提案し，高い並列性能を実現し た．本研究成果はHPCS2012シンポジウムにおいて最優秀論文として認められた．
（5） JST CRESTプロジェクト「自動チューニング機構を有するアプリケーション開発・実行環境」（研究代表者：
中島研吾，東大，H23〜H27）の一環として，並列計算環境における境界要素解析フレームワークソフトウェ アの開発に着手した．H23年度には，同フレームワークの基本設計を行い，フレームワークとテンプレートか ら構成される基本構想を得た．また，一般の境界要素解析に対応する密行列演算の実装に基づくフレームワー ク，静電場解析テンプレートを開発し，京都大学学術情報メディアセンターのスーパーコンピュータ上で良好 な並列性能を実現した．
（6） 有限要素法に基づいた電動モータの非線形解析の高速化に関する研究を推進した．同解析では，定常状態を得 るために多数のタイムステップを要していたが，その収束性をTP-EEC 法と呼ぶ誤差修正法により著しく向上 させることに成功した．また，同様の解析において，解析モデルのサイズが小さく，通常の並列化手法では十 分な計算粒度が得られない場合について，時間周期有限要素法の導入よりその並列性能を改善できることを示 した．
2. 1. 4 研究業績
2. 1. 4. 1 著書2. 1. 4. 2 学術論文
・ Xavier Olive and Hiroshi Nakashima, Efficient Representation of Constraints and Propagation of Variable-Value Symmetries in Distributed Constraint Reasoning, J. Infomation Processing, Vol. 19, pp. 201–210, 2011-5.
・ Yasuhito Takahashi, Takeshi Iwashita, Hiroshi Nakashima, Shinji Wakao, Koji Fujiwara, and Yoshiyuki Ishihara, Performance Evaluation of Parallel Fast Multipole Accelerated Boundary Integral Equation Method in Electrostatic Field Analysis, IEEE Trans. Magnetics, Vol. 47, No. 5, pp. 1174–1177, 2011-5.
・ Yasuhito Takahashi, H. Kaimori, A. Kameari, Tadashi Tokumasu, M. Fujita, Shinji Wakao, Takeshi Iwashita, Koji Fujiwara and Yoshiyuki Ishihara, Convergence Acceleration in Steady State Analysis of Synchronous Machines Using Time-Periodic Explicit Error Correction Method, IEEE Trans. Magn., Vol. 47, No. 5, pp. 1422–1425, 2011-5.
・ Yasuhito Takahashi, Takeshi Mifune, Takeshi Iwashita, Koji Fujiwara and Yoshiyuki Ishihara, Folded IC Preconditioning