中密度実装クラスタにおける同期ユニットの設計および評価

全文

(1)社団法人情報処理学会研究報告 IPSJ SIG Technical Report. 2006−ARC−167（8） 2006−HPC−105（8） − 2006／2／27. 中密度実装クラスタにおける同期ユニットの設計および評価早川. 潔. 本稿では，クラスタにおける同期ユニットの設計・実装および性能評価について述べる．クラスタは，筐体シャーシ）に台のが実装され，そのシャーシがシャーシ（ノード数は）搭載されたクラスタであり，シャーシ内ネットワークおよびシャーシ間ネットワークを搭載している．シャーシ内ネットワーク（ネットワーク）は，シャーシ内ノード間をより密に結合し，シャーシ間ネットワークは，とりまわしがよくスケーラビリティの高い汎用ネットワークでシャーシ外ノード間を結合する．本研究では，ネットワークを使用したシャーシ内ノードの同期処理を行うハードウェア同期ユニットを設計した．同期処理ユニットにおいて，新たな同期変数管理方式を採用した．その同期ユニットをクラスタの一部のノードに実装し評価をした．その評価では，シャーシ内ノード間のバリア同期処理を

(2) で処理できた．.

(3)

(4)

(5)

(6)

(7)

(8) ! " # $ $. ! % & !# ' " %& #$ " # & & ( $ $ $. ) ! $* )! $ ) ! $* # $ ) )! $* # $ # $ ! $* $ %& # $ #" % "" "" "" $ $ %

(9) ! $. はじめに. 力・高密度を目指しているが，それと同時に長期間運用可能なクラスタを目指している．. 近年，汎用 + の低消費電力化が進み，その. + を使用したクラスタにおける低消費電力化の研究が行われている．また，低消費電力 + を使用することにより*+ ファンなどの冷却装置が小型化され（または省かれ），より高密度に実装可能になってきている．高密度実装クラスタとして，や. ,-.

(10) ,.- というクラスタが知られている．. いずれのクラスタもシャーシに . 個前後の + が搭載されている． + はいずれも '" の + を使用している．本研究室で開発中の. クラスタにおいてもできるだけ低消費電. 近年の + の開発サイクルは急激に速くなり， .* 年もすれば入手が困難になってきている．そのような状況の中で，故障 + やマザーボードの修復などが難しくなっている. そこで，クラスタでは， /0 などで使用する 1 仕様のマザーボードを採用し，そのマザーボードにインテルが供給している ("%+ を搭載することで長期間運用することを可能にする． 1 のマザーボードにも " が搭載できる製品もでてきており，より低消費電力なクラスタが実現可能になってきている．１シャーシに複数台数のノードが搭載されてい. 大阪府立工業高等専門学校総合工学システム学科.

(11) −43− . るクラスタの場合，ネットワークをシャーシ内とシャーシ外に分けて，構成したほうがより効率よ.

(12) いデータ転送ができる．つまり* シャーシ間ネットワーク )! $& は*( などのシャーシ間接続でノイズが入りにくいような処理が施されているネットワークを採用し* シャーシ内ネットワーク（ ! $）では信号線を直接結合させるような比較的に密なネットワーク例えば* バス結合& を採用するシャーシ内ネットワークでは，より高速なデータ通信が可能となり，それにともなって高速なバリア同期も構成可能となる．図 7. そこで，本稿では，シャーシ内ネットワークを使. クラスタの構成. 用したハードウェア同期ユニットについて述べる．同期ユニットにおけるバリア同期変数管理方式を提案し，バリア同期の処理速度をシミュレーションおよび実機で測定し，バリア同期の処理速度削減効果について検証する．また，シャーシ内バリア同期とシャーシ間バリア同期とを合わせたクラスタ全体のバリア同期の処理時間を見積ることにより，クラスタ全体のバリア同期処理時間の削減効果も検証す. 図 .7. ネットワークを利用したノード間接続. る．. . よび 6$ 3）のみで構成されている #. クラスタ. は* 同期・通信処理をハードウェアで実装すること. 中密度実装クラスタとして* クラスタシステムを構築した（図参照& クラスタシステムはボード（ 1 規格のボード +：. "

(13) 2 ）を 34'5 の ( およびネットワークで結合したクラスタシ 34'5 の ( 接続をステムである. シャーシ間ネットワークとし* ネットワークをシャーシ内ネットワークとする（. つのネットワークをまとめて「ネットワーク」とする）本クラスタでは* シャーシあたり + ボードが実装されている各 + ボードのスロットにネットワークボートと呼ばれるネットワークボードを実装する. . シャーシ内バリア同期処理. ネットワークを利用したシャーシ内バリア同期（以後「 3」とする）を行う同期ユニットについて述べる．. ネットワークボードネットワークボードは* # およびシャーシ内ネットワークコネクタ（6$ 0 お . −44−. により* 高速化を実現するシャーシ内ネットワークコネクタは . ピンのパラレルケーブル用のコネクタであり* パラレルケーブルを用いて 6$ 0 と. 6$ 3 を接続する（図 .参照）. ネットワークボードは* 本来* メッセージパッシング型の通信処理および拡張型バリア同期処理を低レイテンシで実現するために開発されたボードである ,8-. しかし* 今回* このネット. ワークボードをシャーシ内ネットワークに特化した. ボートとして開発する.

(14) 図に . # 内のブロック図を示す． # は* ! % ブリッジ* 同期制御部* 通信制御部* 送受信パケット処理部* および共有メモリで構成される. ! % ブリッジは* バスプロトコルと % バスプロトコルをインターフェースし* のターゲット機能をサポートする同期制御部は* ネットワークを使用した同期処理アクセスを行い* 任意参加バリア*/ バリアの同期を処理する通信制御部は* パケットデータ処理を行う送受信パケット処理部は* 通信モードを解析し*.

(15) 図 7. # の構成. 図 87 同期制御部の構成. パケットを同期パケットと通信パケットに分けてパ. れた同期番号のバリアフラグをアクセスし，必要. ケット送受信処理を行う共有メモリには* 各ブロッ. に応じて，同期パケットを自動的に生成する．つま. ク間が連携して処理する場合に必要なデータを格納. り，ノードプロセッサがおよび % を. する. 介して，バリアフラグをセットしたときに，パケッ. 本稿では，同期ユニットの設計・実装について述. ト解析 9 データ送出部が同期到達パケットを自動. べるので，それに関連する「同期制御部」について. 生成する．また，バリアが成立した場合，同期検出部がパケット解析 9 データ送出部に同期成立パ. のみ言及する．. ケット生成を依頼し，その依頼を受けたパケット解. . 析 9 データ送出部はバリア成立パケットを自動生. 同期制御部の構成図 8 に 3 を処理する同期制御部の. 構成を示す．同期制御部は， % インターフェース，パケット解析 9 データ送出部* 同期メモ. 成する. 同期情報の管理方法同期メモリの中にある同期変数は変数ごとに管理. リおよび同期検出部で構成される．同期メモリの構成は，ノードと : また 6 ノードの間で異った形をとる． . 方法が異なる．バリアフラグは各ノードで分散管理し，バリアマスクおよびバリア到達情報は . ノードの同期メモリは，バリアフラグ図では. ノードが集中管理するバリアフラグは同じ同期番. 3!/&，バリアマスク図では 3!$& およびバリア到達情報図では 3!:& で構成される．一方， : および 6 の同期メモリは，バリア. 号のバリアフラグが各ノードに配置される．各ノードの同期番号が同じバリアフラグは同期成立パケットによって，が保たれる．バリアマスク. フラグのみで構成される．また，同期検出部は，. およびバリア到達情報は，ノードが集中管. ノードのみに実装される．バリアフラグお. 理する．ノード以外のノードが，バリアマ. よびバリアマスクは３ビットの変数であり，各ビッ. スクおよびバリア到達情報を変更する場合，同期. 成立パケットと呼ぶ . 種類のパケットを用意する．. 到達パケットをノードに送ることにより，ノードがそれらの変数を変更する．ノードにおけるバリア同期手順に伴う同. 同期到達パケットは，ノードへ同期成立を. 期管理手順を以下に示す．. トがシャーシ内ノードに対応している．同期パケットには，同期到達パケットおよび同期. 知らせるパケットであり，同期成立パケットは，. ノードが : および 6 ノードへ同期の成立を知らせるパケットである．同期パケットはパケット解析 9 データ送出部によって，自動的に生成される．. ノードのプロセッサが同期ポイントに到達したら，特定の番地に同期番号と同期情報（バリアマスクおよびバリアフラグの情報）を書き込む．. バリア同期を行う際に， % 経由で同期番. . % インターフェースがそれら書き込み. 号および同期参加情報が書き込まれ，その書き込ま. を検知して，その同期番号に対応したバリアフ. −45− .

(16) ラグをセットし，バリア到達情報を更新し，同期メモリにバリアマスクを保存する．. 他のノードから同期到達パケットが届いたら，パケット解析 9 データ送出部が同期メモリの同期情報を書きこむ．. 8 同期検出部が，書き込まれたバリア情報 % インターフェースまたはパケット解析 9 データ送出部が書いた情報）をもとに* 同期を検出する．同期検出部がバリア同期完了を検出した場合，パケット解析 9 データ送出部に同期成立パケット生成を依頼し，バリアフラグをリセットする．. 図 ;7 クラスタ全体同期のネットワーク構成. ; 同期検出部の依頼にしたがって，パケット解析 9 データ送出部が同期成立パケットを自動生成し， 6 および : ノードにそのパケット. クラスタ全体のバリア同期は，各シャーシを. を送る．. 6 および : ノードにおけるバリア同期手順に伴う同期管理情報手順を以下に示す．. 「3 （ !. 6&」，「36!(&」のつに分け（図 ;参照），それぞれ異なった手順で同期を行う．. ラグをセットし，パケット解析 9 データ送出. : の同期手順を述べる．まず， : 内で % を行い，同期が成立したら， : 内の各ノードが下位階層 3 のノードに : のみの % の完了を知らせる．次に*: 内の各ノードは下位階層 3 全てが同期完了したことを示す. 部へ同期到達パケットを生成するように要求す. パケットを受信する処理を行い，その後，再度，. 6 または : ノードのプロセッサが同期ポイントに到達したら，特定の番地に同期番号と同期情報を書きこむ．. . % インターフェースがそれら書き込みを検知して，その同期番号に対応したバリアフ. % 同期を行う．２回目の %. る．. パケット解析 9 データ送出部は % インターフェースの要求にしたがって，同期到達パケットを生成してノードへ送る．. 8 ノードから同期成立パケットが届いたら，パケット解析 9 データ送出部がバリアフラグをリセットする．. . 「:」，. クラスタ全体バリア同期. が終了したら，それを成立を知らせるパケットを下位階層 3 のノードへ送る．. 3 （ !6& の同期手順を述べる．まず， 3 （ !6& 内のノードが上位階層のから送られてくるパケットを受け取り，その後， % を行う． 3 （ !6& 内の : および 6 ノードが上位階層のシャーシでのバリア同期完了を示すパケットを下の階層のノードに送り，返送されるパケット受け取る．その. クラスタ全体のバリア同期は，シャーシ内外の. 後，再度， % を行う． 3. ネットワークを利用して行う．基本的には，シャー. （ !6& 内のノードが上位層のノー. シ外ネットワークトポロジーを図のような ' ト. ドにパケットを送り，返送されるパケット受け取. ポロジーと考えて，シャーシ内のみのバリア同期を. る．再度， % を行い， %. 行い，それが終了後にシャーシ間で同期を行う形で. 終了後 : および 6 ノードが階層にパケット. バリア同期を行う. を送る． −46− 8.

(17) 図 >7. 表 7. 3 の処理工程. 3 の各工程における見積もり処理. 時間図

(18) 7 クラスタ全体同期の処理手順. 3 （6!(& の同期手順を述べる．上位階層の 3または :& から送られてくるパケットを 3 （6! (& 内のノードが受け取り，その後， % を行う． 3 （6!(& 内のノードが上位層のノードにパケットを送り，返送されるパケットを受け取る．最後に，. % を行う．. " & 0 ?

(19) >? ? :.

(20) " & 3 .; ( 8?;. .>. .>. た．表に 3 の各工程の処理時間を示した．図 >のタイミングチャートおよび表に各処理の処理時間からノードの 3 は . >. . 性能評価同期ユニットの評価として， 3 にお. ける同期ユニット内の処理時間を見積もり，実機で. 3 の実行時間を測定した．また，クラスタ全体バリア同期の実行時間も見積もった．. で終了し， 6 または : ノードの 3 は 8

(21) ｓで終了するという結果を得た． 3 クラスタ ,;- での同期ユニットの処理時間（約 . ｓ）に比べると約 > 倍処理時間がかかっている．実際に， : およびノード . ノードでのネットワークを使用したバリア同期の処理時間を測定した．その結果，ノードは. .> ｓで完了し， : ノードは

(22) ｓで完了. . のレイテンシ. した．見積もり実行時間と実際に計測した結果がほ. 3 の同期ユニット内の処理時間をシ. ぼ一致しているが，これは，デバイスドライバの処. ミュレーションによって見積もった．シミュレー. 理時間を含んだ時間なので，実際のシミュレーショ. ションはアルテラ社の < （=; ）を使用. ンのより早く処理されたと思われる．. した．を示す．ノードにおける 3 の. ( のみを使った 3 の場合， . 台で約 . と約 4 削減されているが， 3 クラスタ ,;- でのバリア同期処理時間（ . ）より. 処理手順をおおまかに３つの工程にわけ， :・. は処理時間が延びている．これは，同期ユニットの. 6 ノードの 3 の処理手順をおおまか. 差というより，デバイスドライバの処理時間の差で. に２つの工程にわけ，タイミングチャートに表し. ある．. 図 >に 3 処理のタイミングチャート. ; −47−.

(23) クラスタ全体バリア同期の評価クラスタ全体バリア同期の実行時間を見積もった．図の手順をおおまかに見積もると以下のようになる．. @ . のとき， @ . 8 . & のとき. @ 8 A & A A & ここで， . &. .&. 図 7 クラスタ全体バリア同期と 3 との比較. は 3 レイテンシ，は ' トポロジの !6 番号，は 4 のはクラスタ全体のバリア処理時間，. 処理時間である．式 & および式 .& をグラフで表す（をパラ. 行うことと，このバリア同期を実アプリケーションに有効的に使うための方法を検討することが挙げられる．. メータとして）と図となる．図において，イー. サーネットのみを利用した 3 の実行時間と比較した．が

(24) 程度だと， . ネットワークを使用したバリア同期が有利であるが，が . を超えると， ( のみを使用. した 3 が有利になるということが推測. される．. おわりにシャーシ内ネットワークを使用したハードウェ. ア同期ユニットの設計および評価を行った．ネットワークボードに搭載するコントロール # の概要を説明し，そのボードによって構成される. ネットワークについて述べた．また，ネットワークを利用したシャーシ内のバリア同期制御部の構成について述べ，そのブロックで行われるバリア変数管理手法について述べた．性能評価として，シャーシ内バリア同期の処理見積もり時間および . ノードを利用した. 3 の予備評価を行った．その結果， . ノードの 3 が

(25) で処理できた．この結果は，イーサーネット使用した 3 の実行時間の約分の１に相当する．また，クラスタ全体バリアにおいても，. 4: の実行時間が

(26) を超えなければ，イーサーネットのみを利用した 3 よりよい結果になると見積もることができた．今後の課題として，実機台で 3 を実行させ，クラスタ全体のバリア同期の実機測定を −48−

(27). 参考文献 ,- * ( * /* B2! "#70 .8!C 3 ) % B* # "# ..* C ... ,.- 中島* 中村，佐藤，朴，松岡，高橋，堀田* B高性能計算のための低電力・高密度クラスタ B* 情報処理学会論文誌7 コンピューティングシステム* = 8

(28) *C 1. （0 &* ## 8

(29) !

(30) * 0 .;. ,- 北村* 濱田* 宮部* 伊澤* 宮代* 田邊* 中條* 天野* B !. ネットワークインタフェースコントローラの設計と実装 B，先進的計算基盤システムシンポジウム 0 .;* ## .?! ， .;. ,8- D 2$* B 3 6+ '(: E '(! EC2:)C F0' )C 0C (+) 16)306 6)D )+C'(: E'(!B* . 0 '( G ． C.;， ## .

(31) !..， /% .;. ,;- D 2$* * $*B 3! " 0 ! " 0B* ;'2 2 ! " "# 0!H :* !:)* # ..

(32)