クロックレベルシミュレータによる評価

6.3.1 クロックレベルシミュレータの実装

MINDIC^{の評価のために，}C++言語用のクロックレベル汎用並列計算機シミュレータラ

イブラリISIS^［WA01］を用いてクロックレベルシミュレータを実装した．このシミュレー タを実装した時点において，ISISがサポートしているプロセッサは，MIPS^社のR3081^の みであるので，R3081を用いている．しかし，R3081は処理能力が低く，ネットワークに 与える負荷が小さくなってしまうことから，プロセッサとメモリの動作クロックをネット ワークの動作クロックの4倍に設定し，ネットワークの負荷を上げて評価を行った．

シミュレータは，最大64PU構成のシステムで動作可能であり，PU^とMM^は，3^段の ステージ，各ステージ16^{スイッチで合計}48^{個のスイッチを有する}MINDIC^{で接続され}

ている．MINDICを構成する各スイッチは，PU側からの書き込み要求パケットと読み出

し要求パケットをMM^{側に転送する}4×4^{の順方向ポート，}MM側からの無効化パケット をPU^{側に転送する}4×4の逆方向ポートを持つ．データ転送用ネットワークは，MINDIC と同様のスイッチサイズからなるMINを用いている．命令及びローカルデータは各PU のメモリに配置し，共有データはキャッシュラインごとにインタリーブして各MM^に配置 した．

また，シミュレータは全ての構成が1^つのLSIに実装されるオンチップマルチプロセッ サを想定して，キャッシュやテンポラリディレクトリ (TD)に関するパラメータを表 6.2 に示すように設定している．シミュレータは，性能評価の比較検討を行うために，TD^で キャッシュ制御を行うMINDIC^{だけでなく，}MMに設けたフルマップ方式のディレクトリ でキャッシュ制御を行うアーキテクチャ(FULL MAP)^でもMINDIC^と同様のPU^数，ネッ

6 MINDIC^の評価 6.3. クロックレベルシミュレータによる評価

表6.2:キャッシュとテンポラリディレクトリのパラメータ Cache Size 1∼1024 KByte/PU

Cache Associative 2 way

Line size 8∼1024 Byte Protocol Write Through TD Entry 128∼4096/SW Associative 1^，2^，4 way

表6.3:ネットワーク速度の比較

Processor PU^数 PUの動作周波数 ネットワークの転送レート

CELL(IBM,^ソニー,^東芝) 9 4GHz 192GBPS(21.3GBPS/PU)

MINDIC 2-64 1GHz 128GBPS(2GBPS/PU)

トワーク構成，キャッシュパラメータで動作させることができる．

次に，クロックレベルシミュレータで想定しているMINDICのネットワークの転送レー ト，キャッシュ容量が妥当な値であることを示す．MINDICのクロックレベルシミュレー タは，全ての構成が1^つのLSIに実装されるオンチップマルチプロセッサを想定している ため，商用プロセッサとの比較を表6.3^，表6.4^に示す．

ネットワークの転送レート

MINDIC^{のネットワークは}250MHzで動作する想定としており，各PU^とは32^ビット

幅のポートで接続されている．CELLのネットワークはデータ及び命令等の全ての情報を 転送するネットワークであるので，MINDICの転送レートも同様に，MM^からPU^へデー タを転送するデータ転送用ネットワークの転送レートも加えている．表6.3^では，CELL と比較して，MINDICのプロセッサあたりの転送レートは低めとなっている．しかし，PU の動作周波数が低く，また，PU^{に使用する}R3081^は32ビットプロセッサであり，多重 命令発行，out-of-order実行，分岐予測をサポートしていないなど，処理能力が低いこと を考慮すれば妥当な想定であると考えられる．

キャッシュ容量

MINDIC^{は共有メモリである}MM^{を含めて全て}1^つのLSIに実装される想定であるた

め， 表6.4^では，MM^をL2キャッシュに相当するものとしてキャッシュ容量を比較して いる．

MINDIC^のL1 data cacheは他のプロセッサと同様の記憶容量とし，L2 cache^は大きな 記憶容量を設定している．これは，64PU^が1^つのLSIに実装できる程度に半導体の集積 技術が向上した状況を想定しているためである．L2 cacheのみ記憶容量を増加させている

6 MINDIC^の評価 6.3. クロックレベルシミュレータによる評価

表6.4: L1,L2^{キャッシュ容量の比較}

Processor PU^数 L1 data cache L2 cach

Power 5(IBM) 2 32KByte/PU 1.92MB/chip

MPCORE (ARM) 1^〜4 1K^〜16KByte/PU 128K^〜2MB/chip Pentium EE 840(Intel) 2 16KByte/PU 1MByte×2/chip Athlon 64 X2 4800+(AMD) 2 64KByte/PU 1MByte×2/chip MINDIC 2-64 32KByte/PU 16MByte×16/chip

表6.5:メモリアクセスレイテンシ

MINDIC ^{読み出し要求}(Cache hit) 2 clock 読み出し要求(Cache miss) 80 clock 書き込み要求 64 clock FULL MAP ^{読み出し要求}(Cache hit) 2 clock 読み出し要求(Cache miss) 80 clock 書き込み要求 64 clock

のは，L1 data cacheの記憶容量を増加させるとキャッシュヒット率を向上すること以上に，

アクセスレイテンシが大きくなることが影響し，処理速度低下につながると考えられるか らである．

アクセスレイテンシ

MINDIC^とFULL MAP^{を用いた場合に，}PU^がMMをアクセスする際のアクセスレイ

テンシを表6.5に示す．読み出し要求の場合，キャッシュヒット時はデータをキャッシュか ら受け取ることができるので，MINDIC^とFULL MAP^は共に2clock^{のアクセスレイテン} シとなる．ただし，ここでのレインテンシは，他の要求と競合しない場合の最短のレイテ ンシを挙げているため，Cache Hit時のレイテンシ以外は，他のアクセスとのネットワー ク上での競合により増加する．キャッシュミス時はスイッチを介してMM^{へ読み出し要求} パケットを転送し，MM からデータを受け取る．MINDICでは，読み出し要求パケット が転送される各スイッチ毎にTDへのアクセスが行われるが，TD^{へのアクセスはパケッ} トの転送と並行して行われるため，レイテンシには影響しない．そのため，MINDIC^と

FULL MAP^{は共に各スイッチ毎に}4clockの遅延で読み出し要求パケットを転送し，MM

でのデータ読み出し時間とPUへのデータ転送時間を含めて，80clock^{のアクセスレイテン} シとなる．書き込み要求のレイテンシは，MMが更新されるまでの時間を示しているが，

MINDIC^とFULL MAP^とも，PUがネットワークに書き込み要求パケットを出力した時

点で，次の処理に進むことができる．

6 MINDIC^の評価 6.3. クロックレベルシミュレータによる評価

Request Packet Input

Grant Output Controller

Upper Stage (MM)

Lower Stage (PU)

Sel

Invalidation Transfer Unit

Request Transfer Unit

Invalidation Packet Output

Crossbar

Routing Info

Request Packet Output

Arbiter Arbiter

Sel

Invalidation Packet Buffer Controller Grant

Invalidation Packet Input

Invalidation Packet Buffer Crossbar

Input Buffer Input Buffer Input Buffer Input Buffer

Directory Cache

Unit

0 1 2 3

図6.19: MINDIC^{スイッチの構成}

6.3.2 クロックレベルシミュレータのスイッチ構成

図6.19^{に，構築した}MINDICのスイッチの内部構成を示す．MINDIC^{の各スイッチは，}

PU^{側の下位ステージから}MM側の上位ステージへのメモリアクセス要求転送用に4^入力 4出力，上位ステージから入力された無効化要求パケットを下位ステージにマルチキャス トするために4^入力4^{出力，合計}8^入力8^{出力のポートをもつ．}

下位ステージからのメモリ読み出し/書き込み要求は，スイッチのリクエスト転送部(^図 6.19^{の左側ユニット})^にあるInput Bufferへ入力される．これらの要求はCrossbar^を介し て上位ステージへのリンクへ出力されるが，この際に出力リンク毎に設けられたTD^が参 照され，要求の種類に応じてキャッシュの共有情報の登録や更新，無効化パケットの生成が 行なわれる．生成された無効化パケットはInvalidation Packet Buffer^{に取り込まれ，}Output

Controllerにより下位ステージへマルチキャストされる．上位ステージから逆送される無

効化要求パケットは，無効化パケット転送部から入力され，下位ステージへマルチキャス トされる．

TD は，下位ステージからのメモリアクセス要求と，上位ステージからの無効化要求 の両方に同時に対応するために，Dual port RAMで実装されている．シミュレータでは，

Evictionプロトコルを採用していることから，TDユニットは次のように動作する．

6 MINDIC^の評価 6.3. クロックレベルシミュレータによる評価 読み出し要求

読み出すキャッシュラインの共有情報をTD^{へ登録する．}TDのエントリが一杯で，こ れ以上共有情報を登録できない場合，LRUにしたがって既存の共有情報を破棄し，新規の 共有情報を登録する．この際，キャッシュの一貫性を保つために，共有情報が破棄される キャッシュラインを保持するPUのキャッシュを無効化するために無効化パケットを生成 する．無効化パケットには，該当ラインを保持するPUへマルチキャストするためのビッ トマップが付加されており，無効化パケット転送部のInvalidation Packet Buffer^に取り込 まれる．

書き込み要求

書き込みが発生したラインを共有しているPUのキャッシュを無効化するために，TD^の共 有情報をもとに無効化パケットを生成する．無効化パケットは，下位ステージへマルチキャ ストするためのビットマップが付加されており，無効化パケット転送部にあるInvalidation Packet Buffer^{に蓄えられる．}

無効化要求

MM^からPU方向へ逆送されてきた無効化パケットは，上位ステージとのリンク毎に設 けられたTD^{を参照する．}TD^{にヒットすれば}TDから読み出したビットマップを付加し てInvalidation Packet Buffer^{に送られる．}TDにミスした場合は，無効化要求は消滅する．

6.3.3 アプリケーション

評価に用いるアプリケーションは，並列ベンチマークプログラム集SPLASH-2^［SME⁺95^］ からLU^，FFT^，RADIX^の3^{つを選択し，}PU^数1^〜64で実行した．各アプリケーション の評価条件を表6.6^に示す．

表6.6: 各アプリケーションの評価条件

Application Input

Radix radix 1024, keys 16384 FFT 4096complex doubles

LU 64×64matrix, 16×16 element blocks

6 MINDIC^の評価 6.3. クロックレベルシミュレータによる評価

6.3.4 実行時間

TDのエントリ数による影響

MINDICを用いた場合とフルマップ方式をキャッシュ制御に用いた場合のそれぞれでア

プリケーションを実行し性能を比較した．各アプリケーションの実行に要したクロック数 を図6.20^〜6.22に示す．キャッシュサイズは32KByte，キャッシュラインサイズは128Byte^， TD^{の連想度は}2^とした．

TDのエントリ数が実行時間に与える影響を見ると，どのアプリケーションにおいても TDのエントリ数が少ない場合は実行時間が延びてしまっている．しかし，アプリケーショ ンやPU数による差はあるものの，512^〜2048程度のエントリ数のみでも，FULL MAP^と 比較して劣らない性能を示すことがわかる．

エントリ数が極端に少ない場合において，実行時間が伸びているのは，Eviction^プロト コルを採用していることが原因となっている．Eviction^{プロトコルでは，}TD^{に新しい共} 有情報を登録する際，TDが一杯であると先に登録されている，古い共有情報に対応する PU側のキャッシュラインを無効化してTDに新しい共有情報を登録するため，PU^でまだ 必要であるキャッシュラインが無効化されてしまうことがあるため性能の低下を招く．こ の無効化が，TDのエントリ数の少ない場合に多く発生し，エントリ数を増やすに従って 減少するため，図6.20^〜6.22では，適当なサイズのエントリ数をTD^{に持たせた場合に}

はFULL MAPと同等の実行速度を達成している．

TDに適当なサイズのエントリ数を用いた場合でも，Evictionプロトコルを用いたこと による無効化は発生し得る．しかし，ある程度のエントリ数があり Eviction^{による無効} 化の発生の間隔が長くなれば，無効化されるキャッシュラインがPU^{にとって必要でない} キャッシュラインとなっている可能性が高くなる．このため，ある程度のエントリ数を用 いることによって，無効化が発生してもこれが性能に与える影響が少くなり，FULL MAP に劣らない性能を実現している．

0.0E+00 2.0E+06 4.0E+06 6.0E+06 8.0E+06 1.0E+07 1.2E+07 1.4E+07

1PU 2PU 4PU 8PU 16PU 32PU 64PU

Execution time (clock) FULL_MAP

QR : 128

QR : 256

QR : 512

QR : 1024

QR : 2048

QR : 4096

図6.20:^実行時間(RADIX^，TD:2way)