PCクラスタにおけるDVS制御による電力性能の最適化

全文

(1)2005−ARC−1（9） 2005／8／3. 社団法人情報処理学会研究報告 IPSJ SIG Technical Report. PC クラスタにおける DVS 制御による電力性能の最適化堀田義彦† 朴泰祐†. 佐藤三久† 高橋大介†. 木村松岡. 英. 明† 聡 ††. 近年，高性能プロセッサにおいても動的に駆動電圧・動作周波数を変更することで消費電力を削減する機構である DVS(Dynamic Voltage Scaling) を搭載するプロセッサが増えてきている．プログラムの動作特性に応じて周波数を制御することにより，消費電力の削減が可能である．PC クラスタの並列アプリケーションにおいては，通信時に周波数を下げるなど DVS の機能を有効に利用することで，性能を下げることなく低電力化することが期待できる．本稿では，アプリケーションの実行プロファイルと消費電力の動的な観測に基づき，アプリケーション実行時の計算時や通信時などのフェーズ毎に周波数・電圧の最適化制御を行う手法を提案する．いくつかの周波数で実行した結果を元に，フェーズにおける最適な周波数の選択を行う．本稿では，通信と計算のフェーズに注目し，いくつかの並列プログラムにおいて，本手法により電力削減の可能性についての評価実験を行った．DVS を実装しているプロセッサを使用したクラスタを構築し，実験を行った結果，定格周波数での動作と比べて最大で約 30%の ED 積の改善ができる可能性があることがわかった．. Optimization of Power-Performance by controlling DVS on a PC cluster Yoshihiko Hotta,† Mitsuhisa Sato,† Hideaki Kimura,† Taisuke Boku,† Daisuke Takahashi† and Satoshi Matsuoka. ††. Recently, some high performance processors have a DVS (Dynamic Voltage Scaling) functionality that dynamically changes processor’s voltage and frequency. The DVS can be used to reduce power consumption by controlling the clock frequency according to the dynamic characteristics of program execution. In parallel applications on a PC cluster, we expect the reduction of power dissipation without losing the performance by running communication phases with lower frequency by controlling DVS. In this paper, we propose a method to optimize power-performance by controlling DVS at each phase in the program based on the execution profile and observation of dynamic power consumption. We select the appropriate frequency for each phase from trial runs and decide the optimal control of DVS for actual run. In this paper, we focus on the phases of communication and computation and examine whether our proposed method will be used to optimize power-performance of some parallel benchmarks. We have conducted some experiments in two kind of PC cluster, Transmeta Crusoe and AMD Turion, and found 30% power reduction from a regular frequency of in terms of EDP possible by our method.. 1. はじめに近年，PC クラスタなどの高性能計算機システムにおいてプロセッサの消費電力の上昇による消費電力の増加が問題となっている．プロセッサの消費電力は 100W を越え，冷却のために大きな装置が必要となりシステムのコンパクト化の大きな障害となっている．また，高い消費電力のためにプロセッサの高密度実装も困難になっている． † 筑波大学 University of Tsukuba †† 東京工業大学 Tokyo Institute of Technology. 消費電力を削減する仕組みとしてプロセッサの電圧・周波数を動的に変化させることで消費電力を下げる DVS(Dynamic Voltage Scaling) があり，現在様々なプロセッサに実装されている．DVS によって周波数・電圧を変更することができるようになり，アプリケーション実行において，高い周波数での動作や定格周波数よりも低い周波数や低電圧で動作する方が性能低下が少なく，電力効率が高い場合があることがわかってきた1) ．例えば通信の場合は，周波数を低下させ遅く実行することで，電力の削減をすることが考えられる．通信に関してはプロセッサの速度との差が，近年顕著になってきており，並列アプリケーションの通信時間の比率も高くなっている．この待ち時間に高い周波数でプロセッサが動作することで無駄に電力を. −49− 1234.

(2) 消費していると考えられる．また，通信時に周波数を下げることは，計算時に周波数を低下させるよりもアプリケーションの性能低下を抑えることができる． DVS をプロセッサが状況に応じて自動的に制御する仕組みとして Transmeta の LongRun がある3) ．LongRun は，元々ノート PC のような環境で使用されることを目的に動作しており，高性能計算にとって必ずしも最適な周波数を選択おらず，性能低下や電力量が増えることがある2) ．常に性能・電力を最適にするためには，アプリケーションに応じた周波数のスケジューリングが必要となる．我々はこれまでに様々なプロセッサを搭載したシステムのアプリケーション実行時全体の電力測定を行ってきた4) ．しかし，最適な周波数スケジューリングを行うには全体の電力測定だけでは不十分である．そこで，本研究ではアプリケーションをいくつかのフェーズに分け，フェーズごとに最適な周波数で動作させることで電力効率を向上させることを検討する．我々はフェーズごとの周波数による特性を得るためにプロファイル情報を用いた電力効率最適化を提案する．この手法では，事前に様々な周波数でアプリケーションを実行し，データを評価することでフェーズごとの最適な周波数を決定する．実際に実行では，この選択された周波数のデータを用いる殊により，最適な実行を行うことができる．今回は，この手法の有効性を確認するために通信時と計算時の 2 つのフェーズにアプリケーションを分け，それぞれについて電力などの評価を行い，各フェーズの最適な周波数を組み合わせて，この手法による電力効率の向上の可能性を確認する．本研究では，評価指標として電力量と ED 積の 2 つを用いて，評価を行う．電力量は消費するエネルギー量であり，この値を削減することで省電力化が実現できる．しかし，電力量が削減されても，上記のように性能が大幅に低下することを避けなければならない．そこで，電力量とは異なる ED 積 (電力遅延積) での評価を行った．ED 積は性能を考慮した指標であり，この値を最適化することによって性能と電力量の両方を考慮した評価を行った． 2 章ではプロファイル情報を用いた性能・電力最適化について述べる．3 章では測定に用いたシステムや実験対象クラスタについて述べる．4 章では各クラスタにおける結果と周波数スケジューリングによる効果の予測について述べる．5 章では考察と今後の検討課題について述べる．最後にまとめを述べる．. 2. プロファイル情報を用いた性能・電力最適化 2.1 提案手法アプリケーション実行時に周波数をスケジューリングし，電力量や EDP を最適にするためには，アプリケーション全体の電力量や ED 積の評価だけでは不十.

(3) !#"%$&(' *)(+. ,.-%/%/102 3. ,.45/%/102 3. -%/%/102 3. 768:9 ;(< =?>@AB. 678:9 ;(< =?>@AB. 68C9 ;(< =?>@AB. EDGFHGIJK LEM & =N;O *)(+ >@A HQPSR5T UV W X IJK LEM &Y >@ 図 1 プロファイル情報による最適化のフロー. 分である．並列アプリケーションにおいて，最適な周波数スケジューリングを行うには，通信時や計算時，関数レベルにおける電力量や ED 積の評価が必要である．これらの問題を解決するために，プロファイル情報を用いた電力量や ED 積の評価を行う．アプリケーションを通信時と計算時のフェーズに分け，それぞれのプロファイルを取得し，電力プロファイルとの対応を行うことで，これまでに得ることのできなかったフェーズごとのデータを得ることができる．図 1 にプロファイル情報を用いる手法の流れを示す．以下にこのシステムの各処理が行う作業を示す．ランニングテストプロファイル情報を付加したアプリケーションを様々な周波数で実行することで，各フェーズの実行時間のプロファイルを取得する．また，同時に消費電力の測定を行い，電力プロファイルを取得する．電力量・EDP の評価ランニングテストで取得したプロファイルデータと電力プロファイルデータを対応づけることで電力量と ED 積の評価をフェーズごとに行う．周波数スケジューリングの選択各フェーズにおける ED 積が最小となる周波数を算出し，スケジューリングデータを作成する．周波数スケジューリングの適応周波数スケジューリングを元にフェーズごとに周波数を実行時に変更し，最適な電力量や ED 積でアプリケーションを実行する．本研究では，これらの一連の動作を自動化することを目標としているが，今回は，周波数スケジューリングの選択までを行い，選択された周波数による各フェーズの電力量や ED 積のデータを組み合わせることで， LongRun などと比べて電力効率が最適になる可能性の検討を行った．. −50− 1235.

(4) @. /10323456D E @. /103234A5161B1C.

(5) . K . /10323451617 81 $"%'& F. ( )+*-, .. GIH:J . "! #. . 234:9

(6) ; <=>"?. 図 2 電力評価システム. 2.2 評価指標電力最適化の指標として，電力量と電力性能の 2 つの指標に注目する．電力量は計算に必要なエネルギー量であり，我々はこれをサンプリング間隔の時間との積で求めた．電力量の単位を [Ws] とする．我々の目的は，高性能並列システムにおける最適な周波数選択による省電力化および，電力性能の向上である．必要な指標としては PDP(Power Delay Product) を用いるのが冷却・実装の面から望ましいが，プロセッサの性能を加味するために EDP(Energy Delay Product) を用いる6) ．この指標は電力と性能のバランスが取れており評価指標として適している．本論文では，電力性能以下のように定める．電力性能=仕事量 [ops]/実行時間 [sec]/電力量 [Ws] これは計算の効率を示す指標であり ED 積である．また，本論文では，仕事量に関しては同一であるので，電力性能の代わりに EDP を以下のように定義する． EDP = 実行時間 * 電力量この場合，EDP の値が小さい方がより効率的である．本研究では，EDP が最もよくなるように周波数の制御を行うことを目的とする．. 3. 測定環境 3.1 測定環境本研究において消費電力とプログラム，周波数や電圧との関連を知るために消費電力の測定とプロファイルを行うシステムの構築を行った．図 2 に構築したシステムの概要を示す．システムは，消費電力測定環境，実験対象システム，プロファイルの 3 つから構成されている．ここではそれぞれについて説明する． 3.1.1 消費電力測定環境消費電力の測定には，（株）シナジェティック社製 CT30000 を用いた．この装置はホール素子，接続 BOX， A/D コンバータから構成されており，ATX 電源の各電圧の電線に流れる電流をダイナミックに測定が可能. 表 1 実験クラスタの仕様と無負荷時の消費電力システム名マザーボード CPU Clock Cache L1/L2 Memory kernel Compiler TDP. Crusoe クラスタ EB5 TM-5800 933MHz 64KB/512KB 256MB(SDR) 2.6.11 gcc3.4.1 9W. Turion クラスタ PFU Turion MT-34 1.80GHz 64KB/1MB 1GB(DDR) 2.6.11 gcc3.4.1 25W. 表 2 Crusoe の動作周波数と電圧. Clock 933MHz 800MHz 667MHz 533MHz 300MHz. Voltage 1.35V 1.25V 1.20V 1.10V 0.90V. FSB 133MHz 133MHz 133MHZ 133MHz 100MHz. である．このようにホール素子の間に電線を通すだけで良く，取扱が容易であるのもこの装置の特徴である．これにより複数台のシステムの消費電力を容易に取得することが可能になる．この装置を用いてプログラム実行時の消費電力を測定した． 3.1.2 プロファイルツール：tlog アプリケーションの実行プロファイルを取得するためにイベントの実行時間を取得するライブラリである tlog を使用した．tlog とは time log の略称であり，イベントごとの log を取るライブラリと可視化を行うツールである tlogview から構成されている．イベントには単発のものと区間を持つものの 2 種類があり，区間を持つイベントは開始のイベントと終了のイベントの 2 つで構成されている．この区間を持つイベントをプログラム内の適当な場所 (例えば MPI Send など ) を挟みこむことで，tlog 初期化からの開始時点の t 経過時間と終了時点の経過時間をを取得することができる．プロファイルから得られた時間と電力プロファイルと対応づけることでフェーズの電力量・EDP を取得することができる．. −51− 1236.

(7) 300. 533. 667. 800. LongRun. 2.47. 1.8 1.6 1.4 1.2 1 0.8 0.6 0.4 0.2 0 MPI_irecv. MPI_Send. MPI_Wait. . 300. 1.85. . 図 3 Crusoe cluster MG EDP 比 800 1.6. 1000. 1200. 1400. 1600. MPI_irecv. 667. 800. MPI_Send. MPI_Wait. LongRun. . 300. . 1.6. 800 1000 2.1. 1200. 1400. 1600. allreduce. 図5. 1800. 1.4. 1.4. 1.2. 1.2. 1. 1. 1. 0.8. 0.8. 0.8. 0.6. 0.6. 0.6. 0.4. 0.4. 0.4. 0.2. 0.2. 図6. MPI_Send. MPI_Wait. . . Turion cluster MG EDP 比. 800. alltoall. alltoallv. LongRun. . . Crusoe cluster IS EDP 比 800. 1.2. MPI_irecv. 667. 1000. 1200. 1400. 1600. 1800. 1.6. 1.4. 0. 533. 1.8 1.6 1.4 1.2 1 0.8 0.6 0.4 0.2 0. 図 4 Crusoe cluster CG EDP 比. 1800. 2.0. 533. 1.8 1.6 1.4 1.2 1 0.8 0.6 0.4 0.2 0. 0.2. 0 MPI_irecv. MPI_Send. MPI_Wait. . . 図 7 Turion cluster CG EDP 比. 3.2 実験対象クラスタ本研究において Crusoe クラスタと Turion クラスタ 2 つのクラスタにおいて評価を行った．表 1 に今回使用するクラスタの仕様を示す．OS は Linux を使用しどちらの環境においても同じバージョンの kernel，コンパイラ，ライブラリなどを使用した．Crusoe は商用 IA-32 互換プロセッサとして最初に登場した DVS を搭載したプロセッサであり，プロセッサが状況に応じて電圧とクロック周波数を動的に変更する LongRun を搭載し，消費電力の削減を行うプロセッサである．表 2 に Crusoe の各周波数における電圧と FSB のクロック周波数を示す．このように周波数によって細かく電圧を下げることができる． Turion プロセッサは AMD が今年発表した 64bit プロセッサである．このプロセッサはノート PC 向けに開発されており低消費電力かつ高性能化 (Pentium-M と異なり，ピーク性能はクロック周波数の 2 倍) を実現している．また，周波数と電圧を変更する PowerNow!5) 機構を搭載しており，この機構を最適に利用することで電力量や EDP の削減が期待できる．. 4. 実験結果今回 NPB(Nas Parallel Benchmarks) のバージョン 3.1 を用いて評価を行った．使用するベンチマークは IS，MG，CG の 3 つである．サイズは A を使用した．計算インテンシブなプログラムに関しては周波数の違いが明確に性能差に出ることから DVS による効果が低いと考え，使用するベンチマークから外した．今回の実験において，通信フェーズにおける動作周波数を変更することが電力量や EDP を改善することにつながると考え，計算を行うフェーズと通信を行うフェーズに分け評価を行う．MG と CG に関しては， MPI irecv, MPI Send. MPI Wait の 3 つを，IS に関. 0 allreduce. 図8. alltoall. alltoallv. . . Turion cluster IS EDP 比. しては，MPI allreduce，MPI alltoall, MPI alltoallv のプロファイルを取得する．また，ベンチマーク開始前のセットアップに関しては評価の対象から外した． 4.1 MG 図 3 と図 6 にそれぞれ Crusoe クラスタと Turion クラスタにおいて MG を実行したときのフェーズごとの EDP と全体の実行時間の比を示す．Crusoe クラスタについて以下のことがわかる． • 実行時間は LongRun 使用時が最も短い • 通信フェーズでは低い周波数で EDP が最大で 60%減少ということがわかる．特に MPI-Wait は他の通信フェーズと異なり，実質的にアイドル状態となるため動作周波数を低くした方が大幅に EDP を削減することが期待できる． Turion クラスタについて以下のことがわかる． • 通信フェーズで動作周波数を下げることで EDP の削減が可能 • 実行時間の比に対し，1800MHz と 1600MHz において EDP の差が大きい • MPI irecv フェーズは Crusoe クラスタと逆の傾向を示す Crusoe クラスタと比較して EDP の削減の度合は小さいが，全体として同じ傾向を示す． 4.2 CG 図 4 と図 7 にそれぞれ Crusoe クラスタと Turion クラスタにおいて CG を実行したときのフェーズごとの EDP と全体の実行時間の比を示す． Crusoe クラスタについて以下のことがわかる． • 300MHz 固定時に EDP が高くなる • 300MHz 以外の低い周波数では最大で約 60%EDP が減少 • 実行時間が LongRun 使用時よりも 20%程度減少 Turion クラスタにおいては効果の違いこそあるが，. −52− 1237.

(8) 表 3 フェーズごとの最適な EDP となる動作周波数. . 図9. MG. CG. MG. 1800. select. 1600. 1400. 1200. 800. 1000. 1800. select. 1600. 800. IS. 1400. 0. select. longrun. 667. 800. 300. 533. select. longrun. 667. 800. 300. 533. CG. 667. 0.2 800. 0.4. 0.2. 300. 0.6. 0.4. 533. 0.6. select. 1 0.8. longrun. 1 0.8. 0. . 1.2. 1200. 1.2. 1.4. 800. 2.16. 800 1600 800 1600 533 1000. 1000. 1.58. 1800. 1.4. 計算部分. select. IS. 1600. MG. Wait IS:alltoallv 800 1000 300 1000 300 1000. 1400. Crusoe Turion Crusoe Turion Crusoe Turion. Send IS:alltoall 800 1600 300 800 533 1000. 1200. CG. irecv IS:allreduce 800 1600 533 1600 667 1000. 1000. Clock. IS. 図 10 Turion cluster 周波数選択による EDP の比較. Crusoe cluster 周波数による EDP の比較. Crusoe と同じ傾向を示す． • 800MHz 固定時に MPI Wait フェーズで EDP が最小になる • 計算部分の EDP が 1600MHz で最小 4.3 IS 図 5 と図 8 にそれぞれ Crusoe クラスタと Turion クラスタににおいて IS を実行したときのフェーズごとの EDP と全体の実行時間の比を示す．IS はこれまでのベンチマークと使用する通信の形態が異なり，1 対全や全対全通信が使用されている．Crusoe クラスタについて以下のことがわかる． • allreduce において周波数変更により大幅に EDP が減少 • 他のベンチマークと比べて実行時間の減少が少ない • 300MHz 以外では計算部分の EDP が減少 Turion クラスタについて以下のことがわかる． • allreduce では，1000MHz で最大で８割の EDP が減少 • 計算部分の EDP が低い動作周波数で減少これらのことから，IS においては通信時だけでなく計算部分にも周波数変更を施すことによってより効果が高まることが期待できる． 4.4 EDP 最適化の見積りここまでのプロファイルと消費電力のデータを用いてプログラムのフェーズごとに EDP の評価を行った．そこで，各フェーズごとに EDP が最小となる周波数を選ぶことよって Crusoe クラスタにおいては LongRun と，Turion クラスタに関しては 1800MHz で動作する時と比べどの程度の EDP が削減可能になるかを比較する．表 3 にフェーズ毎に最適な EDP となるクロッ. ク周波数を示す．図 9 と図 10 にそれぞれ Crusoe クラスタと Turion クラスタの各周波数固定時と周波数選択時 (select) におけるベンチマーク実行時の電力量と EDP の比を示す． Crusoe クラスタにおいて以下のことがわかる． • 全てのベンチマークにおいて EDP が減少 • MG，IS は電力量・EDP 共に最小 Turion クラスタにおいて以下のことがわかる． • MG，CG において EDP・電力量が減少 • IS は 1000MHz 固定と select が同じ • 1800MHz は 1600MHz と比べ EDP が非常に高い. 5. 考. 察. 5.1 通信フェーズにおける EDP の削減各ベンチマークにおいて周波数を選択することで通信フェーズの EDP が大幅に削減可能であることがわかった．しかし，アプリケーション実行全体においては，最適な周波数を選択しても通信フェーズで削減できる割合ほどの EDP の削減が得られなかった．これには通信フェーズの実行時間の長さが大きな要因となっていると考えられる．MG と CG において，通信フェーズを合計しても計算フェーズの実行時間と大きく差があり，相対的に通信フェーズで EDP を削減しても全体としての効果は少なくなる．その一方で， IS では通信フェーズの実行時間の割合が計算フェーズと比較して大きくなり，通信フェーズ (alltoallv) において周波数を適切に選択し EDP を削減することによって全体の EDP の削減ができることがわかった． 5.2 計算フェーズにおける EDP の削減 IS においては他のベンチマークと異なり，動作周. −53− 1238.

(9) 200 180 160 140 120 100 80 60 40 20 0. 1800MHz. 6. おわりに. 1800MHz 1600MHz. 1600MHz 0. 500. 1000. 1500. 2000. 図 11 Turion cluster MG の消費電力. 波数を低くすることによって計算部分の EDP が減少することがわかった．この原因としてメモリアクセスの頻度が考えられる．IS は他のベンチマークと比較して頻繁にメモリアクセスを行うアプリケーションである．一般にメモリアクセスを繰り返すようなアプリケーションではメモリの速度がボトルネックとなり高いクロック周波数のプロセッサを使用しても性能を向上させることが難しい．このことから，メモリアクセスを頻繁に行うようなアプリケーションもしくは，関数などにおいて高いクロック周波数で動作させることは，通信フェーズにおける Wait と同様に実質的にアイドル状態で高い消費電力を消費しつづけることになり，電力量や EDP の悪化につながる．このようにメモリアクセスが多いフェーズにおいては低いクロック周波数で動作させることによって電力量や EDP の削減が期待できる． 5.3 クロック周波数による消費電力の違い Turion クラスタにおいて 1600MHz と 1800MHz の間に大きな EDP の差が見られる．図 11 に 1600MHz 動作時と 1800MHz 動作時の MG における電力プロファイルを示す．このように両クロックの間には消費電力の大きな差があり，これが 1800MHz 動作時において EDP の値を増加させる要因となっている．この消費電力の差が影響し，他のベンチマークにおいても EDP の値が高くなっている． 5.4 周波数スケジューリングによる EDP の最適化周波数をフェーズごとに最適化することによって LongRun などと比べて電力量・EDP 共に削減できる可能性があることがわかった．一方で，どちらのクラスタにおいても周波数を固定した場合と大きな差が見られなかった．この理由として，今回は通信に重点をおいてプロファイルを行ったことがあげられる．プロファイルの取得を通信フェーズだけでなく，計算部分のフェーズの内部にも施すことによってより詳細なプロファイルデータを取得し，前述のようにメモリアクセス時などに適切な周波数を選択することでさらなる電力量や EDP の削減が期待できることがわかる．. 本論文では，DVS による周波数・電圧制御により省電力化するためにプロファイル情報を用いた DVS 制御の最適化についての手法を提案し，実際に 2 つのクラスタにおいて各周波数でのデータを取得し，集計することによりその可能性を示した．今後の課題として通信以外のフェーズにおけるプロファイルの取得を行う．多くのアプリケーションは通信よりも計算部分の実行時間が多い．計算部分の周波数選択の最適化により，さらなる電力量・EDP の削減ができるのではないかと期待している．また，計算部分に関する静的な周波数の最適化について，すでに研究が行われており，性能を下げることなく消費電力の削減が可能であるという報告もある7) ．そこでこれらの手法が実際にどれほどの効果があるのかを確認し，さらに静的なコードの解析を進め，どのようなコードの場合，周波数変更が有効であるのかを調査する．また，今回は得られたデータを集計する段階までの評価であったが，得られたスケジューリングのデータをアプリケーション側に与え，選択された周波数で各フェーズを実行する実行時システムを開発し，実際に電力量や EDP の削減を行うことを検討する．謝辞本研究の一部は，科学技術振興機構・戦略的創造研究「低電力化とモデリング技術によるメガスケールコンピューティング」による．. −54− 1239. 参. 考. 文. 献. 1) Vincent W.Freeh, David K.Lowenthal, “Exploring the Energy-Time Tradeoff in MPI Programs on a Power-Scalable Cluster”, IPDPS’05, April 2005. 2) Hiroshi Nakashima et.al, “MegaProto: 1 TFlops/10 kW Rack Is Feasible Even with Only Commodity Technology”, SC’05 November 2005 , to appear. 3) Transmeta Corp. “LongRunT M Power Management ”, http://www.transmeta.com/ 4) 堀田義彦ほか, “プロセッサの消費電力測定と低消費電力プロセッサによるクラスタの検討”，情報処理学会論文誌：コンピューティングシステム, Vol.45, No.SIG11 (ACS7), pp.207-218(2004). 5) AMD, “AMD PowerNow! Technology Information White Paper” 6) David M.Brooks, Pradip Bose, et al. “POWERAWARE MICROARCHITECTURE: Design and Modeling Challenges for Next-Generation Microprocessor”, IEEE MICRO, p.26-44, November 2000. 7) Chung-Hsing Hsu and Ulrich Kremer, “The Design, Implementation, and Evaluation of Compiler Algorithm for CPU Energy Reduction”, PLDI’03, June 2003..

(10)