ファイルへのアクセスの自動分散を行うグリッド用分散ファイルシステム

全文

(1)2005−ARC−162 （2） 2005−HPC−101 （2） 2005／3／7. 社団法人情報処理学会研究報告 IPSJ SIG Technical Report. ファイルへのアクセスの自動分散を行うグリッド用分散ファイルシステム佐. 仁Ý. 藤. . 松. 聡Ý ÝÝ 中. 岡. . 田. 秀基ÝÝÝ Ý. . クラスタやグリッドなどの並列計算環境ではアプリケーションによってはファイルを保持するノードへのアクセス集中が発生し実行性能の低下が問題となる既存の分散ファイルシステム上でこのようなアクセス集中を避けるためにはユーザがアプリケーションの作成時や実行時に明示的にファイルアクセスの分散を行うことが必要となるが環境が不均質であるグリッドではこのような対応は困難であり負担が大きい我々はファイルシステム側でアクセスの集中を検知しファイル複製を積極的に利用してファイルへアクセスを分散する手法を提案する本稿ではグリッドファイルシステムであるを用いてファイルへのアクセスが集中する例理想的なアクセスパターンに実装したプロトタイプを用いてファイルへの例について検証を行ったまた提案手法をのアクセスの自動分散の有効性を確認した. . . . . . . . . . . . . . . . .

(2) Ý. Ý ÝÝ. .

(3)

(4) . ÝÝÝ Ý.

(5)

(6)

(7)

(8)

(9)

(10)

(11)

(12)

(13)

(14)

(15)

(16)

(17)

(18)

(19)

(20)

(21)

(22)

(23)

(24)

(25)

(26)

(27)

(28)

(29)

(30)

(31) Æ

(32)

(33)

(34)

(35)

(36)

(37)

(38)

(39)

(40)

(41)

(42)

(43)

(44)

(45)

(46)

(47)

(48)

(49)

(50)

(51)

(52)

(53)

(54)

(55)

(56)

(57)

(58)

(59)

(60)

(61)

(62)

(63)

(64)

(65)

(66)

(67)

(68)

(69)

(70)

(71) はじめに近年クラスタ技術やグリッド技術等の発達により大規模な並列計算環境が実用的になりつつある特に高エネルギー物理学天文学生物学地震工学などような様々な科学技術計算の分野においてこのような計算環境を利用して大規模なデータを複数の異なる組織間で共有し解析を行うなどの試みが行われている例えば物理学の分野では

(72)

(73) 実験プロジェクトにおいて測定器から生成される年間ペタバイトオーダーのデータを数十カ国規模数千人規模の素粒子物理学者が共有解 Ý 東京工業大学.

(74) . ÝÝ 国立情報学研究所.

(75) . ÝÝÝ 産業技術総合研究所.

(76)

(77)

(78) .

(79) . 析などを行うために適切に蓄積処理する必要があるとされるこのような環境を実現するために基盤となるグリッド技術に関する研究の必要性が叫ばれているこのようなグリッド環境では統一的なファイルビューを提供するためのファイルシステムを利用することが有効であると考えられるがクラスタやグリッドなどの並列計算環境において既存の分散ファイルシステムを用いた場合はアプリケーションによってはアクセス集中のためにアプリケーションのファイルアクセスの実行性能が低下してしまう問題がある既存の分散ファイルシステム上でこのようなアクセス集中によるアプリケーションの実行性能の低下を避けるためにはユーザがアプリケーションの作成時や実行時に明示的にファイル複製やノードへのアクセスの分散等を行うことが必要であるしかしながら計算環境が動的に変化しある特定の計算環境を想定することが難しいグリッド環境ではアプリケーション側でこのような対応を行うことは困難でありまたユー. −7−.

(80) ザへの負担が大きいことが問題となる本稿ではファイルシステム側でアクセス集中を検知し適切にファイル複製を作成することでアクセス分散を行う手法を提案し提案手法のプロトタイプをを用いて実現したまたを用いて実際にファイルへのアクセスが集中する例ファイル複製を作成した場合の理想的なアクセスパターンの例に関して検証を行いその後とプロトタイプとの比較によりファイルへのアクセスの自動分散が有効であることを示す. 関連研究既存のグリッド環境はクラスタを複数統合して構成されることが多いまた典型的なクラスタはや

(81) などの既存のネットワークファイルシステムで構成されることが多いグリッド環境でもこのようなファイルシステムが存在すると統一的なビューでファイルにアクセスができため高いユーザ利便性を提供できると考えられるグリッド環境のファイルシステムとして実現すべき要件としては異なるサイト間でも安全なデータ共有ができること安全性大規模計算のためのスケーラビリティを備えていること高性能性が挙げられるしかしながら従来のネットワークファイルシステムではこれらの実現に問題があると考えられる安全性を実現したファイルシステムとしてが挙げられるこれは基盤技術として標準的なグリッドの認証技術である ! ! ! やを基盤としたセキュアなファイルシステムであるが用いられており高い安全性やユーザ利便性を提供するがの拡張であるため高性能性の点で問題があり単一ノードでファイルを共有することには限界があると考えられるファイルをストライピングすることで高性能性を実現するファイルシステムとして " !

(82)

(83) などのようなクラスタ型計算機での使用を想定した並列ストライピングファイルシステムが挙げられるこれらのファイルシステムはファイルをチャンクに分割することで単一ファイルの連続読み出し時に複数ディスクの利用を可能にしているこのため高バンド幅なディスク #$ が実現しまたファイルアクセスの均一化や分散化を実現するしかしながらグリッド環境にこのような特定のファイルシステムで構成された環境を想定することは望ましくないグリッド環境は既存の計算環境をなるべくそのまま統合して実現するのが望ましいまた #$ バンド幅がネットワークのバンド幅に制限されるなどの問題もあるチャンクがネットワークに流出すること. によりネットワークに負荷を与えたりチャンクデータの安全性を実現しなければならないディスク #$ を積極的に利用することで高性能性を実現するファイルシステムとしてが挙げられるは並列ストライピングファイルシステムの拡張したものであるがつファイルは複数のファイルから構成されファイル単位でストレージに分散格納されるは大規模データを対象にしたデータ・インテンシブ・コンピューティングと呼ばれる科学技術計算を対象にしているこのような計算では数多くのファイルに対し同じプログラムで処理を行うというファイルアクセスの局所性が存在するためでは % とディスクを統合しファイルのあるノードで計算を行うことでディスク #$ を積極的に利用しネットワーク #$ のバンド幅の制限を避ける並列ストライピングファイルシステムではファイルをチャンク単位に分散格納するためファイル読み出し時に複数のディスクからチャンクを読み出しファイルを構成しなければならないためデータ・インテンシブ・コンピューティングではファイルアクセスの局所性が利用できないという問題があるまたようなファイル単位の分散格納を行うファイルシステムではファイルアクセスの局所性を利用した効率的な処理が可能になるという長所がある反面単一ファイルへのアクセスが向上しないという短所がある. 提案手法本研究ではグリッド環境でのアクセス集中によるファイルアクセスの性能低下を避けるためにファイルの複製を作成しファイルシステム側でファイルの実体へのアクセスをコントロールしアクセス集中を避ける手法を提案するこの手法ではまずファイルシステム側で提供される名前空間上のファイル対して複製を用意するファイルアクセスの際はプログラムは名前空間上のファイルへのアクセスを行うよう試みるが実際のファイルアクセスは複製のうちのいづれかにアクセスするようにするこの動作を図を用いて説明する図ではクライアントとクライアント & がファイルシステム上の# #'#( へアクセスを試みるが実際にはクライアントが #$ ノード & 上の ( にクライアント & が #$ ノード ) 上の ( へアクセスするこのような動作を行うことでファイルへのアクセスの分散を図る提案システムで想定する構成としては並列ストライピングファイルシステムで見られるような実際にファイルアクセスを行うクライアントファイルシステムのメタデータを扱うメタデータサーバ実際にファイルやファイルのチャンクを格納する #$ ノードの３点からなるファイルシステムとするこのようなファイル. −8−.

(84) クライアント A. クライアント B 仮想的なファイルアクセス / /grid /tmp. 仮想的なファイルアクセス. file A. 実際のファイルアクセス. I/Oノード B. I/Oノード C. file B グリッドファイルシステムの名前空間. 実際のファイルアクセス I/Oノード A. /opt. I/Oノード D. ストレージ. file A. 図. file A. 提案手法によるファイルへのアクセス分散. file name, operation. gfsd. gfsd_am. node state first accessed time last accessed time access count. file state first accessed time last accessed time access count. gfs_url_section_replicate_to ファイルの複製. accept 複製の作成のスケジュール. cancel. 図. . プロトタイプシステムの構成図. システムではファイルアクセスの際にクライアントからメタデータサーバへアクセスするファイルあるいはチャンクの所在を問い合わせメタデータサーバより得られた情報を元に実際のファイルあるいはチャンクへアクセスを行うファイルの所在に関する情報がメタデータサーバの部分で一元的に管理されているためファイルアクセスの際ノードへのアクセス集中が発生した場合にファイルの実体へのアクセスをコントロールすることでアクセス集中を制御することができ性能向上が期待できると考える. プロトタイプの設計と実装 * 章の提案手法のプロトタイプを上に実装するこれはがグリッド上のファイルシステムでの実現項目であるユーザ利便性安全性高性能性を備えている点ファイル複製作成機能を備えている点また並列ストライピングファイルシステムにみられるようにクライアントメタデータサーバ #$ ノードからファイルシステムが構成されているためで提案手法の実現に適していると判断したプロトタイプの設計図にプロトタイプの構成図を示す #$ ノード. のモニタ部分では #$ ノードのアクセス状況のモニタを行うために #$ ノードにおいてそのノードへのアクセス状況とファイルへのアクセス状況を記録するクライアントが実際にファイルへアクセスする場合はクライアントが複製を持つ #$ ノードへアクセス状況のクエリを出し取得した値を元にアクセスの集中していないノードを選択してファイルの実体へアクセスするまた #$ ノードでは自発的にアクセスの集中を検知しアクセスの集中を検知した場合は #$ ノード上でアクセス頻度の高いファイルに対し複製を作成するよう指令するプロトタイプの実装の #$ ノードではというデーモンが動作するこのデーモンはファイルシステムノード上の全ホストで動作しファイルシステムを構成するプロトタイプでは #$ ノード上でこのとは別にファイルのアクセス状況を管理するデーモンを動作させるにその #$ ノード上のファイルに対するオペレーションのリクエストがきた際にその通知をキャッチしてそのオペレーションとファイルの名前をに通知するそれに対しはノードのアクセス状況を把握するためにそのノードに最初にアクセスした時刻そのノードに最後にアクセスした時刻アクセス回数を記録するまたノードの保持する各々のファイルのアクセス状況を把握するためにそのファイルに対して最初にアクセスした時刻そのファイルに最後にアクセスした時刻またアクセス回数を保持し通知された情報を記録するこれらの情報より以下のような式を用いてアクセス状況を以下のように算出するここでアクセス状況をとし最初にアクセスした時刻を最後にアクセスした時刻をアクセス回数をとする. +. . . . . ファイルアクセスのオペレーションの通知を受ける毎にノードアクセスファイルアクセスのいずれに関しても最後にアクセスした時刻アクセス回数を更新を行うクライアントが実際にファイルアクセスを行うノードを決定する際にはクライアントからのリクエストを受けこの情報をから取得しクライアントへ送信するまたファイルアクセスのオペレーションの通知を受ける毎に複製の作成を試み上で定義したアクセス状況の値が閾値を超えるような場合にアクセスが集中していると判断しファイルを他のアクセス状況が低いノードへ複製することを試みるファイルの複製はの提供する

(85)

(86) を呼ぶことで実現するある一定時間内にファイルへのアクセスがなかった場合はいままで記録していた情報をキャンセルするこのようにすることで各 #$. * −9−.

(87) . 表. $ /. 実験環境プロトタイプの評価. メタデータサーバ. !"# !%& ' ( !)*)+ -!. 0###& 1. . 表. ノード !"! !%& ' ( !)")!, -!. 0###& 1. . . ノード数台帯域幅. $&

(88) . 30 20 10 0 0. 図. . 2. 4 6 ノード数(台). 複数クライアントからの. 8. 10. 0 つのファイルへの一斉アクセス. ノードのアクセス状況の均一化を図る. 実. 験. 本研究の前提となっているアクセス集中の問題点と提案手法の有効性を確認するための実験を行った実験環境は松岡研究室の -./$ クラスタを用いスペックは表に示すとおりであるまたクライアント #$ ノードとメタデータサーバ間のスループットは 01 *2& # で -// は 3 またクライアント #$ ノード同士の間のスループットは 452& # で -// は 3 であるなおスイッチ間のネットワークでの輻輳の発生による測定の混乱を避けるために同じスイッチに接続されているクラスタノード * 台を使用したファイルアクセス集中の検証まず本研究の前提となっているファイルアクセス集中に関する検証をを用いて行うファイルを上につおきそのファイルに対して複数のクライアントから一斉に

(89) '

(90) のアクセスを行う 6!7 のサイズは 2& とした結果を図 * に示すノード数が増加するにつれリニアに実行時間が増加していることが確認できるこのときのファイルアクセス処理に費やされた時間の内訳を表に示すただしファイルサイズを 3,2& の場合とする結果から実行時間の大部分は '

(91) に費やされており '

(92)

(93) ' や '

(94)

(95) の際のメタデータサーバへのクエリのためのアクセスの集中の影響はないことがいえるまた複数のクライアントから一斉に単一ノードへ一斉アクセスした際のネッ. ! #)##0#+ !,)0 #)#*04. 0 つのファイルへの. " #)#0*# "0)! #)0*#. 4 #)#!,# ,-)" #)-##. 複数ノードから単一ノードへの一斉アクセスの際のスループット. . 128MB 256MB 512MB 1024MB. 60. 0. #)##,-4 0*), #)#-#".

(96) . 80. )秒50 (間40 時. 2 3. クライアント. 表. 70. 複数クライアントからの単一ノード上の一斉アクセスの際の内訳秒. 0. !. ". 4. 00!)!. +4)4*. !5)"". 0"),!. トワークのスループットを ' を用いて測定した結果を表 * に示す図よりアクセスを行うクライアントが台の場合はクライアントと #$ ノード間のスループットを

(97) 2& # としたとき

(98) 2& # 程度しかでていないことが伺える以上のことからファイルアクセスのアクセス集中が発生した場合はネットワークの輻輳の影響のためにファイルアクセスの性能が著しく低下すると考えられる理想的なアクセスパターンの検証理想的なアクセスパターンを検証するために次のような実験を行った特定の大きさのファイルを上におきそのファイルに対して 0 台のプロセスから一斉にアクセスを行いこのときアクセスされるファイルの複製の数を変更しながら実験を行ったファイルへはリモートアクセスすなわちクライアントと #$ ノードが一致しないようなアクセスになるようにしたまたファイル複製へのアクセスの方法は #$ ノード間でアクセスされるクライアントの数に偏りが起こらないよう制御したすなわちクライアントが台でファイル複製が個である場合ファイル複製１つが台からのクライアントからのアクセスを受け持つ結果を図 , に示す複製の数がの場合 0 台のクライアントが一斉に台の #$ ノードへアクセスするため図 * の場合と同じ状況になりネットワークの輻輳の要因で実行時間が増加していると考えられる一方複製の数が 0 の場合各クライアントが各々別の #$ ノードへアクセスが分散しているため実行時間の増加が抑えられているこのときのネットワークのスループットを ' を用いて上記の実験と同じようなアクセスになるよう制御して測定した結果を図 , に示す 0 台のアクセスのときもネットワークのスループットの理論値 02& # 近くまで出ておりネットワークの輻輳が発生していないことが確認できるこのことから理想的なアクセスパターンが行われた場合は台のクライアントが #$ ノードへリモートアクセスするのと同等の程度の時間でファイルアクセスが行える. , −10−.

(99) 80 70. 128M. 60. 256M. ) 50 秒 ( 40 間時30. 512M 1024M. 20 10 0 0. 2. 4. 6. 8. 10. 複製数. 図表. . 4 クライアントからのファイルアクセスと複製数の関係. . 4 クライアントからのファイルアクセスを行った際のネットワークスループット. . ノード数台帯域幅. $&

(100) . 0. !. ". 4. 0")*-. -#)#-. +4)4". 00,),. 議. 500 450. Gfarm プロトタイプ. 400 350. )300 秒（間250 時200 150 100 50 0 0. 図. . イルアクセスのための実行時間を抑えることに成功している実験では *2& と 5,2& のサイズファイルのアクセスの場合は７ノードに 02& のサイズのファイルのアクセスの場合は * ノードにファイルを複製していることを確認したこのため 02& のサイズのファイルのアクセスの場合は少数ながらファイルアクセスの割り当てが重なってしまいシステムにおけるつのファイルへの集中アクセスの場合に漸近した結果となっている一方 *2& 5,2& のサイズ場合はファイル複製が多く作成されているためアクセスが分散して良好な結果を示している *2& と 5,2& サイズのファイルへのアクセスの場合はファイル複製の数が同じであるにもかかわらずファイルシステム上のつのファイルへアクセスした場合と比較した実行時間に違いがあるこの違いはファイル複製へのアクセスの割り当てに偏りがあり 5,2& のファイルへのアクセスの場合はファイルアクセスが分散して割り当てられているのに対し *2& のファイルへのアクセスの場合はファイルアクセスの割り当てが集中したためであると考えられる. 20. 40. 60 80 100 ファイルサイズ(MBytes). 120. 140. 4 ノードから 0 つのファイルへアクセスを行った際の実行時間リモートホストへの複製. と考えられる他のノードへのファイル複製の自動作成の効果他の #$ ノードへのファイル複製の自動作成の効果を検証するためにプロトタイプとを用いて次のような実験を行ったファイルシステム上につのファイルを置き 0 台のクライアントからリモートアクセスするようにファイルへの

(101) '

(102) の一連の動作を 8 回繰り返したアクセスの対象となるファイルのサイズは*2& 5,2& 02& とした結果を図 8 に示すでは常に 0 台のクライアントから単一 #$ ノード上のつのファイルへアクセスが集中し実行時間が大幅に増加するのに対しプロトタイプでは #$ ノードでアクセス集中を検知して自発的にバックグラウンドでファイル複製の作成をすることによりアクセスの分散が実現できファ. 論. 8 節のベンチマークより #$ ノードへのアクセス集中を故意に発生させその際ファイルアクセスのオーバーヘッドが非常に大きくなることを確認し本研究の前提であるアクセス集中回避の必要性を確認したまたこの際のオーバーヘッドの主たる要因はネットワークの輻輳が発生しスループットが大幅に低下するためであることを確認した今回の実験ではディスク #$ のオーバヘッドは確認できなかったがこれはある特定のファイルを使用したことによりディスクのキャッシュが効いている可能性が考えられる例えばある #$ ノード上の複数のファイルにアクセスが集中した場合ディスクキャッシュが効かなくなりネットワーク #$ とディスク #$ の性能に依存した性能低下が発生することが予測できるファイルへのアクセスに関してネットワーク #$ とディスク #$ の性能はトレードオフの関係にあると考えられるためこの関係性に関しての検証も必要である次に 8 節のベンチマークよりファイル複製が存在する場合理想的には台のクライアントがファイルへリモートアクセスする程度の時間でファイルアクセスが実現できることを確認したこれは今回の実験ではつのスイッチに接続されたクラスタノードを用いて実験を行ったためこのような結果になったと考えているしかしながら現実のグリッド環境はあるサイトとあるサイト & を高速なネットワークで結んで構成されることが想定されるこのような場. 8 −11−.

(103) 合においてサイトの #$ ノード上のファイルに対しサイト & のクライアント群から一斉アクセスした場合には 8 節のように仮にファイル複製を作成しファイルのアクセス先を上で述べたような理想的な状態に設定したとしてもネットワーク輻輳が発生し台の #$ ノードへ複数のクライアントから一斉にアクセスした状況が起きるためファイルアクセスの実行時間の増加が発生する予測できる実際スイッチを跨ぐように接続したクラスタノード間において 8 節のような実験を行った場合 0 台のクライアントが 0 台の #$ ノード上のファイルにパラレルにアクセスしたとしてもファイルサイズが 3,2& の場合ファイルアクセスの実行時間が 45 秒程度かかることを確認しているこの値は図 * よりファイルサイズが 3,2& の場合に 0 台のクライアントが台の #$ ノード上のファイルへアクセスするのにかかる時間と同等となっているこのことからもネットワーク輻輳を避けることが必要であると考えられる例えばグリッドを構成するネットワークのトポロジーを把握してネットワークの近さによって #$ ノードをグルーピングしファイル複製をそのグループ毎に作成しグループ内のクライアントからのファイルアクセスはそのグループ内の複製へ割り当てるようにすることでネットワークの輻輳を回避することなどの対策が必要であるまた 8* 節の実験よりプロトタイプにおいてファイルアクセスの集中の検知が行えファイル複製が自動的に作成できることを示したまたベンチマークより作成されたファイル複製へアクセスが分散するためファイルアクセスが性能向上することを確認したこの際のファイル複製の作成は送信元受信先が一対一転送で行われていた多くのファイル複製を作成を必要とする場合は一対多転送で効率良く行うことにより更なる性能向上を見込めると予測できる. おわりにまとめ. 本稿ではファイルシステム側でアクセス集中を検知し適切にファイル複製を作成することでファイルへのアクセスの自動分散を行う手法を提案し提案手法のプロトタイプをを用いて実現したまたを用いて実際にアクセス集中を発生させその問題点を検証したクライアント数及びファイルサイズの増加に応じた実行時間の増加を確認しアクセス分散の必要性を確認した次にを用いて理想的なアクセスパターンを検証したリモートアクセスの場合ファイル複製数と実際のファイルのアクセス先を制御することで台のクライアントが #$ のノード上ファイルへアクセスするのと同等の時間でファイルへのアクセスが実現できることを確認し. たまたとプロトタイプとを用いてファイル複製の自動作成の効果について検証したプロトタイプにおいてアクセス集中を検知しバックグラウンドで自動的にファイル複製を作成しそれらのファイル複製へアクセスすることでファイルへのアクセスの性能向上を確認した今後の課題今後の課題としては次のような点が挙げられる。ファイルへのアクセス分散のポリシーを決定するためのグリッドシミュレータを用いたファイルへのアクセス分散のシミュレーション適切なファイルアクセス先の割り当てを実現するためのノードのアクセス状況の一元的なモニタリングファイル複製作成のポリシーに応じたグリッド中への効率の良いデータ転送手法の実現. ¯ ¯ ¯. 参考. 文. 献. /9

(104)

(105) .

(106) * 武田伸悟伊達進下條真司：グリッドファイルシステム情報処理学会研究報告 33, $1* '' 14 : 3, 33* , &! - ; 9 " . )

(107) /! < "

(108) = > ?

(109) !9

(110) ! ! "

(111) **

(112) '' 53:55 333 8 2@A )?

(113) 9) 9 2 9! !

(114) / 9

(115)

(116) 333 5

(117) ; & -

(118) - & /9<! -? "?

(119) !B !

(120)

(121)

(122) '' * 4: *4 333 %.C

(123)

(124) 4 ! 0 9

(125) 6

(126) 7 ! /? /9

(127)

(128)

(129) .

(130) '' 15: 30 &

(131)

(132) . D

(133) < 33* 2 1 建部修見森田洋平松岡聡関口智嗣曽田哲. 之：ペタバイトスケールデータインテンシブコンピューティングのための ) アーキテクチャ情報処理学会論文誌：ハイパフォーマンスコンピューティングシステム "

(134) ,*

(135) . 5 8 '' 0,: 18 33. 5 −12−.

(136)