メニーコアアクセラレータに対するファイルI/O機構

全文

(1)先進的計算基盤システムシンポジウム SACSIS2012 Symposium on Advanced Computing Systems and Infrastructures. SACSIS2012 2012/5/16. メニーコアアクセラレータに対するファイル I/O 機構松. 尾. 勇気†. 択†. 下沢. 石川. 裕†,††. 1. はじめに近年、スループット性能に重点を置く、特定の計算用途向け専用補助プロセッサと、スカラー性能の高い汎用ホストプロセッサで構成されるヘテロジーニアスなシステムが注目されている。前者には、nVIDIA. Tesla などの GPGPU と、Intel MIC Architecture に代表されるメニーコアをベースとするプロセッサがあ. 図1. 実装環境. る。GPGPU の場合、アプリケーションはホストプロセッサで実行され、その中の数値計算負荷の大きな. 式、ii)OS 機能コア委譲方式、iii) ホスト委譲方式であ. 部分が GPGPU に委譲されるが、ホストと GPGPU. る。また、ローカルディスクとの間でデータを転送す. 間のデータ転送の必要性により、余分なオーバーヘッ. るため、ホストプロセッサ上で動作するマルチスレッ. ドが生じる。一方、メニーコアプロセッサの場合、ア. ドファイル I/O サーバを実装する。. プリケーションはメニーコアで実行されると考えられ. 2. 実装環境. る。その際、ファイル I/O 機能をメニーコア上で実行. 図 1 は本論文が想定する実装環境である。ホストプ. できれば、高性能なアプリケーション実行環境が実現. ロセッサ上では Linux、MIC 上ではマイクロカーネル. される。本論文では、ホストプロセッサに接続された Intel. が動作する。Accelerator Abstraction Layer(AAL)4). MIC Architecture 上で実行するファイル I/O 機構の. は、ホストおよび MIC において、ハードウェアに特. 設計、実装、評価を行う。メニーコア上のファイル I/O. 有の操作を提供するインターフェースであり、本論文. は、ホストプロセッサに接続されたローカルディスク. のファイル I/O 機構は、AAL を基に実装を行う。. を通じて行われるため、ホスト OS のファイルシステ. 3. ファイル I/O 機構の設計と実装. ムにアクセスする必要がある。また、メニーコアとホ. 3.1 ファイル I/O システムコール. ストプロセッサは I/O バスで隔てられているため、2 種類の実装方法が考えられる。ホストプロセッサで全. 本論文では、上記で述べた 3 種類の、同期/非同期の. ての処理を行う方法と、メニーコアで大部分の処理. read/write と、open、close、mmap、sync、seek、. を行う方法である。さらに、メニーコア上でシステム. io_wait 等のシステムコールの設計と実装を行う。 3.1.1 計算コア方式の read/write. コールを実行した際、キャッシュや TLB、分岐予測バッファに対する汚染が生じ、アプリケーションコー. 本方式では、メニーコアのメモリ上にあるファイル. ドの実行効率が低下する可能性がある。この問題を解. キャッシュをプロセス空間にマップし、マップされた. 決するため、計算コアとは別の、OS 機能処理専用の. ファイルキャッシュとユーザバッファとの間でメモリコ. コアを割り当て、そこでシステムコールを実行する仕. ピーを行うことでファイル I/O を行う。read の場合、. 組みが提案されている3) 。. マップされた領域でページフォールトが生じると、新. 以上の議論により、3 種類のファイル I/O システム. たにページが確保され、ホスト I/O サーバからファイ. コールの設計と実装を行う。それぞれ、i) 計算コア方. ルデータが転送される。write の場合、データはファイルキャッシュに転送され、ホスト上の物理ファイルに反映されるのは、sync が発行される際、またはファ. † 東京大学大学院情報理工学系研究科 †† 独立行政法人理化学研究所計算科学研究機構. イルキャッシュページがホストとの間でスワップされ. 28. ⓒ 2012 Information Processing Society of Japan.

(2) 先進的計算基盤システムシンポジウム SACSIS2012 Symposium on Advanced Computing Systems and Infrastructures. SACSIS2012 2012/5/16. る際である。. 式と OS コア委譲方式では、最後に sync を実行し、. 3.1.2 OS コア委譲方式の read/write. ファイルキャッシュの内容をホストにページ単位で同. 本方式では、まず計算コアから OS 機能専用コア. 期させる。一方、ホスト委譲方式では実行するごとに. へ、リクエストキューを通じて I/O リクエストを出. 同期が行われる。単位サイズが比較的小さい領域では、. し、OS 機能コアは、リクエストを出したプロセスの. ページ単位で同期を行う計算コア方式と OS コア委譲. 仮想アドレス空間をロードすることで、計算コア方式. 方式がわずかに良い。一方、大きなサイズでは、相対. と同一のファイル I/O 処理を行う。処理完了の後、リ. 的に処理が高速になるホストプロセッサで実行するホ. クエストキューに結果と完了通知を書き込み、プロセ. スト委譲方式がはるかに性能が高い。. スはシステムコールから復帰する。. 5. 関連研究. 3.1.3 ホスト委譲方式の read/write 本方式では、まず計算コアからホストに、リクエス. Shimizu et al.2) では、計算ノードと管理ノードで. トキューを通じて I/O リクエストを出し、ホスト I/O. 構成されるヘテロジニアスなクラスタシステムにおけ. サーバはメニーコア上のプロセスのユーザバッファと. るリモートファイル I/O の設計と実装を行った。その. ホストとの間で直接データ転送を行う。その際、ホス. 結果、小さなデータでは低いバンド幅、大きなデータ. ト I/O サーバは、プロセスのページテーブルを参照. では高いバンド幅と、本論文におけるホスト委譲方式. し、仮想アドレスと物理アドレスの変換を行う。処理. と同様の結果を得ている。. FlexSC3) では、マルチコアプロセッサにおいて、シ. 完了の手続きは、OS コア委譲方式と同様である。. 3.2 ホストファイル I/O サーバ. ステムコールを別のコアに委譲する機構の設計と実装. ホストファイル I/O サーバは、リクエストキュー. を行った。また、システムコールによるユーザコード. を通じて、メニーコアからホストプロセッサに要求さ. 実行への影響を、モードスイッチングによるコストと. れるファイル I/O 処理を行うマルチスレッドプロセ. キャッシュ汚染の 2 点から考察している。. スである。ファイルディスクリプタごとにリクエスト. 6. おわりに. キューがあり、それぞれのキューに対する処理を 1 つのスレッドが担当する。従って、スレッドがキューを. 本論文では、ホストプロセッサに接続された Intel. アクセスする際にロックを必要とせず、異なったファ. MIC Architecture (Knights Ferry) 上でのファイル. イルディスクリプタに対する同時 I/O 要求に対して. I/O 機構の設計と実装、および評価を行った。その結. スケーラビリティを発揮する。. 果、小さな単位でのアクセスが頻繁にある場合には、ホストプロセッサと I/O バスを通じて通信をする回. 4. 性能評価. 数の少ない、メニーコア上で実行されるシステムコー. 本論文では、Intel MIC Architecture の一つである、Knights Ferry. 1). ル (計算コア方式、OS コア委譲方式) が性能が良く、. を実装、評価に用いる。本機は、. 大きな単位でアクセスする場合には、メニーコア上の. 32 コアで構成され、1 コアあたり 256KB のコヒーレ. プロセスのユーザバッファとホストとの間で直接 I/O. ント L2 キャッシュを持つ。Intel との NDA により、. を行うホスト委譲方式が良いことが判明した。. 評価結果は定性的に記述する。学会開催時点で公表が. 参. 認められれば、その際に結果を提示する予定である。. 考. 文. 献. 1) Architecture Support for HPC Applications, Intel Developer Forum, Session HPCS001 (2011). 2) Remote Process Execution and Remote File I/O for Heterogeneous Processors in Cluster Systems, CCGrid, pp. 145–154 (2010). 3) FlexSC: flexible system call scheduling with exception-less system calls, OSDI, Vol. 1 No.8 (2010). 4) メニーコア向けシステムソフトウェア開発のための実行環境の設計と実装, 情報処理学会研究報告. [システムソフトウェアとオペレーティング・システム] (2011).. 4.1 read システムコールのバンド幅 16MB のファイルを単位データサイズに分割して read する際のバンド幅の測定を行った。単位サイズがファイルキャッシュのページサイズ (2MB) よりも小さい領域では、ファイルキャッシュを通じてデータを読む計算コア方式、OS コア委譲方式が良い。それよりも大きいサイズでは、ユーザバッファとの間で直接 I/O を行うホスト委譲方式が性能が良い。. 4.2 write システムコールのバンド幅 16MB のファイルを単位データサイズに分割して write する際のバンド幅の測定を行った。計算コア方. 29. ⓒ 2012 Information Processing Society of Japan.

(3)