Microsoft Windows HPC クラスタを利用したデータ量の多いハイパフォーマンスコンピューティング (HPC) 環境でのスループット向上 HPC ソリューションエンジニアリング作成者 : Sanjay Kumar デルプロダクトグループ 2009 年 8 月

(1)

Microsoft® Windows® HPC ク

ラスタを利用した、データ量の多い、ハ

イパフォーマンスコンピューティング

（

HPC）環境でのスループット向上

HPC ソリューションエンジニアリング

作成者: Sanjay Kumar デルプロダクトグループ 2009 年 8 月

(2)

このホワイトペーパーは情報提供のみを目的として作成されたものであり、誤字脱字や不正確な技術情報が含まれている場合があります。本書は現状のまま提供され、記載されている内容について明示または黙示にかかわらずデルはいかなる責任も負いません。

Dell、デルのロゴ、PowerEdge、PowerVault、および EqualLogic は、Dell Inc.の商標です。Microsoft、 Windows、および Windows Server は、Microsoft Corporation の米国およびその他の国における登録商標です。StorNext は、Quantum の米国およびその他の国における登録商標です。

上記記載以外の商標や名称が、製品のマークまたは製品名の権利を有する団体を示す目的で、本書で使用される場合があります。上記記載以外の商標や会社名は、一切デルに帰属するものではありません。

(3)

リファレンス構成の概要 ... 10 リファレンス構成でのハードウェアとソフトウェア ... 11 Dell EqualLogic PS シリーズアレイの構成 ... 12 ネットワークの構成 ... 12 ファイルシステムのレイアウトおよび構成 ... 13 リファレンス構成のパフォーマンステスト ... 15 結果および分析 ... 15 DLC ゲートウェイサーバ ... 16 コンピュートノード ... 17 SNFS 構成のベストプラクティス ... 19 ネットワークの構成 ... 20 iSCSI ストレージ構成 ... 20 ファイルサーバの選択およびファイルシステムの構成... 20 StorNext の他の機能 ... 21 結論... 22 参考資料: ... 22 付録 A: インストールと構成 ... 24 サーバおよびストレージの準備 ... 24 メタデータサーバ（MDC）の構成 ... 24 DLC ゲートウェイサーバの構成 ... 25 分散 LAN クライアント用のコンピュートノードの構成 ... 25

(4)

エグゼクティブサマリー

この文書では、Windows HPC Server® 2008、Dell™ Power Edge™サーバ、Quantum StorNext®ファイルシステム、および Dell EqualLogic™ iSCSI ストレージを利用した、データ量の多い HPC 環境における、ハイパフォーマンスソリューションアーキテクチャについて説明します。この文書では、総合スループットを向上させる適切なストレージソリューションに必要なパフォーマンスに基づいて、個々の要件に最適なデルソリューションを評価および選択するために使用するリファレンス構成について説明します。ただし、このソリューションは、必要な要件を満たすために、他のデルサーバおよびデルハイパフォーマンスストレージを基盤とする場合もあります。また、この文書では、データ管理機能を含むデルソリューションのリファレンス構成、パフォーマンス結果、およびベストプラクティスについても説明します。ただし、Windows HPC Server 2008 やデルサーバとデルストレージなど、他のコンポーネントのインストールおよび導入については説明していません。この文書の目的は、ストレージまたはファイルシステムのパフォーマンスの評価ではなく、類似の構成の選択時に使用するガイドラインになることです。

(5)

はじめに

Microsoft Windows HPC Server 2008 は、非常に生産的で計算処理負荷の高い環境向けのエンタープライズクラスのツール、パフォーマンス、および拡張性を備えています。また、統合されたクラスタ環境を提供します。これには、オペレーティングシステム、ジョブスケジューラ、メッセージパッシングインターフェイス v2（MPI2）サポートと、クラスタ管理および監視コンポーネントが含まれます。 Windows HPC Server 2008 は、ヘッドノードと、1 つ以上のコンピュートノードを備えたサーバのクラスタから構成され、計算処理能力要件を満たします。ヘッドノードは一般に、クラスタリソースへのすべてのアクセスを制御および仲介し、コンピュータクラスタの管理、導入、およびジョブスケジューリングを一元化します。図 1 に、シンプルな Windows 2008 HPC クラスタを示します。 図 1: シンプルな Windows HPC クラスタ マルチコアの高速で使用可能なサーバを使用すると、計算処理要件に基づいて、処理能力を簡単に追加できます。計算処理負荷の高い場合は別として、現在の HPC 環境は、モデルと解析によって生成されるデータの増加とともにデータ処理負荷が高くなっています。データ処理負荷の高い HPC 環境では、ハイパフォーマンスファイルシステムおよび接続ストレージを使用して、ソリューションの総合スループットは高くなければなりません。生成されるデータ量の増加に伴い、追加のデータ管理ソフトウェアは HPC ソリューションにとって重要な役割を果たします。コンピュートノードヘッドノード相互接続 ストレージ（DAS）

(6)

データ処理負荷の高い

HPC 環境

データ処理負荷の高い HPC 環境では、ハイパフォーマンス I/O ソリューションおよびデータ管理は、計算処理能力とともに重要な要素です。計算処理能力および生成されるデータ量に応じて、 Windows HPC クラスタは、サイズおよびスループット要件が異なる場合があります。大規模なクラスタでは、サイズ、ストレージ、ファイルシステム、管理性、およびデータ管理の要件が異なります。データ処理負荷の高い HPC 環境を実装する場合の最も重要な決定は、パフォーマンス、容量、アクセス性、コスト、および高可用性のニーズに基づいて、「最適な」ストレージと「最適な」ファイルシステムを選択することです。  パフォーマンス: クラスタのサイズ、したがって並行実行アプリケーションの数は、スループット、ストレージへの直接アクセス、またはストレージノードの使用に応じて異なります。ファイルシステムおよびストレージは、ストレージハードウェア、ストレージノード、およびストレージに直接アクセスするコンピュートノードに合わせて拡張する機能を使用して、必要な総合スループットを実現する必要があります。必要な総合スループットは、ノードあたりに必要なスループットに基づいて推定できます。  容量: オンラインストレージの容量計画は、部分的にパフォーマンス要件に基づいています。コストと、階層化ストレージ管理（HSM）機能を使用して最近アクセスされていないオフラインデータを移行できる場所を考慮することによって、ニアラインストレージを計画できます。  アクセス性: アプリケーションのニーズに基づいてストレージのアクセス性を定義します。一部のアプリケーションでは、すべてのコンピュートノードが直接ストレージにアクセスする必要はなく、ストレージノードを介してアクセスする場合があります。一方、コンピュートノードが直接ストレージにアクセスすることが必要なアプリケーションもあります。ファイルシステムソフトウェアは、両方の状況に対応できる必要があります。  コストおよび高可用性のニーズ: 高可用性のニーズを考慮して、ストレージおよびファイルシステムソリューションを選択します。ストレージ、ストレージノード、またはメタデータサーバが一元化されている場合、いずれかに障害が発生しても、I/O トランザクションに障害は発生しません。一般にストレージハードウェアにはこの機能が組み込まれており、これはストレージベンダー自身が管理しています。一元化されたメタデータサーバがある場合、ストレージノードおよびメタデータノードでは、ファイルシステムレベルで高可用性を実現している必要があります。分散メタデータの場合、この問題はストレージノード自体で処理されます。

(7)

データ処理負荷の高い

HPC 用のデルソリューション

上記の基準を満たすために、デルは Windows HPC Server 2008 向けに拡張性の高いストレージおよびハイパフォーマンスのクラスタファイルシステムソリューションを提供しています。これらのソリューションでは、混在コンピュートノード構成が可能で、コンピュートノードは、アクセス性のニーズに基づいて、ストレージに直接アクセスするか、ストレージノードを使用できます。コンピュートノードは、複数のストレージノードと並行してデータにアクセスできます。このハイパフォーマンスファイルシステムは、複数のストレージノードおよび必要なストレージ容量を使用し、大きな総合スループットによって大規模なクラスタサイズのニーズに対応します。ストレージのアクセス性は、コンピュートノードから、ストレージに直接アクセスするか、ストレージノードを使用して設定できます。高可用性機能は、ストレージノードレベルおよびメタデータノードレベルで使用できます。デルハイパフォーマンス SAN ストレージと Quantum StorNext ファイルシステムを併用すると、ハイパフォーマンスで拡張性の高いデータストレージソリューションが得られます。 Quantum StorNext ファイルシステムの概要 StorNextは、StorNextでサポートされているオペレーティングシステム（OS）のタイプに関係なく、複数のサーバが共通のディスクリポジトリにアクセスできるようにする異機種共有ファイルシステムです。ファイルシステムへのアクセスは、メタデータコントローラ（MDC）によって制御されます。MDCは、ファイルシステムのデータパスの外にあり、アクセスのネゴシエーションと、クライアントのバッファリングモードの指定を担当するサーバーです。StorNextクライアントを実行しているノードは、IP接続を使用してMDCと通信し、ファイルの場所およびブロック割り当てに関する情報のほか、ディスクへのブロックレベルの直接アクセスを提供する情報を取得します。

クライアントは、LAN ベース、分散 LAN クライアント（DLC）、または SAN ベースのいずれにもできます。SAN ベースのアクセスの場合、クライアントはストレージと直接通信します。LAN ベースのアクセスの場合、DLC は、データアクセス用のゲートウェイサーバに指定されている SAN クライアントを使用して、ストレージと通信します。StorNext ファイルシステムには、次のコンポーネントがあります。  メタデータコントローラ（MDC）: クライアントのすべてのメタデータトランザクションを処理する独立したマシンです。高可用性を得るために、MDC はフェイルオーバをサポートしています。  分散LAN クライアント（DLC）: このクライアントは、1 つまたは複数のゲートウェイサーバを使用して、IP 上でデータにアクセスします。  SAN クライアント: SAN に直接接続され、ストレージ速度でデータに直接アクセスできます。

 ゲートウェイサーバ: LAN に接続されたクライアントから SAN に I/O 要求を送信します。ゲートウェイサーバは、ハイパフォーマンスフェイルオーバおよび負荷のバランス機能を備えるクラスタゲートウェイの役割を果たします。

(8)

Quantum の StorNext ファイルシステムを使用した Dell HPC Windows 2008 ソリュー ションの概要高速マルチコアサーバおよび大容量のストレージシステムが使用されている現況で、現在の HPC アプリケーションは大量のデータを生成しています。データ処理負荷の高い HPC 環境では、アプリケーションにはハイパフォーマンスで拡張性の高い I/O サブシステムが必要です。ストレージやファイルシステムなどの I/O サブシステムは、スループット、容量、および拡張性に関してアプリケーション要件に適合できることが必要です。また、現在の HPC アプリケーションには次のものも必要です。  パフォーマンス: 高い総合スループットを実現できるハイパフォーマンスストレージおよびファイルシステム  アクセス性  高可用性  データ管理この文書の後のセクションでは、上記の要件に対処するソリューションを提案しています。このソリューションは、DLC を使用するか、SAN を直接使用してストレージにアクセスする柔軟性も備えています。提案するソリューションは、以下から構成されています。  ヘッドノード  SAN クライアント、またはストレージにアクセスできる分散 LAN クライアント機能を備えたコンピュートノード  HA モードがない 1 つのサーバと、HA 機能を利用する 2 つのサーバで構成されたメタデータコントローラ  アプリケーションのニーズに基づいて、複数のサーバで構成されたDLC ゲートウェイサーバ各コンピュートノードは、StorNext DLC として構成されます。コンピュートノードは、ストレージに直接アクセスする必要がある場合、適切なストレージ接続を備えた SAN クライアントとして構成できます。図 2 に、Windows HPC 2008 用のデルソリューションを示します。 図の A は、ゲートウェイサーバを使用してストレージにアクセスできるコンピュートノード構成を表し ています。B は、各コンピュートノードがストレージにアクセスする方法を提供する DLC ゲートウェイサ ーバを表しています。C は、ストレージに直接アクセスできるように構成されたコンピュートノードを表 しています。D は MDC を表しています。高可用性については、2 つの MDC サーバによって StorNext フェイルオーバ（FO）オプションを実行する必要があります。

(9)

図 2: Quantum の StorNext ファイルシステムを使用した Dell Windows HPC クラスタソリューションヘッドノード DLC として構成されたコンピュートノード フェイルオーバ機能を備 えた MDC ゲートウェイサーバ拡張可能 SAN Connectivity ストレージ クラスタおよび MDC 接続 I/O 接続 SAN クライアントとして構成されたコンピュートノ ード A B C D 拡張可能拡張可能

(10)

リファレンス構成の概要

リファレンス構成は、Dell EqualLogic iSCSI ストレージを使用して評価しました。図 3 に、テストに使用したリファレンス構成の設定を示します。

図 3: デルサーバ、EqualLogic ストレージ、および Quantum の StorNext ファイルシステムを使用 した Windows HPC クラスタ向けリファレンス構成の設定

(11)

この構成では、MDC サーバに高可用性を利用しませんでしたが、2 つの DLC ゲートウェイサーバによって、データアクセスの高可用性と負荷バランシングを得ています。3 つの Dell EqualLogic PS シリーズアレイは、非 HA モードで構成し、各ストレージアレイには 3 つの GbE iSCSI リンクがあります。 DLC ゲートウェイサーバ上の EqualLogic iSCSI ソフトウェアは、3 つの iSCSI リンクの負荷バランシングを自動的に実行します。DLC ゲートウェイサーバは、I/O 用に 2 Gbps ネットワークで構成しました。同様に、DLC ゲートウェイサーバ上のネットワークの数と一致させるために、各コンピュートノードは、 DLC ネットワーク I/O 分散用に 2 Gbps で構成しました。StorNext は、NIC とゲートウェイサーバ間の負荷を自動的にバランスさせます。図 3 に示すリファレンス図でも、コンピュートノードが、同じファイルシステムにアクセスしていた 1 Gbps ネットワークリンクでストレージに直接アクセスするように構成されていることを示します。ファイルシステムは、各コンピュートノードに作成しマウントしました。リファレンス構成でのハードウェアとソフトウェアリファレンス構成で使用したハードウェアとソフトウェアは次のとおりです。 ハードウェア コンポーネント 説明メタデータコントローラ（MDC） Dell PE 1950 x 1 DLC ゲートウェイサーバ Dell PE 1950 x 2 ヘッドノード Dell PE 1950 x 1 コンピュートノード Dell PE サーバ x 4 ストレージ Dell EqualLogic PS シリーズアレイ x 3 ネットワークスイッチ Dell PowerConnect™ 6248 x 2 ソフトウェア OS Windows Server 2008 HPC エディションファイルシステム StorNext

ホストソフトウェア Dell EqualLogic 付属ソフトウェア（HIT）ベンチマーク

(12)

Dell EqualLogic PS シリーズアレイの構成 リファレンス構成では、3 つの Dell EqualLogic PS シリーズアレイを使用しました。各 PS シリーズアレイには、2 つのコントロールモジュールがあります。各アレイのいずれかのコントロールモジュールの 3 つのネットワークインターフェイスポートは、ネットワークスイッチを使用して、DLC ゲートウェイサーバに接続しました。DLC ゲートウェイサーバ上の各 iSCSI ネットワークインターフェイスでは、iSCSI ソフトウェアイニシエータを有効にしました。複数の iSCSI 接続では、DLC ゲートウェイサーバにインストールされている Dell EqualLogic ソフトウェアを使用して、フェイルオーバおよび負荷バンランシング機能を活用しました。使用したストレージ構成は次のとおりです。  Dell EqualLogic PS シリーズアレイ x 3  RAID5 ボリューム x 8  3 GB のストレージキャッシュサイズ  SAS ディスク（15 K rpm）  各アレイでは、MDC および DLC ゲートウェイサーバを Dell PowerConnect 6248 スイッチに接続して、DLC ゲートウェイサーバとアレイの間の I/O 専用の iSCSI ネットワークを構築しました。ネットワークの構成 DLC として構成されている各コンピュートノードはゲートウェイサーバおよびメタデータコントローラと通信する必要があるため、ネットワークの構成が重要な役割を果たします。また、ヘッドノードは管理のためにコンピュートノードと通信する必要があります。コンピュートノードが DLC ゲートウェイサーバを介してアクセスしている場合、パフォーマンスはこれらのノードで使用可能なネットワーク帯域幅によって制限されます。IP サブネットを使用して、クラスタ、メタデータ、および I/O 用に 3 種のネットワークを構成しました。1 つの Dell PowerConnect 6248 を、クラスタ、メタデータ、および I/O トラフィック用に使用しました。次の項目では、IP サブネットメカニズムを使用した 3 種のネットワークを説明します。  クラスタネットワーク: 各サーバ（ヘッドノード、MDC、ゲートウェイサーバ、コンピュートノード）に対して、ネットワークインターフェイスの 1 つである 1 Gbps リンクを、クラスタ通信用のサブネット（172.20.0.x）として構成しました。  メタデータネットワーク: メタデータおよびクラスタのトラフィックを共有しました。クラスタネットワークの使用率が非常に高い場合は、専用メタデータネットワークを構築する必要があります。

(13)

 I/O 用の分散 LAN ネットワーク: 各 DLC ゲートウェイサーバには、I/O トラフィック用に別々のサブネット（eth1:172.20.1.x と eth2:172.20.2.x）を構成しました。各コンピュートノードには、 2 つのサブネット（eth0:172.20.0.x と eth1:172.20.2.x）を構成しました。使用可能な帯域幅を活用するために、eth0:172.20.1.x に 1 つの仮想インターフェイスを構成し、メタデータと I/O トラフィックの間で 1 つのネットワークを共有しました。  ストレージ用の iSCSI ネットワーク: 各 DLC ゲートウェイサーバには、iSCSI トラフィック用に 3 Gbps リンク（1 Gbps x 3）を構成し、iSCSI トラフィック専用のイーサネットスイッチに接続しました。各ストレージアレイは、1 つのコントロールモジュールで 3 Gbps（1 Gbps x 3）リンクを構成し、ネットワークスイッチに接続しました。

o iSCSI ソフトウェアイニシエータは、iSCSI SAN に加えられた 1 つの MDC サーバネットワークインターフェイスで有効にしました。フェイルオーバおよび負荷バランシング機能を活用するには、iSCSI ソフトウェアイニシエータを備えた複数の NIC を有効にする必要があります。 o ストレージに直接アクセスするコンピュートノードは、1 Gbps iSCSI リンクで構成しました。フェイルオーバおよび負荷バランシングを使用するには、複数の NIC を有効にする必要があります。ファイルシステムのレイアウトおよび構成 3 TB のファイルシステムを 1 つ作成しました。このファイルシステムは、「Y」ドライブとして各コンピュートノードに対応付けました。また、「ネームサーバ構成」で MDC 上に作成して構成しました。コンピュートノードからの I/O を処理するために、2 つの DLC ゲートウェイサーバを構成しました。各コンピュートノードは、DLC を使用してファイルシステムにアクセスしました。ただし、一部のコンピュートノードは、SAN クライアントを使用してストレージに直接アクセスしました。MDC、コンピュートノード用の DLC、および DLC ゲートウェイサーバをセットアップして構成しました。以下に、ファイルシステムコンポーネントの構成について説明します。  MDC 構成: StorNext ファイルシステムをメタデータサーバにインストールして構成しました。シンプルにするために、ネームサーバサービスも MDC に構成しましたが、これは他のどのサーバ上でも構成できます。ネームサーバの構成は必須です。これがないと、DLC ゲートウェイ、DLC、および SAN クライアントは MDC と通信できないからです。ファイルシステムのセットアップおよび作成のために、次の基本的な手順を実行しました。 o ディスクラベラーを使用して、8 つすべてのボリュームにラベルを付けました。ディスクラベラーは、Quantum StorNext ソフトウェアに付属しています。

(14)

o メタデータサーバに FS ネームサーバを構成しました。MDC サーバの IP アドレスを、ネームサーバ構成に追加しました。 o ファイルシステム構成ツールを使用して、 metagroup 、 datagroup 、および journalgroup という 3 つのストライプグループを作成しました。metagroup および journalgroup には、メタデータおよびジャーナル専用の RAID5 ボリュームが 1 つ含まれます。datagroup には、データ用に 6 つの RAID5 ボリュームが含まれます。上記の構成に対応したファイルシステム構成を保存しました。 o 高度なファイルシステム作成ツールを使用して、8 つのボリューム、すなわち iSCSI-SNFS の 3 TB サイズのファイルシステムを作成しました。ブロックサイズやジャーナルサイズなど、構成可能なパラメーターをデフォルト値に設定しました。8 つのボリュームのうち 6 つは I/O 用に、残りの 2 つはそれぞれジャーナル用とメタデータ用に使用しました。 o I/O 用に選択したボリュームは、ファイルシステムの stripeBreadth を 256 K に調整しました。メタデータおよびジャーナルについては、stripeBreadth をデフォルトの 64 K のままにしました。 o cvmkfs コマンドを使用してファイルシステムを作成しました。cvmkfs コマンドでは、パラメーターとしてファイルシステム名および構成ファイル名を使用できます。  DLC ゲートウェイサーバ構成: ファイルシステムが MDC で稼働してから、DLC ゲートウェイサーバを構成しました。DLC ゲートウェイサーバを構成するために、次の手順を実行しました。 o クライアント構成ツールを使用して、各 DLC ゲートウェイサーバを構成しました。「Distributed LAN（分散 LAN）」セクションで、サーバ機能を有効にしました。

o コンピュートノードからのトラフィックを処理するために、2 つのネットワークインターフェイスカードを I/O 用に選択しました。

o ファイルシステムを Y ドライブに対応付けました。ファイルシステムは、ディレクトリにも対応付けできますが、今回はドライブに対応付けました。

(15)

 分散LAN クライアントとしてのコンピュートノードの構成: 各コンピュートノードは、分散 LAN クライアントとして構成しました。これらのノードは、ゲートウェイサーバを使用してデータにアクセスしました。各コンピュートノードに次の構成を実行しました。

o クライアント構成ツールを使用して、各ノードでローカルに、ファイルシステムを「Y」ドライブに対応付けしました。

o すべてのノードについて、「Distributed LAN（分散 LAN）」タブでクライアント機能を有効にしました。

リファレンス構成のパフォーマンステスト

DLC ゲートウェイ上、および分散 LAN クライアントとして構成されているコンピュートノード上での I/O スループットを測定するために、パフォーマンステストを実行しました。コンピュートノードは DLC ゲートウェイを使用してファイルにアクセスしていました。テストごとに、シーケンシャルワークロードおよび大量のファイルセットを使用しました。さまざまな時間に DLC ゲートウェイサーバとコンピュートノードの両方で、複数の IOZONE スレッドを並行して実行しました。パフォーマンステストの目的は、大量のファイルセットを使用してファイルシステムに負荷を加え、ゲートウェイおよびコンピュートノードでのスループットを確認することでした。ゲートウェイサーバでの I/O スループットは、実現可能な最大スループットを示し、同様の構成のガイドラインになります。コンピュートノードで行ったテストは、同様の構成を持つコンピュートノードで実現可能なスループットを示します。コンピュートノードでのスループットは、ネットワーク帯域幅およびゲートウェイサーバの制限を受けました。DLC ゲートウェイサーバでのスループットは、各サーバ上の 3 Gbps イーサネットリンクの制限を受けました。パフォーマンステストには、ファイルシステムベンチマークツールの IOZONE を使用しました。結果および分析 iSCSI ストレージの場合、各 DLC ゲートウェイサーバ上では、理論上の I/O 帯域幅は 375 MB/s （1 Gbps x 3）に制限されました。2 つのゲートウェイサーバで使用可能な合計ストレージ帯域幅は 750 MB/s でしたが、TCP と他のオーバーヘッドを考慮すると、使用可能な合計帯域幅はそれより小さくなります。コンピュートノードの総合スループットは、各ゲートウェイサーバ上で、2 Gbps ネットワークの制限を受けました。各 DLC ゲートウェイサーバは、リファレンス構成では理論上最大 250 MB/s を処理でき、スループットは 500 MB/s（250 MB/s x 2 ゲートウェイサーバ）に制限されました。各コンピュートノードは、メタデータおよび I/O トラフィック用に 1 つの 1 Gbps リンクを共有しました。メタデータトランザクションが非常に高い場合、この共有リンクは、コンピュートノード上の総合スループットに対して、ある程度のオーバーヘッドを発生させる可能性があります。

(16)

DLC ゲートウェイサーバ 16 のスレッドを並行して実行している 1 つのゲートウェイサーバで IOZONE テストを実行し、 315 MB/s のピーク書き込みスループット、297 MB/s のピーク読み取りスループットを記録しました。このスループットでは、3 つすべてのゲートウェイサーバ iSCSI インターフェイスでネットワークの使用率は非常に高くなりました。32 個の IOZONE スレッドを並行して実行するために、DLC ゲートウェイサーバをもう 1 つ追加すると、読み取りおよび書き込みのスループットはそれぞれ 535 MB/s および 463 MB/s に増加しました。チャート 1 に、DLC ゲートウェイサーバが 1 つおよび 2 つの場合の総合スループットを示します。 チャート 1: ゲートウェイサーバの I/O スループット ストレージ帯域幅が十分にある場合、ゲートウェイサーバはコンピュートノードのボトルネックになる場合があります。したがって、使用可能なストレージ帯域幅および必要な総合スループットに基づいて、複数のゲートウェイサーバを実装する必要があります。チャート 2 に、並行して実行する IOZONE のスレッドを増していった場合の、DLC ゲートウェイサーバのパフォーマンス傾向を示します。

DLC ゲートウェイサーバでの I/O スループッ

ト

スループット （MB/s） 書き込み（MB/s） 書き込み（MB/s） 読み取り（MB/s）読み取り（MB/s）

(17)

チャート 2: 複数の IOZONE スレッドを実行する場合のゲートウェイサーバでのスループット 各 DLC ゲートウェイサーバでのスループットは、3 Gbps ネットワークの制限を受けました。ネットワーク使用率 90～95 %が確認されました。これは 32 スレッドとしては非常に高いものです。パフォーマンスパターンから、ネットワークの制限によるスループットの低下が示され、32 個の IOZONE スレッドではネットワークは飽和状態に近くなっていました。この結果から、同様の負荷率、つまり同様のスレッド数およびファイル数で使用可能なストレージスループットのガイドラインが得られます。128 個の IOZONE スレッドでの結果から、コンピュートノードでの総合スループットがどのように制限を受けるかわかります。ストレージが飽和状態になるまで、ストレージを追加するか、DLC ゲートウェイサーバを追加すると、DLC ゲートウェイサーバのスループットを向上させることができます。コンピュートノード各コンピュートノードは、DLC ゲートウェイサーバのみを使用して、分散 LAN クライアント（DLC）およびアクセスストレージとして構成しました。1 つのコンピュートノードで IOZONE を実行した場合、書き込みスループットは 230 MB/s および読み取りスループットは 212 MB/s でした。使用可能な理論上の合計帯域幅は、250 MB/s（1 Gbps x 2）でした。TCP を実行する際のプロトコルオーバーヘッドを考慮すると、GbE の理論上の上限は 117 MB/s です。したがって、使用可能な合計 I/O 帯域幅は 234 MB/s でした。メタデータと I/O トラフィック間で 1 つの 1 Gbps リンクを共有しました。コンピュートノードで実現されたファイルシステムの効率は、91～98 %でした。ファイルシステムの調整可能なパフォーマンスパラメーターを調整することで、読み取りスループットをさらに向上させることができます。チャート 3 に、2 Gbps の I/O ネットワークを備えた 1 つのコンピュートノードでの読み取りと書き込みのスループットを示します。

IOZONE スレッド数の増加に伴うゲートウェイサー

バでの I/O スループット

（16 スレッド） IOZONE スレッド数 （16 スレッド）読み取り（MB/s）書き込み（MB/s） （32 スレッド） （32 スレッド）（64 スレッド）（128 スレッド） （128 スレッド）

(18)

チャート 3: 2 Gbps の I/O ネットワークを備えた 1 つのコンピュートノードでの読み取りおよび書き 込みのスループットチャート 4 に、4 つのコンピュートノードで複数の IOZONE スレッドを並行して実行した場合の I/O パフォーマンス傾向を示します。 チャート 4: コンピュートノードでの I/O パフォーマンス

1 つのコンピュートノードでの読み取り/書

き込みスループット

スループット（MB/s） 読み取り（MB/s）書き込み（MB/s）

コンピュートノードでの総合 I/O パフォーマンス

IOZONE スレッド数 （16 スレッド）読み取り（MB/s）書き込み（MB/s）（32 スレッド）（64 スレッド）（128 スレッド）

(19)

上のチャートは、合計 4 つのコンピュートノードで 64 個のスレッドを実行した場合に得られたピークスループットを示します。スレッド数が 64 個を超えると、スループットは低下します。また、64 個のスレッドを実行した場合、両方の DLC ゲートウェイサーバでのネットワーク使用率は 90～95 %でした。ファイルシステムの負荷が大きくなると、スループットの低下が見込まれます。ストレージ帯域幅を活用するために DLC ゲートウェイサーバを追加すると、総合スループットが向上し、同時にコンピュートノードで使用可能な全体の I/O 帯域幅を向上させることができます。複数のパフォーマンステストから、DLC ゲートウェイサーバおよびコンピュートノードでの多様なスループット傾向が示されます。また、DLC ゲートウェイサーバ自体、DLC ゲートウェイサーバで使用可能な I/O ネットワーク、および iSCSI ネットワークによってスループットがどのように制限されるかについても示しています。容量およびパフォーマンス要件に基づいて必要な総合スループットを実現するには、アプリケーション要件に基づいて、DLC ゲートウェイサーバの数、I/O ネットワークの数、およびストレージアレイの数を計画する必要があります。 iSCSI はストレージトラフィックにネットワークインターフェイスを使用するため、一部のアプリケーションでは、ストレージに直接アクセスして DLC ゲートウェイサーバをバイパスする必要があります。ただし、これらのアプリケーションでは、DLC ゲートウェイサーバを使用してストレージにアクセスする他のコンピュートノードと同じファイルシステムを使用します。このアーキテクチャの場合、コンピュートノードのいくつかを SAN クライアントとして構成し、ストレージから直接データにアクセスできます。リファレンス図（図 3）に、他のコンピュートノード用に構成されている同じファイルシステムを使用して、コンピュートノードに接続し、ストレージにアクセスする方法を示します。この構成では、SAN クライアントおよび分散 LAN クライアントとして構成されている複数のコンピュートノードは、別々の方法で同じファイルシステムにアクセスします。コンピュートノードを SAN クライアントとして構成する場合、パフォーマンス上の理由で、コンピュートノードを DLC ゲートウェイサーバとして使用しないでください。DLC ゲートウェイサーバは、専用システムにする必要があります。また、メタデータサーバはスタンドアロンにする必要があり、そこで他のアプリケーションを実行しないでください。

SNFS 構成のベストプラクティス

このセクションでは、ネットワーク、iSCSI ストレージ、およびファイルシステムに関係する SNFS のベストプラクティスについて説明します。

(20)

ネットワークの構成 Quantum StorNext ファイルシステム構成のベストプラクティスは次のとおりです。  クラスタサイズが大きい場合は、専用メタデータネットワークを使用します。  スループット要件に基づいて分散 LAN ネットワークを選択します。分散 LAN クライアントが複数あると、場合によって GbE ネットワークが飽和状態になりやすく、DLC ゲートウェイサーバのスループットのボトルネックになる場合があります。DLC ゲートウェイサーバおよび分散 LAN クライアントでの I/O トラフィック用に複数のインターフェイスを計画する場合は、これらを別々の IP サブネットワークに配置してください。  IP サブネットワークを使用して、DLC ゲートウェイサーバ上および分散 LAN クライアント上で分散ネットワーク I/O 用に同じ数の NIC を使用します。 iSCSI ストレージ構成  RAID レベルは、ファイルシステムの作成後は変更できないため、導入のニーズに基づいて選択する必要があります。  ストレージエンクロージャのコントローラモジュールのネットワークポートは、どちらもスイッチに接続する必要があります。これにより、アレイコントローラに障害が発生した場合に、アレイへの冗長パスが確保されます。同時に、コントロールモジュールに障害が発生しても、パフォーマンスは低下しなくなります。  各コンポーネントレベルで冗長性を確保するには、デュアルスイッチを搭載したデュアルコントローラを使用する必要があります。ファイルサーバの選択およびファイルシステムの構成  メタデータコントローラは専用システムにする必要があり、そこで他のアプリケーションを実行しないでください。サーバに他のアプリケーションがある場合は、パフォーマンスに影響を及ぼすことがあります。MDC が複数の StorNext ファイルシステムをホストする場合、メモリは 1 つのファイルシステムで必要な量よりも多く計画します。詳細については、StorNext の技術文書を参照するか、デルの担当者までお問い合わせください。 http://content.dell.com/us/en/enterprise/hpcc.aspx?c=us&cs=555&l=en&s=biz  クライアントのI/O 要求を処理するために、DLC ゲートウェイサーバは専用システムにする必要があります。メモリサイズは、ファイルシステム、分散クライアント、サーバあたりの NIC/ インターフェイスの数、および転送バッファの数とサイズによって異なります。詳細については、StorNext のインストール文書を参照するか、デルの担当者までお問い合わせください。 http://content.dell.com/us/en/enterprise/hpcc.aspx?c=us&cs=555&l=en&s=biz

(21)

 StorNext ファイルシステムは、ストライプグループを使用して、さまざまなストレージリソースを論理的にグループ化できます。ストライプグループ機能を使用すると、JBOD、RAID1、 RAID5 など、さまざまな混在構成のストレージを同じファイルシステムの一部にすることができます。パフォーマンスを向上させるために、メタデータおよびジャーナルには RAID1 を、データには RAID5 や他の RAID 構成を使用できます。RAID レベルは、導入要件に基づいて選択する必要があります。

 パフォーマンスを向上させるために、RAID ストライプのサイズは、ファイルシステムの stripeBreadth パラメーターと一致させる必要があります。

 シーケンシャルI/O スループットの場合、適切な DMA および I/O 転送サイズを使用すると、パフォーマンスを向上させることができます。

StorNext の他の機能

StorNext ファイルシステムを使用したデルソリューションで使用可能なその他の機能は、次のとおりです。  動的リソース割り当て: 動的リソース割り当てでは、ファイルシステムのオンライン拡張、およびハードウェアアップグレード時のディスクの透過的なスワップアウトを可能にすると、サービス稼働時にアップタイムが増加します。システムがアクティブな場合でも、ストレージ容量を拡大または縮小できます。また、ストライプグループ機能を使用すると、ディスクボリューム間でデータを移動することもできます。たとえば、メタデータおよびジャーナルを別のボリュームに移動する必要がある場合は、この機能を使用すると簡単に移行を実行できます。  ストレージの仮想化: StorNext は、多くの点でメリットになりうる次のストレージ仮想化を提供します。 o ファイルシステムが、複数の異機種 SAN ストレージシステムを使用できます。 o データにアクセス中でも、データをあるストレージシステムから別のストレージシステムに動的に移動できます。 o ストライプグループ機能を使用して、ディスクボリューム間でデータを移動できます。 o ストレージ容量の追加要件を調整して満たすために、ファイルシステムを動的に拡張できます。

(22)

o ディスクやテープなど、オンラインストレージとニアラインストレージ間で自動的かつ透過的にデータを移動できます。 o すべての SAN クライアントと LAN クライアントは、オペレーティングシステムのタイプおよびストレージの接続タイプにかかわらず、同じデータにアクセスできます。サポートされている OS のタイプについては、StorNext のリリースノートを参照してください。

結論

この調査は、Dell EqualLogic ストレージおよび Quantum StorNext ファイルシステムを使用して、拡張性の高い I/O サブシステムを Windows HPC クラスタに構築する方法の例を提供しています。パフォーマンステストを分析すると、Quantum の StorNext ファイルシステムは、Dell EqualLogic ストレージとともに優れたパフォーマンスを示し、最大で 90 %を超える高い効率性が実現されることが確認されました。このソリューションは、必要に応じてゲートウェイモジュールおよびストレージエンクロージャを追加することによって、大規模なクラスタサイズ用のほとんどの HPC アプリケーションの要件を満たすように拡張できます。また、アプリケーションのニーズに基づいて、混在ストレージなどのストレージ仮想化、ストライプグループなどの機能もさまざまな方法で利用できます。アプリケーションの特性とビジネスニーズは、HPC クラスタ用の I/O サブシステムを設計するうえで最も重要な 2 つの要素です。この文書で提案したアーキテクチャは、検証ベースの開始点となり、お客様各自のニーズに合ったシステムを構築可能にする柔軟性を備えています。

参考資料:

デルの HPC ソリューション http://content.dell.com/us/en/enterprise/hpcc.aspx?c=us&cs=555&l=en&s=biz デルのエンタープライズサーバ http://www.dell.com/us/en/enterprise/enterprise/ct.aspx?refid=enterprise&s=biz&cs=555&~c k=mn Dell EqualLogic ストレージ http://www.dell.com/us/en/enterprise/enterprise/equallogic/cp.aspx?refid=equallogic&s=biz& cs=555

(23)

Quantum StorNext ファイルシステム

http://www.quantum.com/Products/Software/StorNext/Index.aspx

Microsoft Windows 2008 HPC

(24)

付録

A: インストールと構成

このセクションでは、StorNext ファイルサーバのセットアップに役立つ、Windows HPC 環境にファイルシステムをインストールして構成する方法について説明します。サーバおよびストレージの準備 1. Windows Server 2008 HPC のインストール手順に従って、ヘッドノードおよびコンピュートノードを準備します。 2. Windows Server 2008 を MDC および DLC ゲートウェイサーバにインストールします。 3. ストレージ管理ソフトウェアを使用してストレージを構成します。 4. ストレージ、MDC、および各 DLC ゲートウェイサーバ間に必要なストレージ接続を実装します。 DLC ゲートウェイサーバの数が多い場合は、スイッチが必要になることがあります。 5. 複数の接続を備えた場合のフェイルオーバ機能と負荷バランシング機能のための、PS シリーズ向けの EqualLogic ソフトウェア（HIT）などのストレージソフトウェアおよび他のストレージ管理ソフトウェアをインストールします。 6. MDC および各 DLC ゲートウェイサーバが報告するボリュームの数を（ストレージ構成に従って）等しくします。メタデータサーバ（MDC）の構成 1. StorNext ソフトウェアを MDC にインストールします。 2. ディスクラベラーツールを使用して、ファイルシステムに組み込むボリュームにラベルを付けます。 3. 高度なファイルシステム構成ツールを使用して、ディスクタイプ、ディスク定義、およびストライプグループを作成します。ディスクタイプの場合、データ、ジャーナル、メタデータなど、適切な数のセクターを持つディスクのタイプを定義できます。「Disk definitions（ディスク定義）」タブを使用して、ラベル付けしたディスクを適切なディスクタイプに追加します。最後に、「Stripe groups（ストライプグループ）」タブを使用して、別のストライプグループを作成し、メタデータ、ジャーナル、または専用など適切な属性を持つ使用可能なディスクを追加します。この構成を保存します。 4. cvmkfs コマンドを使用してファイルシステムを作成します。 5. ネームサーバ構成ツールを使用して、MDC でネームサーバを構成します。MDC の IP アドレスを追加します。DLC ゲートウェイサーバおよびコンピュートノードは、同じ IP アドレスに対して ping を実行できるようにする必要があります。 6. StorNext ファイルシステム管理者に、新しく作成したファイルシステムを起動してアクティブにしてもらいます。ファイルシステムが稼働します。

(25)

DLC ゲートウェイサーバの構成 1. StorNext ソフトウェアを各 DLC ゲートウェイサーバにインストールします。インストール後、クライアント構成ツールを使用して各サーバを構成します。最初にネームサーバを構成します。ネームサーバを構成する MDC の IP アドレスを追加します。DLC ゲートウェイサーバで SNFS サービスを停止してから開始します。ソフトウェアは構成されたファイルシステムをスキャンし、クライアント構成ウィンドウに表示します。

2. 「Tools（ツール）」の「Edit drive mapping（ドライブの対応付けの編集）」を使用して、ドライブを対応付けます。「Distributed LAN（分散 LAN）」タブを使用してドライブを対応付ける際に、 「Enable server（サーバを有効にする）」を選択し、クライアントが I/O トラフィック用に使用す る「Distributed LAN network for I/O（I/O 用の分散 LAN ネットワーク）」を選択します。

分散LAN クライアント用のコンピュートノードの構成 1. StorNext ソフトウェアを各コンピュートノードにインストールします。インストール後、クライアント構成ツールを使用して各ノードを構成します。最初に、各コンピュートノードでネームサーバを構成します。ネームサーバを構成する MDC の IP アドレスを追加します。各ノードで SNFS サービスを停止してから開始します。ソフトウェアは構成されたファイルシステムをスキャンし、クライアント構成ウィンドウに表示します。

2. 「Tools（ツール）」の「Edit drive mapping（ドライブの対応付けの編集）」を使用して、ドライブを対応付けます。「Distributed LAN（分散 LAN）」タブを使用してドライブを対応付ける際 に、「Enable client（クライアントを有効にする）」を選択します。これにより、ファイルシステ ムを使用できるようになります。

Microsoft Windows HPC クラスタを利用した データ量の多い ハイパフォーマンスコンピューティング (HPC) 環境でのスループット向上 HPC ソリューションエンジニアリング 作成者 : Sanjay Kumar デルプロダクトグループ 2009 年 8 月