Citrix XenServer 5.5
システム構成ガイド
はじめに
本ガイドは、Citrix XenServer 5.5におけるシステム構成の考え方について記載し ます。 本ガイドの内容は、限定されたシステム環境における結果を基に作成しており、全 ての環境で同一の結果になることを保証するものではありません。また、内容は予 告なしに変更することがあります。 本ガイドの情報からシステム構成を検討される場合は、十分な評価をおこなって下 さい。Citrix社より提供される製品のマニュアルも合わせてご覧下さい。 NECは、本ガイドの技術的もしくは編集上の間違い、欠落について、一切責任を負 いません。 NECは、本ガイドの内容に関し、その正確性、有用性、確実性その他いかなる保証 もいたしません。目次
▐
事前確認
P2Vを利用して移行 アプリケーション動作確認▐
システム構成
サーバ ＣＰＵ設計 メモリ設計 ストレージ ネットワーク リソースプール/XenMotion XenCenter/xeコマンド 時刻同期 その他関連サーバ 障害ポイント HA バックアップ事前確認 ～P2Vを利用して移行～
▐
既存システム環境からXenServer環境へ移行する場合、P2Vによる移行が可能
▐
CitrixではXenServerを無償提供
ユーザ登録が必要 http://www.citrix.co.jp/products/xenser/download.html▐
CitrixではXenConvert(P2Vツール)を無償提供
MyCitrixアカウントを作成(無償)し、ダウンロードサイトへアクセス https://secureportal.citrix.com/MyCitrix/Login/home.aspx?Locale=jp-JP▐
テスト環境を利用し、移行テストの実施(本番環境をそのまま移行することはリス
クが高い)
アプリケーションの動作(ドライバ、暗号化など)により移行できない場合あり▐
移行が出来ない場合、新規システムとして構築
事前確認 ～アプリケーション動作確認～
▐
ゲストOS上のアプリケーションが動作するかどうか確認
▐
CitrixではXenServerを無償提供
http://www.citrix.co.jp/products/xenser/download.html ※ユーザ登録が必要▐
ゲストOS上で動作しない可能性のあるアプリケーション
ハードウェア依存の独自のドライバが組み込まれたアプリケーション USBを必要とするアプリケーションなど。▐
ゲストOSの動作要件
http://www.nec.co.jp/pfsoft/xenserver/environment.html OSは準仮想化された状態(WindowsはXenToolsインストール)のみをサポート、完全 仮想化(標準のOS、ドライバを使用した状態)はサポート対象外▐
アプリケーションのライセンス形態の確認
例 物理サーバライセンスの場合 ・・・ アプリケーションAは 1ライセンス 仮想サーバライセンスの場合 ・・・ アプリケーションAは 3ライセンス 物理CPUライセンスの場合 ・・・ アプリケーションAは 2ライセンス 仮想CPUライセンスの場合 ・・・ アプリケーションAは 5ライセンス ｱﾌﾟﾘｹｰｼｮﾝA VM ｱﾌﾟﾘｹｰｼｮﾝA VM ｱﾌﾟﾘｹｰｼｮﾝA VM アプリケーションによってはCPUコアライセンスの考え方もあります。システム構成 ～サーバ～
▐
XenServerに対応したNECサーバ機器の選定
XenServerをインストールするサーバはモデルの統一を強く推奨 NEC動作確認済みサーバ、サーバのオプションボードを利用 http://www.nec.co.jp/pfsoft/xenserver/environment.html▐
サーバの構成作成時の注意事項
デュアルブートには未対応 SANブートには未対応 FDD(フロッピーディスクドライブ)は利用丌可 NICは1Gbps推奨 リソースプールに所属するホストのCPUはファミリ（Xeon®など）/モデル/ステッピング レベルが同一であることただし、CPU Vendor / CPU Model / CPU Family / CPU Flagsが同一であることが 必須条件となり、ステッピングの一致は推奨レベル
▐
ＸｅｎＳｅｒｖｅｒホスト(ｺﾝﾄﾛｰﾙﾄﾞﾒｲﾝとＸｅｎﾊｲﾊﾟｰﾊﾞｲｻﾞｰ)が１ＣＰＵコアを独
占的に使用、残りのＣＰＵコアをＶＭで使用
▐
ＸｅｎＳｅｒｖｅｒ仮想化によるＣＰＵオーバーヘッドの目安は、約１０％
（動作するＯＳ、アプリケーションによって異なる）
▐
ＣＰＵコアごとに最大１～６ＶＭまでが大まかな目安
例)8ＣＰＵコアのサーバの場合、最大４２ＶＭ
▐
チューニング方法
ＸｅｎＳｅｒｖｅｒは余裕のあるＣＰＵをＶＭに自動割当てしますが、ＣＰＵコアを占有させ たいＶＭには固定で割当てが可能。
※システム構成 ～ＣＰＵ設計～
※ただし固定で割当てたＶＭは他のＣＰＵコアに余裕があっても使用丌可。またＸｅｎＭｏｔｉｏｎで移動先に同じＣＰＵ番号があれば占有し、 他ＶＭが同じＣＰＵ番号を占有中は他ＶＭと共用利用し、ＸｅｎＭｏｔｉｏｎ先で割当てたＣＰＵ番号がなければ別のＣＰＵ番号を自動割当て。 VM コントロール ドメイン 物理CPU Dualコア2socket 論理CPU VM 仮想CPU アプリケーションを複数並列動 作させる場合には1VMに複数 CPUを割り当てることで有効 VMが利用する論理CPUは自動でスケ ジューリングされ、空きのCPUを割当て ※VMの仮想CPU数を超える数のCPU を同時に割り当て丌可業務Ａ 業務Ｂ 業務Ｃ サーバ台数 4台 2台 2台 ＣＰＵ数 1ｿｹｯﾄ 2ｿｹｯﾄX2ｺｱ 2ｿｹｯﾄ クロック周波数 1.6GHz 1.8GHz 2.6GHz 平均ＣＰＵ使用率 30% 60% 50% メモリ容量 2GB 4GB 2GB ディスク容量 40GB 120GB 40GB
システム構成 ～簡易サイジング計算例(CPU)～
▐ 条件 ＸｅｎＳｅｒｖｅｒは2ＣＰＵ4コアExpress5800/R120a-2を利用 ＸｅｎＳｅｒｖｅｒ全体のＣＰＵ使用率を70%に抑制 仮想化によるオーバーヘッドを10%と想定 ＸｅｎＳｅｒｖｅｒホストが1つのＣＰＵコアを占有 （サーバ1台当たり7コアがVM用） ▐ 従来のＣＰＵクロック周波数総和 （4×1×1.6×0.3）＋（2×2×2×1.8×0.6）＋（2×2×2.6×0.5）＝15.76 ▐ 仮想化によるオーバーヘッド10%を加算 15.76÷0.9≒17.51 ▐ 移行後の全体のＣＰＵ使用率を70%に抑える 17.51÷0.7≒25.01 ▐ 1台のR120a-2に集約する場合 1コア当たりのクロック周波数 25.01÷7コア≒3.57以上 R120a-2の1コア当たりのクロック周波数最大は2.93のため1台集約丌可 ▐ 2台のR120a-2に集約する場合 1コア当たりのクロック周波数 25.01÷(7コア×2サーバ)≒1.79 R120a-2の2GHzの2台集約可能 ＝20GB ＝480GB XenServer サーバ台数 2 ＣＰＵ数 2ｿｹｯﾄX4ｺｱ クロック周波数 2GHz 平均ＣＰＵ使用率 70% メモリ容量 22GB ディスク容量 480GBシステム構成 ～メモリ設計～
▐
ＸｅｎＳｅｒｖｅｒホストの使用メモリ
物理メモリ量に応じて自動設定(デフォルト)▐
ＶＭの使用メモリ
ＶＭの使用メモリは物理メモリを固定で割当て メモリの最適化機能（シャドーメモリ設定） • 多数のプロセスがメモリアクセスを伴う並行処理をする場合のＶＭ最適化機能 効果の高いAP：ＸｅｎＡｐｐ、ターミナルサービス、 効果の低いAP：データベース • デフォルト値(最小値)：１．０、ＸｅｎＡｐｐ：４．０ • 本設定により数MB程度XenServerホストのメモリを使用▐
XenMotion利用
XenMotionの機能のために1～1.5GBの空き領域が必要 移行するVMの使用メモリ相当の空き領域が必要 物理メモリ XenServerホストのメモリ 3.5GB以下 328MB 5GB 356MB 16GB 582MB 32GB以上 880MBシステム構成 ～ストレージ～
▐
VM用の仮想ディスク格納用のストレージを導入する際、環境や用途によって適
切なストレージの種類を選択
ローカルディスク SAN iSCSI NFS Citrixストレージ認証 丌要 必要(ベンダ認証) 必要(ベンダ認証) 必要※ 共有ストレージ構成 × ○ ○ ○ 共有ストレージ(直結)構成 × × ○ ー リソースプール ○ ○ ○ ○ XenMotion × ○ ○ ○ ハードウェア障害時の別サー バでVM起動 × ○ ○ ○ HA(Enterprise限定) × ○ ○ × パスの冗長化ソフト ー XenServerに組込み済 ー 物理LUNのサイズ拡張 ○ ○ ○ ー 仮想ディスクのサイズ拡張 ○ ○ ○ ○ スナップショット ○ ○ ○ ○ スパース × × × ○ VMの高速複製 ○ ○ ○ ○システム構成 ～ストレージ～
▐
VMを配置するLUN
VMを配置する1つのLUNの最大サイズは２TB VMを配置するLUNはローカルディスク、FC SAN、iSCSI、NFSを利用可 RAID構成を強く推奨▐
ローカルディスク構成
ソフトウェアRAIDは未対応(インストール丌可) RAID構成時のディスク障害の通知はEXPRESSSCOPEエンジン２（BMC）からSNMP Trap、Eメール通報が可能(マネジメントNICを利用) ディスク障害を通報するRAID監視ソフトウェアは未サポート(NEC提供のUniversal RAID Utility / MegaRAID Storage Manager) ローカルディスクにVMの仮想ディスクを格納する場合、XenMotion丌可
▐
ISOライブラリ
ゲストOS用のインストールCDイメージのライブラリ
ISOライブラリはCIFS/NFSを管理ネットワーク上に配置
リソースプール
システム構成 ～ストレージ～
▐
FC SAN
XenServerホストのSANブートは未対応 サーバ－ストレージ間のFC直結構成は未サポート XenServer SAN環境に異なるリソースプール、異なるOSをFC接続する場合、ゾーニ ング必須(同一ゾーン内のサーバ間の干渉を避けるため) ストレージLUNをゲストOSに直接アクセスさせることは丌可 異なるOS iStorage Dシリーズ ｺﾝﾄﾛｰﾗ1 ｺﾝﾄﾛｰﾗ2 リソースプールシステム構成 ～ストレージ～
▐
iSCSI
サーバ－ストレージ間のLAN直結構成は未サポート iSCSI接続のネットワークは1GB以上必須 bondingは使用せず、XenServer側の個々のNICは独立したネットワーク▐
パス冗長化(FC SAN/iSCSI)・・・dm-multipath
本番環境はパス冗長化が必須(シングルパスではパス障害発生時にVMがダウン) パス冗長化ソフトウェアは組込み済み、別製品の購入丌要 マルチパス機能はActive/Activeのラウンドロビンで動作 10.0.0.2 10.0.0.1 192.168.0.1 192.168.0.2 iStorage Eシリーズ ｺﾝﾄﾛｰﾗ1 ｺﾝﾄﾛｰﾗ2 10.0.0.3192.168.0.3 10.0.0.4 192.168.0.4 10.0.0.x ネットワーク 192.168.0.x ネットワークコントロール ドメイン
▐
XenServerの管理ネットワーク
コントロールドメイン(XenServerホスト)が接続するXenServer管理用のネットワーク XenCenterからコントロールドメインへ接続可能なXenServerの管理ネットワーク(プラ イマリ)は同一LANのみ、XenMotion機能はこのネットワークを使用 プライマリ以外の複数の管理ネットワークを設定可能だが、このネットワークへの XenCenterは接続丌可(用途はiSCSI/NFSストレージ接続、SSH接続など) プライマリの管理ネットワークは1Gbpsのネットワーク帯域を強く推奨 プライマリI/FのIPアドレスはDHCP設定ではなく、静的IPアドレスの設定を強く推奨 リソースプール構成では静的IPアドレスが必須システム構成 ～ネットワーク～
XenCenter SSH 10.0.0.1 192.168.0.1 XenCenter 10.0.1.1 プライマリ以外のネットワークから XenCenterのアクセスは丌可 10.0.0.254 10.0.1.254 プライマリの管理ネットワークへ XenCenterを複数マシン接続可能 192.168.0.3 10.0.0.3 10.0.0.4 192.168.0.4 コントロール ドメイン 10.0.0.2 XenCenter XenCenter プライマリI/F 追加のI/FVM
▐
外部ネットワーク
VM、コントロールドメインが使用する物理NICへ接続可能な仮想ネットワーク (コントロールドメインが使用しない限り)固定のIPアドレスを割当て丌要 VM、コントロールドメインとの共用利用可能だが、それぞれ独立したLANを強く推奨 物理NICの１ポートにつき、最大１つの外部ネットワークを作成可能▐
内部ネットワーク
XenServer内部に物理NIC、LANケーブル、物理ネットワークスイッチを伴わないVM用 の仮想ネットワークスイッチを作成可能 コントロールドメインから内部ネットワークへ接続丌可 内部ネットワークを構成したVMはXenMotion丌可 VMシステム構成 ～ネットワーク～
VM VM 内部ネットワークに接続し たVMはXenMotion丌可 内部ネットワーク 外部ネットワーク 外部ネットワークに接続し たVMはXenMotion可能システム構成 ～ネットワーク～
▐
VLAN
VM個々にVLAN IDを割付け、VM間のトラフィックを分離 管理ネットワークには使用丌可 外部のスイッチがIEEE 802.1Qに対応していること 割当て可能なVLAN IDは0～4094 VM VM VM 192.168.1.1 VLAN ID:1 192.168.1.1 VLAN ID:2 10.0.0.1 VLAN ID:なし 仮想スイッチ VM VM VM 192.168.1.2 VLAN ID:1 192.168.1.2 VLAN ID:2 10.0.0.2 VLAN ID:なし 仮想スイッチ スイッチ側はトラ ンクリンクポートシステム構成 ～ネットワーク～
▐
XenServerのネットワーク冗長化・・・bonding
本番環境の管理ネットワークは冗長化を推奨 管理ネットワークは2つのNICで1つのIPアドレスを使用 本番環境のVM用の外部ネットワークは冗長化を強く推奨 bondingはActive/Activeで動作 パス障害時はフェールオーバしてもう片方のパスで動作 iSCSIストレージ(iStorage E1-10)の冗長化はbondingを使用せず、dm-mutlipathを 使用(「ストレージの構成」を参照) 192.168.1.1 192.168.1.2 VM VM VM コントロール ドメイン コントロール ドメインbond bond bond bond
VM ネットワーク 管理
システム構成 ～ネットワーク～
▐
ポートの開放
ネットワーク上にファイアーウォールがある場合はXenServerで利用するポートの開放 が必要 XenServerの内部にファイアーウォールはなし ISOライブラリ(CIFS) XenCenter 445 3260 iSCSIストレージ VM XenCenterではなく、コントロール ドメインへssh接続する場合のみ ポート開放しなくてもXenCenterか らVMの画面表示は可能 管理ネットワークからリモートデスク トップ、VNCで接続する場合のみ 管理ネットワーク ISOライブラリを利 用する場合のみ VMネットワークシステム構成 ～リソースプール/XenMotion～
▐
リソースプールの構成
1つのリソースプールは最大16サーバまで 16サーバを超えるXenServerを管理する場合は複数のリソースプールへ分けて管理 サーバ構成は共通化必須(ネットワーク、共有ストレージ) 異なるリソースプールから1つのストレージへ接続する場合はLUNを分けること▐
XenMotion
XenServerはリソースプールに参加 実行するには共有ストレージ必須 メンバーサーバ リソースプール XenCenter XenCenterからマスターサーバへ接 続すればリソースプール全てを監視 メンバーサーバ マスターサーバ リソースプール メンバーサーバ マスターサーバ リソースプール間の XenMotion丌可 異なるリソースプールから 1つのストレージへ接続す る場合はLUNを分けるシステム構成 ～XenCenter/xeコマンド～
▐
XenCenter
動作環境は以下を参照 http://www.nec.co.jp/pfsoft/xenserver/environment.html XenCenterは(一般的な管理ツールで必要な)DB丌要 ※XenServer構成管理DBはXenServer内に保存 XenCenter→XenServerの通信はポート443(https)を使用 1台のXenCenterで管理可能なXenServer台数に制限なし メモリ使用推移(目安) • XenCenter起動のみ約70MB • XenServer1台管理で約10MBプラス、VM数によって変化 1台のWindowsマシン上のXenCenterを多重起動は丌可(Windowsターミナルサービ スなどを利用した接続時は注意が必要)▐
xeコマンド
XenServerのコンソールで実行可能なコマンドをリモートマシンから実行可能 構成変更(VM作成、削除など)を伴うスクリプトを組む場合は注意が必要 Linux OS上にxeコマンド(rpmパッケージ)をインストール可能システム構成 ～時刻同期～
▐
時刻同期
XenServer上のゲストOSは時刻のズレが発生するため、NTPサーバと同期が必要 コントロールドメインは外部NTPサーバ、またはハードウェアクロック(非推奨)と同期 Windows VMはActive Directory(またはNTPサーバ)と同期
管理ネットワーク側から時刻同期する場合、セキュリティ面で注意が必要 Linux VMはコントロールドメインと同期 Windows ゲストOS コントロール ドメイン Linux ゲストOS NTPサーバ VM用ネットワーク 管理ネットワーク Active Directory 管理ネットワーク側NTPサー バへ接続する場合はセキュ リティ対策は必要 ハードウェアクロック による同期は非推奨 WindowsゲストOSの時刻同期 はActive Directory/NTPサー バをVMネットワークに設置
システム構成 ～その他関連サーバ～
▐
DNSサーバ
管理ネットワークにDNSサーバは必須ではない Active Directory連携時のみ必要▐
Active Directory連携
WindowsサーバのActive Directoryを使用したXenServerのユーザ管理※ XenServerホストをActive Directoryに参加させ、リソースプール単位でActive Directoryによるユーザ認証接続が可能 管理ネットワークにWindowsのActive Directoryサービス、DNSサーバを配置 Active Directory未使用時は単一のrootユーザ、パスワードによる管理▐
XenServerのネットワークインストール構成
大規模導入の場合はネットワークインストールが有効(通常はCDインストール) XenServerをインストールするサーバのNICはPXEブート可能なこと ※ コントロールドメインのアクセスユーザ管理 NFSサーバ (FTP/HTTPサーバも可) TFTPサーバ DHCPサーバ 管理ネットワーク 1台のマシンで共存可能 XenServer イン ストーラを配置 PXE設定 ファイルシステム構成 ～障害ポイント～
VM(業務用) ネットワーク XenCenter ESMPRO/ServerManager ２ ７ VM用ストレージ ５ １ ８ ６ No. 障害内容 VMへの影響 復旧方法 可用性対策 備考 １ 管理マシンの障害 支障なし 別のマシンへESMPRO/ServerManager、XenCenterをインストール XenCenterから管理丌可 ２ 管理ネットワークの 障害 支障なし －(お客様環境に依存) ネットワークパス の冗長化 XenCenterから管理、XenMotion丌 可、コンソールは利用可能 ３ CPU、メモリ縮退 VM稼動丌可 サーバリブートにより復旧可能か確認し、復旧丌可の場合、予備 サーバに再構築し、VMのバックアップイメージをリストア 共有ストレージ 構成 ディスク障害 VM稼動丌可 VMのバックアップイメージをリストア RAID構成 障害通報はEXPRESSSCOPEエンジ ン2必須 ４ XenServer管理NIC 障害 支障なし コンソールからVMを停止し、別のサーバからVM起動 ネットワークパス の冗長化 ５ XenServer障害 VM稼動丌可 別のサーバからVM起動 ６ FCパス障害 支障なし パス自動切換え iSCSIも同様 ７ FCスイッチ障害 支障なし パス自動切換え iSCSIも同様 ８ VMネットワーク障害 VM通信丌可 XenMotionにより別サーバでVM稼動 管理ネットワーク ３ ４ 注意：ハードウェア障害の検出はXenServer上にESMPRO/ServerAgentが必須 コンソール VMはローカル ディスク起動 VMはSANスト レージ起動 FC-SW EXPRESSSCOPEエンジン(BMC)▐
HA構成
管理ネットワーク通信、ストレージI/Oのアクセス障害によるフェールオーバ機能
XenServerはCitrix Essentials for XenServer, Enterprise Editionライセンスが必要 リソースプール環境であること
iSCSI、またはFC SAN上に356MB以上のLUNが1つ必要(ハートビート用) 管理ネットワークの冗長化、ストレージ用ネットワークの冗長化を強く推奨
VM VM
システム構成 ～HA～
Essentials for XenServer,Enterprise EditionLUN ハートビート用 ４ ５ ３ VMネットワーク 管理ネットワーク No. 障害内容 自動リカバリ １ CPU縮退 × ２ メモリ縮退 × ３ 管理用NIC障害 ○ ４ VM用NIC障害 × ５ ストレージ用NIC/HBA障害 ○ ６ ローカルディスク障害 × ７ サーバアクセス丌能障害 ○ ８ VM応答丌能 × ９ ＯＳ/アプリケーション障害 × RAID ６ VM コントロール ドメイン VM コントロール ドメイン １ ２ CPU メモリ LUN VM用 ８ ７ OS ｱﾌﾟﾘｹｰｼｮﾝ ９
