VMware vSphereを活用した
最適なインフラの設計、選択、実践のポイント
2010年12月9日
ヴイエムウェア株式会社
スペシャリストシステムズエンジニア
各務 茂雄
目次
• 仮想インフラからクラウドインフラへ
• インフラを支える2つのサービス
• CPUとメモリの設計ポイントとアーキテクチャ
• ストレージ
• 今後のVMwareとストレージのトレンド
• まとめ
© 2010 VMware, Inc. All rights reserved.
IT as a
Service
効率性の向上
管理性の向上
柔軟な選択肢の提供
VMwareが提供する仮想化の価値
© 2010 VMware, Inc. All rights reserved. Resource Pools
VMwareが目指すクラウドの形 サービスとしてのIT
仮想化されたデータセンタ –
•
仮想化され、サーバ、ストレージや
ネットワークリソースの共有プールが
作成され、仮想化されたデータセンタ
サービスが提供される
•
ポリシーベースで管理される
標準化されたサービスと自動化さ
れたサービス展開をサービスレベ
ルとして保証する
セルフサービスのアクセス。
計測できてモニターできて、課金状
況を確認できる
© 2010 VMware, Inc. All rights reserved.
コンピュータ
ファクトリー:
仮想インフラ管理者
サービスカタログの
管理:
プロダクト管理者
アプリケーションの
管理:
アプリ管理者
vApp
vApp
vApp
Resource Pools
Resource Pools
vSphere vSphere vSphere vSphere
vApp
• アプリケーションからのリ
ソースの要求がUp
CPUとメモリのホットアド
VMのサイズに合わせて
DRSがリバランスをする
VMwareが目指すクラウドの自動運用
ポリシーベースでアプリケーションのSLAをコントロール
カプセル化
•起動ディスクを含む、
仮想マシンの全て
の情報はファイルと
して格納
•ファイルの特性を活
かし、コピーで別の
ハードに移動可能
仮想化の価値を約束する為の特徴
ハードウェア非依存
•仮想マシンは、別のハード
ウェア上に移動させてもそ
のまま動作
分
割
•同一基盤上で複数OSを
同時に稼動可能
•仮想マシン間でハード
ウェアリソースを共有
© 2010 VMware, Inc. All rights reserved.
単一サーバの
効率利用
複数サーバを
プール化
お客様のニーズに応じた選択 : 仮想化からクラウドへ
“効率性の向上”
“管理性の向上”
“豊富な選択肢の提供”
仮想化
ハイパーバイザ
仮想化
ハイパーバイザ
仮想
インフラストラクチャ
仮想
インフラストラクチャ
“プライベート
クラウド”
“プライベート
クラウド”
“パブリック
クラウド”
“パブリック
クラウド”
“ハイブリッド
クラウド”
“ハイブリッド
クラウド”
柔軟、かつ信頼性の
高いオペレーション
迅速かつ透過的な
プロビジョニング
サービスとしての
IT/アプリケーション
© 2010 VMware, Inc. All rights reserved.
全体最適の観点で、仮想サービス基盤によって企業の物理インフラを標準化
仮想サービス基盤
1台の超大規模コンピュータ
仮想化を提供する複数の物理サーバを
リソースプールとしてグループ化
サーバ (CPU/メモリ) 、ストレージ、ネットワーク
全てを抽象化 = ユーザから隠蔽
企業のデータセンタのあらゆる物理リソースを抽象化し、量・場所・複雑性を隠蔽することによって、
仮想サービス基盤はプライベートなクラウドサービスとなる。
<社内クラウドとは>
量・場所・複雑性を隠蔽
個々のコンポーネントはユーザからは抽象化によって標準化されて見える
社内クラウド
© 2010 VMware, Inc. All rights reserved.
インフラを支える2つのサービス
アプリケーション開発者・提供者のインフラに対する期待
•
可用性、
セキュリティ、
パフォーマンス
の維持
インフラ管理者のHWに対する期待
•
簡単に、
パフォーマンス
良く、使える
•
CPU、メモリ、ディスク、ネットワーク
各デバイスを、効率よく使用し、
安定したインフラ構築するには
どうしたら良いのか?
各デバイスを、効率よく使用し、
安定したインフラ構築するには
どうしたら良いのか?
結論
VMware vSphere 4 を選択すると、
CPU・メモリの設計は楽で安心+あとはI/O
結論
VMware vSphere 4 を選択すると、
CPU・メモリの設計は楽で安心+あとはI/O
CPUとメモリ
パフォーマンス
•
最新のハードウェアを選択する
8コア、12コア
16GBメモリ
•
10VM/サーバは普通
さらに最適化されたCPUスケジューラー
メモリオーバーコミット
拡張性のある仮想マシン
•
リソース割り当ての優先度はシェア、リミット、予約で調整
ほとんどのケースはシェアで調整
•
Capacity Plannerで既存システムのサイジング
•
Capacity IQで導入後の仮想インフラを最適化
© 2010 VMware, Inc. All rights reserved.
CPU スケジューリングをさらに最適化
CPU の競合状態の課題
仮想マシンへのCPUの割り当て (scheduling) は
「公正性」と「効率性」のトレードオフの関係
De-Schedule されることによる待ち時間
VM Context Switch による遅延
vCPU Migration によるキャッシュヒット率の低下
VMM
物理CPU
EIP ESP Seg Regs CR4 GDTR IDTR EFLAGS LDTR TRVM-01
VM-02
VM-03
VM-04
VM-05
物理
CPU
VM-06
CPUあたりの統合率、SMP 仮想マシンの効率化
を大幅に向上
Further Relaxed co-scheduling
SMP 仮想マシンで仮想CPUをバラバラのタイミングでスケジューリング可能
Physical CPU Topology Aware Load-Balancing の強化
NUMA、マルチコア、Hyper threading の構造を把握
CPU Scheduler Cell 概念の破棄
SMP 仮想マシンの各仮想CPUのCache / メモリ bandwidth を最大化
VM-01
VM-02
NUMA
CR0 CR3CPU の競合による De-Schedule の発生
VM Context
Switch
http://www.vmware.com/resources/techresources/10059
© 2010 VMware, Inc. All rights reserved.
SMP VM / 複数 VM 統合のスケール率の高さ
物理CPU8コアに対して仮想CPU8コア
(リニアにスケールしている)
http://www.vmware.com/resources/techresources/10013 (Oracle)
http://www.vmware.com/resources/techresources/1056 (Web)
物理サーバのスケールアップに対して、
仮想CPU1個の仮想マシンを1台の物理サーバ
上でスケールアウトさせた方がスケールしている
Order Entry benchmark (Oracle 11g R1 / RHEL 5.1 64-bit)
© 2010 VMware, Inc. All rights reserved.
メモリのオーバーコミット
統合率を高めコスト削減効果を高める
最近では柔軟な運用の確保や、非計画ダウンタイム時のリ
ソース確保としても注目される
•
オーバーコミットを実現する技術
透過的ページシェアリング
バルーニング (ゲストOS の LRU と連携)
ハイパーバイザ・スワッピング
透過的ページシェアリング
メモリ・バルーニング
(例) 20台の仮想マシンに、計11GBのメモリを割り当てているが、
メモリの消費量は6.3GB のみ
メモリーオーバーコミットの性能への影響
バルーンドライバがゲストOSと連携
•
通常の範囲ではパフォーマンスへの影響は限定的
ページシェアリングはキャッシュヒット率を向上
Oracle/Swingbench によるバルーンの効果測定
http://www.vmware.com/resources/techresources/10062
バルーンを使用しない場合(緑)は、
オーバーコミット状態で急激に性能劣化。
バルーンを使用している場合、1.7GBまで
バルーンアウトされても性能を維持。
© 2010 VMware, Inc. All rights reserved.
メモリオーバーコミット
の利用状況
15 NO 43% YES 57%メモリのオーバーコミットしていますか?
どのような目的のサーバで
メモリのオーバーコミットを使用していますか?
Average = 1.80
N=107© 2010 VMware, Inc. All rights reserved.
メモリオーバーコミット
は「本番で」使われる機能
16
•
16-core IBM x3850 M2
•
64GB physical RAM
•
178 active WinXP 512MB VDI VMs
89GB allocated
19GB consumed
1.4倍の統合率
© 2010 VMware, Inc. All rights reserved.
Memory Compression
ハイパーバイザ
ゲスト
OS
バルーニングだけでは不十分な場合でもスワッピングの発生を回避
メモリの
Decompressionは約20usとディスクアクセスより圧倒的に高速
圧縮率
50%を切るページはCompressionの対象外としてスワップアウト
仮想マシンごとに有効・無効を指定可能
バルーニング CompressionCPUとメモリ
可用性
•
信頼のあるサーバを選択
デバイスの2重化ができるサーバを選択
HWのRAS機能等を使用
•
信頼性を多少犠牲にして、クラスタ化で対応する
ストレージ編にて説明
© 2010 VMware, Inc. All rights reserved.
ネットワーク
パフォーマンス
•
10Gbを選択
•
物理結線に依存しない、低遅延で、柔軟に分割できる仮想化されたネットワーク
デバイス を使用
•
マルチプロトコル対応も視野に入れる
•
ロードバランス
•
QoSの保持
可用性
•
NIC Teaming
•
ネットワークトポロジの冗長化
© 2010 VMware, Inc. All rights reserved.
vNetwork
Distributed Switch (vDS)
データセンタの仮想ネットワークを統合
設定 / 変更の簡素化
監視機能の充実
ポート単位の統計情報
アラーム、権限割り当て
物理スイッチに匹敵する高度な機能
セキュリティ、QoS
サード パーティ製品による透過的な仮想環
境管理を実現
vSwitch vSwitch vSwitch
vNetwork Distributed Switch
9
vCenterで一括管理
9
全ESXをまたいで設定が
可能
9
全体の接続構成をGUI
で確認可能
© 2010 VMware, Inc. All rights reserved.
ESX
ハイブリッドデザインを使用したネットワーク構成
ハイブリッド vDS
•
物理NICを4ポート以上用意
•
COSおよびVMkernel用のvSSと、
仮想マシン用のvDSをそれぞれ作成
•
物理NICは2枚ずつ仮想スイッチに
割り当て
•
仮想マシンについてはネットワーク
vMotionの恩恵を享受
•
FTやiSCSI / NFS 通信等の要件も
別途考慮
APP
OS
APP
OS
APP
OS
VMke rn elSC
物理スイッチ
vSS
vDS
dvUplink
dvPortGroup
vDS を使わないポート
•
COS、VMkernel ポート
•
内部スイッチ
vDSでのCOS、VMkernelポートを必ずしもお勧めしない理由
•
これらのポートはネットワーク vMotionのメリットを受けることがない
•
いずれにしてもESX毎にIPアドレスを指定するなど個別設定が必要
•
COSは必ず最初はvSSに接続されている
•
管理ネットワークの瞬断などリスクがある(設定移行時)
•
ウィザードでのvSSからの一括移行ができないため、ESXごとの作業が必要
•
dvPGを作ってからポートを作るので二度手間
ハイブリッド vDS での vDS と vSS の使い分けの考え方
vDSにPhysical AdapterなしでESXを登録する際には警告がでる
© 2010 VMware, Inc. All rights reserved.
既存のネットワークベストプラクティスの踏襲
23ネットワーク構成の自由度確保
各種機能用ネットワーク
冗長性の確保
•NICチーミング
セキュリティと運用性
VS
W
VS
W
S C物理NICの構成は冗長
化をするため、チーミング
構成にすることを推奨
•管理ポートを独立
サービスコンソールや
Vmkernelポートなど管理
用の通信をつかさどるポート
はセキュリティ上、独立させ
ることを推奨
•VLAN構成
物理構成の変更を伴わ
ずに、ネットワークを構成
するにはVLANを利用
することで構成の自由度
を確保することができる
•vMotion用ネットワーク
専用のGigabit Ethernet
を割当て、VM ネットワークと
別セグメントでの構成する
ことを推奨
© 2010 VMware, Inc. All rights reserved.
•
一部のトラフィック タイプ専用の NIC
(vMotion、IP ストレージなど)
•
専用の物理 NIC によって保証された
帯域幅
ネットワーク トラフィック管理: 10 GigE の登場
FT vMotion NFSvSwitch
TCP/IP
iSCSI1 GigE 物理 NIC
FT vMotion NFSvSwitch
TCP/IP
iSCSI10 GigE 物理 NIC
1 GigE
10 GigE
• 2 つの 10 GigE NIC に集約した典型的
なトラフィック
• 一部のトラフィック タイプおよびフロー
が、オーバーサブスクリプションによって
ほかに影響を及ぼす可能性がある
トラフィック タイプが
競合。
どれが vmnic をどの
程度使用するか。
トラフィック タイプが
競合。
どれが vmnic をどの
程度使用するか。
© 2010 VMware, Inc. All rights reserved.
Network I/O Control
6つのネットワークリソースプールにシェア値と制限(Mbps)を指定
•
シェアは物理NIC、リミットはチーミング単位で制御される
•
シェアは物理NICの帯域幅が飽和した場合のみ考慮される
•
制御は送出トラフィックに対してのみ
10GE搭載サーバなどポート数が少ない環境でパフォーマンスを保護
Ent Plus
分散仮想スイッチ必須
LBT (Load Based Teaming)
概要
物理
NIC負荷をベースとした新しいチーミング負荷分散アルゴリズム
負荷に応じてにポート
IDと物理NICの関連付けを更新し平準化
物理スイッチにリンクアグリゲーションの設定不要
10GEと1GEといった異なるリンク速度の物理NICも考慮
ESX APP OS APP OS C O S APP OS 分散仮想スイッチEnt Plus
分散仮想スイッチのポートグループで指定
© 2010 VMware, Inc. All rights reserved.
vShield Zone 4.1
概要
ハイパーバイザ上で
L2~L4でのファイヤーウォールを実現
vShieldはdvfilterを利用してブリッジのように動作 (仮想マシンに透過的)
vShield Edge4.1はESX4.0 Update1 以降で利用可能
Advanced
vShield Manager 4.1を仮想アプライアンスとしてインポート
データセンタ単位でファイヤーウォールルールを定義
© 2010 VMware, Inc. All rights reserved.
ストレージ
パフォーマンスのボトルネックはどこで発生するか
•
CPU?メモリ?ネットワーク? ディスク?
•
DBサーバ?Appサーバ、Webサーバ、クライアント?
多くの場合 ストレージ
障害発生時に一番クリティカルな場所は
•
CPU?メモリ?ネットワーク? ディスク?
•
サーバ? ネットワーク?ストレージ?
多くの場合 ストレージ
インフラの可用性を維持するクラスタに必要な仕組みは
•
CPU、メモリ:一般的にはクラスタ技術を活用
•
ネットワーク、ディスク:アクセスパスの二重化、RAID
共有ストレージが重要
多くのお客様が
仮想化時に
ストレージへ投資します
© 2010 VMware, Inc. All rights reserved.
95%のサーバ
の稼働実態*
ピーク時100未満
2.4Mbps未満
ピーク時4GB未満
1~2 CPU
* Source: VMware Capacity Planner assessments
ESX4.1
が
提供可能なVMの
スペック
<350,000 I/O秒30Gbps
255 GB
8way-vCPUs
ESX3.5が
提供可能なVMの
スペック
100,000 I/O秒9Gbps
64GB
4way-vCPUs
アプ
リケーション
の
割
合
(%)
アプリケーションのパフォーマンス要件
CPU
メモリ
ネットワーク
ディスクI/O
これを実現するに
はディスクが3000
本規模で必要
アプリケーション要件を超える処理能力を提供
パフォーマンス
ESX4.1:仮想マシンのスケーラビリティ向上
CPU数を増加させた場合、物理環境と遜色無くスケーリング
•
8,900トランザクション/秒、60,000 I/OPSの負荷をOracleで検証
これを実現するに
はディスクが400本
規模で必要
パフォーマンス
© 2010 VMware, Inc. All rights reserved.
ESX 4.1: 圧倒的なパフォーマンス(例えるとこれくらい)
5
倍
グローバルの支払い
処理のトラフィック
パフォーマンス
© 2010 VMware, Inc. All rights reserved.
Storage I/O Control
概要
データストアの観点で仮想ディスクのシェアに基づくスループットの制御
平均レイテンシが閾値を超えると制御を開始
(デフォルト30ms)
仮想ディスクごとに
iopsの上限値の指定も可能 (
Ent Plusライセンス不要
)
© 2010 VMware, Inc. All rights reserved.
VAAI (vStorage API for Array Integration)
概要
対応しているストレージであれば
ESXの処理をオフロード
Full Copy/Block Zeroing/Hardware-Assisted Locking
効果が期待される処理
Storage vMotion / クローン /
eagerzeroed thickディスクの作成
など
ESXの詳細設定で個別に有効・無効を指定可
DataMover.HardwareAcceleratedMove
DataMover.HardwareAcceleratedInit
VMFS3.HarwareAccelerated Locking
※アレイが有効化されたオフロードに対応して
いない場合は従来の処理を実施する
※ 同一アレイ上でのみ有効
※ vSphere 4.1ではVMFSのみでサポート
例: Storage vMotionでのFull Copyの効果
Enterprise
Performance Chartの機能拡張
概要
新たな項目を追加し、より広範なパフォーマンス情報を表示
(履歴なし)
ストレージパス、ストレージアダプタ、データストア、仮想ディスク、電源
データストアはストレージのアーキテクチャおよびプロトコルに非依存
(NFSも)
例:パス毎の発行コマンドでパス分散の状況を把握
© 2010 VMware, Inc. All rights reserved.
① エクスポート
② バックアップエージェント
③ イメージングツール
④ アレイベースのバックアップ
⑤ VMware Consolidated
Backup (VCB) or vDAP
⑥ VMware
Data Recovery
仮想環境におけるバックアップ
データ保護
© 2010 VMware, Inc. All rights reserved.
vStorage API for Data Protectionの主な機能
1. Changed Block Tracking(変更ブロックトラッキング)
仮想ディスクの変更されたブロックをトラッキング
次回のバックアップ時には、変更ブロックしかバックアップしない
フルイメージバックアップの増分バックアップが可能
2. VMware ディスク Mount
フルイメージバックアップした仮想ディスクからファイルレベルリストア
Windows/LinuxのOSに対応
3. Advanced transport for SAN and HotAdd
フルイメージバックアップの際に、SANもしくはHotAdd経由でダイレクトファイル転送が可能
© 2010 VMware, Inc. All rights reserved.
データ保護のための vStorage API
SAN ストレージ
バックアップ
プロキシ サーバ
統合された
データ移行機能
スナップショット
バックアップ
アプリケーション
データ保護のための
vStorage API
物理サーバまたは仮想マシン
(Windows または Linux)
マウント
データ保護
OS APPVMware Data Recovery(vDR)の動作
エージェントを使用しない、ディスク ベースで
の仮想マシンのバックアップおよびリカバリ
仮想マシンまたはファイル レベルのリストア
増分バックアップおよびデータ
デデュープ (重複排除) によるディスク使用
領域の削減
仮想マシンの迅速、シンプルで、かつ完全な
データ保護
vCenter サーバ を使用した統合管理
費用対効果に優れたストレージ管理
デデュープされた
ストレージ
ESX
OS APP OS APPデータ保護
© 2010 VMware, Inc. All rights reserved.
Primary Site Recovery Site VC サーバ SRM サーバ VC サーバ SRM サーバ VMware vSphere VMware vSphere SAN iSCSI SAN iSCSI Array Base ReplicatI/On Primary ストレージ Remote ストレージ
Site Recovery Managerでリーズナブルな災害対策
データ保護
© 2010 VMware, Inc. All rights reserved.
クラスタ機能
可用性を上げるクラスタ機能に共有ストレージが必要
•
vMotion
•
VMware HA
•
VMware FT
データセンタの効率運用をするには共有ストレージが必要
•
VMware DRS
•
VMware DPM
SLAにあわせたストレージの選択
•
Storage vMotion
可用性向上
© 2010 VMware, Inc. All rights reserved.
計画停止の削減: vMotion と Storage vMotion
サービスを止めないハードウェアメンテナンスが可能に
IT 管理工数の大幅削減、エンドユーザ SLA の向上
いずれも VC から GUI 操作、あるいはスケジュール実行が可能
vMotion
… サーバの無停止メンテナンス
Storage vMotion
… ストレージの無停止メンテナンス
可用性向上
vMotion の機能強化
•
移行全体にかかる時間を大幅に短縮 (時間はワークロードに応じて変化)
•
同時に実行できる vMotion の数が増加:
ESX ホスト: 1 Gbps ネットワークで 4 台、10 Gbps ネットワークで 8 台
データストア: 128 (VMFS と NFS の両方で)
•
これらの機能強化により、メンテナンス モードの退避時間を大幅に短縮
新機能!
© 2010 VMware, Inc. All rights reserved.
非計画停止の削減: VMware HA / FT
VMware HA
(High Availability)
障害発生時に仮想マシンを別ホストで
再起動
ESX と仮想マシンの障害を監視
クラスタソフトの複雑性とコストを排除
約 40% のお客様が HA を利用
VMware FT
(Fault Tolerance)
異なるホストに仮想マシンを常時“同期”
障害発生時に
無停止・ノーデータロスで
仮想マシンを切り替え
HA と組み合わせることでサービスレベル
に応じた高可用性を提供
App OS App OS App OSX
X
App OS App OS App OS App OSX
VMware ESX
VMware ESX
FT
FT
HA
HA
HA
HA
可用性向上
© 2010 VMware, Inc. All rights reserved.
効率的な運用: VMware DRS / DPM
VMware DRS
(Distributed Resource Scheduler)
サーバの負荷状態を検知し、
ロードバランスを実行
5段階のスロットル調整が可能
管理モデルに合わせ、手動、半自動、
全自動 の選択が可能
VMware DPM
(Distributed Power Management)
夜間等、待機時間における消費電力を抑制
WoL / iLO / IPMI をサポート
クラスタ
クラスタ
いずれも仮想マシンは
無停止
(バックグラウンドで vMotion を使用)
いずれも仮想マシンは
無停止
(バックグラウンドで vMotion を使用)
パフォーマンス
© 2010 VMware, Inc. All rights reserved.
DRS Host Affinity
OS APPサーバ A
サーバ A
サーバ B
サーバ B
4 台のホストを使用した DRS / HA クラスタ
OS APP OS APP OS APP OS APPA
B
A
A
B
仮想マシン A D サーバ A のみ
仮想マシン B D サーバ B のみ
概要
ルールに基づいてクラスタ内で仮想マシンが起動/移行するホストを限定
パフォーマンスやライセンスの要件に応じて起動する
ESXホストを調整
クラスタのサイロ化を回避
Enterprise
厳密性について2段階で指定可能
VMware HAと手動VMotionについても制御
VMware HA Application Monitoring
アプリケーション監視
•
vSphereでステータス
•
アプリケーション障害を検知
協調的なアプリケーション障害復旧
•
アプリケーションの再起動
•
さらなる復旧のためにVMware HAをトリガー
•
App Monitoring APIによる連携
様々な障害に対応
•
物理障害・ゲストOS障害
•
アプリケーション停止
•
アプリケーションが誤動作
VM1
OS
VM2
OS
VM1
OS
VM2
OS
VMware ESX VMware ESX Application HA Application HA ApplicationHA Application HA SQL ORA ORA SQL VMware HA
VMware HA VMware HAVMware HA
© 2010 VMware, Inc. All rights reserved.
今後のVMwareとストレージのトレンド
• より密にストレージと連携
°
APIでHWと連携
• ポリシーベースのストレージ
°
SLAに応じた自動的な配置の調整
°
分散I/Oをディスク、コントローラ、I/Oパス、ボリュームなど様々なレイヤで実現
• HWの効率的利用
°
HBA(ネットワーク、ストレージ)を直接VMにマウント
°
準仮想化デバイス
• I/OのSLAを確保
°
I/OベースのDRS
°
VMに対するI/Oをコントロール
• クラスタファイルシステムの改良
°
より多くの仮想マシンをホストできるファイルシステムに
© 2010 VMware, Inc. All rights reserved.
プライベートクラウド・ミッションクリティカルシステムの仮想化へのロードマップ
課題
•
IOの集中対策
•
全体的なリソース管理
•
可用性向上
•
ユーザにとってよりオンデマンド
等々色々ありますが。。。
「広範囲のセキュリティ対策について」
•
防止、発見、監査、修正
•
ハイパーバイザー、ゲストOS、ネットワーク
•
マルウェア、不正アクセス、なりすまし
複数のポイントでマトリックスで見る必要がある。
© 2010 VMware, Inc. All rights reserved.