Windows Server 2012
の
ストレージ強化と
エンタープライズへの活用
小川 大地
Microsoft MVP for Virtual Machine
日本ヒューレット・パッカード
2
自己紹介
•
氏名： 小川 大地 （Daichi Ogawa）
•
仕事： サーバー・テクノロジーの啓蒙と、システム設計・実提案
（今日は Hyper-V の MVP として呼ばれたので、会社は無関係です）
•
Blog
： 仮想化でプリセールスしてる SE の一日
http://d.hatena.ne.jp/ogawad/
本セッションのキーポイント
Storage
•
Windows Server 2012 ストレージ周りの新機能
Hardware
•
最新のハードウェア・テクノロジーで実現する WS2012 の新機能
Enterprise
•
WS2012 や Hyper-V の最新技術をエンタープライズ分野でどう使っていくか？
サービス
ファイルシステム
ファイルシステム
サービス
4
Windows Server 2012
の主なストレージ新技術
記憶域プール -
Storage Spaces
複数の LUN を組み合わせて “巨大なディスク” として利用
ローカルディスク
（HDD / SSD） （FC / iSCSI / Shared SAS） SAN ストレージ （HDD / SSD） USB ドライブ
複数の LUN を組み合わせて
”巨大なディスク” として利用
2 TB
10 TB
500 GB
マウントされた VHD / VHDX ファイル
記憶域プール -
Storage Spaces
6主な機能 ①
LVM
と同様な三層管理
•
物理ディスク / プール / 仮想ディスク
基本概念は LVM と同じ
プール化
物理ディスク (LUN) 記憶域プール (Storage Pool) 仮想ディスク (Storage Spaces) ≒ LV ≒ VG ≒ PV≒
VG
≒
LV
≒
PV
記憶域プール -
Storage Spaces
主な機能 ②
RAID
•
Simple … RAID 0
相当
•
Parity
… RAID 5
相当
•
Mirror … 2-way
（ディスク 2 本以上で構成可能）… 3-way
（ディスク 5 本以上で構成可能）冗長化
Thin Provisioning
•
固定
…
シック・プロビジョニング
•
最小限 … シン・プロビジョニング
• シンプロビジョニング は T10 UNMAP (Trim) にも対応シンプロビジョニング
LUN Size 100TB ? 実際の消費量だけ 物理ディスクを確保できれば良い記憶域プール -
Storage Spaces
8主な機能 ③
物理ディスクのオンライン増設・削除
•
コストを抑えた初期導入
を実現
•
10TB
割り当てておきたいけど、コストが足りない…
→ シンプロビジョニングを活用し、 本当に足りなくなったら、都度増設すれば良いその他の特徴
Windows 2000
ダイナミックディスクとの違い
• シンプロビジョニング や ディスク増設/削除 が可能 • カーネルモードのミニポートドライバで動作（spaceport.sys） • 割り振ったディスクは 「LUN」 として OS から扱える • ファイルシステムの種類や機能を制限しない4 TB
6 TB
2 TB互換性など
• LUN レイヤであるためファイルシステムに一切制限を与えない • SAN の LUN であればクラスタディスクにも対応（CSV含む） • 4KiB セクタ HDD は、ネイティブ / RMW の両方に対応記憶域プール - Storage Spaces
どんなシーンで活用できるか？
退役 PC の HDD を利用した大容量ドライブ
BOX
型簡易 NAS からの卒業
ファイルシステム
ディスク
ディスク
サービス
サービス
10
NTFS
の新機能
① ディスクをアンマウントして CHKDSK はもう不要
WS2012
では オンライン破損スキャンと自己修復が強化。
破損ファイルの修復 (spotfix) は通常 1 秒以内で処理できるほか
処理時にボリュームの全スキャンが掛からないため、ファイル数にも
依存しない。
従来、ファイルシステム上で自己修復できない破損ファイルが
あった場合は、「CHKDSK /X」 によるボリュームのアンマウントと
全スキャンが必要。
このため、破損ボリューム上のファイル数次第では、
非常に長時間のダウンタイムを強いられた…
0 50 100 150 200 250 300 350 100 Million Files 200 Million Files 300 Million Files M inut es Windows Server 2008 R2 Windows Server 2012ファイルシステム修復に要するダウンタイム
Microsoft 社資料よりNTFS
の新機能
② データ重複除去
ファイルデータを可変サイズの “チャンク” に分割管理 定期的に重複チャンクを統合（場合によっては圧縮も）して、ディスク容量を削減待望の “ブロックレベル” 重複排除
•
本格的な NAS ストレージと同様に
チャンク
単位で重複排除
•
従来の SIS や NTFS 圧縮に比べて容量効率が良く、
性能へのインパクトも少ない
•
統合により削除された領域は
T10 UNMAP
に対応
データ重複除去の削減効果（例）一般的な文書共有用途では
50%
の容量削減を期待できる
12NTFS
の新機能
② データ重複除去
設定画面
重複排除は一定期間経過したファイルが対象
拡張子指定による対象外ファイルも設定可能
業務影響を抑えるためにアイドル時のみ実施
休日や夜間は処理優先度を上げることも可能
ReFS -
Resilient File System
次世代ファイルシステム
ReFS -
Resilient File System
主な機能 ①
NTFS
の欠点
•
書換方式なため、ファイル上書きでデータ消失の危険性
ReFS
の場合
•
切替方式なため、障害時もデータ消失のリスクは無い
サーバー障害発生！ 上書き中のファイル （書き換え方式） 中途半端な破損ファイル でコピー前のデータすら 読み出せない 新しいデータを書き込み中 古いデータはそのまま待機 古いデータ領域には 非利用フラグが立てられる 新しいデータに切り替えファイル整合性ストリーム *
* データベースなど、格納アドレスを意識するアプリケーションのために無効化することも可能ReFS -
Resilient File System
16主な機能 ②
記憶域プールとの連携
•
ミラーボリュームを利用して、
ファイルシステムの論理破損ブロックを自動修復
オンライン破損スキャンと自動修復
• オンライン破損スキャンと自動修復は ReFS にも対応 • 「CHKDSK /X」 なしで破損データをオンライン除去 ファイルシステム的に 不正な領域を ブロック単位で自動修復データの自動修復 と 互換性
破損ブロック 正常ブロック既存機能との互換性
• 次ページを除く NTFS 機能と Win32 API のサポート • NTFS と同等以上のスケーラビリティと性能 • WSFC クラスタボリューム対応（CSV は非対応） • VSS, ブロックレベル暗号化（BitLocker）サポート ミラーモードReFS -
Resilient File System
パフォーマンス
NTFS (64KB)
NTFS
と ReFS の性能比較（簡易版）
ReFS (64KB*)
*ReFS のアロケーションユニットは 64KB のみ 512 KB は ReFS の方が得意？ReFS -
Resilient File System
18制約事項
サポートされない機能
サーバーのデータドライブのみの対応
• ブートドライブ （Cドライブ）は非対応 • USB フラッシュなどの 「リムーバブルディスク」 は非対応 • Windows 8（次期デスクトップOS）には搭載されないCSV
（クラスタ共有ボリューム）は非サポート
•
CSV
は NTFS のみのサポートなので注意
NTFS
にあって ReFS に無い機能
• 名前付きストリーム、オブジェクト ID、短い名前 • 圧縮、ファイルレベル暗号化（EFS）、拡張属性、スパース • ユーザーデータトランザクション、ハード リンク、クォータ • データ重複除去* * WS2012 からの新機能ReFS -
Resilient File System
どんなシーンで活用できるか？
機能重視なら NTFS, 堅牢性なら ReFS
NTFS
と ReFS で性能差はほとんど無い
ファイルシステム
ディスク
ディスク
ファイルシステム
20
Windows Server 2012
の主なストレージ新技術
ファイルサービス
レイヤのおさらい
記憶域
プール
RAID Thick ThinNTFS
ReFS
オンライン破損スキャン と 自己修復 重複除去 CSVv2 整合性iSCSI
NFS 4.1
SMB 3.0
WSFC フェイルオーバークラスター
サービス
ファイルシステム
ディスク
iSCSI
と NFS
22
汎用性の高い本格ストレージとして
「iSCSI Software Target」 を統合
•
サーバーマネージャーと GUI 統合し、シームレスな管理
iSCSI
（ブロック・ストレージ）
本格的な SAN ストレージを実現
•
下位レイヤの技術との併用で本格的なストレージに
• 記憶域プール（RAID, Thin Provisioning） • 重複排除、WSFC クラスタ対応
•
差分ディスク機能
• iPXE 対応 ディスクレス・ ネットブートソリューション • 1 GbE で 60 台に対応 • 10 GbE の場合、 256 台の初期デプロイを 34 分で完了* * Microsoft 社資料よりiSCSI
と NFS
汎用性の高い本格ストレージとして
NFS 4.1
に対応
•
同じ領域への
SMB 3.0 / NFS 4.1
同時アクセスも可能
•
Kerberos v5
•
VSS
スナップショット
•
RFC-2307
準拠
ID
マッピング
NFS 4.1
（ネットワーク・ストレージ）
本格的な NAS ストレージを実現
•
下位レイヤの技術との併用で本格的なストレージに
• 記憶域プール（RAID, Thin Provisioning） • 重複排除、WSFC クラスタ対応
SMB 3.0
24ファイル共有に最適化された SMB/CIFS は着実に進化
SMB 1.0
1990 年代
2006 年
SMB 2.0
• パイプライン機構による パケット通信量の削減 • バッファサイズの拡大 • スケーラビリティの向上 • 切断時の透過的再接続 • シンボリックリンク2009 年
SMB 2.1
• 動的キャッシュの改善 • MTU サイズの拡大 （最大 64KB → 1MB） • 切断時のセッション保持 • スリープモード対応 • SMB 1.0 と比較して 3 倍以上の性能向上* * http://www.atmarkit.co.jp/ad/ms/1102windowsnas/1102windowsnas.html2012 年
SMB 3.0
• SMB Transparent Failover • SMB Multichannel • SMB Direct• VSS Agent for SMB Storage • デフォルト MTU を 1MB に拡大
SOFS -
Scale-Out File Servers
SMB 3.0
と WSFC の強化で実現する スケールアウト型ファイルサーバー
CSV v2 SOFS WSFC WSFC WSFC Hyper-V MSSQLSMB 3.0
SANSOFS -
Scale-Out File Servers
26
汎用ファイルサーバー と スケールアウト・ファイルサーバー の比較（併用可能）
汎用ファイルサーバー
スケールアウト・ファイルサーバー（SOFS）
サポート Windows Windows NT 4.0 Server ～ Windows Server 2012 ～ サポート・ボリューム クラスタ切替ディスク クラスタ共有ボリューム（CSV v2） サポート・ファイルシステム NTFS, ReFS NTFS サービス・プロトコル SMB / NFS（下位互換あり） SMB 3.0 のみ NTFS 重複除去 DFS レプリケーション ファイルサーバーリソースマネージャー ○ × アクセス・モード Active-Passive Active-Active シングル・ネームスペース DFS-N（名前空間） DNN（分散ネットワーク名） ノード障害時のダウンタイム 数十秒 ほぼ一瞬
SOFS -
Scale-Out File Servers
SOFS
は Active-Active 動作
Active-Active
を実現する新技術
CSV v2
（クラスタ共有ボリューム）
• 性能強化 • 仮想マシンの生成の向上 • ファイルコピーのパフォーマンスの向上 • Read キャッシュ機構を実装（512MB までテスト済み） • インタコネクトに SMB Direct, SMB Multichannel をサポート • 互換性強化 • コーディネータ・ノード以外からの VSS スナップショット • マルチサブネット対応による、マルチサイト・クラスタリング • 独自フィルタドライバを持つバックアップ・アンチウィルス製品に対応 • BitLocker サポート • CSV → 通常ディスクへの移行が可能にDNN
（分散ネットワーク名）
•
DFS-N
に代わる新しいシングルネーム・スペース
•
仮想 IP アドレス不要
•
全ノードの 物理 IP アドレスを DNS に登録
SOFS -
Scale-Out File Servers
28
アプリからは UNC パスで指定
Windows Server 2012 Hyper-V
の場合
•
仮想マシンを DNN 配下の UNC パスに格納
アプリ側での設定
Microsoft SQL Server 2012
の場合
SOFS -
Scale-Out File Servers
なぜ、SOFS サーバーを間に挟むの？ SAN ストレージに直接アクセスした方が効率的なのでは？
WSFC WSFC
Hyper-V MSSQL
SAN
(FC, iSCSI, Shared SAS)
CSV v2
OR
CSV v2 SOFS WSFC WSFC WSFC Hyper-V MSSQLSMB 3.0
SANSOFS -
Scale-Out File Servers
30SMB 3.0
対応アプリケーション専用
性能の目安: FC > SOFS > iSCSI
大容量 MTU（1MB）で効率の良い転送
安価なサーバーメモリでキャッシュ効果
サーバーとストレージの管理分解点を明確に
CSV v2 SOFS WSFC WSFC WSFC Hyper-V MSSQL SMB 3.0 SAN(FC, iSCSI, Shared SAS)
SOFS
の性能強化オプション
SMB 3.0
その他の新機能
SMB Direct
ダイレクトメモリアクセス
•
HPC
などで使われる
RDMA*
上で SMB パケットを転送
•
オーバーヘッドの大きい
TCP/IP
を介さない
•
レイテンシ（遅延）と
CPU
負荷を大幅削減
* Remote Direct Memory Access
必要な機材
•
Infiniband HCA
•
RoCE (RDMA over Converged Ethernet)
•
iWARP
特に Infiniband は 10GbE より高性能
スループット スイッチング遅延
10GbE Ethernet 10 Gbps 1.5 ~ 2.0 msec Infiniband (QDR) 32 Gbps 0.10 msec Infiniband (FDR) 56 Gbps 0.17 msec
SOFS
の性能強化オプション
32
SMB 3.0
その他の新機能
SMB Direct
RDMA
の圧倒的パフォーマンス
出典: http://smb3.info（Windows Server 12 Beta での測定結果）ローカル接続時の性能を引き出しながら
サーバーに CPU 負荷は掛けない
スループット
GB/sec IOPS 512KB CPU負荷 Privileged
10GbE (10 Gbps) 1.1 GB/sec 2,259 < 9.8 % RDMA (IB QDR, 32 Gbps) 3.8 GB/sec 7,508 < 3.5 % RDMA (IB FDR, 54 Gbps) 5.8 GB/sec 11,565 < 4.8 % Local (PCIe Direct) 5.8 GB/sec 11,616 < 6.6 %
SOFS
の性能強化オプション
SMB 3.0
その他の新機能
SMB Direct
Infiniband
は速いのに安い！
SMB Multichannel
•
複数のネットワーク・セグメントを使ってスループットを向上
•
NIC Teaming
で帯域増強できないケースで有効
SMB Multichannel
FibreChannel 16Gb
Ethernet 10GbE
Infiniband FDR
10 Gbps × 24 ポート 200~250 万円 16Gbps × 24 ポート 200~250 万円56 Gbps
×36 ポート
200~250 万円サーバーで作れる “ユニファイド・ストレージ”
34iSCSI / NFS / SMB / SOFS
を同時にホスト（WSFC クラスタリング対応）
マルチプロトコル
iSCSI / NFS / SMB / SOFS
クラスタリング
SMB シングルネームスペース対応重複排除
シン・プロビジョニング
記憶域プール併用時Windows Server
“ユニファイド・ストレージ” の具現化
WS2012 + Shared SAS
をキーとする “ユニファイド・ストレージ” が登場（予定）
Cluster-in-a-Box
Server Enclosure Additional JBODs … 1/10G Ethernet cluster connect x8 PCIe x4 SAS External JBOD B ports A ports SAS Expander SAS Expander 23 … 1 0 23 … 1 0 Expander SAS Storage Controller CPU SAS Expander Storage Controller CPU Server A Server B Infiniband or 10GbE Infinibandor 10GbE 「Tech・Ed North America」 では各社が対
HP X5000 G2
（現行製品は WSS2008R2 ベース）
性能に興味がある方は
「X5000 パフォーマンス」 で
ODX -
Offloaded Data Transfer
36ファイルコピー処理をストレージにオフロード
従来
ODX
の動作イメージ
ODX
ベネフィット
•
コピーによる、サーバー負荷がゼロに
•
コピーによる、パスの負荷もゼロに
•
夜を待たずに VM クローンができる
•
1GbE
環境では特に効果的
サーバーはストレージに コピー命令を送るだけ要件
•
ODX
対応ストレージ*
•
ODX API
に対応したアプリケーション
ODX 対応ストレージ * T10 XCOPY に対応していれば ストレージ側の対応は容易ODX -
Offloaded Data Transfer
ファイルコピー処理をストレージにオフロード
ODX
と同様に T10/XCOPY を実装している
VMware VAAI
での効果
ODX
の効果
米 Dell EqualLogic の
ベータファームウェアによるレポート
•
削減効果
• CPU 負荷: 36 % 削減 • ネットワーク負荷: 99 % 削減 • コピー時間: 1/3 に削減 • コピー速度: 2.4 倍に向上 • http://en.community.dell.com/techcenter/ b/techcenter/archive/2012/04/27/offloade d-data-transfer-in-microsoft-174-windows-server-174-2012-beta.aspx通常のクローン 34 分 52 秒
T10/XCOPY
2 分 14 秒
日本 HP によるテスト（HP P4500G2 SAS/1GbE iSCSI 環境にて、業務中における 50GB 仮想マシンのクローン所要時間）Synthetic FibreChannel
38FC-SAN
ストレージでも Hyper-V のゲスト間で WSFC（ゲストクラスタ）を構成可能に
NPIV* NPIV 対応 FC-SAN Switch Hyper-V ホスト ゲスト OS （WS2008 以降） Synthetic 対応 FC-HBANPIV
技術を利用
• ゲストの仮想 FC-HBA に専用の WWN が割り振られる • FC-SAN 導入規模で求められる、アプリのクラスタリングや FC テープ接続がゲストでも可能に！ • WSFC と Live Migration の併用が可能！• 「HP Virtual Connect」 のような、既存の NPIV 技術との併用も可能（Nested NPIV） • FCoE CNA の NPAR 分割技術とも併用可能
* NPIV = N_Port ID Virtualization
WWPN: 5000:A0…3A 5000:A0…3B WWPN: C003:FF…01 C003:FF…02
Hyper-V
ホストから ゲストOS のサービス監視
バックアップ関連の強化
40VSS
連携によるシームレス・バックアップから BCP を考えたクラウド対応まで
SMB
ファイル共有 VSS エージェント
• アプリサーバーからリモート SMB ストレージに VSS を指示Hyper-V Replica
• Hyper-V のゲスト OS は別拠点に簡単にコピーが可能クラウドサービスへバックアップ
• Windows Server Backup (WSB) は クラウドサービスへ バックアップ可能に • Microsoft Online Backup Service が 現在ベータテスト中リモートの SMB ストレージと VSS 連携
災害対策も可能なサイト間バックアップ
Follow Up!
このあとのハッピーアワーで WS2012 の実機を展示します
•
NTFS vs. ReFS
•
Synthetic FibreChannel
•
SR-IOV
•
10GbE
•
Enterprise SSD
HP ProLiant DL380p Gen8
42
まとめ
記憶域
プール
シンプロ
ビジョニング
T10
UNMAP
オンライン
破損
スキャン
重複除去
ReFS
NFS 4.1
iSCSI
Target
SMB 3.0
SOFS
CSV v2
RDMA
ODX
Synthetic
FC
Backup
44
