Microsoft PowerPoint - 04_shotou_ ppt

(1)

EMCの考える重複除外システム

データドメイン株式会社

テクニカルダイレクター

首藤憲治

(2)

バックアップ、リカバリアーキテクチャ

オンサイト保護

遠隔保存

これまでの環境

テープ依存

今後の環境

ディス

ク

使用

バックアップ

サーバ

オンサイト

ストレージ

DRサイト

ストレージ

バックアップ

クライアント

テープ

バックアップ

Software

テープ

VTL

バックアップ

Software

テープ

重複除外ストレージ

バックアップ

Software

重複除外バックアップソフトウエア

(3)

EMC製品群

オンサイト保護

遠隔保存

これまでの環境

テープ依存

今後の環境

ディス

ク

使用

バックアップ

サーバ

オンサイト

ストレージ

DRサイト

ストレージ

バックアップ

クライアント

NetWorker

Tape

DL

Tape

Data Domain

Avamar

(4)

バックアップ製品ラインアップ

Avamar VM Operating System Avamar VM Operating System

Avamar

Data Domain

NetWorker

（又はサード・パーティ製品）

DL4000

ス

ト

レ

ー

ジ

シス

テ

ム

バ

ッ

ク

ア

ッ

プ

ソ

フ

ト

ウ

ェ

ア

_Avamar

Virtual Edition

• 既存環境を変えずに導入できる

重複除外バックアップ・ストレー

ジ

• 効率の良いレプリケーションで

テープレス環境を構築

• 既存環境を変えずに導入でき

る高信頼性の仮想テープ装置

• D2D2Tバックアップにも柔軟に

対応

• 「超圧縮」バックアップ

• バックアップ時間の短縮

• ネットワーク負荷を最小限に

• 仮想化環境、 NAS 、ファイル

サーバのバックアップ効率化

NetWorker

（又はサード・パーティ製品）

(5)

Data Domain

WAN

Avamar

_DL4000

NetWorker/サードパーティー製品

Avamar / Data Domain / DL4000

適用分野早見表

(6)

重複除外アーキテクチャによる

次世代プロテクションストレージ

(7)

ストレージ

3.0 y

重複除外システムによる

効率的な運用

y

長期保存用にのみテープ

ストレージ

4.0 y

1次ストレージはSSD

y

汎用ストレージとしての

重複除外

ストレージ

_1.0

y

以前からのバックアップ概念

y

技術革新前

ストレージ

_2.0

y

SATAを使用

y

効果少ない（キャッシュ）

ストレージの進化

Primary Disk

Tape

Primary Disk

Tape

SATA

Primary

Tape

Primary Disk

Dedupe SATA

Flash

Dedupe SATA

Before After

(8)

Fortune 1000 顧客

Technology

Telecom

Public Sector

Media/Entertainment

Healthcare

Industrial/Auto

Consumer/Retail

Financial Services

(9)

(10)

１、データをブロックに分割し重複を判断

２、その構成要素と設計図だけを保持

(11)

= ローカル圧縮

= ユニーク・セグメント

= 重複セグメント

A B C

D

E

F

G

H

I

J

Incr 1

A

B

H

Incr 2

A

E

I

Second Full Backup

B

J

C

D

E

F

G

H

First Full Backup

B

C

D

A

E

F

G

A

(12)

バックアップにおけるデータ圧縮効果

通常のディスクストレージ

1:1

LZ 圧縮

~ 2:1

シングルインスタンスストレージ

~ 3:1

固定長

_de-dupe

~ 3:1

ファイル単位

での重複除外

固定長ブロック

での重複除外

可変長ブロックでの

重複除外

ファイル単位

での圧縮

Data

‘Dedupe’

~ 20:1

(13)

販売実績

y

Data Domain

–

#1 deduplication storage worldwide

–

9,500 installations

–

3,500 customers

y

Avamar

–

#1 deduplication backup software worldwide

–

4,500 installations

(14)

(15)

バックアップ製品新ラインアップ

Avamar

Data Domain

NetWorker

（又はサード・パーティ製品）

DL4000

Avamar Data Store

ス

ト

レ

ー

ジ

シス

テ

ム

バ

ッ

ク

ア

ッ

プ

ソ

フ

ト

ウ

ェ

ア

_Avamar

Virtual Edition

• 既存環境を変えずに導入できる

重複除外バックアップ・ストレー

ジ

• 効率の良いレプリケーションで

テープレス環境を構築

• 既存環境を変えずに導入でき

る高信頼性の仮想テープ装置

• D2D2Tバックアップにも柔軟に

対応

• 「超圧縮」バックアップ

• バックアップ時間の短縮

• ネットワーク負荷を最小限に

• 仮想化環境、

NAS 、ファイル

サーバのバックアップ効率化

DL4000

Data Domain

NetWorker

（又はサード・パーティ製品）

(16)

エンタープライズ向けデータ保護用プロテクションストレージ

–

2001年会社設立

米国カリフォルニア州サンタクララ

–

2006年日本法人設立

–

９，５００システム以上が稼動

–

３．５００以上のカスタマー

–

国内（３００システム以上）

データドメインの技術革新

重複除外NAS

販売開始

重複除外NAS

販売開始

重複除外

レプリケーション

重複除外

レプリケーション

大容量重複除外アレイ

柔軟なレプリケーション

Directory Replication

柔軟なレプリケーション

Directory Replication

重複除外VTL

2003

2004

2005

2006

2007

2008

重複除外利用の

Nearline Storage

重複除外利用の

Nearline Storage

(17)

テープ環境（VTL)

ディスク環境

両方への対応

ディス

ク

使用

バックアップ

クライアント

データドメイン（

TapeからDisk へ）

バックアップ

サーバ

オンライン

バックアップ

ストレージ

DR

ストレージ

Data Domain

NetWorker

Other

CommVault

IBM TSM

Symantec NBU

オンサイト保護

遠隔保存

(18)

基本構成

既存環境に影響のないシームレスな運用を提供

Replication

CIFS, NFS,

NDMP, OpenStorage

Ethernet

VTL over FC

DD880 Appliance

ソフトウエア

オンサイト保護

遠隔保存

y

4U

y

2 - 6 ports

y

10 and 1 Gb Ethernet; 4 Gb Fibre Channel

y

RAID-6

y

5.4 to 71 TB usable capacity with shelves

y

1 TB or 500 GB 7.2k rpm SATA HDD in shelf

y

File system

y

NVRAM

y

N+1 fans and redundant, hot-plug power supplies

DD880 Appliance

(19)

アーキテクチャ

バックアップ依存

ﾚｲﾃﾝｼｰスループット, IOPS

費用

/ IOPS

ランダムアクセスフォーカス

リードオリエンテット

大量のメタデータアクセス

１次ストレージ

費用

/ TB

コスト

シーケンシャルスループット

性能

最後の砦

データ保障

負荷

バッチによるバルクアクセス

ライトオリエンテッド

メタデータのアクセスは少ない

２次ストレージ

(20)

適用例

Application

Server

Mail

DB Server

Tape

Library

Application

Server

Mail

DB Server

WAN

リストアリスク低減

- RTO向上

-オンラインBackup世代数増加

- データ破損リスク低減

ファシリティコスト低減

ネットワークコスト低減

リストアリスク低減

セキュリティリスク低減

(21)

22 重複除外と

LZによる圧縮効果

y3-4x

最初のフルバックアップ

y6-7x

ウイークディ差分

y50-60x

2回目からのフルバックアップ

y20x

平均

AutoSupportでの統計

(22)

2世代目フルバックアップ

B

C D

E

F

L

G H

グローバル圧縮＆ローカル圧縮

A B C D E F G H I J

初回フルバックアップ

A

B

C D

A

E

F

G

月 Incr

_A

_B

_H

火 Incr

_C

_B

_I

木 Incr

_A

_C

_K

水 Incr

_{E G}

_J

バックアップデータ

論理ボリューム

圧縮率

物理ボリューム

Monday Incr

100 GB

7-10x

10 GB

Tuesday Incr

100 GB

7-10x

10 GB

K L

Wednesday Incr

100 GB

7-10x

10 GB

Thursday Incr

100 GB

7-10x

10 GB

2 nd

_{FRIDAY FULL}

_{1 TB}

_50-60x

_{18 GB}

トータル

2.4 TB

308 GB

FRIDAY FULL

1 TB

2- 4x

250 GB

(23)

重複除外（後処理）

ポストプロセス処理

:

一度ディスクに保存後に実行

書き込み

３回のディスク

アクセスが必要

DataDomain の Inline重複除外

さまざまな処理が重なると、

さらにパフォーマンス低下の原因に

バックアップ終了＝重複除外終了であるため、

他の処理が重なっても運用管理が容易

- シンプル

- 運用計画の立てやすさ

- パフォーマンス管理の容易さ

重複除外（リアルタイム）

インライン処理

:

ディスクに保存する前に実行

WAN

(24)

CPUセントリックな設計

SATAの性能で十分（高価なディスクは必要ない）

CPUの性能依存（ディスクの１００倍以上の開発速度）

Disk Spindles

Throughput

５００ _MB/sec

100 MB/sec

50 MB/sec

500

100

50

14 Data Domain

FC Drives:

3x-5x $SATA

SATA

Drives

$

Data Domain のCPUセントリックな設計

他

の

De

du

pe

(25)

重複を判定するためのフロー

データ

データをセグメントに分割し、

フィンガープリント値を生成

ディスク上に

同じデータは無い

該当セグメントを

ディスクに

書き込み

YES

キャッシュ上に

対象データが存在する

Not Sure

YES

NO

重複しているため

ディスクには保存せず

Anchoring

データを可変長で分割

Summary Vector

Locality Prefetching

米国特許取得技術

(26)

レプリケーション

Data Domain

WAN

適用例：

Data Domain

レプリケーション（オプション）

バックアップ

NFS/CIFS/FC

home

拠点A

拠点B

ＤＲセンター

home

DIR A

拠点C

・柔軟な構成パターン

- 1対1 / Ｎ対1

- 筺体指定/ディレクトリ指定

- 片方向 / 双方向転送

・重複していないユニークなデータ

ブロックのみ圧縮転送

- 低帯域のWANでも構築可能

※ 現実的なコストで大容量データ

の

Disk to Disk 災害対策が可能

重複除外処理と圧縮

重複除外データを圧縮転送

WAN

(27)

データドメインレプリケーションの優位性

y

Post-process DR restore point is usually obsolete

バックアップと同時

にレプリケーション

DR-Ready

データドメイン

バックアップ

重複除外処理

& レプリケーション

バッチ処理の重

複除外製品

従来型の

_VTL/

テープ

_{/トラック搬送}

VTLへバックアップ

Tapeへのコピートラック搬送

DR-Ready

バックアップ

ウィンドウ

半分～

1/4のRPO

DR Ready

(28)

格納データの安全性

データ保護の原理

y

データ保護を目的としたＯＳ

–

エンドトゥエンドベリフィケーション

書き込み終了後即座にベリファイ

–

ライト時のデータ保証

追記のみ、ＮＶＲＡＭ使用

–

永続的なデータ保証

ＲＡＩＤ６、定期的なファイル単位のスクラブ

–

ファイルシステムもリカバブル

(29)

「データ保全」「一貫性保持」のための

高度な機能（２）

9 Fault avoidance and containment

• 万が一の事態においてもデータ破損が発生せず、一貫性を維持

既存のデータを上書きすることの無いログ構造化ファイルシステム

よりシンプルで堅牢なファイルシステム構造

RAID における部分書き込みは行わず、常にストライプ全体を更新

NVRAM を活用したリスタート時のデータ保持と一貫性確認

. . .

= 使用済セグメント

常に追記のみ

= 書き込みセグメント

常にストライプ全体を更新

(30)

その他有効な機能

Snapshot 機能

y

NFS マウントポイント直下、CIFS共有直下の“.snapshot”ディレクトリ (隠し

ディレクトリ

)

–

スケジュール運用

snapshot set schedule <days-of-week> <time> [retention <period>]

–

手動作成

(31)

運用管理

X

障害監視、障害通知

X

Autosupportメール

X

SNMP

X

カスタム

MIB

X

Snmp trap

(32)

(33)

Avamar

Data Domain

NetWorker

（又はサード・パーティ製品）

DL4000

Avamar Data Store

ス

ト

レ

ー

ジ

シス

テ

ム

バ

ッ

ク

ア

ッ

プ

ソ

フ

ト

ウ

ェ

ア

_Avamar

Virtual Edition

• 既存環境を変えずに導入できる

重複除外バックアップ・ストレー

ジ

• 効率の良いレプリケーションで

テープレス環境を構築

• 既存環境を変えずに導入でき

る高信頼性の仮想テープ装置

• D2D2Tバックアップにも柔軟に

対応

• 「超圧縮」バックアップ

• バックアップ時間の短縮

• ネットワーク負荷を最小限に

• 仮想化環境、

NAS 、ファイル

サーバのバックアップ効率化

DL4000

Data Domain

NetWorker

（又はサード・パーティ製品）

(34)

データ転送を削減する重複除外

ソフトウエア＆システム

今後の環境

絵リス

ク

使用

DRサイト

ストレージ

バックアップクラ

イアント

Avamar

オンサイト保護

遠隔保存

(35)

クライアント側での処理

Avamarの処理概要

バックアップする前に重複除外

Avamarクライアント

Avamarサーバ

固有のデータ・

セグメントのみを

バックアップ

E

A

B

C

D

新規データ・セグメントを

識別してバックアップ

A

B

C

D

E

(36)

フル

差分

重複除外

Avamarへ変更後

従来のバックアップ運用

y

週末フル、平日差分

y

毎日フルのファイル転送は不可能

y

リストア時の運用が複雑

y

2回目以降：新規ブロックのみデータ保管

y

リストア：ブロックを再結合して復元

（ワンアクション・リストア）

凡例

Day 4

Month

_Month

Day 3

Day 2

Day 1

Backup

Day 1

Backup

400GB（全体）

2GB

800MB

・・・

200MB

Avamarのバックアップイメージ

実際の運用（常時フルバックアップ）

(37)

Avamarに於ける重複除外の効果

129 GB

9,583 GB

3,265 GB

5,097 GB

3,573 GB

プライマリ・データ

の容量

13.2 GB

80.0 GB

24.2 GB

11.7 GB

6.1 GB

毎日移動するデータの容量

Exchangeサーバ環境

データベース20%

ファイル・システム

80%

NASファイラー（NDMPバックアップ）

Windows、Linux、UNIXファイル・システム

混在環境

Windowsファイル・システム

データのタイプ

(38)

環境への適用

y

クライアント～サーバーさらにはストレージまでが一体化

y

既存のバックアップソフトウエアからの移行が必要

y

VMware環境を含めた統合バックアップ環境を構築

ESX

Avamar適用範囲

NAS

Avamar

NDMPアクセラレータ

AvamarDataStore

小規模

ファイルサーバ

(39)

Avamarの優位性

重複除外バックアップ・ソフトウエア＆システム

Avamar

VM

y

一次ストレージ側での重複除外

–

ネットワークの転送量を削減

–

WAN使用での拠点のバックアップ

–

LAN環境に負荷を与えない

y

Vmwareに有効なバックアップ

–

クライアントのライセンス不要

–

バーチャルサーバの構築

y

NDMPアクセラレータ

–

NASシステムでのリード遅延への対応

–

インクリメンタルフォーエバーと同等の

データ転送

y

Avamar DataStore（アプライアンス）

y

Avamar Virtual EditionAvamar ソフトウェア

y

VMedition

(40)

Avamar効果が期待できる環境

y

バックアップ・ウインドウが足りない（ネットワークがボトルネック）

y

多くの世代バックアップが必要（コンプライアンス要件など）

y

業務サーバや

LANに負荷をかけたくない

y

リモートサイトのバックアップをしたい

y

リストアのことを考えると、毎日フルバックアップを行いたい

(41)

バックアップサーバ

バックアップクライアント

バックアップサーバ

レプリケーション

リモート・オフィスからの

_{WANバックアップ}

１、クライアントでの重複除外

２、運用をデータセンターに集約

３、各拠点でのバックアップ統合

４、既存のネットワーク帯域の変更不要

（転送されるデータは少ないため）

(42)

VMware環境

物理サーバ環境

バックアップに必要な帯域幅も十分にある

VMware環境

バックアップに必要なリソースや帯域幅は？

仮想化は構築できたがバックアップは？

(43)

Avamar

重複除外

Avamar

重複除外

Avamar

重複除外

バックアップ

VMware

ESXサーバ

バックアップ

サーバ

データ

ストレージ

ネットワーク負荷最小

ESXサーバの

負荷減少

バックアップストレージ

節減

Avamar

VMware環境での構成例

(44)

従来のバックアップ

vs. Avamar

y

Guestマシンへの負荷の軽減

y

データ転送の最少化により

ネットワーク負荷の軽減

y

100GBのGuestマシンが数十台共存

全体の負荷は微量

CPU

Network

Disk

Traditional – vs – Avamar

従来のバックアップ

Avamar

(45)

NDMPでの論理的フルバックアップ

（インクリメンタルフォーエバー）

NAS

Avamar NDMPアクセラレータ

増分バックアップ

ブロック転送

Avamarサーバ

重複除外

LAN

NAS

Avamar NDMPアクセラレータ

ファイルリストア

ブロック転送

Avamarサーバ

ファイル合成

LAN

必要ブロッ

_クの認識

LAN

＜＜バックアップ＞＞

＜＜リストア＞＞

・永久増分で最短のバックアップ

・フルバックアップイメージで保管

・シンプル

・ファイル単位のリストア

・全リストア時間を検討

永久差分

バックアップ

(46)

Avamarの事前評価ツール

y

実運用上もしくはデータを抽出

y

ソフトを実行

0000h:08m:51

s

0.22%

0.2 2003

92.55 162252

01:00:00

2008/7/2

c:/avamar_test

JPTGHOSODHL1

C

0000h:07m:10

s

0.26%

0.24 1435

92.44 162244

01:00:00

2008/7/1

c:/avamar_test

JPTGHOSODHL1

C

0000h:09m:49

s

0.17%

0.16 2298

92.41 162234

01:00:00

2008/6/30

c:/avamar_test

JPTGHOSODHL1

C

0000h:06m:11

s

0.16%

0.15

899

92.4 162211

01:00:00

2008/6/29

c:/avamar_test

JPTGHOSODHL1

C

0000h:07m:19

s

0.10%

0.09 1055

92.38 162200

01:00:00

2008/6/28

c:/avamar_test

JPTGHOSODHL1

C

0001h:00m:46

s

81.15%

74.97 162200

92.38 162200

01:00:00

2008/6/27

c:/avamar_test

JPTGHOSODHL1

C

所要時間

重複除外率

新規データサイズ

新規ファイル数

対象データサイズ

対象ファイル数

時刻

日付

ターゲット

ホスト名

1 ₂ 3 4 ₅ 6 新規データサイズ 74.97 0.09 0.15 0.16 _0.24 _0.2 0 20 40 60 80 新規データサイズ(GB) 新規データサイズ 1 ₂ 3 ₄ 5 ₆ 所要時間 0:00:00 0:14:24 0:28:48 0:43:12 0:57:36 1:12:00 所要時間（分）所要時間

(47)

業界で最もスケーラブルな重複除外ストレージ

DDX Array Series

OST, VTL, Replicator, & Retention Lock software options

_{最大１６コントローラで構成}

DD140

DD610

DD630

DD565

DD660

DD690

DD880

DDX Array

最大スループット

450GB/hr

675GB/hr

1.1 TB/hr

2 TB/hr

2.7 TB/hr

5.4 TB/hr

86.4 TB/hr

論理容量

(TB)

17-43

75-195

165-420

320-810

520-1.31 PB

710-1.7 PB

1.4-3.5 PB

22.6-56.7 PB

物理容量

(TB)

1.5 Up to 6

Up to 12

Up to 23.5

Up to 36

Up to 48

Up to 96

Up to 1.5 PB

実効容量

(TB)

.86

Up to 3.98

Up to 8.4

Up to 16.2

Up to 26.1

Up to 35.3

Up to 71

Up to 1.13 PB

DD140 リモートオフィス・アプライアンス

DD600 Appliance Series

: DD630, DD610, and DD140

1TB Disk

DD880

DD610

DD630

DD690

DD660

(48)

Avamar製品のラインナップ

SERVICE LEVELS

SCALABILITY

シングル・ノード・レプリケーション

マルチ・ノード

5 マルチ・ノード

12 マルチ・ノード

18 バーチャル・エディション

・レプリケーション

y

Avamarサーバの提供形態

y

Avamar DataStore（アプライアンス）

y

Avamar Virtual Edition（VMware ESXサーバのVMをアバマーサーバーとして）

(49)

Avamarのライセンス

y

サーバーライセンスのみご購入（キャパシティライセンス）

y

クライアントの台数毎のライセンス不要

y

アプリケーションエージェント・オプションもライセンス不要

Microsoft PowerPoint - 04_shotou_ ppt

EMCの考える重複除外システム

データドメイン株式会社

テクニカルダイレクター

首藤 憲治

バックアップ、リカバリ アーキテクチャ

オンサイト保護

遠隔保存

これまでの環境

テープ依存

今後の環境

ディス

ク

使用

バックアップ

サーバ

オンサイト

ストレージ

DRサイト

ストレージ

バックアップ

クライアント

テープ

バックアップ

Software

テープ

VTL

バックアップ

Software

テープ

重複除外ストレージ

バックアップ

Software

重複除外バックアップソフトウエア

EMC製品群

オンサイト保護

遠隔保存

これまでの環境

テープ依存

今後の環境

ディス

ク

使用

バックアップ

サーバ

オンサイト

ストレージ

DRサイト

ストレージ

バックアップ

クライアント

NetWorker

NetWorker

NetWorker

Tape

Tape

DL

Tape

Data Domain

Avamar

バックアップ製品 ラインアップ

Avamar

Avamar

Avamar

Data Domain

Data Domain

NetWorker

（又はサード・パーティ製品）

DL4000

DL4000

ス

ト

レ

ー

ジ

シス

テ

ム

バ

ッ

首藤憲治

バックアップ、リカバリアーキテクチャ

バックアップ製品ラインアップ

_Avamar

• 仮想化環境、 NAS 、ファイル

_DL4000

_DL4000

_1.0

_2.0