Microsoft Word - nvsi_060119jp_oracle10g_serac_win.doc

(1)

Article ID: NVSI-060119JP Created: 2006/04/26 Revised:

--Oracle Database10g Real Application Clusters on Windows 動作検証

1. 検証目的

Windows 上で稼動する Oracle Database10g Real Application Clusters(以下 Oracle10g RAC)環境において、 NetVault を使用し Oracle データベースのバックアップが問題なく行えること、またシステムが導入されている各 DB サーバの内蔵ディスクに障害が発生した際にいち早く復旧するために、VaultDR を使用したディザスタ・リカバリが可能であることを確認するために検証を行います。

※すべての検証は、Oracle10g RAC の中でも、リーズナブルに導入が可能な Standard Edition を使用した、 Oracle Real Application Clusters for Standard Edition(以下 SE RAC)を使用し、ストレージの管理に Automatic Storage Management(ASM)を使用し確認しています。Enterprise Edition 等で使用可能な Raw Device や OCFS を使用したストレージ管理とは状況が異なる場合がありますので、ご注意ください。

※2 台の RAC 環境は、Windows にて構築されていますが、それをネットワーク経由でバックアップする NetVault Server には、OS として Linux を使用することをメインの検証とし、その完了後にまったく同じテストを Windows の NetVault Server にて実施しています。本資料に掲載されているスクリーンショットは Linux のものですが、 Windows でもまったく同様の動作になります。 2. 検証環境 2.1 構成図 FUJITSU ETERNUS3000 FUJITSU PRIMERGY RX300 S2 [DB1] FUJITSU PRIMERGY RX300 [nvserver] FUJITSU PRIMERGY RX300 S2 [DB2]

(2)

Page(s): 2/33 2.2 ハードウェア構成 (1) DB サーバ表 2-1 ハードウェア構成(DB サーバ) [DB1:Node1] メーカー FUJITSU 機種 RX300 S2

CPU Intel Xeon 3.00Ghz x2 (HT)

メモリ 4GB 内蔵ディスク容量 73GB(U320,10000rpm) FC Card PG-FC107 (Emulex LP1050) 表 2-2 ハードウェア構成(DB サーバ) [DB2:Node2] メーカー FUJITSU 機種 RX300 S2

CPU Intel Xeon 3.00GHz x2 (HT)

メモリ 4GB 内蔵ディスク容量 73GB(U320,10000rpm) FC Card PG-FC107 (Emulex LP1050) (2) バックアップ・サーバ表 2-3 ハードウェア構成(バックアップ・サーバ) [nvserver] メーカー FUJITSU 機種 RX300

CPU Intel Xeon 3.06GHz (HT)

メモリ 4GB 内蔵ディスク容量 72GB(U320,10000rpm) (3) ディスク表 2-4 ハードウェア構成(ディスク) [ETERNUS] メーカー FUJITSU 機種 ETERNUS 3000 I/F FC 2.3 ソフトウェア構成 表 2-5 ソフトウェア構成 [DB1] ホスト DB1

OS Windows Server 2003 Enterprise Edition SP1

DB Software Oracle10g R10.1.0.4:ORACLE_SID=rac1

Cluster Software Oracle Cluster Ready Services R10.1.0.4

Backup Software NetVault 7.1.2 R2005MAY27-CHIEF

Oracle RMAN APM v4.408 表 2-6 ソフトウェア構成 [DB2]

ホスト DB2

DB Software Oracle10g R10.1.0.4:ORACLE_SID=rac2

Cluster Software Oracle Cluster Ready Services R10.1.0.4

(3)

表 2-7 ソフトウェア構成 [nvserver] Linux により構成時

ホスト nvserver

OS Redhat Enterprise Linux AS 3 Update5

Backup Software NetVault 7.1.2 R2005JUN07-CHIEF

DB Software Oracle10g R10.1.0.4:ORACLE_SID=recover

表 2-8 ソフトウェア構成 [nvserver] Windows により構成時

ホスト nvserver

DB Software Oracle10g R10.1.0.4:ORACLE_SID=recover

2.4 ディスク構成

表 2-9 パーティション構成 [DB1]

パーティション Type 容量/マウントポイント(Raw Device)

ディスク 0 パーティション 1 NTFS 30GB / C: ディスク 0 パーティション 2 NTFS 15GB / D: ディスク 1 パーティション 1 投票ディスク 31MB 共有ディスク ディスク 1 パーティション 2 OCR 領域 133MB 共有ディスク ディスク 1 パーティション 3 ASM 領域 10GB ORCLDISKDATA0/DG1 共有ディスク ディスク 2 パーティション 1 ASM 領域 10GB ORCLDISKDATA1/DG2 共有ディスク ※ ディスク 0 パーティション 3 は確保されていますが、未使用のため明記していません ※ $ORACLE_HOME は D:\oracle\product\10.1.0\db_1 になります ※ ASM のディスクグループは DG1 と DG2 になります表 2-10 パーティション構成 [DB2]

パーティション Type 容量/マウントポイント(Raw Device)

ディスク 0 パーティション 1 NTFS 30GB / C: ディスク 0 パーティション 2 NTFS 15GB / D: ディスク 1 パーティション 1 投票ディスク 31MB 共有ディスク ディスク 1 パーティション 2 OCR 領域 133MB 共有ディスク ディスク 1 パーティション 3 ASM 領域 10GB ORCLDISKDATA0/DG1 共有ディスク ディスク 2 パーティション 1 ASM 領域 10GB ORCLDISKDATA1/DG2 共有ディスク ※ ディスク 0 パーティション 3 は確保されていますが、未使用のため明記していません ※ $ORACLE_HOME は D:\oracle\product\10.1.0\db_1 になります ※ ASM のディスクグループは DG1 と DG2 になります表 2-11 パーティション構成 [nvserver] Linux 構成 パーティション Type 容量/マウントポイント

/dev/sda1 ext3 100MB /boot

/dev/sda2 ext3 58GB /

表 2-11 パーティション構成 [nvserver] Windows 構成

パーティション Type 容量/ドライブレター

ディスク 0 パーティション 1 NTFS 36GB / C: ディスク 0 パーティション 2 NTFS 36GB / D:

(4)

Page(s): 4/33

2.5 Oracle 構成

(1) Oracle10g SERAC 導入方法について

下記の日本オラクル社の Web サイトより入手可能なドキュメント（以下 SERAC 手順書）に従って基本的な、 Oracle Database10g Standard Edition の Real Application Clusters の設定を行いました。

表 2-11 Oracle 構成 [RAC] 表領域名 場所 SYSTEM +DG1/rac/system.dbf UNDO1 +DG1/rac/undotbs1.dbf SYSAUX +DG1/rac/sysaux.dbf UNDO2 +DG1/rac/undotbs2.dbf USERS +DG1/rac/users.dbf DATA_TS +DG1/rac/data_ts.dbf TEMP +DG1/rac/temp.dbf 制御ファイル 1 +DG1/rac/control01.ctl 制御ファイル 2 +DG2/rac/control02.ctl アーカイブログ +DG2/rac/arc/ARC%S_%R.%T オンライン REDO +DG2/rac/redo01.log オンライン REDO +DG2/rac/redo02.log オンライン REDO +DG2/rac/redo03.log オンライン REDO +DG2/rac/redo04.log オンライン REDO +DG2/rac/redo05.log オンライン REDO +DG2/rac/redo06.log SPFILE +DG1/rac/spfilerac.ora (2) アーカイブログ・モードの設定と格納先の設定方法

SERAC 手順書に記載のように、DBCA による構成時に自動アーカイブをオンにし、ASM 上に作成するように指定しています。Oracle RMAN APM を使用してオンライン・バックアップを実行する際には設定が必須となっています。

SQL> archive log list;

データベース・ログ・モードアーカイブ・モード自動アーカイブ使用可能アーカイブ先 +DG2/rac/arc/ 最も古いオンライン・ログ順序 14 アーカイブする次のログ順序 16 現行のログ順序 16 (3) テスト・データ作成 tablespace DATA_TS として約 12 万件のテスト・データを登録。

SQL> CREATE TABLESPACE DATA_TS DATAFILE '+DG1/rac/data_ts.dbf' SIZE 200M; 表領域が作成されました。

SQL> @zip_testdata.sql

SQL> select count(*) from 郵便番号;

COUNT(*) --- 121630

(5)

3. NetVault インストール

3.1 NetVault インストール

通常の手順に従って、DB1 および DB2 には、NetVault Client を、nvserver には NetVault Server のインストールを実行します。その後、NetVault Server の Client Management より DB1 および DB2 の各ノードのマシンを登録します。図 3-1 NetVault クライアント管理登録 3.2 デバイス登録 デバイス管理より、テープデバイスの登録を行います。本検証では、NetVault Server 上に作成した仮想テープライブラリをバックアップデバイスとして使用しています。図 3-2 バックアップデバイスの用意

3.3 Oracle RMAN APM インストール

(6)

Page(s): 6/33 図 3-3 Oracle 関連サービスの停止

次に NetVault Process Manager を Oracle に対して権限のあるアカウントにてログオンさせる必要があります。 Oracle RMAN APM をインストールする各ノードの、NetVault Process Manager のサービスに対して、ログオン設定を変更します。通常は、アドミニストレータ・アカウントまたは ORA_DBA グループのメンバーアカウントに変更します。

図 3-4 NetVault Process Manager のログオン設定の変更

設定後は、NetVault Process Manager のサービスを再起動しておきます。

クライアント管理 -> NetVault Machine 名で右クリックし、ソフトウェアのインストールを選択して、必要な APM を各 RAC のノードにインストールします。本環境の場合には、DB1 と DB2 が対象です。

図 3-5 Oracle RMAN APM インストール

なお、これらの作業は RAC 構成の各ノード毎でも実行可能であるため、片側づつ作業することにより RAC 全体のシステムを停止しなくても作業が行えます。

(7)

なお、OracleCSSService 等クラスタ関連のサービス停止後に再度起動するには、Oracle 社より、OS 自体の再起動が必要とされています。次に、NetVault クライアント側の CLI から rman を使用して、バックアップやリストアを実行するために、NetVault サーバ側で nvpluginaccess コマンドを使用して、クライアントに対する許可の設定を行う必要があります。例では、DB1 と DB2 の 2 つのノードに対して設定を行っています。

※ nvpluginaccess の設定

C:\>cd "C:\Program Files\BakBone Software\NetVault\util"

C:\Program Files\BakBone Software\NetVault\util>nvpluginaccess.exe -remove -client DB1 Removed client stanza 'DB1'

C:\Program Files\BakBone Software\NetVault\util>nvpluginaccess.exe -client DB1 -account default

Please select a plugin you wish to allow client 'DB1' to access: 1) Informix plugin

2) Oracle RMAN plugin

3) Informix and Oracle RMAN plugins 4) Specify plugin name

2

Please enter the password for the account 'default': Successfully added client 'DB1'

C:\Program Files\BakBone Software\NetVault\util>nvpluginaccess.exe -remove -client DB2 Removed client stanza 'DB2'

C:\Program Files\BakBone Software\NetVault\util>nvpluginaccess.exe -client DB2 -account default

Please select a plugin you wish to allow client 'DB2' to access: 1) Informix plugin

2) Oracle RMAN plugin

3) Informix and Oracle RMAN plugins 4) Specify plugin name

2

Please enter the password for the account 'default': Successfully added client 'DB2'

すべての設定終了後、バックアップウィンドウから各ノードの Oracle RMAN APM の設定を行います。APM 名をダブルクリックすることで、データベースの追加画面になります。

(8)

Page(s): 8/33

データベースの追加画面では、それぞれ必要な内容を記述していきます。Init File の項目では、ファイルとしてバックアップが必要なものを”,”（カンマ）区切りで記述できます。例では、rac1 のインスタンスの初期化パラメータファイルを指定していますが、その他必要なものを適宜記述するようにしてください。

図 3-7 オラクルデータベースの追加

表 3-1 Oracle RMAN APM 設定項目

項目内容

SID インスタンス毎の SID

Home ORACLE_HOME

RMAN RMAN 実行ファイルパス

(9)

4. バックアップ運用方式について (1) バックアップ取得方法 1 つのノードから NetVault Server に接続されたテープ装置（仮想テープライブラリ）にネットワーク経由にてバックアップを実行。 (2) バックアップ対象ファイルデータ・ファイル [ASM] アーカイブ・ログ・ファイル [ASM] 制御ファイル [ASM] サーバパラメータファイル[ASM] 初期化パラメータファイル [ローカル] オンライン REDO ログ [ASM] (オフラインの場合のみ取得) その他必要に応じて取得（プログラムファイル等） [ローカル] (3) バックアップ運用方式

オフライン・バックアップ (Raw Device Plugin, VaultDR APM 使用) オンライン・バックアップ (Oracle RMAN APM 使用)

(4) リカバリ・カタログに関する注意 RMAN(Recovery Manager)を使用してバックアップされたデータに関する情報は、カレント制御ファイルまたはリカバリ・カタログに格納されます。RMAN 使用時にリカバリ・カタログを使用する際には、リカバリ・カタログ自身を RAC 構成とは異なる Oracle サーバへの格納や、そのバックアップを行うことが必要となります。その他一般的なバックアップに関する注意事項は、通常のスタンドアロンの Oracle 環境と違いはありません。本検証ではすべてリカバリ・カタログを使用して実施されています。制御ファイルを使用する場合には、カタログデータの保持期間が短い事や、制御ファイルが ASM に格納されており多重化が難しいため、別途制御ファイルのバックアップについて検討する必要があることに注意してください。 (5) spfile のバックアップについて

SPFILE が失われると、Oracle が起動できないためリカバリが難しくなります。通常、NetVault の Oracle RMAN APM ではファイルシステム上に配置された SPFILE をバックアップできる機能を持っていますが、 ASM 上の SPFILE を指定することはできません。事前に、PFILE を SPFILE からテキストとして作成した上で、Oracle RMAN APM の init のセクションに登録することをお勧めします。

(6) OMF(Oracle Managed File)

OMF は表領域、REDO ログファイル、制御ファイル等を Oracle が自動管理する仕組みのことですが、これを使用している場合、特定の名称ではなく異なるファイル名にてリストアが行われることがあり、それによりリストア後のリカバリにてうまく処理が行えない場合があります。本検証ではすべて、表領域等を ASM 上に作成していますが、OMF は使用せずにデータベースファイル名を固定で指定しています。

(10)

Page(s): 10/33

5. オフライン・バックアップ

Oracle Database 管理者ガイド 10g リリース 1 (10.1) P12-46 によると、「ASM ファイルを含むデータベースのバックアップは、Recovery Manager を使用して実行する方法しかありません。」と記載があります。しかし、日本オラクルがサポート契約対象者に公開している知識ベース KNOWN92739 によると、Oracle 社以外から提供されるバックアップ方法について次のように述べられています。 コールドバックアップについては、Oracle インスタンス、ASM インスタンスがすべて停止した状態でストレージ装 置のスナップショット機能等を使用して行うことが可能です。リストアする際には、Oracle インスタンス、ASM イン スタンスがすべて停止した状態で元の状態に復元する必要があります。ただしこれらの復元操作（インスタンス停 止中のデータベース状態）は各ストレージ製品の動作に完全に依存し、ORACLE 社が保証を与えるものではあり ません。

NetVault では、Raw Device としてアクセスされている ASM 領域のバックアップを、Raw Device プラグインを使用して実行することができます。特に、RAC 環境で必須となる OCR および投票ディスクの領域は、通常の RMAN によるバックアップでは保護されません。そのため、オフラインバックアップを併用する必要があります。

Raw Device でのバックアップを行うには、すべてのノードにて Oracle および ASM のインスタンスをすべて停止した状態にて、オフライン・バックアップを実行します。両方のノードについてシャットダウンを行う必要があります。以下は、srvctl を使用した場合のインスタンスの停止例です。

D:\oracle\product\10.1.0\crs\BIN>srvctl stop database -d rac

D:\oracle\product\10.1.0\crs\BIN>srvctl stop asm -n db1 D:\oracle\product\10.1.0\crs\BIN>srvctl stop asm -n db2 D:\oracle\product\10.1.0\crs\BIN>srvctl stop nodeapps -n db1

D:\oracle\product\10.1.0\crs\BIN>srvctl stop nodeapps -n db2

ノード毎に固有のファイルについては、個別に取得を行います。バックアップ終了後、再びインスタンスを起動します。

(11)

5.1 Raw Device Plugin を使用したオフライン・バックアップ

今回の検証では ASM を構成するディスクとして、共有ディスク上の Raw Device を使用しました。そのため NetVault でバックアップを行う際には、Raw Device プラグインを使用し、ディスクやパーティションの指定を行う必要があります。

図 5-1 Raw Device Plugin を使用したオフライン・バックアップ

5.2 Raw Device Plugin を使用したリストア

リストア時は、Oracle であることを意識せずに単なる Raw Device イメージとしてのリストアを実行するだけです。その際には、必ずすべてのノードで Oracle および ASM のインスタンスを停止している必要があります。各リストアを行う際に、リストア先のディスクやパーティションを変更することが可能です。

(12)

Page(s): 12/33

6. VaultDR APM によるシステム復旧

6.1 VaultDR APM を使用したシステム部分のバックアップ

VaultDR を使用することで、Windows としての OS の領域、Oracle の実行ファイル等すべての環境をディスクイメージによりバックアップすることが可能になります。一度対象となる RAC のノードを OS 毎シャットダウンし、 VaultDR Client の CD により起動し、ドライバの設定およびネットワーク設定を完了すると待機状態になります。図 6-1 VaultDR Client のネットワーク設定画面と、待機状態

次に、NetVault サーバ側に VaultDR Server APM を導入し、VaultDR Client で設定したアドレスを登録します。

図 6-2 VaultDR Server APM の導入と VaultDR Client 登録

アドレス登録後は、NetVault サーバから OS が含まれているシステム領域が確認できるため、必要なパーティションを選択して、バックアップを行います。この例では、合計約 45GB のデータが 1000BaseT のネットワークの現実的な転送レートとしては高速な平均 44.28Mbyte/sec にて 17 分程度でバックアップされているのが確認できます。図 6-3 VaultDR によるバックアップ画面

(13)

6.2 VaultDR APM によるシステムリストア

リストアの際には、バックアップの時と同様に VaultDR Client を起動し待機状態にしたあとに、NetVault サーバから VaultDR APM によって取得されたデータをリストアします。

(14)

Page(s): 14/33

7. オンライン・バックアップ (Oracle RMAN APM 使用)

7.1 バックアップ

Oracle RMAN APM を使用して対象をすべて選択し、バックアップを実行します。図 7-1 Oracle RMAN バックアップ

7.2 バックアップ・オプション

各バックアップ・オプションは、RMAN で指定されるオプションに準拠しており、運用形態に合わせて選択します。各項目の詳細については、Oracle RMAN APM のユーザーズ・ガイドを参照してください。本検証では、Backup Type の指定と、リカバリ・カタログの指定だけが選択されています。SE RAC ではなく EE RAC の場合には、複数ドライブ搭載のテープ装置を使用することで、複数チャネルを使用したパラレル処理が可能になります。

(15)

7.3 RMAN 増分バックアップ

※オラクルセールスガイド Ver.5.2 によると、Standard Edition での増分バックアップが可能になりました。ただ し、ブロックチェンジ・トラッキングファイルには対応していません。ライセンスや機能の詳細は日本オラクル社にお 問い合わせください。

まず、現在の状況の確認を行います。

表領域 DATA_TS 内に Trousers という 12 万件の登録があるテーブルが作成されています。

COUNT(*) --- 121630 現在は、121630 件であることが確認できました。次に、更新のためのデータを INSERT します。 SQL> @oracle_change.sql 1 行が作成されました。 ～中略～ ※全部で 20 件 1 行が作成されました。 SQL> commit; コミットが完了しました。

COUNT(*) --- 121650

これにより 20 件追加されたことが確認できます。

次に NetVault の GUI を使用して、Oracle RMAN APM のプラグインを開き対象となる表領域等を指定したあと、 Backup Option の Backup Type の所で、”Incremental”を選択し Level を入力します。（例では 2 に設定しました。）

(16)

Page(s): 16/33 RMAN> list backup;

バックアップ・セットのリスト ===================

BS Key Type LV Size Device Type Elapsed Time 終了時刻 --- ---- -- --- --- --- ---

450 Incr 2 688M SBT_TAPE 00:01:28 06-01-31

BP キー: 455 ステータス: AVAILABLE 圧縮: NO タグ: TAG20060131T162237 ハンドル: nvserver:#292:DB1:17_581185358:RAC_1138692155 メディア: バックアップ・セット 450 のデータ・ファイルのリスト

File LV Type Ckp SCN Ckp 時刻 Name ---- -- ---- --- --- ---- 1 2 Incr 360135 06-01-31 +DG1/rac/system.dbf 2 2 Incr 360135 06-01-31 +DG1/rac/undotbs1.dbf 3 2 Incr 360135 06-01-31 +DG1/rac/sysaux.dbf 4 2 Incr 360135 06-01-31 +DG1/rac/undotbs2.dbf 5 2 Incr 360135 06-01-31 +DG1/rac/users.dbf 6 2 Incr 360135 06-01-31 +DG1/rac/data_ts.dbf

BS Key Type LV Size Device Type Elapsed Time 終了時刻 --- ---- -- --- --- --- --- 451 Incr 2 9M SBT_TAPE 00:00:02 06-01-31 BP キー: 456 ステータス: AVAILABLE 圧縮: NO タグ: TAG20060131T162237 ハンドル: nvserver:#292:DB1:18_581185453:RAC_1138692155 メディア: 含まれている制御ファイル: Ckp SCN: 360282 Ckp 時間: 06-01-31 SPFILE も含まれます: 修正時間: 06-01-31 7.4 リストア

RMAN のリストアはすべて、NetVault の GUI から実行することが可能です。NetVault の Restore 画面から、 Backup Piece 名を確認することができ、さらにそれぞれの項目をダブルクリックすることで、リストア対象となるデータの詳細を確認し、リストアの選択を行うことになります。また、Oracle 側の Recovery Manager からもリストア可能です。

(17)

リストアオプションでは、必ずターゲット・データベースのパスワードを必ず入力するようにします。デフォルトではブランクになっています。また、リカバリ・カタログを使用してバックアップした場合には、リストア時にも”Use Catalog”にチェックを入れ、必要項目を入力します。

図 7-5 Oracle RMAN APM リストアオプション

また RMAN の list backup によっても、詳細なバックアップの結果を確認することが可能です。RMAN のコマンドを使用してリストアを行うことで、NetVault GUI からは指定できない RMAN のさまざまなオプションを利用することができます。

7.5 バックアップ元とは異なるノードからのリストア

DB1 で取得したバックアップデータを異なる DB2 でリストアする場合には、DB2 側で Oracle RMAN APM への事前設定が必要になります。まず、バックアップウィンドウ画面から、Oracle RMAN APM を開かずに、右クリックメニューから Configure を選択します。

図 7-6 Oracle RMAN APM Configure

Oracle RMAN APM の Configure ウィンドウで、設定に応じた内容に変更します。例えば、NetVault Server が”nvserver”で、”DB1”のノードから Oracle RMAN APM にてバックアップしたデータを”DB2”のノードへリストアする場合には、”Default NetVault Server”, ”Do Restore from NetVault Server”に NetVault Server 名である”nvserver”を、また”Restore Backup Taken from NetVault Client”に”DB1”とバックアップした際の NetVault Client 名を入力します。ORACLE_SID ではありませんので注意します。

(18)

Page(s): 18/33 図 7-7 Oracle RMAN APM 詳細設定

表 7-1 Oracle RMAN APM Configure 設定項目

項目内容

RMAN Utility Connection Timeout (min.) RMAN のコネクション・タイムアウト

Default Oracle Account 標準の Oracle アカウント

Default Recovery Catalog Service Name 標準で使用するリカバリ・カタログ・サービス名

Default Recovery Catalog Account 標準で使用するリカバリ・カタログのアカウント名

Default NetVault Server 標準で使用する NetVault Server

Do Restore from NetVault Server リストアに使用する NetVault Server

Restore Backup taken from NetVault Client 異なるノードの NetVault Client 名

Slave Connection Timeout (0= Never) スレイブ・コネクションのタイムアウト

Select Default NS_LANG NLS_LANG

Configure の設定後、元の NetVault Client としてのバックアップデータを指定します。リストア先が新しいクライアントになるため、クライアント指定のタブで選択をします。同じサーバにリストアする際にはクライアント指定は必須ではありませんが、他のサーバにリストアするため注意します。

(19)

また、オプションタブで忘れずにターゲットサービス（データベース）の変更を行います。例では、元々で rac1 あったサービス名を rac2 に書き換え、そのサービスのアカウントとパスワードを入力します。また、リカバリ・カタログの指定も行います。

図 7-9 Oracle RMAN APM リストアオプション設定

リストア完了後、リカバリ処理を行うことになりますが、その後の手順に違いはありません。復旧後、必要に応じて Oracle RMAN APM Configure の設定を元に戻しておきます。

7.6 バックアップ中の障害について プライマリのノードからバックアップしている際に、障害により不正終了した場合には、バックアップ・ジョブは失敗します。例えば、DB1 のノードで強制終了を実行すると、以下のように失敗になります。 SQL> shutdown abort ORACLE インスタンスがシャットダウンされました。図 7-10 強制終了によるジョブの失敗なお、他の運用管理ソフトなどと連動して、ジョブ失敗後にセカンダリノードでのバックアップ・ジョブの実行ができる場合には、バックアップは正常に終了します。

(20)

Page(s): 20/33 図 7-11 セカンダリノードでのバックアップの再実行

8. Oracle RMAN APM を使用したリカバリ

各メディア障害を実際に発生させ、そのリカバリ手順について確認します。ここでは、実際のファイルのリストアに Oracle RMAN APM の機能を使用します。また、RMAN のコマンドを使用してのリストアも可能ですが、その際の詳細な手順につきましては Oracle RMAN APM のユーザーズ・ガイドおよび Oracle 社が提供する Recovery Manager のマニュアルをご参照ください。これらの操作を行う前に、事前に「4.バックアップ運用方式」を確認し、 SPFILE から pfile を作成しておく必要があります。障害時にどちらのファイルも無い場合には、リカバリできない可能性があります。

8.1 特定表領域の論理破壊

ASM の場合には、Raw Device 上に実装されており、File System のように特定のファイルの障害というものが考えにくいのですが、オペレーションミス等により、特定の表領域に論理破壊が発生したと想定した場合の、リカバリを考えて見ます。

まず、データと各表領域の状態の確認を行います。

COUNT(*) --- 121630

SQL> COL NAME FORMAT A30

SQL> select FILE#,DF.NAME,TS.NAME,STATUS from v$datafile DF,v$tablespace TS where DF.TS#=TS.TS#;

FILE# NAME NAME STATUS --- --- --- ---

1 +DG1/rac/system.dbf SYSTEM SYSTEM 2 +DG1/rac/undotbs1.dbf UNDOTBS1 ONLINE 3 +DG1/rac/sysaux.dbf SYSAUX ONLINE 4 +DG1/rac/undotbs2.dbf UNDOTBS2 ONLINE 5 +DG1/rac/users.dbf USERS ONLINE 6 +DG1/rac/data_ts.dbf DATA_TS ONLINE

(21)

次に、+DG1/rac/data_ts.dbf に論理的な障害が発生したと過程するのですが、データベースがオンラインの状態では意図的な障害を発生させることができないため、一旦シャットダウンします。

D:\oracle\product\10.1.0\crs\BIN>srvctl stop database -d rac

D:\oracle\product\10.1.0\crs\BIN>crs_stat -t

名前型ター...ト状態ホスト --- ora....SM1.asm application ONLINE ONLINE db1

ora....B1.lsnr application ONLINE ONLINE db1 ora.db1.gsd application ONLINE ONLINE db1 ora.db1.ons application ONLINE ONLINE db1 ora.db1.vip application ONLINE ONLINE db1 ora....SM2.asm application ONLINE ONLINE db2 ora....B2.lsnr application ONLINE ONLINE db2 ora.db2.gsd application ONLINE ONLINE db2 ora.db2.ons application ONLINE ONLINE db2 ora.db2.vip application ONLINE ONLINE db2 ora.rac.db application OFFLINE OFFLINE ora....c1.inst application OFFLINE OFFLINE ora....c2.inst application OFFLINE OFFLINE

データベースが停止し、ASM インスタンスが稼動している状態で、強制的に対象の表領域を drop します。

D:\oracle\product\10.1.0\crs\BIN>set ORACLE_SID=+ASM1

D:\oracle\product\10.1.0\crs\BIN>sqlplus /nolog

SQL*Plus: Release 10.1.0.4.0 - Production on 火 1 月 31 10:50:30 2006

SQL> conn / as sysdba 接続されました。

SQL> select instance_name from v$instance;

INSTANCE_NAME

--- +asm1

SQL> alter diskgroup DG1 drop file '+DG1/rac/data_ts.dbf';

ディスク・グループが変更されました。 DB1 のノードだけ起動しようとしても、障害を発生させた表領域のデータが無いため参照できないというエラーが発生しています。このとき、データベースはオープンされていませんが、マウント状態であるためリストアが可能です。 D:\oracle\product\10.1.0>set ORACLE_SID=rac1 D:\oracle\product\10.1.0>sqlplus /nolog

(22)

Page(s): 22/33 SQL> conn / as sysdba

アイドル・インスタンスに接続しました。 SQL> startup

ORACLE インスタンスが起動しました。

Total System Global Area 612368384 bytes Fixed Size 790432 bytes Variable Size 170127456 bytes Database Buffers 440401920 bytes Redo Buffers 1048576 bytes データベースがマウントされました。 ORA-01157: データファイル 6 を識別/ロックできません - DBWR トレース・ファイルを参照してください ORA-01110: データファイル 6: '+DG1/rac/data_ts.dbf' NetVault のリストア画面から、リストアしたい表領域だけを指定し、リストアオプションでアカウントやリカバリカタログに関する設定後、リストアジョブを実行します。図 8-1 特定表領域のリストアリストア完了後に、メディア・リカバリを行い、データベースをオープンすると最終的に障害のあったデータにアクセスできることが確認できます。リストアを行ったノードで確認終了後、もう一方のノードも起動します。 SQL> recover database; メディア・リカバリが完了しました。 SQL> alter database open;

データベースが変更されました。 SQL> select count(*) from 郵便番号;

COUNT(*) --- 121630

(23)

8.2 ASM ディスクグループ全体の障害

次に、一つではなく複数の表領域が含まれた ASM のディスクグループに障害が発生した際の手順を確認します。この例では、間違って ASM をフォーマットしてしまった場合を想定しています。初めに、障害前は正しくデータにアクセスできることを確認しておきます。

COUNT(*) --- 121630

ASM 領域を NTFS でフォーマットするため、データベースおよび ASM を停止します。

D:\oracle\product\10.1.0\crs\BIN>srvctl stop database -d rac D:\oracle\product\10.1.0\crs\BIN>srvctl stop asm -n db1 D:\oracle\product\10.1.0\crs\BIN>srvctl stop asm -n db2 D:\oracle\product\10.1.0\crs\BIN>crs_stat -t

名前型ター...ト状態ホスト --- ora....SM1.asm application OFFLINE OFFLINE

ora....B1.lsnr application ONLINE ONLINE db1 ora.db1.gsd application ONLINE ONLINE db1 ora.db1.ons application ONLINE ONLINE db1 ora.db1.vip application ONLINE ONLINE db1 ora....SM2.asm application OFFLINE OFFLINE ora....B2.lsnr application ONLINE ONLINE db2 ora.db2.gsd application ONLINE ONLINE db2 ora.db2.ons application ONLINE ONLINE db2 ora.db2.vip application ONLINE ONLINE db2 ora.rac.db application OFFLINE OFFLINE ora....c1.inst application OFFLINE OFFLINE ora....c2.inst application OFFLINE OFFLINE

この状態で、DG1 と DG2 のディスクグループになっているボリュームを NTFS にてフォーマットします。

(24)

Page(s): 24/33 図 8-3 論理ドライブの削除

この状態で ASM インスタンスを起動してみると、アクセスできないことが分かります。

D:\oracle\product\10.1.0\crs\BIN>SET ORACLE_SID=+ASM1 D:\oracle\product\10.1.0\crs\BIN>sqlplus /nolog

SQL> conn / as sysdba

アイドル・インスタンスに接続しました。 SQL> startup

OSM インスタンスが起動されました

Total System Global Area 75497472 bytes Fixed Size 787864 bytes Variable Size 74709608 bytes Database Buffers 0 bytes Redo Buffers 0 bytes ORA-15032: ???????????????

ORA-15063: ?????????"DG2"??PST???????2????????; 0???????? ORA-15063: ?????????"DG1"??PST???????2????????; 0????????

※日本語環境の場合上記のようなメッセージになりますが、英語表記だと以下の通りです ORA-15032: not all alterations performed

ORA-15063: diskgroup "DG2" lacks quorum of 2 PST disks; 0 found ORA-15063: diskgroup "DG1" lacks quorum of 2 PST disks; 0 found

ディスクグループが無いので、CRS 等のサービスを停止した上で、再作成します。

D:\oracle\product\10.1.0\crs\BIN>srvctl stop nodeapps -n db1 D:\oracle\product\10.1.0\crs\BIN>srvctl stop nodeapps -n db2 D:\oracle\product\10.1.0\crs\BIN>crs_stat -t

名前型ター...ト状態ホスト --- ora....SM1.asm application OFFLINE OFFLINE

ora....B1.lsnr application OFFLINE OFFLINE ora.db1.gsd application OFFLINE OFFLINE ora.db1.ons application OFFLINE OFFLINE ora.db1.vip application OFFLINE OFFLINE

(25)

ora....SM2.asm application OFFLINE OFFLINE ora....B2.lsnr application OFFLINE OFFLINE ora.db2.gsd application OFFLINE OFFLINE ora.db2.ons application OFFLINE OFFLINE ora.db2.vip application OFFLINE OFFLINE ora.rac.db application OFFLINE OFFLINE ora....c1.inst application OFFLINE OFFLINE ora....c2.inst application OFFLINE OFFLINE

次に、すべてのサービスを停止します。この状態で、再度論理ドライブを作成し、再起動します。図 8-4 論理ドライブの再作成論理ドライブ作成後は、asmtoolg のツールを使用して、シンボリックリンクを作成します。このとき、作業自体は片側のノードから行えば問題ありませんが、ディスク自体の認識が正しくできていることを確認しておきます。もし OCR や投票ディスクにも障害が発生していた場合には、事前にオフライン・バックアップを使用して復旧します。図 8-5 asmtoolg によるシンボリックリンクの作成と確認最後にシンボリックリンクを使用して、ASM のディスクグループを作成し、その後でデータファイルやアーカイブログの配置に必要なディレクトリを作成しておきます。 set ORACLE_SID=+ASM1 D:\oracle\product\10.1.0\crs\BIN>sqlplus /nolog

SQL> conn / as sysdba

(26)

Page(s): 26/33 ディスク・グループが作成されました。

SQL> alter diskgroup DG1 add directory '+DG1/rac'; ディスク・グループが変更されました。

SQL> alter diskgroup DG2 add directory '+DG2/rac'; ディスク・グループが変更されました。

SQL> alter diskgroup DG2 add directory '+DG2/rac/ARC'; ディスク・グループが変更されました。

次にリストアですが、Oracle が停止状態では何のリストアも出来ません。最低でも nomount 状態で起動しておく必要があります。しかし、起動に必要な spfile も失われているため、あらかじめファイルに pfile として落としておいたものから、spfile を再作成します。例えば以下は、”D:\init.ora”に作成しておいた pfile を使用しています。

set ORACLE_SID=rac1

SQL> create spfile='+DG1/rac/spfilerac.ora' from pfile='D:\init.ora';

ファイルが作成されました。 SQL> startup nomount;

ORACLE インスタンスが起動しました。

Total System Global Area 612368384 bytes Fixed Size 790432 bytes Variable Size 170127456 bytes Database Buffers 440401920 bytes Redo Buffers 1048576 bytes

nomount 状態で、NetVault の GUI からリストアを実行します。リストアの詳細については、Oracle RMAN APM を使用したリストアの項目を確認するようにしてください。注意点としては、必ずリストアオプションでターゲット・データベースのパスワードと、リカバリ・カタログの使用をするようにしてください。リストアオプションの中に、リカバリのためのチェックボックスもありますが、後で不完全回復が必要になりますので、チェックしないようにします。

(27)

リストアを実行し、ジョブ管理で状況を確認すると一つのリストアジョブからリストア項目毎に、サブタスクが実行されそれぞれが完了することで全体のリストアが終了します。

図 8-7 Oracle RMAN APM リストア正常終了の確認

8.3 リストア後のリカバリ処理 リストアの完了を確認後、一度シャットダウンの上、mount 状態で起動します。 SQL> shutdown; ORA-01507: ??????????????????? ORACLE インスタンスがシャットダウンされました。 SQL> startup mount; ORACLE インスタンスが起動しました。

Total System Global Area 612368384 bytes Fixed Size 790432 bytes Variable Size 170127456 bytes Database Buffers 440401920 bytes Redo Buffers 1048576 bytes データベースがマウントされました。

RECOVER DATABASE コマンドにより、リカバリを試みますが、エラーとなるため指示に従い BACKUP CONTROLFILE を使用しリカバリします。

SQL> recover database;

ORA-00283: エラーによってリカバリ・セッションは取り消されました。

ORA-01610: BACKUP CONTROLFILE オプションを指定してリカバリを実行してください。

SQL> recover database using backup controlfile until cancel;

ORA-00279: 変更 331817(01/31/2006 13:52:33 で生成)にはスレッド 1 が必要です ORA-00289: 検討すべきログ・ファイル:+DG2/rac/arc//arc00018_0580849117.001 ORA-00280: 変更 331817(スレッド 1)は順序番号 18 に存在します。

ログの指定: {<RET>=suggested | filename | AUTO | CANCEL} AUTO

(28)

Page(s): 28/33 ORA-00279: 変更 332162(01/31/2006 13:54:12 で生成)にはスレッド 1 が必要です ORA-00289: 検討すべきログ・ファイル:+DG2/rac/arc//arc00019_0580849117.001 ORA-00280: 変更 332162(スレッド 1)は順序番号 19 に存在します。 ORA-00278: ログ・ファイル'+DG2/rac/arc//arc00018_0580849117.001'はこのリカバリでは必要ななりました ～途中省略～ ORA-00308: アーカイブ・ログ+DG2/rac/arc//arc00021_0580849117.001 をオープンできません。 ORA-17503: ksfdopn:2 ファイル+DG2/rac/arc//arc00021_0580849117.001 のオープンに失敗しました ORA-15173: entry 'arc00021_0580849117.001' does not exist in directory 'arc'

SQL> recover database using backup controlfile until cancel;

ORA-00279: 変更 332215(01/31/2006 13:54:34 で生成)にはスレッド 1 が必要です ORA-00289: 検討すべきログ・ファイル:+DG2/rac/arc//arc00021_0580849117.001 ORA-00280: 変更 332215(スレッド 1)は順序番号 21 に存在します。

ログの指定: {<RET>=suggested | filename | AUTO | CANCEL} CANCEL

メディア・リカバリが取り消されました。SQL> SQL> alter database open resetlogs;

データベースが変更されました。最後に、特定のログが無い旨のメッセージが表示されましたが、これはアーカイブ・ログではなくオンライン REDO ログを指定する必要があります。しかしながら、ASM を使用して ASM すべての領域に障害があった場合、オンライン REDO ログは失われています。そのため、最終的にはリカバリを途中でキャンセルし、RESETLOGS オプション付でデータベースをオープンすることで、不完全回復を行います。もちろん、オンライン REDO ログがある場合には、完全回復することが可能です。その場合にも、バックアップされた制御ファイルを使用してのリカバリの場合には、RESETLOGS オプション付でデータベースをオープンする必要があります。データベースがオープン後、ステータスを確認してみます。すべて正常な状態であることがわかります。

SQL> select FILE#,DF.NAME,TS.NAME,STATUS from v$datafile DF,v$tablespace TS where DF.TS#=TS.TS#;

FILE# NAME NAME STATUS --- --- --- ---

1 +DG1/rac/system.dbf SYSTEM SYSTEM 2 +DG1/rac/undotbs1.dbf UNDOTBS1 ONLINE 3 +DG1/rac/sysaux.dbf SYSAUX ONLINE 4 +DG1/rac/undotbs2.dbf UNDOTBS2 ONLINE 5 +DG1/rac/users.dbf USERS ONLINE 6 +DG1/rac/data_ts.dbf DATA_TS ONLINE

(29)

8.4 リカバリ後の注意点

RESETLOGS 付で、データベースをオープンした場合、ログ順序番号はリセットされ、1 番から開始されます。そのため、古いアーカイブ・ログはすべて不要になります。ディスク領域を無駄に消費し、これからの運用と混同しないためにも、古いアーカイブ・ログは削除しておくことが推奨されます。オープン後直ぐに状況を確認します。

RMAN> list archivelog all;

新しいデータベース・インカネーションでリカバリ・カタログを更新していますリカバリ・カタログの完全再同期を開始しています

完全再同期が完了しました

アーカイブ・ログ・コピーのリスト Key Thrd Seq S Low 時刻 Name --- ---- --- - --- ---- 41 1 10 A 06-01-27 +DG2/rac/arc//arc00010_0580849117.001 42 1 11 A 06-01-27 +DG2/rac/arc//arc00011_0580849117.001 43 1 12 A 06-01-27 +DG2/rac/arc//arc00012_0580849117.001 45 1 13 A 06-01-27 +DG2/rac/arc//arc00013_0580849117.001 46 1 14 A 06-01-27 +DG2/rac/arc//arc00014_0580849117.001 52 1 15 A 06-01-27 +DG2/rac/arc//arc00015_0580849117.001 48 1 16 A 06-01-31 +DG2/rac/arc//arc00016_0580849117.001 51 1 17 A 06-01-31 +DG2/rac/arc//arc00017_0580849117.001 101 1 18 A 06-01-31 +DG2/rac/arc//arc00018_0580849117.001 111 1 19 A 06-01-31 +DG2/rac/arc//arc00019_0580849117.001 113 1 20 A 06-01-31 +DG2/rac/arc//arc00020_0580849117.001 44 2 1 A 06-01-27 +DG2/rac/arc//arc00001_0580849117.002 47 2 2 A 06-01-27 +DG2/rac/arc//arc00002_0580849117.002 49 2 3 A 06-01-27 +DG2/rac/arc//arc00003_0580849117.002 50 2 4 A 06-01-31 +DG2/rac/arc//arc00004_0580849117.002 102 2 5 A 06-01-31 +DG2/rac/arc//arc00005_0580849117.002 112 2 6 A 06-01-31 +DG2/rac/arc//arc00006_0580849117.002 114 2 7 A 06-01-31 +DG2/rac/arc//arc00007_0580849117.002

LIST ARCHIVELOG ALL コマンドにて最新のログが含まれていないことを確認し、RMAN から DELETE ARCHIVELOG ALL にて削除します。もし、RESETLOGS によってリセットされた以降のログが含まれている場合には、個別に指定の上削除するようにします。（例にはそのための記述は、含まれていません）削除の際に、再度削除対象のアーカイブ・ログを確認します。

RMAN> delete archivelog all;

チャネル: ORA_DISK_1 が割り当てられましたチャネル ORA_DISK_1: sid=181 devtype=DISK

アーカイブ・ログ・コピーのリスト Key Thrd Seq S Low 時刻 Name --- ---- --- - --- ----

41 1 10 A 06-01-27 +DG2/rac/arc//arc00010_0580849117.001 42 1 11 A 06-01-27 +DG2/rac/arc//arc00011_0580849117.001 43 1 12 A 06-01-27 +DG2/rac/arc//arc00012_0580849117.001 45 1 13 A 06-01-27 +DG2/rac/arc//arc00013_0580849117.001

(30)

Page(s): 30/33 51 1 17 A 06-01-31 +DG2/rac/arc//arc00017_0580849117.001 101 1 18 A 06-01-31 +DG2/rac/arc//arc00018_0580849117.001 111 1 19 A 06-01-31 +DG2/rac/arc//arc00019_0580849117.001 113 1 20 A 06-01-31 +DG2/rac/arc//arc00020_0580849117.001 44 2 1 A 06-01-27 +DG2/rac/arc//arc00001_0580849117.002 47 2 2 A 06-01-27 +DG2/rac/arc//arc00002_0580849117.002 49 2 3 A 06-01-27 +DG2/rac/arc//arc00003_0580849117.002 50 2 4 A 06-01-31 +DG2/rac/arc//arc00004_0580849117.002 102 2 5 A 06-01-31 +DG2/rac/arc//arc00005_0580849117.002 112 2 6 A 06-01-31 +DG2/rac/arc//arc00006_0580849117.002 114 2 7 A 06-01-31 +DG2/rac/arc//arc00007_0580849117.002 このオブジェクトを削除しますか(YES または NO を入力してください)。 yes アーカイブ・ログを削除しましたアーカイブ・ログ・ファイル名=+DG2/rac/arc//arc00010_0580849117.001 レコード ID=1 スタンプ=580854164 アーカイブ・ログを削除しました～途中省略～アーカイブ・ログ・ファイル名=+DG2/rac/arc//arc00007_0580849117.002 レコード ID=19 スタンプ=581176476 18 オブジェクトを削除しました削除後最終的に、クリアになっているのを確認します。その後、強制的にログスイッチを発生させ、ログ順序番号が１番からになっているのを確認します。

指定がリカバリ・カタログのどのアーカイブ・ログとも一致しません

SQL> alter system switch logfile;

システムが変更されました。

アーカイブ・ログ・コピーのリスト Key Thrd Seq S Low 時刻 Name --- ---- --- - --- ----

215 1 1 A 06-01-31 +DG2/rac/arc//arc00001_0581180661.001

バックアップ制御ファイルを使用してリカバリすると、ローカル管理一次表領域から一次ファイルのエントリが削除されるため再追加をします。

SQL> alter tablespace temp add tempfile '+DG1/rac/temp.dbf' size 500M;

表領域が変更されました。

(31)

FILE# TS# NAME STATUS --- --- --- ---

1 3 +DG1/rac/temp.dbf ONLINE

次に、リカバリ・カタログの完全再同期が必要なため、通常は RESET DATABASE を実行します。しかし、事前に LIST ARCHIVELOG ALL を実行した際に自動的に行われているため、LIST INCARNATION により更新された状況だけを確認しておきます。

RMAN> reset database;

データベース・インカネーションはすでに登録されています。

RMAN> list incarnation;

データベース・インカネーション・リスト

DB Key Inc Key DB Name DB ID STATUS Reset SCN Reset Time --- --- --- --- --- --- --- 1 2 RAC 2168831133 PARENT 1 06-01-27 1 167 RAC 2168831133 CURRENT 332216 06-01-31

最後に、通常運用の際には再度完全なフルバックアップを実行するようにします。また、忘れずにもう一方のノードも起動し最終的に RAC としての状況確認を行います。

(32)

Page(s): 32/33

9. NetVault Server に使用する OS の違い

今回の検証では、NetVault Server に Linux を使用した場合と、Windows を使用した場合の 2 種類の環境で動作の確認を行いました。画面のスクリーンショットは Linux のものを使用して説明していますが、基本的な設定や考え方は一緒です。

図 9-1 同じ設定についての GUI の違い左側：Linux 右側：Windows

ほとんどの設定に違いはないのですが、NetVault では、Linux および Windows 上において日本語メニューによる GUI 環境が使用できるようになっています。しかし、OS が混在する場合には、英語表示に統一していただく必要があります。Linux を NetVault Server に使用する場合には、両方で英語表示設定にしてインストールすることになります。

図 9-2 Windows 用モジュールインストール時の言語設定

Linux 用モジュールインストール時の言語設定

Have you read and agreed to the terms of the license? (y = yes, n = no, d = display license) (y n d) [d] : y

Should a client or server version of NetVault be installed? (c s) [c] : s Select language? (1 English, 2 JapaneseEUC) [1] :

(33)

10. 検証結果および考察

以上の検証により、NetVault を使用して Oracle10g RAC の環境で VaultDR によるシステムのバックアップ、 ASM 領域の Raw Device Plugin によるオフライン・バックアップ、Oracle RMAN APM を使用してのオンライン・バックアップの運用が可能であることが確認できました。

また、Oracle10g RAC 環境のすべてのデータが失われた状態からの復旧については、以下の手順により復旧が可能なことを確認しました。

① VaultDR による各ノードのシステムリストア

② 各ノードを起動し、片側のノードから ASM に使用している共有ディスクのデータを Raw Device Plugin により取得したバックアップからリストア

③ 片側のノードを nomount 状態で起動後、Oracle RMAN APM により取得した最新のバックアップより、必要なデータをリストアおよびリカバリ ④ もう一方のノードを起動し、状況を確認 VaultDR を使用すれば、45GB 程度のシステムの復旧が 1000BaseT の環境で 20 分程度ですみやかに行えます。なお、VaultDR をご検討の際には必ず事前に各バージョンの VaultDR 使用要項を確認するようにしてください。また、NetVault Server の OS の種類による違いは確認できませんでした。