Oracle Database 10g Automatic Storage Management の NEC iStorage S シリーズへの適用

(1)

Oracle Database 10g

TM

Automatic Storage Management の

NEC iStorage S シリーズへの適用

An Oracle and NEC White Paper

August 2005

2006/04 更新

(2)

本書の内容は将来予告無しに変更することがあります。この文書は現状のまま提供するものです。またこの文書により明示的あるいは非明示的に示される各種条件や設定例などの特定の目的あるいはそれ以外の目的への適合性についての一切の保証をいたしません。

商標および登録商標

Oracle, Oracle Database 10g その他のオラクル社製品の名称はオラクル社の商標または登録商標です。 Linux は、米国およびその他の国における、Linus Torvalds氏の商標または登録商標です。

本文書中にある製品の名称は一般的にその製品の製造/販売元の商標または登録商標です。この文書は、Oracle Corporation /NEC発行「Using Oracle Database 10gAutomatic Storage Management with NEC Storage S series products」の翻訳版です。

Rev. 1.00 August 2005 Rev. 2.00 April 2006

(3)

1. はじめに... 4 2. iStorage のテクノロジ... 4 2.1 デュアルパリティ(RAID-6)...4 2.2 ダイナミックプール...5 2.3 SystemGlobe StoragePathSavior (SPS)...6 2.4 DynamicDataReplication...7 3. Oracle テクノロジ... 7 3.1 自動ストレージ管理...7 3.1.2 ASM インスタンス...7 3.1.3 動的リバランシング...8 3.1.4 ASM ミラー化...8 4. ASM の構成手順... 9 4.1 SPS スペシャルファイル名との対応...9 4.2 共有ディスク用 RAW デバイスの設定...9 4.3 外付け RAID 装置を利用した ASM ディスク・グループの作成... 11 5. iStorage と ASM を組み合わせたベストプラクティス... 11 5.1 デュアルパリティ（RAID6）とディスク・グループの組み合わせ... 11 5.2 高信頼・高性能を実現する SystemGlobe StoragePathSavior の利用...12 5.3 ディスク・グループへの複数 LUN の割り当てによる性能向上...13 5.4 動的ストレージ容量拡張...13 5.4.1 ディスク・グループへの論理ディスクの動的追加...13 6. 結論... 15 7. 付録... 15 7.1 ディスク・グループ中の既存論理ディスクのリサイズ...15 7.2 DynamicDataReplication を使ったバックアップとリカバリ手順...18

(4)

1. はじめに

この共同ホワイトペーパーは、Oracle Database 10g の Automatic Storage Management(以下 ASM）機能と NEC の iStorage S シリーズの組み合わせにおけるベストプラクティスを提供するものです。

ASM は、Oracle Database 10g に同梱されたデータベースファイルシステムであり、新たな費用の追加なく、クラスタファイルシステム、ボリューム管理機能を提供します。ASM は、性能や可用性を低減することなく、TCO の低減、ストレージ稼働率の向上が可能です。ASM により、データベースファイル管理の時間を最小限に抑えることができます。

ASM は過剰なリソースの割り当てを削減し、また、ストレージリソースの稼働率を最大化することによりデータベース統合を促進します。 ASM の自動チューニング機能は、データファイルをすべての利用可能なストレージに均等に分配します。 ASM は、従来使用されていた Raw Device よりも高い性能を約束するとともに、システムファイル使用の容易さを提供します。 ASM のインテリジェントなミラーリングテクノロジーは、RAID によるストレージアレイ装置でなくても、三重化ミラーによるデータ保護や低コストのストレージ調達を可能にします。

ASM は、性能と可用性に妥協することなく、Oracle Database 10g 構築のコストと複雑さを削減します。すなわち、 ¾ ストレージマネジメントの簡易化、自動化 ¾ ストレージの稼働率とアジリティの向上 ¾ サービスレベルアグリーメントにもとづいた性能と可用性の予想通りの供給が可能となっています。 NEC のｉStorage S シリーズ製品は、超高信頼なデュアルパリティ（ＲＡＩＤ-6）の冗長テクノロジを搭載したダイナミックプール機能により、ASM を補完し優れた価値付加を提供します。 ASM と iStorage の最も効果的な組み合わせにより、管理者はストレージ追加のためにデータベースをシャットダウンさせることなくデータベースサイズを拡張でき、それにより管理者は動的にデータベースを管理できるようになります。データベースのセットアップ、ディスク増設、ディスク削除のプロセスを容易化し、また、より少ないコストでより可用性の高いデータベースを構築することを可能にします。

2. iStorage のテクノロジ

2.1 デュアルパリティ(RAID-6)

NEC のｉStorage S シリーズは、劇的に信頼性と可用性を向上させるデュアルパリティ（ＲＡＩＤ-6）テクノロジを実装しています。NEC が独自に開発した新規ＲＡＩＤプロセッサで実現したデュアルパリティメカニズムは、二つの HDD が同時に障害となった場合でも、業務の継続を可能にします。すなわち、障害復旧時間を最小限にすることが可能です。

(5)

Two HDD Fault Tolerant Technology RAID-6メカニズム: 格納されたデータに基づき、二つの方程式を生成し、二つの独立したパリティデータを作成して各々記録します(P, Q)。 iStorage S4900/S2800/S2400/S1800AT/S1400/S400 では、新たに開発された RAID プロセッサにより、この複雑なRAIDオペレーションをハードウェアにて実行します。これにより、高い信頼性を保ちながら、高性能を実現することが可能になりました。

2.2 ダイナミックプール

ダイナミックプール機能は、仮想化テクノロジにより柔軟で効率的なディスクマネージメントを可能にします。従来からの”RANK”単位でディスク管理を行う方法に加え、ダイナミックプール機能は、正確なディスク容量ニーズに応じて、お客様が RAID-6 の構成において、RAID と RANK の物理的な構成を意識することなくディスク容量を拡張できるよう開発されました。

必要な容量の論理ディスクをプールから生成することができます。プールに十分な容量がない場合、プールへの容量追加は、HDD ひとつずつの単位で追加することができます。

論理ディスクが不要になった時は、使用していたサーバからディスクを切り離し、プールに戻すことが可能です。また、プールから必要容量をアロケートし、既存の論理ディスク容量を増やすことも可能です。

(6)

2.3 SystemGlobe StoragePathSavior (SPS)

このソフトウェアは、iStorage へのアクセスパスに障害が発生した場合、アクセスパスの自動切換えを行います。障害原因が取り除かれた後、障害となったアクセスパスを復旧させるのには、restoration コマンドを使います。さらに、多重化されたアクセスパスを同時に使うことで、I/O トラフィックを異なるアクセスパスへ分散させることができます。

(7)

2.4 DynamicDataReplication

DynamicDataReplication 機能は、サーバの資源を消費することなくディスクアレイ装置内に論理ディスク単位に複製ボリュームを取ることができます。この複製ボリュームは任意の時点で切り離して、バックアップ、アプリケーションテストなど別の用途に利用することができます。

3. Oracle テクノロジ

3.1 自動ストレージ管理

Automatic Storage Management ( ASM ) は Oracle データベースのファイル用に特別に設計されたファイルシステムとボリュームマネージャを垂直統合したものです。ASM はデータファイル、ログファイル、制御ファイル、アーカイブログ、RMAN バックアップセット等の Oracle データベースファイルをサポートします。ディスク・グループ内のすべてのディスクに均一にデータベースファイルを割り振りますので、性能を最適化すると同時に、手作業の I/O チューニングをなくします。ASM により、DBA はストレージ領域を調整するためにデータベースをシャットダウンせずに、動的にデータベースのサイズの変更ができます。ASM は Real Application Clusters (RAC) 環境と非 RAC 構成データベースの両方で使えます。

3.1.1 ディスク・グループ

ディスク・グループは論理的な１ユニットとして扱われるディスク群の集まりです。ASM は各ファイルをディスク・グループ内のすべてのディスク群に割り振り I/O 負荷をバランスします。負荷バランシングを最大化するにはディスク・グループ上のすべての LUN は似通ったサイズと性能を持ちスピンドルを共有しないことが必要です。ほとんどのインストレーションでは少数のディスク・グループを使っています。たとえば、作業領域用にひとつのディスク・グループ、リカバリ領域に別のディスク・グループを持つ、などです。いかなる単一の ASM ファイルも単一のディスク・グループ内にしか存在しません。しかしながら、ひとつのディスク・グループは複数のデータベースに属するファイルを収容でき、そしてひとつのデータベースは複数のディスク・グループからの領域を使うことができます。データベース用のファイルのデフォルトのディスク・グループを DB 初期化パラメータの file destination に指定することができます。 ASM はファイルを 1MB のエクステントに分割しそれらをディスク・グループ内のすべてのディスクに均等に割り振ります。ASM はエクステントの位置を追跡するのに計算式を使うのではなくポインタを使います。ディスク・グループの構成が変化したときに、ASM は計算式を使ってすべてのエクステントをずらすことなく、ファイルの個々のエクステントを移動できます。低いレイテンシーが要求されるファイル(ログファイルなど)には、ASM はより細かい(128k)ストライプサイズを使い大きな I/O サイズの要求が分割され複数のディスクにより並列処理されやすくします。ファイルの作成時に細かい粒度のストライピングを使うか否かを指定できます。各ファイル・タイプに関連付けられたテンプレートが、デフォルトのストライプ化属性を決定しています。

3.1.2 ASM インスタンス

ASM インスタンスとはディスク・グループの動作を同調させるための特別な Oracle インスタンスです。ASM インスタンスはディスク・グループ内のファイルのレイアウトを制御します。データベースのファイルの作成時やオープン時に、ASM インスタンスはエクステント・マップと呼ぶファイルのレイアウト情報をデータベースインスタンスに伝えます。一度ファイル・エクステント・マップを取得すればあとは ASM インスタンスの介入なしにデータベースインスタンスが直接ディスクに I/O を行います。ディスク・グループの構成変更中(たとえばディスクの追加、削除、障害発生時)は、ASM インスタンスはデータベースインスタンスを同調しファイルレイアウトの変更を同期させます。

(8)

ASM インスタンスはデータベースをマウントできません。ディスク・グループをマウントします。データベースインスタンスがディスク・グループ内のファイルをアクセスする前に、ASM インスタンスが開始されていなければなりません。複数の異なるデータベースインスタンスはディスク・グループを共有できます。シングルノード構成では、単一の ASM インスタンスがすべてのディスク・グループを管理します。Real Application Clusters 環境では各ノードごとに ASM インスタンスが一つ存在しクラスター内で同調しながらそのノード用のすべてのディスク・グループを管理します。 ASM 管理コマンド(ディスク・グループ作成、ディスクの追加・削除など)はすべて ASM インスタンスに対して発行します。ASM ファイルを使うデータベースインスタンスに対してではありません。

3.1.3 動的リバランシング

リバランシングとはディスク・グループ内の全ディスクに均等にファイルデータを割り振ることです。ディスクの追加や削除時に ASM は自動的にディスク・グループをリバランスします。ASM はファイルのアロケート時にファイルがディスク・グループ内の全ディスクに均一に割り振られるように動作しますので、ストレージの構成変更があったときのみリバランシングが必要になります。ファイルのアロケート時とストレージ構成変更時に I/O がバランスされるため、ディスク・グループ内のホットスポットを探し I/O 負荷分散するために手動でデータを移動する必要は一切なくなります。非 ASM 環境においては手動の I/O チューニングはしばしば繰り返される作業であり、ASM の I/O 負荷分散は DBA にとって大きな時間節約を意味します。

データベースの運用中にディスク・グループへのディスク追加や削除を行えます。リバランスが終了すると追加されたディスクは I/O 負荷を分担し、削除されたディスクはシステムから取り外したり他の目的に利用できます。 ASM がデータを割り振るアルゴリズムは伝統的な RAID の厳密なストラピングではないため、ASM はすべてのデータを再度ストライプする必要がありません。データを再割り振りし I/O 負荷バランスを実現するために移動するデータ量は追加もしくは削除されたディスクの量に比例します。リバランス中に発生するデータ移動のスピードを調節することができます。スピードを増加させるとリバランスの終了が速くなり、逆にスピードを減少させれば I/O サブシステムへの影響を低下できます。動的リバランシングの強みの一例は、データベースをオンラインのままディスク・グループを古いストレージシステムから新しいシステムに移行できることです。新しいストレージシステムのディスクを追加し古いストレージシステムのディスクを削除するコマンドを発行すると、ASM は自動的にデータを新ストレージシステムに移動します。再バランス完了後、旧ストレージシステムを切断できます。あなたのアプリケーションには一切ダウンタイムは発生しません。

3.1.4 ASM ミラー化

ASM にはディスク・グループに対して３つの異なるミラー化のタイプをサポートしています：外部、通常、および高冗長性です。外部冗長性のディスク・グループはミラー化を行いません。ハードウェアのミラー化を使っている場合や、ディスク障害によるデータ損失を許容できる場合に使います。通常の冗長性のディスク・グループはファイル毎に 2 方向のミラー化かミラー化なしをサポートします。ファイルの作成時に通常の冗長性のディスク・グループ内のファイルをミラー化するか否かを決定します。ファイルタイプ固有テンプレートがデフォルト値を決定します。高い冗長性ディスク・グループは 3 方向のミラー化を提供します。 ASM はユニークなミラー化アルゴリズムを使用します。ASM はディスクをミラー化するのではなく、エクステントをミラー化します。その結果ホット・スペア・ディスクを用意しておく必要はありません。ディスク・グループ内でスペア領域だけが必要です。ディスクの障害時には、ASM は残りのディスク上からミラー化された内容を読みこみ残りのディスク上に障害ディスクの中身を自動的に再構築します。通常運用時にすべてのスピンドルが活動しているだけではありません。ディスク障害によって起こされる I/O 集中は、障害ディスクをミラー化していたディスクだけではなく、複数のディスク上に分散されます。

(9)

ASM がディスク・グループ内のあるディスク上にファイルのプライマリ・エクステントを確保する時、そのディスク・グループ内の別のディスクにそのエクステントのミラー・コピーを確保します。あるディスク上のプライマリ・エクステントには対応するミラー・エクステントがディスク・グループ内のあるディスク上に存在します。ディスク・グループ内のすべてのディスクは同じ割合のプライマリとミラー・エクステントを持ちます。障害グループとは、障害に備えたい共通の資源を共有する単一ディスク・グループ内のディスク群です。ASM はプライマリ・エクステントとそのミラー・コピーを必ず同一の障害グループに入れないことを保証します。ディスク・グループに障害グループを定義した場合、ASM は単一の障害グループ内の複数のディスクの同時障害を許容できます。これにより、例えば、ファイラー群のアレイをまたがってミラー化すれば一つのファイラー全体の障害に備えることが可能になります。 ASM はデータベースと密に統合されており、データベースのログファイルや他のアプリケーションやファイルタイプ固有の情報を利用し、I/O 障害から回復するためのダーティ・リージョン・ロギング(Dirty Region Logging)の必要性を解消しています。

4. ASM の構成手順

このセクションでは、Linux プラットフォームにおける Oracle Database Standard Edition RAC 環境下での、iStorage の RAID 機能を用いた ASM ディスク・グループの作成方法を示します。

このホワイトペーパーは Linux 向けに書かれていますが、ベストプラクティスの内容は他の OS や Oracle Database 10g の他のリリースにも適用できます。

4.1 SPS スペシャルファイル名との対応

SystemGlobe StoragePathSavior （SPS）をインストールすると、論理デバイスへの複数パスを隠蔽するため、 iStorage 内に構成された論理デバイスごとに以下のようなスペシャルファイルが作成されます。 #ls /dev /dev/dda1 /dev/dda2 /dev/dda3 /dev/ddb1 /dev/ddc1 /dev/ddd1 /dev/ddd1 /dev/dde1

4.2 共有ディスク用 RAW デバイスの設定

“/etc/sysconfig/rawdevices” ファイルの中に、RAC の共有ディスクとなる RAW デバイスと SPS のスペシャルファイル名の関係を記述します。下記の例では、”/dev/raw/raw１”から”/dev/raw/raw5”までを RAW デバイスにバインドしています。

Setting sample for /etc/sysconfig/rawdevices #vi /etc/sysconfig/rawdevices

#for OCR Voting /dev/raw/raw1 /dev/dda1 /dev/raw/raw2 /dev/dda2

(10)

#for Oracle DATA/SPFILE /dev/raw/raw3 /dev/ddb1

#for Flash Recovery Area/control1/Archive /dev/raw/raw4 /dev/ddc1

#for LOG1/control2 /dev/raw/raw5 /dev/ddd1

次に、rawdevices サービスを開始します。

Starting rawdevices service # / etc/rc.d/init.d/rawdevices start

設定状況は、“raw –qa" コマンドで確認することができます。上の画面では、それぞれのディスクが設定ファイル通りバインドされたことがわかります。作成した RAW デバイスを Oracle ユーザから利用できるように所有者とグループの設定を行います。“chown”コマンドを使用して設定します。

(11)

# chown oracle:oinstall /dev/raw/raw[1-5]

以上と同様の作業を、RAC を構成する他のサーバについても行ってください。ここで重要なことは、物理的に同じディスクについては、どのサーバからでも同じ名前にバインドすることが必要であるということです。

4.3 外付け RAID 装置を利用した ASM ディスク・グループの作成

ASM インスタンス起動後、外付け RAID 装置を使用して ASM ディスク・グループを作成するには以下のようなコマンドを使用します。ｉＳｔｏｒａｇｅ S シリーズはデュアルパリティ（ＲＡＩＤ-6）をサポートしているため、極めて高い信頼性のデータベース用ストレージを構築することが可能になっています。

SQL> CREATE DISKGROUP DATA EXTERNAL REDUNDANCY DISK ‘/dev/raw/raw4’,

ディスクの使用用途については、下記表を参考にしてください。使用するディスク・グループ分、上記コマンドを実行してください。

RAW デバイス使用用途

Raw device Name

ASM disk group

name Redundancy Data

/dev/raw/raw3 +DATA EXTERNAL Table space/SPFILE

/dev/raw/raw4 +Flash Recovery Area EXTERNAL Online Redo log(primary)

Control file(primary)/Archive log file

/dev/raw/raw5 +LOG1 EXTERNAL Online Redo log(secondary)

Control file(secondary)

5. iStorage と ASM を組み合わせたベストプラクティス

このセクションでは、Oracle データベースの稼動と、ISV バックアップソフトと Oracle RMAN (Recovery Manager) の連携による、オンラインバックアップのための、ASM ディスク・グループ構成に関してのガイドラインを提供しています。

(12)

高性能と可用性を両立させるため、iStorage のデュアルパリティ（RAID6）を使用した ASM ディスク・グループの作成を強く推奨します。また、RAID6 とダイナミックプール機能の組み合わせは以下の利点があります。 ¾ 非常に高い信頼性 ¾ 簡単なストレージ構成 ¾ ストレージ容量の効率的使用とプロビジョニング以下の表は、iStorage S シリーズのエントリー機種である S1400 を使用した場合のストレージ構成例です。 OS LD Pool

Path(RAW) Path(RAW) Path(RAW) File System

ASM disk group

Name Resource No Physical Disk

RAID Level

/dev/raw/raw1 OCR area

/dev/sdb /dev/dda

/dev/raw/raw2

RAW Non-ASM LX_OCR

Voting disk

0005h 00h-01h RAID1 /dev/sdc /dev/ddb /dev/raw/raw3 RAW +DATA LX_DATA DATA/SPFILE 0006h 02h-07h RAID6 /dev/sdd /dev/ddc /dev/raw/raw4 RAW +Flash Recovery

Area

LX_Flash Recovery Area

Redo log1

Control file1/Archive log

0007h 08h-0dh RAID6 /dev/sde /dev/ddd /dev/raw/raw5 RAW +LOG1 LX_LOG1 Redo log2

Control file2 0007h 08h-0dh RAID6 Note: OCR と Voting ディスクは別々の配置することができます。また、Release2 の OracleClusterware を利用して多重化することも可能です。可用性向上のため、Redo ログを冗長化することを強く推奨します。具体的には、Redo ログの複製を、アーカイブログ、バックアップファイル、一時ファイルと同様に Flash Recovery Area ディスク・グループに置きます。また、 Redo ログの複製は、別の ASM Log1 ディスク・グループへ置くことも可能です。このシナリオでは、予期せぬ短期のディスク・グループ障害からクリティカルな Redo ログが守られています。iStorage S シリーズは、その独自のデュアルパリティ機能を活用することで、Oracle データベースを保護する、より高い信頼性と可用性のソリューションです。

5.2 高信頼・高性能を実現する SystemGlobe StoragePathSavior の利用

Hot spare disk 00

ASM Disk Group +DATA

ASM Disk Group +Flash Recovery Area

ASM Disk Group +LOG1 OCR

(13)

iStorage S シリーズは、エントリレベルの機種から、冗長なファイバチャネルポートを実装しています。 StoragePathSavior は、実体は単一の LUN でありながら、複数パス経由で複数の LUN として認識された LUN を、単一の擬似デバイスとして仮想化します。I/O アクセスパスの信頼性向上と性能向上の観点から、SystemGlobe StoragePathSavoir の使用を強く推奨します。

5.3 ディスク・グループへの複数 LUN の割り当てによる性能向上

iStorage の RAID6 ストラピングはストレージ層で I/O の均一振り分けを行い I/O ボトルネックを回避します。 ASM はディスク・グループ内のすべてのディスク間で I/Oの均一振り分けを行いホスト層での I/Oボトルネックを回避することができます。これら二つのテクノロジは互いに補完するものであり、これらにより性能の自動チューニングが行われるデータベースシステムが実現されます。よって ASM ディスク・グループに複数の LUN を割り当てることがベストプラクティスです。

DATA ディスク・グループに複数の LUN を割り当てることによりホスト側での I/O ボトルネックの発生率を大幅に低減できます。

5.4 動的ストレージ容量拡張

このセクションでは、Linux プラットフォーム上の Oracle Database 10ｇ RAC 環境下において、ASM と iStorage のプール機能を組み合わせて使用することにより、データベースインスタンスの停止なくダイナミックなストレージ容量拡張を行う手順を記述します。他の OS プラットフォームでは、手順が異なります。

5.4.1 ディスク・グループへの論理ディスクの動的追加

以下は、ストレージプール領域から新規に LUN を作成して、ASM ディスク・グループへ追加する手順です。このホワイトペーパーでは、新たに作成された論理ディスクを Linux OS から認識させる普遍的な方法として OS リブートを用いています。確かに、例えば以下のようなコマンドで認識させる方法もありますが、

# echo “scsi add-single-device a b c d” >/proc/scsi/scsiI

カーネルバージョンにより正常に機能しない場合があります。OS リブート以外の方法でダイナミックな認識方法を使いたいのであれば、実際に使用している Linux の環境にて、その方法が有効かどうか、事前によく確認してください。

srvctl コマンドを使用して、RAC を構成しているひとつのノード上の Oracle データベースインスタンスを止めて、待機系ノードへ業務を引き継がせます。

[oracle@lx410 oracle]$ srvctl stop instance –d SERAC –i SERAC1 –o immidiate

ノードのリブートを行います。新規に追加された論理ディスクを認識できているかどうか確認してください。

[root@lx410 root]# shutdown –r now After the reboot completion

[root@lx410 root]# dmesg | less

(14)

(/etc/dualpathrc)を再作成します。その後、パス巡回デーモンを再起動します。

[root@lx410 root]# mv /etc/dualpathrc /etc/dualpathrc.bak rename and store for backup [root@lx410 root]# mkdd execute mkdd command temporary Couldn’nt open /etc/dualpathrc

I try auto setting…

[root@lx410 root]# /etc/rc.d/init.d/dd_daemon restart activate daemon for path patrol again [root@lx410 root]# mkdd

fdisk コマンドを使用して、追加した論理ディスクにパーティションを作成します。

[root@lx410 root]# fdisk /dev/dde use Path Manager device file name

”etc/sysconfig/rawdevices” ファイル中に、作成したパーティションと RAW デバイスとの対応関係を記述します。その後、rawdevices サービスを再起動してディスクをバインドします。

また、追加した RAW デバイスは Oracle で使用するため、オーナーを Oracle ユーザに変更します。

[root@lx410 root]# vi /etc/sysconfig/rawdevices ex.

/dev/raw/raw6 /dev/dde1 assign the additional disk as /dev/raw/raw6 [root@lx410 root]# /etc/rc.d/init.d/rawdevices restart

[root@lx410 root]# raw –qa confirm normal setting [root@lx410 root]# chown oracle:oinstall /dev/raw/raw6

待機系サーバでも、パーティションの作成以外の手順を実行し、ディスクを使用できるようにします。

ASM ディスク・グループの拡張

現用系ノードにて ASM インスタンスへログインします。

[oracle@lx410 oracle]$ ORACLE_SID=+ASM1 sqplus

Enter user-name: / as sysdba Connected to:

Oracle Database 10g Enterprise Edition Release 10.2.1.0 – Production With the Partitioning, Real Application Cluster and Data Mining options SQL>

以下のように SELECT 文を実行し、TOTAL_MB で現在の総容量を確認します。

SQL> SELECT * FROM v$asm_diskgroup WHERE NAME='DATA';

GROUP_NUMBER NAME SECTOR_SIZE BLOICK_SIZE ALLOCATION_UNIT STATE TYPE TOTAL_MB FREE_MB ---

2 DATA 512 4096 1048576 MOUNTED EXTERN 269308 265244

SQL>

表領域の ASM ディスク・グループ”+DATA”へディスクを追加すべく、ALTER 文を実行して追加するディスクの RAW デバイスを指定します。

(15)

SQL> alter diskgroup DATA add disk ‘/dev/raw/raw6’; Diskgroup altered

SQL>

SELECT 文を実行し、TOTAL_MB で拡張後の総容量を確認します。ここでは、33.6GB のディスクを新たに追加しました。

SQL>

6. 結論

サーバベースの Oracle テクノロジとストレージベースの NEC テクノロジとの間では、お互いに重複するテクノロジが存在しますが、お互いの長所をベストに組み合わせることにより、両社の共通のお客様に対して、より低いコストにて、より高い信頼性と可用性、より高い性能とスケーラビリティ、データベースのより簡単な管理容易性を提供することができます。この共同ホワイトペーパーは、Oracle 社と NEC の相互の戦略的アライアンスパートナシップに基づいています。両社は、お互いの最先端なテクノロジで実現したベストなソリューションを、共通のお客様に対して、将来も提供し続けてまいります。 ASM と NEC のストレージテクノロジは補完的なソリューションです。両社からのベストオブブリードによるソリューションは高い信頼性と可用性、高性能とスケーラビリティ、データベースの管理容易性、所有コストの低減を提供します。これらのベストプラクティスは、共通のお客様が、ソリューションをより早く、より少ない管理オーバヘッドにて実現するのを手助けします。Oracle 社と NEC は、お客様のビジネス上の要求事項をこれまで以上に叶えるべく、最先端のテクノロジとレファレンスアーキテクチャの供給に全力を投じています。

7. 付録

7.1 ディスク・グループ中の既存論理ディスクのリサイズ

以下の手順は、ストレージプール領域から追加容量分だけを切り出すことにより、ASM ディスク・グループ内の既存 LUN のリサイズを行う手順です。これらの手順は少々複雑なため、操作ミスによりデータ損失のような重大な問題を引き起こす恐れがあります。使用にあたっては、細心の注意を払ってください。最初に、 SELECT コマンドを実行し、拡張するディスクの現在の容量を確認しておきます。

Oracle Database 10g Enterprise Edition Release 10.2.1.0 – Production With the Partitioning, Real Application Cluster and Data Mining options SQL> SELECT * FROM v$asm_diskgroup WHERE NAME='DATA';

(16)

RAW キャラクタデバイスを拡張するため、デバイスにアクセスしている Oracle インスタンスを停止します。

[oracle@lx410 oracle]$ srvctl stop instance –d SERAC –i SERAC1 –o immediate;

同様に、デバイスにアクセスしている ASM インスタンスを停止します。

[oracle@lx410 oracle]$ srvctl stop asm -n lx410 –o immediate;

ストレージプール領域に空き容量がない場合、HDD をダイナミックに追加することでプール容量を拡張することができます。

iStorage Manager (iSM) クライアントより、既存の LUN のサイズを拡張します。対象の RAW キャラクタデバイスをアンバインドします。

[root@lx410 root]# raw /dev/raw/raw4 0 0

fdisk ユーティリティを使用して、容量拡張した LUN の領域テーブルを再読み込みします。

[root@lx410 root]# fdisk /dev/ddb SPS デバイス名を使用します The number of cylinders for this disk is set to 4422.

There is nothing wrong with that, but this is larger than 1024, and could in certain setups cause problems with:

1) software that runs at boot time (e.g., old versions of LILO) 2) booting and partitioning software from other OSs

(e.g., DOS FDISK, OS/2 FDISK)

Command (m for help):w w キーを押します

fdisk ユーティリティを使用して、RAW キャラクタデバイスを拡張します。現在存在しているパーティションを削除し、新たにパーティションを作成し直します。RAW キャラクタデバイスのため、パーティションを削除しても内容は消えずに、容量を拡張したパーティションを作成することができます。

容量を拡張した RAW キャラクタデバイスをブロックデバイスに再バインドします。

[root@lx410 root]# raw /dev/raw/raw4 /dev/ddb1

ASM インスタンスを再開します。再開後、 $ORACLE_BASE/admin/+ASM/bdump/alert+ASM1.log”にエラーなどが表示されずに +DATA ディスク・グループが正常にマウントされているか確認してください。

[oracle@lx410 oracle]$ srvctl start asm -n lx410 –o open;

ASM インスタンス正常起動後、停止させていた Oracle インスタンスを開始します。開始後、 $ORACLE_BASE/admin/SERAC/bdump/alertSERAC1.log にエラーなどが表示されずに Oracle インスタンスが正常に起動した確認してください。

(17)

[oracle@lx410 oracle]$ srvctl start instance –d SERAC –I SERAC1 –o open;

現用系サーバにて、ASM インスタンスへログインします。

Oracle Database 10g Enterprise Edition Release 10.2.1.0 – Production With the Partitioning, Real Application Cluster and Data Mining options SQL>

表領域のディスク・グループ”+DATA”の容量を拡張します。ALTER 文を実行し、ディスク・グループをリサイズします。

SQL> ALTER DISKGROUP DATA RESIZE DISK DATA_0000 SIZE 300G; Diskgroup altered

SQL>

SELECT 文を実行し、TOTAL_MB の値が以前の値よりも増加していることを確認してください。

GROUP_NUMBER NAME SECTOR_SIZE BLOICK_SIZE ALLOCATION_UNIT STATE TYPE TOTAL_MB FREE_MB 2 DATA 512 4096 1048576 MOUNTED EXTERN 312320 265244

(18)

7.2 DynamicDataReplication を使ったバックアップとリカバリ

DynamicDataReplication は、各々の論理ディスクの中に作成された業務ボリュームの複製をつくります。DDR においては、こうした業務ボリュームは Master Volume(MV)、複製されたボリュームは Replicated Volume（RV）と呼ばれます。 RV はいつでも MV から切り離す事が可能であり、切り離された RV は、例えばバックアップや試験的な業務運用のような複数の目的のために使用可能です。このように DynamicDataReplication は、24/7 運用に対応しビジネス継続性拡大のために必要な基盤機能を提供します。 ASM と DDR を併用することで、サーバに負荷をかけないホットバックアップが及び任意の時点でのコピーボリュームの取得が可能となり、より高い運用性、可用性への要求に応えることができます。最近増大している 24 時間 365 日無停止運用が求められているサービスでは、データベース運用を停めずに、しかもサーバに負荷をかけずにデータのバックアップをとることが必要となります。 iStorage では、ASM と DDR を組み合わせて利用することで、このような要件に対応することができます。

(19)

7.2.1 システム構成

（１）ハードウェア構成

データファイル、ログファイル(アーカイブログ)の複製（RV1/RV2）を作成し、バックアップサーバでマウント。制御ファイル・サーバパラメータファイルのバックアップファイルをローカルドライブに作成。

(20)

（２）ディスク構成

OS ASM iStorage LD iStorage

Pool アクセスコントロール Path (SPS) Path (RAW) FileSyste m Diskgroup Name

Resource Capacity RAID Level /dev/dda1 /dev/raw/raw 11 Raw - 投票ディスク 1000MB

/dev/ddb1 /dev/raw/raw 21 Raw - OCR ディスク 1000MB /dev/ddc1 /dev/raw/raw 31 Raw コントロールファイル（正） 2000MB /dev/ddd1 /dev/raw/raw 41 Raw 4000MB /dev/dde1 /dev/raw/raw 51 Raw

RedoLog ファイル(正)

4000MB /dev/ddf1 /dev/raw/raw 61 Raw

+REDO1

アーカイブログファイル（正） 20GB

RAID 1

/dev/ddg1 /dev/raw/raw 71 Raw - 投票ディスク 1000MB /dev/ddh1 /dev/raw/raw 81 Raw - OCR ディスク 1000MB /dev/ddi1 /dev/raw/raw 91 Raw コントロールファイル（副） 2000MB /dev/ddj1 /dev/raw/raw101 Raw 4000MB /dev/ddk1 /dev/raw/raw111 Raw

RedoLog ファイル(副)

4000MB /dev/ddl1 /dev/raw/raw121 Raw

+REDO2

アーカイブログファイル（副） 20GB

RAID1

/dev/ddm1 /dev/raw/raw131 Raw - 投票ディスク 1000MB /dev/ddn1 /dev/raw/raw141 Raw サーバパラメータファイル 4000MB /dev/ddo1 /dev/raw/raw151 Raw +DATA 表領域(MV) 120GB

RAID6 業務サーバ

(NodeA/NodeB)

/dev/ddp1 - EXT3 - アーカイブコピー領域(MV) 20GB RAID1 /dev/dda1 - Ext3 - アーカイブコピー領域(RV) 20GB RAID1 バックアップ

(21)

7.2.2 バックアップ手順

（１）ホットバックアップフロー（２）ホットバックアップ手順手順 1. レプリケート（業務サーバ） Oracle の表領域が格納されている MV のレプリケートを実行します。 • コンソール上から iSMrc_replicate コマンドを利用して MV のレプリケートを実行します。 -wait オプションを使用し、レプリケートが終了するのを待ちます。

[root@業務サーバ]# iSMrc_replicate –file レプリケーション操作ファイル -wait

レプリケーション操作ファイルの内容 0:LX_RAC_DATA_MV 0:LX_RAC_DATA_RV 手順3. ASMバランス確認手順1. レプリケート手順5. ホットバックアップモードを解除手順4. セパレート手順6. 制御ファイルバックアップ作成手順2. ホットバックアップモードへ移行業務サーババックアップサーバ手順3. ASMバランス確認手順1. レプリケート手順5. ホットバックアップモードを解除手順4. セパレート手順6. 制御ファイルバックアップ作成手順2. ホットバックアップモードへ移行業務サーババックアップサーバ

(22)

手順 2. 表領域をホットバックアップモードへ移行（業務サーバ）

データベースにバックアップの開始を通知し、各表領域をホットバックアップモードへ移行します。

• MV 上に存在する全ての表領域をホットバックアップモードに移行します。

SQL> alter tablespace 表領域 begin backup;

手順 3. ASM バランス確認 (業務サーバ)

ASM が再バランス中か確認します。

• select コマンドを発行し、ASM ディスク・グループが再バランス中か確認します。

再バランス中でなければ、 no rows selected と表示されます。

SQL> select * from v$asm_operation

再バランス中であれば、 alter diskgroup コマンドを発行し再バランスを停止させます。

SQL> alter diskgroup ディスク・グループ名 rebalance power 0

手順 4. セパレート（業務サーバ）

同期状態にあるMV と RV を切り離します。

• コンソール上から iSMrc_separate コマンドを使用してセパレートを実行します。

-wait オプションを使用し、セパレートが完全に終了するのを待ちます。

[root@業務サーバ]# iSMrc_separate –file レプリケーション操作ファイル –wait

レプリケーション操作ファイルは「レプリケート」と同じファイルを使用してください。

手順 5. 表領域のホットバックアップモードを解除

MV セパレート終了後、ホットバックアップモードに移行していた表領域のモードを解除します。

• ホットバックアップモードに移行した全ての表領域を解除します。

SQL> alter tablespace 表領域 end backup;

(23)

稼動しているデータベースの制御ファイルとサーバパラメータファイルのバックアップを作成します。

SQL> alter database backup controlfile to ‘/u01/app/oracle/ctlSID.bak’ reuse;

SQL> create pfile='/u01/app/oracle/initSID.bak'from spfile=’ SPFILE 保存先ディスク・グループ/spfilename'

（３）アーカイブバックアップフロー（４）アーカイブバックアップ手順手順 1. tempRV のアンマウント（バックアップサーバ）アーカイブログのコピーを保存する RV(以下 tempRV)ボリュームをシステムからアンマウントし、ファイルシステムのバッファ内に残っているデータをディスクに反映します。 [root@バックアップサーバ] # umount マウントポイント手順 3. RMANを使用したアーカイブログファイルのコピー手順 1. tempRVアンマウント手順 5. セパレート手順 4. tempMVアンマウント手順 6. tempMVマウント手順 2. レプリケート業務サーババックアップサーバ手順 8. tempRVマウント手順 7. セパレート完了を待機手順 3. RMANを使用したアーカイブログファイルのコピー手順 1. tempRVアンマウント手順 5. セパレート手順 4. tempMVアンマウント手順 6. tempMVマウント手順 2. レプリケート業務サーババックアップサーバ手順 8. tempRVマウント手順 7. セパレート完了を待機

(24)

手順 2. レプリケート（業務サーバ）

アーカイブログのコピーを保存する MV(以下 TempMV)ボリュームのレプリケートを実行します。

• コンソール上から iSMrc_replicate コマンドを利用して MV のレプリケートを実行します。

-nowait オプションを使用しレプリケートが終了する前に次の処理へ進むことができます。

[root@業務サーバ] # iSMrc_replicate –file レプリケーション操作ファイル -nowait

レプリケーション操作ファイルの内容

0:LX_RAC_ARCTMP_MV 0:LX_RAC_ARCTMP_RV

手順 3. RMAN を使用したアーカイブログファイルのコピー（業務サーバ）

RMAN を使用し、ASM ディスク・グループ内のアーカイブログを tempMV へコピーします。

• アーカイブログのイメージ・コピーを tempMV へコピーします。

RMAN> RUN {

BACKUP DEVICE TYPE DISK FORMAT ‘tempMVマウントポイント/%U ARCHIVELOG ALL DELETE INPUT }; このコマンドを実行すると、カレントのオンライン REDO ログファイルをアーカイブし、強制的にグループの切り替えも行うため、別途 SQL コマンドを実行せずに処理を進められます。手順 4. tempMV アンマウント（業務サーバ） tempMV をシステムからアンマウントし、ファイルシステムのバッファ内に残っているデータをディスクに反映します。 [root@業務サーバ] # umount マウントポイント手順 5. セパレート（業務サーバ）手順 4 のアンマウント終了後に tempMV の更新は終了していますので、tempMV-tempRV 間のセパレートを実行します。 • RV 即時活性化セパレート機能を利用することで同期を待たずにセパレートすることができます。

(25)

[root@業務サーバ] # iSMrc_separate –file レプリケーション操作ファイル –rvuse immediate -nowait レプリケーション操作ファイルは手順 2 と同じファイルを使用してください。手順 6. tempMV のマウント（業務サーバ）手順 4 でアンマウントした tempMV をシステムにマウントします。 [root@業務サーバ] # mount –t フォーマットタイプデバイスファイル名マウントポイント手順 7. セパレート完了を待機（業務サーバ）手順 5 で RV 即時活性化セパレート機能を利用し「-nowait」オプションを使用しましたので、この時点でまだセパレートが完了していない場合があります。MV と RV が完全に切り離させるまで待機してください。

[root@業務サーバ] # iSMrc_wait –cond sep –file レプリケーション操作ファイル

レプリケーション操作ファイルは手順 5 と同じファイルを使用してください。

手順 8. tempRV のマウント（バックアップサーバ）

手順 5 で MV-RV のセパレートを行いましたので、手順 1 でアンマウントした tempRV をシステムにマウントします。

(26)

7.2.3 リカバリ手順

（１）リカバリフロー（２）リカバリ手順手順 1. RAC データベースシャットダウン（業務サーバ）ディスク障害などの復旧後、RAC データベースを一度停止します。サーバがシャットダウンしている状態ならばサーバを立ち上げて、RAC データベースを停止させます。すでに Oracle が停止していればシャットダウンは不要です。 • srvctl コマンドを利用し、RAC データベースを停止します。

[oracle@業務サーバ] $ srvctl stop database –d データベース名 –o immediate

手順 2. ASM インスタンスシャットダウン（業務サーバ） DDR リストアを行うため、両ノードの ASM インスタンスをシャットダウンします。手順 3. DDRリストア手順 1. RACデータベースシャットダウン手順 5. 片ノードインスタンススタートアップ手順 4. ASMインスタンススタートアップ手順 6. データベースリカバリ手順 2. ASMインスタンスシャットダウン業務サーババックアップサーバ手順 7. 片ノードインスタンスシャットダウン手順 8. RACデータベーススタートアップ手順 3. DDRリストア手順 1. RACデータベースシャットダウン手順 5. 片ノードインスタンススタートアップ手順 4. ASMインスタンススタートアップ手順 6. データベースリカバリ手順 2. ASMインスタンスシャットダウン業務サーババックアップサーバ手順 7. 片ノードインスタンスシャットダウン手順 8. RACデータベーススタートアップ

(27)

• srvctl コマンドを利用し、両ノードの ASM インスタンスを停止します。

[oracle@業務サーバ] $ srvctl stop asm –n ノード名 –i ASMインスタンス名 –o immediate

必ず両ノードでインスタンスをシャットダウンさせてください。

手順 3. MV のリストア（業務サーバ）

データレプリケーション機能を利用して RV 上のデータを MV 上にリストアします。

• コンソール上から iSMrc_restore コマンドを利用して MV へリストアを実行します。

-nowait オプションと -mode protect オプションを使用することにより MV-RV 間の同期を待たずに次に進むことができます。

[root@業務サーバ] # iSMrc_restore –file レプリケーション操作ファイル –mode protect -nowait

レプリケーション操作ファイルはバックアップと同じファイルを使用してください。

手順 4. ASM インスタンススタートアップ（業務サーバ）

手順 2 で停止していた ASM インスタンスを両ノードで起動します。

• srvctl コマンドを利用し、両ノードの ASM インスタンスをオープンします。

[oracle@業務サーバ] $ srvctl start asm -n ノード名 –i ASMインスタンス名 –o open

手順 5. 片ノードインスタンスマウント（業務サーバ）

手順 1 で停止していたインスタンスの内、復旧に使用するインスタンスを起動します。

• srvctl コマンドを利用し、データベースインスタンスをマウントします。

[oracle@業務サーバ] $ srvctl start instance –d データベース名 –i インスタンス名 –o mount

手順 6. データベースリカバリ（業務サーバ）

データベースの完全リカバリを行います。

[oracle@業務サーバ] $ sqlplus / as sysdba SQL> SET AUTORECOVERY ON;

SQL> SET LOGSOURCE tempMVマウントポイント; SQL> RECOVER DATABASE;

リカバリの実行

(28)

手順 7. 片ノードインスタンスシャットダウン（業務サーバ）

データベースリカバリ用に起動していたインスタンスをシャットダウンします。

• srvctl コマンドを利用し、データベースインスタンスを停止します。

[oracle@業務サーバ] $ srvctl stop instance –d データベース名 –i インスタンス名 –o immediate

手順 8. RAC データベーススタートアップ（業務サーバ）

RAC データベースを open モードで起動します。

• srvctl コマンドを利用し、RAC データベースをオープンします。

(29)

Oracle Database 10g Automatic Storage Management の NEC iStorage S シリーズへの適用