Grid Infrastructureをインストールします。
＜任意の1ノード（ここではhp01）での作業＞
gridユーザーで、runInstallerを実行します。
grid@hp01 $ /stage/11.2/grid/runInstaller
「クラスタ用のGrid Infrastructureのインストール構成」を選択し、「次へ」をクリックします。
図21 インストール・オプションの選択
「拡張インストール」を選択し、「次へ」をクリックします。
図22 インストール・タイプの選択
選択された言語に日本語があることを確認し、「次へ」をクリックします。
図23 製品言語の選択
クラスタ名、SCAN名を入力します。
図24 Gridプラグ･アンド･プレイの情報
クラスター名は任意に指定できますが、Grid Controlで管理されるターゲットの中ではユニークで ある必要があります。 このクラスター名はEnterprise Managerの設定・管理で利用されますので、
忘れないようにします。
クラスターに含まれるホスト名と仮想IP名が正しく表示されていることを確認し、「次へ」をクリ ックします。
ネットワーク・インタフェースの使用方法を指定します。VIPが登録されるインタフェースを「パ ブリック」、RACのノード間通信を行うインタフェースを「プライベート」、使用しないインタ フェースは「使用しない」にインタフェース･タイプを設定します。
なお、「プライベート」を複数指定しても帯域は拡張できますが冗長化はなされません。
図26 ネットワーク･インタフェースの使用方法の選択
自動ストレージ管理（ASM）を選択します。
図27 記憶域オプションの選択
「検出パスの変更」をクリックします。
図28 記憶域オプションの選択
ディスク抽出パスに「/dev/asm」を入力し、「OK」をクリックします。
図29 ディスク抽出パスの変更
ディスク・グループ名を入力し、Oracle Clusterwareで使用するディスクを選択します。「次へ」を クリックします。Oracle Clusterwareが使用する OCR及び投票ディスクを冗長化するためには、以 下の画面の冗長性で「通常」以上を指定します。「通常」を設定した場合、３個のディスクが必要 です。
図30 ASMディスク･グループの作成
ASMインスタンスのパスワードを入力します。ここではアカウントごとに同じパスワードを使用 するように設定しています。
図31 ASMパスワードの設定
OSのグループを設定します。オプションのASMインスンタンス管理オペレータグループは作成し ていませんので、デフォルトではASMインスンタンス管理オペレータグループを asmadminに変 更し、「次へ」をクリックします。
図32 権限付きオペレーティング・システム・グループ
以下の警告がでますが、「はい」をクリックします。
図33 警告
Oracleベースやソフトウェアの場所を指定します。ここで入力した「ソフトウェアの場所」は Oracle Clusterwareのホームディレクトリとなります。また、データベースのホームディレクトリ
（ORACLE_HOME）は後で別途必要になりますので、Oracle Clusterwareのホームディレクトリと データベースのホームディレクトリを区別しやすいパスにしておくと、後で管理が容易になりま す。なお「Oracleベース」には、Oracle Clusterwareのホームディレクトリを指定しないでくださ い。それぞれのパスを確認し、「次へ」をクリックします。
図34 インストール場所の指定
インベントリ・ディレクトリやオペレーティング・システム・グループ名を確認し、「次へ」をク リックします。
図35 インベントリの作成
内容を確認して「終了」をクリックします。
図36 サマリー
インストールが開始されます。
図37 進行状況
＜全ノード（hp01、hp02）での作業＞
以下の画面が表示されたら、別ターミナルからrootユーザーになります。
図38構成スクリプトの実行
以下のコマンドを実行します。これにより、ターミナル・エミュレーターの文字コードと一致さ せ、文字化けを防ぎます。ここでは文字コードをSJISに設定しています。
root # cd /u01/app/11.2.0/grid/crs/install root # vi crsconfig_params
<略>
LANGUAGE_ID=JAPANESE_JAPAN.JA16SJIS
<略>
＜全ノード（hp01、hp02）での作業＞
すべてのノードでorainstRoot.shとroot.shを実行します。
最初にOUIを起動したノードで２つのスクリプトの実行した後に、他のノードで順番に実行しま す。この時、複数のノードで同時に実行しないように注意してください。
＜ノードhp01での作業＞
root@hp01 # /u01/app/oraInventory/orainstRoot.sh 権限を変更中/u01/app/oraInventory.
グループの読取り/書込み権限を追加中。
全ユーザーの読取り/書込み/実行権限を削除中。
グループ名の変更/u01/app/oraInventory 宛先oinstall.
スクリプトの実行が完了しました。
root@hp01 # /u01/app/11.2.0/grid/root.sh Running Oracle 11g root.sh script...
The following environment variables are set as:
ORACLE_OWNER= grid
ORACLE_HOME= /u01/app/11.2.0/grid
Enter the full pathname of the local bin directory: [/usr/local/bin]:[enter]
Copying dbhome to /usr/local/bin ...
Copying oraenv to /usr/local/bin ...
Copying coraenv to /usr/local/bin ...
Creating /etc/oratab file...
Entries will be added to the /etc/oratab file as needed by Database Configuration Assistant when a database is created Finished running generic part of root.sh script.
Now product-specific root actions will be performed.
2010-05-25 14:19:12: Parsing the host name
2010-05-25 14:19:12: Checking for super user privileges 2010-05-25 14:19:12: User has super user privileges Using configuration parameter file:
/u01/app/11.2.0/grid/crs/install/crsconfig_params Creating trace directory
stty: : Not a typewriter LOCAL ADD MODE
Creating OCR keys for user 'root', privgrp 'sys'..
Operation successful.
root wallet root wallet cert root cert export peer wallet
profile reader wallet pa wallet
peer wallet keys pa wallet keys peer cert request pa cert request peer cert pa cert
peer root cert TP
profile reader root cert TP pa root cert TP
peer pa cert TP
profile reader pa cert TP profile reader peer cert TP peer user cert
pa user cert
Adding daemon to inittab
CRS-4123: Oracle High Availability Services has been started.
ohasd is starting
CRS-2672: 'ora.gipcd'('hp01')の起動を試行しています CRS-2672: 'ora.mdnsd'('hp01')の起動を試行しています CRS-2676: 'ora.gipcd'('hp01')の起動が成功しました CRS-2676: 'ora.mdnsd'('hp01')の起動が成功しました CRS-2672: 'ora.gpnpd'('hp01')の起動を試行しています CRS-2676: 'ora.gpnpd'('hp01')の起動が成功しました CRS-2672: 'ora.cssdmonitor'('hp01')の起動を試行しています CRS-2676: 'ora.cssdmonitor'('hp01')の起動が成功しました CRS-2672: 'ora.cssd'('hp01')の起動を試行しています CRS-2672: 'ora.diskmon'('hp01')の起動を試行しています CRS-2676: 'ora.diskmon'('hp01')の起動が成功しました CRS-2676: 'ora.cssd'('hp01')の起動が成功しました CRS-2672: 'ora.ctssd'('hp01')の起動を試行しています CRS-2676: 'ora.ctssd'('hp01')の起動が成功しました ASM created and started successfully.
DiskGroup DG01 created successfully.
clscfg: -install mode specified
Successfully accumulated necessary OCR keys.
Creating OCR keys for user 'root', privgrp 'sys'..
Operation successful.
CRS-2672: 'ora.crsd'('hp01')の起動を試行しています CRS-2676: 'ora.crsd'('hp01')の起動が成功しました CRS-4256: Updating the profile
Successful addition of voting disk 2ee6c0e1fd1c4fdabf93dd490d26fff4.
Successful addition of voting disk 1153a45727cd4f43bfd3236841927d24.
Successful addition of voting disk 484a6a5ac5674f21bf89a9184d597a87.
Successfully replaced voting disk group with +DG01.
CRS-4256: Updating the profile
CRS-4266: Voting file(s) successfully replaced
## STATE File Universal Id File Name Disk group -- --- ---
---1. ONLINE 2ee6c0e1fd1c4fdabf93dd490d26fff4 (/dev/asm/asm1_rlv01) [DG01]
2. ONLINE 1153a45727cd4f43bfd3236841927d24 (/dev/asm/asm1_rlv02) [DG01]
3. ONLINE 484a6a5ac5674f21bf89a9184d597a87 (/dev/asm/asm1_rlv03) [DG01]
Located 3 voting disk(s).
CRS-2673: 'ora.crsd'('hp01')の停止を試行しています CRS-2677: 'ora.crsd'('hp01')の停止が成功しました CRS-2673: 'ora.asm'('hp01')の停止を試行しています CRS-2677: 'ora.asm'('hp01')の停止が成功しました CRS-2673: 'ora.ctssd'('hp01')の停止を試行しています CRS-2677: 'ora.ctssd'('hp01')の停止が成功しました CRS-2673: 'ora.cssdmonitor'('hp01')の停止を試行しています CRS-2677: 'ora.cssdmonitor'('hp01')の停止が成功しました CRS-2673: 'ora.cssd'('hp01')の停止を試行しています CRS-2677: 'ora.cssd'('hp01')の停止が成功しました CRS-2673: 'ora.gpnpd'('hp01')の停止を試行しています CRS-2677: 'ora.gpnpd'('hp01')の停止が成功しました CRS-2673: 'ora.gipcd'('hp01')の停止を試行しています CRS-2677: 'ora.gipcd'('hp01')の停止が成功しました CRS-2673: 'ora.mdnsd'('hp01')の停止を試行しています CRS-2677: 'ora.mdnsd'('hp01')の停止が成功しました
CRS-2672: 'ora.mdnsd'('hp01')の起動を試行しています CRS-2676: 'ora.mdnsd'('hp01')の起動が成功しました CRS-2672: 'ora.gipcd'('hp01')の起動を試行しています CRS-2676: 'ora.gipcd'('hp01')の起動が成功しました CRS-2672: 'ora.gpnpd'('hp01')の起動を試行しています CRS-2676: 'ora.gpnpd'('hp01')の起動が成功しました CRS-2672: 'ora.cssdmonitor'('hp01')の起動を試行しています CRS-2676: 'ora.cssdmonitor'('hp01')の起動が成功しました CRS-2672: 'ora.cssd'('hp01')の起動を試行しています CRS-2672: 'ora.diskmon'('hp01')の起動を試行しています CRS-2676: 'ora.diskmon'('hp01')の起動が成功しました CRS-2676: 'ora.cssd'('hp01')の起動が成功しました CRS-2672: 'ora.ctssd'('hp01')の起動を試行しています CRS-2676: 'ora.ctssd'('hp01')の起動が成功しました CRS-2672: 'ora.asm'('hp01')の起動を試行しています CRS-2676: 'ora.asm'('hp01')の起動が成功しました CRS-2672: 'ora.crsd'('hp01')の起動を試行しています CRS-2676: 'ora.crsd'('hp01')の起動が成功しました CRS-2672: 'ora.evmd'('hp01')の起動を試行しています CRS-2676: 'ora.evmd'('hp01')の起動が成功しました CRS-2672: 'ora.asm'('hp01')の起動を試行しています CRS-2676: 'ora.asm'('hp01')の起動が成功しました CRS-2672: 'ora.DG01.dg'('hp01')の起動を試行しています CRS-2676: 'ora.DG01.dg'('hp01')の起動が成功しました hp01 2010/05/25 14:26:11
/u01/app/11.2.0/grid/cdata/hp01/backup_20100525_142611.olr Configure Oracle Grid Infrastructure for a Cluster ... succeeded Updating inventory properties for clusterware
Starting Oracle Universal Installer...
Checking swap space: must be greater than 500 MB. Actual 16384 MB Passed The inventory pointer is located at /var/opt/oracle/oraInst.loc
The inventory is located at /u01/app/oraInventory 'UpdateNodeList' was successful.
root@hp01 #
＜ノードhp02での作業＞
root@hp02 # /u01/app/oraInventory/orainstRoot.sh 権限を変更中/u01/app/oraInventory.
グループの読取り/書込み権限を追加中。
全ユーザーの読取り/書込み/実行権限を削除中。
グループ名の変更/u01/app/oraInventory 宛先oinstall.
スクリプトの実行が完了しました。
root@hp02 # /u01/app/11.2.0/grid/root.sh Running Oracle 11g root.sh script...
The following environment variables are set as:
ORACLE_OWNER= grid
ORACLE_HOME= /u01/app/11.2.0/grid
Enter the full pathname of the local bin directory: [/usr/local/bin]:
Copying dbhome to /usr/local/bin ...
Copying oraenv to /usr/local/bin ...
Copying coraenv to /usr/local/bin ...
Creating /etc/oratab file...
Entries will be added to the /etc/oratab file as needed by Database Configuration Assistant when a database is created Finished running generic part of root.sh script.
Now product-specific root actions will be performed.
2010-05-25 14:27:59: Parsing the host name
2010-05-25 14:27:59: Checking for super user privileges 2010-05-25 14:27:59: User has super user privileges Using configuration parameter file:
/u01/app/11.2.0/grid/crs/install/crsconfig_params Creating trace directory
stty: : Not a typewriter LOCAL ADD MODE
Creating OCR keys for user 'root', privgrp 'sys'..
Operation successful.
Adding daemon to inittab
CRS-4123: Oracle High Availability Services has been started.
ohasd is starting
CRS-4402: CSSデーモンが排他モードで開始されましたが、ノードhp01、番号1のアクティブCSSデーモン が検出されたため中断します
An active cluster was found during exclusive startup, restarting to join the cluster
CRS-2672: 'ora.mdnsd'('hp02')の起動を試行しています CRS-2676: 'ora.mdnsd'('hp02')の起動が成功しました CRS-2672: 'ora.gipcd'('hp02')の起動を試行しています CRS-2676: 'ora.gipcd'('hp02')の起動が成功しました CRS-2672: 'ora.gpnpd'('hp02')の起動を試行しています CRS-2676: 'ora.gpnpd'('hp02')の起動が成功しました CRS-2672: 'ora.cssdmonitor'('hp02')の起動を試行しています CRS-2676: 'ora.cssdmonitor'('hp02')の起動が成功しました CRS-2672: 'ora.cssd'('hp02')の起動を試行しています CRS-2672: 'ora.diskmon'('hp02')の起動を試行しています CRS-2676: 'ora.diskmon'('hp02')の起動が成功しました CRS-2676: 'ora.cssd'('hp02')の起動が成功しました CRS-2672: 'ora.ctssd'('hp02')の起動を試行しています CRS-2676: 'ora.ctssd'('hp02')の起動が成功しました CRS-2672: 'ora.asm'('hp02')の起動を試行しています CRS-2676: 'ora.asm'('hp02')の起動が成功しました CRS-2672: 'ora.crsd'('hp02')の起動を試行しています CRS-2676: 'ora.crsd'('hp02')の起動が成功しました CRS-2672: 'ora.evmd'('hp02')の起動を試行しています CRS-2676: 'ora.evmd'('hp02')の起動が成功しました hp02 2010/05/25 14:31:52
/u01/app/11.2.0/grid/cdata/hp02/backup_20100525_143152.olr Configure Oracle Grid Infrastructure for a Cluster ... succeeded Updating inventory properties for clusterware
Starting Oracle Universal Installer...
Checking swap space: must be greater than 500 MB. Actual 16384 MB Passed The inventory pointer is located at /var/opt/oracle/oraInst.loc
The inventory is located at /u01/app/oraInventory 'UpdateNodeList' was successful.
root@hp02 #
これらのスクリプトを実行後、「OK」をクリックすると、コンフィギュレーション・アシスタン トが動作します。
図39構成スクリプトの実行
図40 設定
エラーがなければ次の画面がでます。もしコンフィギュレーション・アシスタントでエラーが発 生した場合は、エラー・ログを参照し、問題を解決します。
「閉じる」をクリックし、インストールを終了します。
図41 終了
＜全ノード（hp01、hp02）での作業＞
インストールが終了したら、Oracle Clusterwareが動作していることを確認します。リソースのgsd とoc4jは、デフォルトでは OFFLINEとなります。
root # /u01/app/11.2.0/grid/bin/crsctl status resource -t
---NAME TARGET STATE SERVER STATE_DETAILS
---Local Resources
---ora.DG1.dg
ONLINE ONLINE hp01 ONLINE ONLINE hp02 ora.LISTENER.lsnr
ONLINE ONLINE hp01 ONLINE ONLINE hp02 ora.asm
ONLINE ONLINE hp01 Started
ONLINE ONLINE hp02 Started
ora.eons
ONLINE ONLINE hp01 ONLINE ONLINE hp02 ora.gsd
OFFLINE OFFLINE hp01 OFFLINE OFFLINE hp02 ora.net1.network
ONLINE ONLINE hp01 ONLINE ONLINE hp02 ora.ons
ONLINE ONLINE hp01 ONLINE ONLINE hp02
---Cluster Resources
---ora.LISTENER_SCAN1.lsnr
1 ONLINE ONLINE hp02 ora.LISTENER_SCAN2.lsnr
1 ONLINE ONLINE hp01
ora.LISTENER_SCAN3.lsnr
1 ONLINE ONLINE hp01
ora.hp01.vip
1 ONLINE ONLINE hp01
ora.hp02.vip
1 ONLINE ONLINE hp02
ora.oc4j
1 OFFLINE OFFLINE ora.scan1.vip
1 ONLINE ONLINE hp02
ora.scan2.vip
1 ONLINE ONLINE hp01
ora.scan3.vip
1 ONLINE ONLINE hp01
root # /u01/app/11.2.0/grid/bin/crsctl check crs CRS-4638: Oracle High Availability Services is online CRS-4537: Cluster Ready Services is online
CRS-4529: Cluster Synchronization Services is online CRS-4533: Event Manager is online
root # netstat -in -f inet
Name Mtu Network Address Ipkts Ierrs Opkts
Oerrs Coll
lan1 1500 192.168.0.0 192.168.0.1 11818 0 12051
0 0
lan0 1500 172.168.1.0 172.168.1.101 1706583 0 4111003
0 0
lo0 32808 127.0.0.0 127.0.0.1 363875 0 363879
0 0
lan5* 1500 none none 0 0 0 0
0
lan4* 1500 none none 0 0 0 0
0
lan0:1 1500 172.168.1.0 172.168.1.201 9 0 87
0 0
lan0:3 1500 172.168.1.0 172.168.1.202 0 0 55
0 0
lan0:4 1500 172.168.1.0 172.168.1.203 0 0 45
0 0
root #
Oracle RAC 11g Release 2では、VIPの管理は、Serviceguard のユーティリティを用いて行われるた め、OracleのVIP とServiceguard のリロケータブルIPの論理インターフェース番号が競合すること はありません。
＜hp01での作業＞
rootユーザーでsrvctlコマンドを実行し、スタンバイNICを追加します。スタンバイNICが存在する 場合と存在しない場合では、VIPの動作が異なる場合がありますので、できるだけスタンバイNIC を追加します。
現状の確認を行います。
root@hp01 # cd /u01/app/11.2.0/grid/bin root@hp01 # ./srvctl config nodeapps -a VIPが存在します。:hp01
VIPが存在します。: /hp01-vip/172.168.1.1/255.255.255.0/lan0
VIPが存在します。:hp02
VIPが存在します。: /hp02-vip/172.168.1.2/255.255.255.0/lan0 root@hp01 # ./srvctl config scan
SCAN name: hp-scan, Network: 1/172.168.1.0/255.255.255.0/lan0 SCAN VIP name: scan1, IP: /hp-scan.hp.com/172.168.1.201 SCAN VIP name: scan2, IP: /hp-scan.hp.com/172.168.1.202 SCAN VIP name: scan3, IP: /hp-scan.hp.com/172.168.1.203 root@hp01 #
スタンバイNICの追加し、確認を行います。
root@hp01 # ./srvctl modify nodeapps -S 172.168.1.0/255.255.255.0/lan0¥|lan4 root@hp01 # ./srvctl config nodeapps -a
VIPが存在します。:hp01
VIPが存在します。: /hp01-vip/172.168.1.1/255.255.255.0/lan0:lan4 VIPが存在します。:hp02
VIPが存在します。: /hp02-vip/172.168.1.2/255.255.255.0/lan0:lan4 root@hp01 # ./srvctl config scan
SCAN name: hp-scan, Network: 1/172.168.1.0/255.255.255.0/lan0:lan4 SCAN VIP name: scan1, IP: /hp-scan.hp.com/172.168.1.201
SCAN VIP name: scan2, IP: /hp-scan.hp.com/172.168.1.202 SCAN VIP name: scan3, IP: /hp-scan.hp.com/172.168.1.203 root@hp01 #