LifeKeeper を用いた HP StoreVirtual VSA に関する
検証レポート
目次 1 本書の内容 ...3 1.1 将来における互換性について ...3 2 HP StoreVirtual VSA の概要 ...4 3 本構成の利点 ...4 4 構成情報 ...5 4.1 推奨構成について ...7 5 構築手順 ...7 5.1 HP StoreVirtual VSA の設定 ...7 5.2 OS の設定 ...8 5.3 LifeKeeper のインストールと設定 ... 14 5.4 ファイルシステムリソースの作成 ... 15 6 LifeKeeper の機能確認 ... 17 7 HP StoreVirtual VSA の機能確認 ... 18 8 参考資料 ... 19 9 構成例 ... 20 10 謝辞 ... 22 11 お問い合わせ ... 23 12 免責事項 ... 24 改訂履歴 日付 バージョン 変更履歴 2014 年 3 月 28 日 初版 新規作成
2014 年 6 月 24 日 第 2 版 LifeKeeper サーバと HP StoreVirtual VSA を Device Mapper Multipath を使ってマルチパス 接続するには、LifeKeeper を物理マシンに構築 する必要があるため、構成情報、構成手順の「仮 想マシン」の記述を削除。 LifeKeeper を仮想マシンに構築した場合、ESXi 側でマルチパスの設定を行う必要がある旨、追 記。
1
本書の内容
LifeKeeper for Linux(以下、LifeKeeper)で HP StoreVirtual シリーズをサポート対象ス トレージとすることを目的とした、認定テストを行いました。 認定テストの結果、HP StoreVirtual シリーズがサポート対象ストレージとなりました。 HP StoreVirtual シリーズには、次の 2 種類があります。 HP StoreVirtual VSA ：仮想領域をストレージとして利用できる製品 HP StoreVirtual 4xxx：ストレージ製品 詳細につきましては、以下の URL をご参照ください。 http://www.hp.com/jp/storevirtual/ 本書は HP StoreVirtual VSA で認定テストを行った検証レポートとなります。 また、途中に記載されております構築手順については、HP StoreVirtual 4xxx を利用され る方も同様の構築手順となります。 【HP StoreVirtual 4xxx を利用している場合の留意事項】 HP StoreVirtual VSA のンストールは不要です。 ”仮想”という単語は”物理”に読み替えてください。 仮想化環境に特化した記述については、読み飛ばしてください。
1.1 将来における互換性について
本書に記載されております内容は、2014 年 3 月 28 日時点の HP StoreVirtual VSA 上 で実施した検証結果に基づいています。将来の HP StoreVirtual シリーズ及び LifeKeeper の仕様変更により、本書で案内している各種操作方法に変更が必要となる可 能性があります。必要に応じて最新のドキュメンテーションを参照し、適切な設定を行 なってください。2
HP StoreVirtual VSA の概要
HP StoreVirtual VSA とは HP StoreVirtual 4xxxx のすべての機能を備えた”共有スト レージ”をサーバのローカルストレージを使用して、ハパーバザ上（VMware/Hyper-V） で実現するソフトウェゕです。 HP StoreVirtual VSA を複数の仮想化ハバーバザー上に分散して配置する事により サーバ上のデゖスクを単純に共有デゖスクとして使用するよりも、ネットワーク RAID に よるパフォーマンスの向上、クラスタリングによる可用性の向上が望めます。 詳細につきましては、以下の URL をご参照ください。 http://www.hp.com/jp/storevirtual/
3
本構成の利点
LifeKeeper と HP StoreVirtual VSA を組み合わせて利用することで、以下のような利点 が考えられます。
(1)
ストレージからアプリケーションまでをソフトウェアのみで高可用性
を実現できる
HP StoreVirtual VSA には、ストレージクラスタリング、ネットワーク RAID、リモー トコピーなどの機能が備わっており、障害に強い環境を構築することが可能です。こ の環境に LifeKeeper を組み合わせることにより、ストレージ領域だけではなく、サー バ上で動作するゕプリケーションやネットワークなどの障害に対応することができ、 より高い可用性を持ったシステムを実現することが可能となります。
(2)
管理ツール、GUI があり構築、設定が簡単
HP StoreVirtual VSA は管理ツール(Central Management Console)を利用するこ とでストレージの設定を容易に行うことができます。また、LifeKeeper は GUI から構 築、設定を行うことが可能です。管理ツール、GUI が利用できることで簡単に作業を 行うことが可能です。
4
構成情報
今回検証を行った構成は、以下の通りです。 マシン A/マシン B 構成 CPU の数：4 RAM：4GB Disk：1000GB NIC の数：4OS Red Hat Enterprise Linux Server 6.4 (Santiago) 64bit LifeKeeper v8.2
HP StoreVirtual VSA-1/ HP StoreVirtual VSA-2/ HP StoreVirtual VSA-3 仮想化ハパーバザ VMware 5.5 構成 CPU の数：2 RAM：4GB Disk：210GB NIC の数：2 HP StoreVirtual VSA 11.0.00.1263.0
4.1 推奨構成について
LifeKeeper LifeKeeper はコミュニケーションパスを 2 つ以上設定することを推奨しております。 ノード間で通信するための NIC は 2 つ以上用意することをご検討ください。 また、ンストールする OS については、LifeKeeper がサポートする OS をご利用くだ さい。 詳細につきましては、以下をご参照ください。 http://jpdocs.us.sios.com/Linux/8.2/LK4L/ReleaseNotes/Content/configuratio n/linux_configuration.htm HP StoreVirtual VSAHP StoreVirtual VSA を複数利用する場合は、別々の ESX ホストにンストールして ください。理由は単一障害点を無くし、障害に強いシステムを構成するためです。
5
構築手順
HP StoreVirtual VSA の設定について5.1 HP StoreVirtual VSA の設定
HP StoreVirtual VSA のンストールを行います。 ンストールの手順につきましては、下記ドキュメントを参照してください。 http://h50146.www5.hp.com/lib/products/storage/manual/array/lefthand/TA 688-96130_ja.pdf 今回検証した構成では、HP StoreVirtual VSA を 3 ノード作成し 1 つのストレージプー ルとして利用しました。5.2 OS の設定
（１） LifeKeeper をインストールするための設定
LifeKeeper をンストールするための必要な設定については、以下のドキュメント 5 ページから 6 ページをご参照ください。
LifeKeeper for Linux スタートゕップガド（v8.2 用）
http://lk.sios.com/?p=2137
（２） LifeKeeper に必要なパッケージ
LifeKeeper for Linux v8.2 は下記のパッケージ群が必要となります。 一般的なパッケージの依存関係
http://jpdocs.us.sios.com/Linux/8.2/LK4L/SPSInstall/index.htm#installation/Li nux_Dependencies.htm
（３） Device Mapper Multipath のインストール Device Mapper Multipath をンストールしてください。 ※注意※ 本設定は両ノードで行ってください。
【確認方法】
--- # rpm -qa | grep multipath
device-mapper-multipath-0.4.9-64.el6.x86_64 device-mapper-multipath-libs-0.4.9-64.el6.x86_64 --- 【ンストール方法】 --- # rpm -ivh device-mapper-multipath-0.4.9-64.el6.x86_64 # rpm -ivh device-mapper-multipath-libs-0.4.9-64.el6.x86_64 ---
（４） Device Mapper Multipath の設定
/etc/multipath.conf フゔルを編集します。 以下に今回検証環境に記載した内容を示します。 お客様環境で以下の記載と同様の記述を行う場合は、事前に動作確認を行ってください。 ※注意※ 本設定は両ノードで行ってください。 【記述例】 --- /etc/multipath.conf #defaults { # udev_dir /dev # polling_interval 10 # path_selector "round-robin 0" # path_grouping_policy multibus
# getuid_callout "/lib/udev/scsi_id --whitelisted --device=/dev/%n" # prio alua # path_checker readsector0 # rr_min_io 100 # max_fds 8192 # rr_weight priorities # failback immediate # no_path_retry fail # user_friendly_names yes ～中略～ blacklist { devnode "^(ram|raw|loop|fd|md|dm-|sr|scd|st)[0-9]*" devnode "^hd[a-z]" } blacklist_exceptions { device { vendor "LEFTHAND" product "iSCSIDisk" } } ---
記述後、以下のコマンドで multpath デーモンを起動させてください。 【設定方法】
--- # service multipathd start --- （５） iSCSI イニシエーターのインストール及び設定 ※注意※ 本設定は両ノードで行ってください。 ① iscsi-initiator-utils をンストールします。 【ンストール方法】 --- # rpm -ivh scsi-initiator-utils-6.2.0.873-2.el6.x86_64 --- ② システム起動時に iscsi と iscsid デーモンが自動起動するように設定し ます。 【設定方法】 --- # chkconfig iscsi on # chkconfig iscsid on --- ③ /etc/sysctl.conf フゔルのパラメータ”net.ipv4.conf.default.rp_filter”を変 更します。 【変更前】 ---
# Controls source route verification net.ipv4.conf.default.rp_filter = 1 ---
【変更後】
---
# Controls source route verification net.ipv4.conf.default.rp_filter = 0 ---
④ iSCSI で利用する NIC を設定します。 【設定方法】
---
# iscsiadm -m iface -I iface0 --op=new # iscsiadm -m iface -I iface1 --op=new --- ⑤ iface0 と iface1 が追加されたことを確認してください。 【確認方法】 --- # iscsiadm -m iface default tcp,<empty>,<empty>,<empty>,<empty> iser iser,<empty>,<empty>,<empty>,<empty> iface0 tcp,<empty>,<empty>,<empty>,<empty> iface1 tcp,<empty>,<empty>,<empty>,<empty> ---
⑥ iface0 と iface1 に iSCSI で使用する NIC の MAC ゕドレスを紐付けます。 【設定方法】
---
# iscsiadm -m iface -o update -I iface0 -n iface.hwaddress -v 【NIC1 の MAC ゕドレス】
# iscsiadm -m iface -o update -I iface1 -n iface.hwaddress -v 【NIC2 の MAC ゕドレス】
---
⑦ iface0 と iface1 に NIC の MAC ゕドレスが紐付けられたかを確認してください。 【確認方法】 --- # iscsiadm -m iface default tcp,<empty>,<empty>,<empty>,<empty> iser iser,<empty>,<empty>,<empty>,<empty> iface1 tcp,00:11:22:33:44:55,<empty>,<empty>,<empty> iface0 tcp,66:77:88:99:AA:BB,<empty>,<empty>,<empty> ---
（６） iSCSI ターゲットの認識
※注意※ 本設定は両ノードで行ってください。
iSCSI ターゲット(HP StoreVirtual VSA)を認識させます。 【設定方法】
---
# iscsiadm -m discovery -t sendtargets -p 【iSCSI ターゲットの IP】 --- （７） iSCSI ターゲットへのログイン ※注意※ 本設定は両ノードで行ってください。 認識した iSCSI ターゲットにログンします。 【設定方法】 --- # iscsiadm -m node –login --- OS が iSCSI の領域を正しく認識しているかどうかは、以下のコマンドを利用して状況 を確認してください。 【確認方法】 --- # ll /dev/mapper/ 合計 0
crw-rw---- 1 root root 10, 58 3 月 17 13:19 2014 control
lrwxrwxrwx 1 root root 8 3 月 17 13:19 2014 mpatha -> ../dm-24 lrwxrwxrwx 1 root root 8 3 月 17 13:19 2014 mpathap1 -> ../dm-39 lrwxrwxrwx 1 root root 7 3 月 17 13:19 2014 mpathb-> ../dm-9 lrwxrwxrwx 1 root root 8 3 月 17 13:19 2014 mpathbp1 -> ../dm-30
（８） パーティションの作成 ログンした iSCSI ターゲットの領域を利用するため、fdisk コマンドを利用しパー テゖションを作成します。 ※前提※ iSCSI ターゲットの領域：/dev/mapper/mpatha 【作成方法】 --- # fdisk /dev/mapper/mpatha --- ※fdisk コマンドの詳細につきましては、man をご確認ください。 (9) ファイルシステムの作成 パーテゖションを作成した iSCSI ターゲットの領域をマウントするためにフゔル システムを作成します。 【作成方法例】 --- # mkfs.ext4 /dev/mapper/mpathap1 --- (10) ファイルシステムのマウント 作成したフゔルシステムをマウントし、iSCSI ターゲットの領域を利用できるように 任意のデゖレクトリにマウントします。 【設定方法例】 ---
# mount /dev/mapper/mpathap1 /fs/mpatha ---
5.3 LifeKeeper のインストールと設定
（１） LifeKeeper のインストールマシン A/マシン B に、LifeKeeper をンストールします。ンストールの手順につき ましては、下記ドキュメントの 7 ページから 19 ページをご参照ください。
LifeKeeper for Linux スタートゕップガド（v8.2 用）
http://lk.sios.com/?p=2137 セットゕップが完了しましたら、LifeKeeper を起動します。 --- # /opt/LifeKeeper/bin/lkstart --- （２） LifeKeeper GUI 管理画面へのアクセス LifeKeeper GUI 管理画面を開きます。 --- # /opt/LifeKeeper/bin/lkGUIapp --- （３） コミュニケーションパスの作成 GUI クラゕントでコミュニケーションパスを作成するためのウゖザードを起動し、コ ミュニケーションパスを作成します。GUI クラゕントのツールバーの[Edit]を選択し、 [Server]、[Create Comm Path…]を実行します。設定は下記の順序で行ないます。最 後に[Create]を選択するとコミュニケーションパスの作成が開始されます。
1 つめのコミュニケーションパスの設定値 番号 項目 入力もしくは選択した値 1 Local Server マシン A 2 Remote Server マシン B 3 Device Type TCP 4 Local IP Address 192.168.1.73 5 Remote IP Address 192.168.1.74 6 Priority 1 2 つめのコミュニケーションパスの設定値 番号 項目 入力もしくは選択した値 1 Local Server マシン A 2 Remote Server マシン B 3 Device Type TCP 4 Local IP Address 192.168.2.73 5 Remote IP Address 192.168.2.74 6 Priority 2
5.4 ファイルシステムリソースの作成
LifeKeeper で保護するため、リソースの登録およびリソース監視に必要な設定を行いま す。 （１） 事前準備 フゔルシステムリソースは共有ストレージ上のフゔルシステムをクラスタノード間 で切り替えることを可能する機能を提供します。フゔルシステムリソースを作成する には、以下の条件を満たしている必要があります。 各サーバから同じ状態で接続できること fdisk などのユーテゖリテゖを使い、共有デゖスクのパーテゖションが切られてい ること mkfs などのユーテゖリテゖを使い、フゔルシステムが作成されていること 各サーバでフゔルシステムをマウント、ゕンマウントができること 稼動系側になるサーバで保護する領域をマウントしていること今回の環境では以下のマウントポントに、HP StoreVirtual VSA の領域をマウント しました。 マウントポント --- /fs/mpatha --- （２） ファイルシステムリソースの作成
LifeKeeper 管理画面より、Create Resource Hierarchy を選択し、File System リソー スを作成します。リソース作成ウゖザードで入力する内容は以下の通りです。
ファイルシステムリソースの設定値
番号 項目 入力もしくは選択した値
1 Please Select Recovery Kit File System 2 Switchback Type(プラマリサーバ) Intelligent
3 Server マシン A
4 Mount Point(プラマリサーバ) /fs/mpatha
5 Root Tag(プラマリサーバ) /fs/mpatha
6 Target Server マシン B
7 Switchback Type(バックゕップサーバ) intelligent
8 Template Priority(プラマリサーバ) 1
9 Target Priority(バックゕップサーバ) 10
10 Mount Point(バックゕップサーバ) /fs/mpatha
6 LifeKeeper の機能確認
4 構成情報の環境で、LifeKeeper の以下の機能について確認を行っております。 (1) ファイルシステムリソースの作成 フゔルシステムリソースが作成できることを確認しました。 (2) ファイルシステムリソースの拡張 待機系側にフゔルシステムリソースが拡張できることを確認しました。 (3) リザベーションが正常に掛かるか リザベーションを持っているノードのみ、保護しているフゔルシステムにゕクセスでき ることを確認しました。 (4) リソースの削除 フゔルシステムリソースが削除できることを確認しました。 (5) リソース障害時に正しく切り替わるか稼動系ノードで iSCSI 接続に利用している 2 つの NIC を停止した際に LifeKeeper が障害 として検知し、フェルオーバが行われることを確認しました。 (6) ノード障害時に正しく切り替わるか 稼動系ノードでサーバの強制再起動を行った際に、待機系側が異常として検知しフェル オーバが行われることを確認しました。 (7) スプリットブレインを回避出来るか コミュニケーションパス全断時に、待機系ノードがリザベーションを奪取し稼動系ノード が強制再起動を行うことを確認しました。 (8) iSCSI パスが抜線されたことを検知するかどうか iSCSI 接続に利用している NIC を 1 つ停止させ、停止したことを OS が認識することを確 認しました。
(9) iSCSI パスが再接続された場合に検知するか
停止させた、iSCSI 接続に利用している NIC を起動させ、OS が認識することを確認しま した。
(10) 24 時間のランニングテストで正しく動作するか
24 時間以上、I/O テストが問題なく稼働することを確認しました。
7 HP StoreVirtual VSA の機能確認
4 構成情報の環境で、HP StoreVirtual VSA の以下の機能について確認を行っております。 (1) Volume の設定を Thin Provisioning から Full Provisioning の変更
CMC 上から、LifeKeeper で保護しているボリュームを Thin Provisioning から Full Provisioning に変更し、HP StoreVirtual VSA で正常動作することを確認しました。 (2) Volume の領域を拡張
CMC 上から、LifeKeeper で保護しているボリュームの領域を拡張し、OS が拡張された領 域を認識できることを確認しました。
(3) Snapshot の作成と削除
CMC 上から、LifeKeeper で保護しているボリュームの領域の Snapshot を作成し、 Snapshot を削除し、HP StoreVirtual VSA で正常動作することを確認しました。 (4) Network RAID Level を変更
CMC 上から、LifeKeeper で保護しているボリュームの領域のデータ保護レベルを変更し、 HP StoreVirtual VSA で正常動作することを確認しました。
(5) HP StoreVirtual VSA の NIC Down 時の動作
3 台で構成している HP StoreVirtual VSA の 1 台の NIC を停止させた際に、OS 上からフゔ ルシステムリソースの領域にゕクセスできることを確認しました。
(6) HP StoreVirtual VSA のシャットダウン時の動作
3 台で構成している HP StoreVirtual VSA の 1 台をシャットダウンさせた際に、OS 上か らはフゔルシステムリソースの領域にゕクセスできることを確認しました。
8
参考資料
SIOS Technical Documentation
http://jpdocs.us.sios.com/
LifeKeeper UserSite
http://lk.sios.com/
LifeKeeper for Linux スタートアップガイド（v8.2 用）
http://lk.sios.com/?p=2137
StoreVirtual (LeftHand) Storage
http://h50146.www5.hp.com/products/storage/manual/diskarray/lefthand/inde x.html#sv4000
HP StoreVirtual VSA 簡易版ンストールガド LeftHand Storage ユーザーガド
9
構成例
LifeKeeper と HP StoreVirtual シリーズを一緒にご利用される際の構成例を以下に示しま す。
構成例 1
別々の物理サーバ上の VMware に HP StoreVirtual VSA をンストールし、3 つ HP StoreVirtual VSA を 1 つのストレージプールとして利用する構成です。
本構成を組むことで、どれか一つの HP StoreVirtual VSA が停止してもサービスを提供し 続けることが可能です。
なお、VMware 上に LifeKeeper を構築した場合、ESXi 側でマルチパスの設定を行う必要 があります。
構成例 2 HP StoreVirtual 4xxx を利用した構成です。 ノード単位でコントローラーと iSCSI の I/O モジュールを持っているため、高性能なスト レージとして利用でき、ボリュームを後から拡張できるスケールゕウト型の構成です。 また、すべてのサーバが物理的に独立しているため、構成例 1 よりも耐障害性があります。 なお、LifeKeeper を物理サーバ上に構築した場合、HP StoreVirtual とのマルチパス接続 に、Device Mapper Multipath を使用します。VMware 上に LifeKeeper を構築した場合、 ESXi 側でマルチパスの設定を行う必要があります。
