FUJITSU Storage ETERNUS DX, ETERNUS AF 構築ガイド（サーバ接続編） ファイバチャネル/FCoE/iSCSI/SAS/Linux用

FUJITSU Storage

ETERNUS DX, ETERNUS AF

構築ガイド（サーバ接続編）

ファイバチャネル/FCoE/iSCSI/SAS/Linux 用

device-mapper multipath 設定

P3AM-3912-30Z0

はじめに

本書は、ETERNUS DX/AF、ETERNUS VX710/VX740 仮想化環境向けストレージを、Linux または Oracle Linux が動作するサーバにファイバチャネル／FCoE／iSCSI／SAS 接続し device-mapper multipath を使用して運用するために必要な作業について説明しています。

本書は、ETERNUS DX/AF、ETERNUS VX710/VX740 仮想化環境向けストレージ、サーバ、OS、ド

ライバソフトウェア、および使用するインターフェースカード（ファイバチャネルカード、iSCSI カー ド、SAS カード、FCoE カード）の説明書と併せてご使用ください。 なお、本書に記載している製品の商標、製品名などの表記については、『構築ガイド（サーバ接続編） 表記について』を参照してください。OS がサポートするストレージシステムについては、ETERNUS DX/AF のサポート組み合わせ表を参照してください。 また、ETERNUS VX710/VX740 仮想化環境向けストレージを「VX700 series」と表記しています。 第30 版 2018 年 12 月

本書の内容と構成

本書は以下に示す5 章から構成されています。 •「第1 章 作業の流れ」(6 ページ) 作業の流れについて説明しています。

•「第2 章 Red Hat Enterprise Linux 7, Red Hat Enterprise Linux 6, Oracle Linux の場合」(7 ページ)

サーバで使用しているOS が RHEL7、RHEL6、または Oracle Linux の場合の、マルチパス環境の設

定および設定後の確認事項について説明しています。

•「第3 章 Red Hat Enterprise Linux 5 の場合」(12 ページ)

サーバで使用しているOS が RHEL5 の場合の、マルチパス環境の設定および設定後の確認事項につ

いて説明しています。

•「第4 章 SUSE Linux Enterprise Server 11 以降の場合」(16 ページ)

サーバで使用しているOS が SLES15、SLES12、または SLES11 の場合の、マルチパス環境の設定

および設定後の確認事項について説明しています。

•「第5 章 SUSE Linux Enterprise Server 10 の場合」(21 ページ)

サーバで使用しているOS が SLES10 の場合の、マルチパス環境の設定および設定後の確認事項に

目次

第

1 章 作業の流れ

6

第

2 章 Red Hat Enterprise Linux 7, Red Hat Enterprise Linux 6, Oracle Linux

の場合

7

2.1 device-mapper multipath の設定 ...7

2.1.1 事前準備 ... 7 2.1.2 /etc/multipath.conf の設定 ... 7 2.1.3 device-mapper multipath の有効化... 10 2.1.4 Linux サーバの再起動... 10

2.2 device-mapper multipath の確認 ...11

2.2.1 device-mapper multipath 設定後のデバイス確認 ... 11 2.2.2 device-mapper multipath の状態確認 ... 11

第

3 章 Red Hat Enterprise Linux 5 の場合

12

3.1 device-mapper multipath の設定 ...12

3.1.1 事前準備 ... 12 3.1.2 /etc/multipath.conf の設定 ... 12 3.1.3 device-mapper multipath の有効化... 14 3.1.4 Linux サーバの再起動... 14

3.2 device-mapper multipath の確認 ...14

3.2.1 device-mapper multipath 設定後のデバイス確認 ... 14 3.2.2 device-mapper multipath の状態確認 ... 15

第

4 章 SUSE Linux Enterprise Server 11 以降の場合

16

4.1 device-mapper multipath の設定 ...16

4.1.1 事前準備 ... 16 4.1.2 /etc/multipath.conf の設定 ... 16 4.1.3 device-mapper multipath の有効化... 18 4.1.4 Linux サーバの再起動... 18

4.2 device-mapper multipath の確認 ...19

4.2.1 device-mapper multipath 設定後のデバイス確認 ... 19

5.1 SUSE Linux Enterprise Server 10 SP3 以降の場合 ...21

5.1.1 device-mapper multipath の設定 ... 21

5.1.2 device-mapper multipath の確認 ... 24

5.2 SUSE Linux Enterprise Server 10 SP2 以前の場合 ...25

5.2.1 device-mapper multipath の設定 ... 25

5.2.2 device-mapper multipath の確認 ... 27 目次

第

_{1 章}

作業の流れ

device-mapper multipath を使用する場合の設定、および確認を行います。 作業の流れは以下のとおり です。 作業の流れ device-mapper multipath の設定 device-mapper multipath を設定します。 device-mapper multipath の確認 device-mapper multipath を設定後のデバイス確認を行います。 参照先一覧 本書は、使用するOS のベンダーやバージョン別に構成しています。使用する OS のベンダーやバー ジョンの章を参照してください。 使用するOS 参照先

Red Hat Enterprise Linux 7、Red Hat Enterprise Linux 6、または Oracle Linux

「第2 章 Red Hat Enterprise Linux 7, Red Hat Enterprise Linux 6, Oracle Linux の場合」(7 ページ)

Red Hat Enterprise Linux 5 「第3 章 Red Hat Enterprise Linux 5 の場合」(12 ページ)

SUSE Linux Enterprise Server 11 以降 「第4 章 SUSE Linux Enterprise Server 11 以降の場合」(16 ペー ジ)

SUSE Linux Enterprise Server 10 SP3 以降 「5.1 SUSE Linux Enterprise Server 10 SP3 以降の場合」(21 ページ)

SUSE Linux Enterprise Server 10 SP2 以前 「5.2 SUSE Linux Enterprise Server 10 SP2 以前の場合」(25 ページ)

第

_{2 章}

Red Hat Enterprise Linux 7, Red Hat

Enterprise Linux 6, Oracle Linux の場合

サーバで使用しているOS が RHEL7、RHEL6、または Oracle Linux の場合の、マルチパス環境の設定

および設定後の確認事項について説明しています。

2.1

device-mapper multipath の設定

マルチパス環境にするための設定を行います。

2.1.1

事前準備

device-mapper multipath は RPM (Red Hat Package Manager)を使用します。

サポート組み合わせ表にRPM の版数が記載されていない場合は、OS に標準添付されている RPM を 使用してください。 device-mapper-multipath パッケージがインストールされていることを確認してください。インストー ルされていない場合は、マルチパス設定を行う前に、インストールしてください。

2.1.2

/etc/multipath.conf の設定

device-mapper multipath の構成ファイルを以下のように設定します。 以下の手順でファイルを作成します。 1 mpathconf コマンドを実行します。 このコマンドを実行することにより、multipath デーモンがサービスに登録され、設定ファイル (/etc/multipath.conf)が作成されます。 # mpathconf --enable 上記コマンドで設定ファイルが作成されなかった場合は、/usr/share/doc/device-mapper-multipath-X.X.X/multipath.conf ファイルを、/etc ディレクトリにコピー後、再度 "mpathconf --enable"コマンドを実行してください。 2 内蔵ディスクなど、マルチパス構成から外したいデバイスがある場合には、"blacklist"に外したい

デバイス名を記述します。記述方法の詳細は、Red Hat 社の Web サイトを参照してください。ま

た、Oracle Linux を使用している場合も、Red Hat 社の Web サイトを参照してください。 blacklist {

3 以下の記述があることを確認します。

## Use user friendly names, instead of using WWIDs as names. defaults { user_friendly_names yes (*1) queue_without_daemon no (*2) # find_multipaths yes (*3) } *1: "user_friendly_names"は、ミドルウェアやアプリケーションの必要に応じて、"no"と設定す ることも可能です。

*2: iSCSI 接続の場合は、"queue_without_daemon no"の行を追加してください。

*3: "find_multipaths yes"の記述があった場合には、先頭に"#"を記載してコメントアウトしてく ださい。 "defaults"と"{"の間には半角スペースを入れてください。 4 ファイルの最後に以下を追加します。 • ETERNUS DX/AF の場合 （例 : ETERNUS DX60 S4 を接続する場合） devices { device { vendor "FUJITSU" product "ETERNUS_DXL" prio alua path_grouping_policy group_by_prio path_selector "round-robin 0" failback immediate no_path_retry 0 (*1) path_checker tur dev_loss_tmo 2097151 (*2) fast_io_fail_tmo 1 } }

*1: FC 接続で Storage Cluster 機能を使用する場合、または ETERNUS DX S4/S3 series およ

びETERNUS AF series で 10Gbit/s iSCSI 接続の場合は、"no_path_retry 10"と設定してく ださい。

iSCSI 接続で Storage Cluster 機能を使用する場合は、"no_path_retry 20"と設定してくださ い。

*2: Oracle Linux 5.6 UEK 以前または Oracle Linux 5.6 以前の場合は、"dev_loss_tmo"の行の追

加は不要です。

第2 章 Red Hat Enterprise Linux 7, Red Hat Enterprise Linux 6, Oracle Linux の場合 2.1 device-mapper multipath の設定

- "devices"と"{"の間には半角スペースを入れてください。 - "device"と "{"の間には半角スペースを入れてください。 - Brocade 社製ファイバチャネルカードを使用している場合、"dev_loss_tmo"の設定値が正 しく反映されません。そのため、電源障害でETERNUS DX/AF の電源が切断されると、デ バイスファイルがクリアされることがあります。この場合、サーバの再起動が必要になり ます。

- ETERNUS DX8100 S3 では Oracle Linux をサポートしていません。 "product"の設定値は、使用する装置によって異なります。 以下の表を確認して設定してください。 使用する装置 "product"設定値 ETERNUS DX60 S4/DX100 S4/DX200 S4, ETERNUS DX60 S3/DX100 S3/DX200 S3, ETERNUS AF250 S2, ETERNUS AF250, ETERNUS DX200F, ETERNUS DX60 S2/DX80 S2/DX90 S2 ETERNUS_DXL ETERNUS DX500 S4/DX600 S4, ETERNUS DX500 S3/DX600 S3, ETERNUS AF650 S2, ETERNUS AF650 ETERNUS_DXM ETERNUS DX8900 S4, ETERNUS DX8100 S3/DX8700 S3/DX8900 S3 ETERNUS_DXH

ETERNUS DX400 S2 series ETERNUS_DX400

ETERNUS DX8000 S2 series ETERNUS_DX8000

• VX700 series の場合 devices { device { vendor "FUJITSU" product "ETERNUS_VX700" path_grouping_policy multibus

getuid_callout "/lib/udev/scsi_id --whitelisted --device=/dev/%n" path_checker tur failback manual no_path_retry 120 } } - "devices"と"{"の間には半角スペースを入れてください。 - "device"と"{"の間には半角スペースを入れてください。

- VX700 series では Oracle Linux をサポートしていません。 第2 章 Red Hat Enterprise Linux 7, Red Hat Enterprise Linux 6, Oracle Linux の場合

2.1.3

device-mapper multipath の有効化

device-mapper multipath を有効にします。

• Red Hat Enterprise Linux 7、Oracle Linux 7 の場合 以下のコマンドを実行します。

コマンド実行後に、multipathd が正常に起動完了することを確認してください。

# systemctl start multipathd.service

すでにmultipathd が動作している場合は、reload を行ってください。

# systemctl reload multipathd.service • Red Hat Enterprise Linux 6、Oracle Linux 6 の場合

以下のコマンドを実行します。

コマンド実行後に、multipathd が正常に起動完了することを確認してください。 # service multipathd start

すでにmultipathd が動作している場合は、reload を行ってください。

# service multipathd reload

2.1.4

Linux サーバの再起動

Linux サーバを再起動します。 実行例

# shutdown -r now

第2 章 Red Hat Enterprise Linux 7, Red Hat Enterprise Linux 6, Oracle Linux の場合 2.1 device-mapper multipath の設定

2.2

device-mapper multipath の確認

device-mapper multipath が有効になったあとの各種確認を行います。

2.2.1

device-mapper multipath 設定後のデバイス確認

device-mapper multipath によって作成されたデバイスファイルを確認します。 実行例 # ls -l /dev/mapper/ total 0

crw-rw----. 1 root root 10, 58 Apr 14 09:01 control

lrwxrwxrwx. 1 root root 7 Apr 14 09:01 mpathh -> ../dm-1 lrwxrwxrwx. 1 root root 7 Apr 14 09:01 mpathi -> ../dm-0 lrwxrwxrwx. 1 root root 7 Apr 14 09:01 mpathj -> ../dm-5 lrwxrwxrwx. 1 root root 7 Apr 14 09:01 mpathk -> ../dm-6 lrwxrwxrwx. 1 root root 7 Apr 14 09:01 mpathl -> ../dm-3 lrwxrwxrwx. 1 root root 7 Apr 14 09:01 mpathm -> ../dm-2 lrwxrwxrwx. 1 root root 7 Apr 14 09:01 mpathn -> ../dm-4

2.2.2

device-mapper multipath の状態確認

"multipath -ll"コマンドによってパスの状態を確認します。サーバに割り当てたすべてのパス分のデバ イスが正常状態で認識されていることを確認してください。 • マルチパス正常状態（例: ETERNUS DX60 S4 を 2 パスで接続している場合） 2 つのブロックデバイスでマルチパスが構成され、それぞれのパスの状態が"active ready"と表示され ることを確認します。 # multipath -ll

mpathh (3600000e00d0000000001000000200000) dm-1 FUJITSU,ETERNUS_DXL size=2.0G features=’1 queue_if_no_path’ hwhandler=’0’ wp=rw

|-+- policy=’round-robin 0’ prio=50 status=active | ‘- 1:0:0:0 sdb 8:16 active ready running

‘-+- policy=’round-robin 0’ prio=10 status=enabled ‘- 2:0:0:0 sdi 8:128 active ready running

2

2

"active ready"

• マルチパス（"2:0:0:X"側）の異常状態（例: ETERNUS DX60 S4 を 2 パスで接続している場合）

# multipath -ll

mpathh (3600000e00d0000000001000000200000) dm-1 FUJITSU,ETERNUS_DXL size=2.0G features='1 queue_if_no_path' hwhandler='0' wp=rw

`-+- policy='round-robin 0' prio=50 status=active `- 1:0:0:0 sdb 8:16 active ready running

OS∧ᩘ࡟ࡼࡗ࡚ࡣࠊ␗ᖖഃࡢࣃࢫࡢ ࢫࢸ࣮ࢱࢫࡀ⾲♧ࡉࢀ࡞ࡃ࡞ࡾࡲࡍࠋ

第2 章 Red Hat Enterprise Linux 7, Red Hat Enterprise Linux 6, Oracle Linux の場合 2.2 device-mapper multipath の確認

第

_{3 章}

Red Hat Enterprise Linux 5 の場合

サーバで使用しているOS が RHEL5 の場合の、マルチパス環境の設定および設定後の確認事項につい

て説明しています。

3.1

device-mapper multipath の設定

マルチパス環境にするための設定を行います。

3.1.1

事前準備

device-mapper multipath は RPM (Red Hat Package Manager)を使用します。

サポート組み合わせ表にRPM の版数が記載されていない場合は、OS に標準添付されている RPM を 使用してください。

3.1.2

/etc/multipath.conf の設定

device-mapper multipath の構成ファイルを以下のように設定します。 以下の手順でファイルを作成します。 1 以下の3 行をコメントアウトします。 # blacklist { # devnode "*" # } 内蔵ディスクなど、マルチパス構成から外したいデバイスがある場合には、"blacklist"に外したい

デバイス名を記述してください。記述方法の詳細は、Red Hat 社の Web サイトを参照してくださ

い。

2 以下の記述があることを確認します。

## Use user friendly names, instead of using WWIDs as names. defaults {

user_friendly_names yes }

"defaults"と"{"の間には半角スペースを入れてください。 3 ファイルの最後に以下を追加します。 • ETERNUS DX/AF の場合 （例 : ETERNUS DX60 S4 の場合） devices { device { vendor "FUJITSU" product "ETERNUS_DXL" prio_callout "/sbin/mpath_prio_alua %d" path_grouping_policy group_by_prio path_selector "round-robin 0" failback immediate no_path_retry 10 path_checker tur } } - "devices"と"{"の間には半角スペースを入れてください。 - "device"と"{"の間には半角スペースを入れてください。 "product"の設定値は、使用する装置によって異なります。 以下の表を確認して設定してください。 使用する装置 "product"設定値 ETERNUS DX60 S4/DX100 S4/DX200 S4, ETERNUS DX60 S3/DX100 S3/DX200 S3, ETERNUS AF250 S2, ETERNUS AF250, ETERNUS DX200F, ETERNUS DX60 S2/DX80 S2/DX90 S2 ETERNUS_DXL ETERNUS DX500 S4/DX600 S4, ETERNUS DX500 S3/DX600 S3, ETERNUS AF650 S2, ETERNUS AF650 ETERNUS_DXM ETERNUS DX8900 S4, ETERNUS DX8100 S3/DX8700 S3/DX8900 S3 ETERNUS_DXH

ETERNUS DX400 S2 series ETERNUS_DX400

ETERNUS DX8000 S2 series ETERNUS_DX8000 第3 章 Red Hat Enterprise Linux 5 の場合

• VX700 series の場合 devices { device { vendor "FUJITSU" product "ETERNUS_VX700" path_grouping_policy multibus

getuid_callout "/sbin/scsi_id -g -u -s /block/%n" path_checker tur failback manual no_path_retry 120 } } - "devices"と"{"の間には半角スペースを入れてください。 - "device"と"{"の間には半角スペースを入れてください。

3.1.3

device-mapper multipath の有効化

device-mapper multipath を有効にします。 以下のコマンドを実行します。 # multipath -v 1

# chkconfig --add multipathd # chkconfig multipathd on # multipath # /etc/init.d/multipathd start

3.1.4

Linux サーバの再起動

Linux サーバを再起動します。 実行例 # shutdown -r now

3.2

device-mapper multipath の確認

device-mapper multipath が有効になったあとの各種確認を行います。

3.2.1

device-mapper multipath 設定後のデバイス確認

第3 章 Red Hat Enterprise Linux 5 の場合 3.2 device-mapper multipath の確認

実行例

# cd /dev/mapper # ls -l

crw--- 1 root root 10, 63 Oct 17 17:41 control brw-rw---- 1 root disk 253, 0 Oct 17 17:41 mpath0 brw-rw---- 1 root disk 253, 1 Oct 17 17:41 mpath1 brw-rw---- 1 root disk 253, 10 Oct 17 17:41 mpath10 brw-rw---- 1 root disk 253, 99 Oct 17 17:41 mpath100 :

brw-rw---- 1 root disk 253, 245 Oct 17 17:41 mpath246 brw-rw---- 1 root disk 253, 246 Oct 17 17:41 mpath247 brw-rw---- 1 root disk 253, 247 Oct 17 17:41 mpath248 brw-rw---- 1 root disk 253, 248 Oct 17 17:41 mpath249

3.2.2

device-mapper multipath の状態確認

"multipath -ll"コマンドによってパスの状態を確認します。サーバに割り当てたすべてのパス分のデバ イスが正常状態で認識されていることを確認してください。 • マルチパス正常状態（例: ETERNUS DX60 S4 を 2 パスで接続している場合） 2 つのブロックデバイスでマルチパスが構成され、それぞれのパスの状態が"active ready"と表示され ることを確認します。 # multipath -ll

mpath2 (3600000e00d00000000000f7e00010000) dm-1 FUJITSU,ETERNUS_DXL [size=10G][features=1 queue_if_no_path][hwhandler=0][rw] ¥_ round-robin 0 [prio=50][active] ¥_ 4:0:0:1 sde 8:64 [active][ready] ¥_ round-robin 0 [prio=10][enabled] ¥_ 3:0:0:1 sdc 8:32 [active][ready] : : "[active] [ready]" 2 2 • マルチパス（"3:0:0:X"側）の異常状態（例: ETERNUS DX60 S4 を 2 パスで接続している場合） # multipath -ll

mpath2 (3600000e00d00000000000f7e00010000) dm-1 FUJITSU,ETERNUS_DXL [size=10G][features=1 queue_if_no_path][hwhandler=0][rw] ¥_ round-robin 0 [prio=50][active] ¥_ 4:0:0:1 sde 8:64 [active][ready] ¥_ round-robin 0 [prio=0][enabled] ¥_ 3:0:0:1 sdc 8:32 [failed][faulty] : : "[failed][faulty]"

第3 章 Red Hat Enterprise Linux 5 の場合 3.2 device-mapper multipath の確認

第

_{4 章}

SUSE Linux Enterprise Server 11 以降の場合

サーバで使用しているOS が SLES15、SLES12、または SLES11 の場合の、マルチパス環境の設定お

よび設定後の確認事項について説明しています。

4.1

device-mapper multipath の設定

マルチパス環境にするための設定を行います。

4.1.1

事前準備

device-mapper multipath は RPM (Red Hat Package Manager)を使用します。

サポート組み合わせ表にRPM の版数が記載されていない場合は、OS に標準添付されている RPM を 使用してください。

4.1.2

/etc/multipath.conf の設定

device-mapper multipath の構成ファイルを以下のように設定します。 以下の手順でファイルを作成します。 1 "/usr/share/doc/packages/multipath-tools/multipath.conf.synthetic"をコピーし、ファイルを作成し ます。 # cp /usr/share/doc/packages/multipath-tools/multipath.conf.synthetic /etc/multipath.conf "/usr/share/doc/packages/multipath-tools/multipath.conf.synthetic"が存在しない場合は、手順. 2に 従い、/etc/multipath.conf ファイルを作成してください。 2 以下の内容をファイルに追加します。 "defaults"の最後に以下の内容を追加します。 defaults { user_friendly_names yes }

"devices"の最後に以下の内容を追加します。 （例：ETERNUS DX410 S2 の場合） devices { device { vendor "FUJITSU" product "ETERNUS_DX400" prio alua path_grouping_policy group_by_prio path_selector "round-robin 0" failback immediate no_path_retry 0 (*1) path_checker tur dev_loss_tmo 2147483 fast_io_fail_tmo 1 retain_attached_hw_handler "no" detect_prio "no" } }

*1: FC 接続で Storage Cluster 機能を使用する場合は、"no_path_retry 10"と設定してください。

iSCSI 接続で Storage Cluster 機能を使用する場合は、"no_path_retry 20"と設定してくださ い。 • "defaults"と"{"の間には半角スペースを入れてください。 • "devices"と "{"の間には半角スペースを入れてください。 • "device"と"{"の間には半角スペースを入れてください。 • Brocade 社製ファイバチャネルカードを使用している場合、"dev_loss_tmo"の設定値が正し く反映されません。そのため、電源障害でETERNUS DX/AF の電源が切断されると、デバイ スファイルがクリアされることがあります。この場合、サーバの再起動が必要になります。 "product"の設定値は、使用する装置によって異なります。 以下の表を確認して設定してください。 使用する装置 "product"設定値 ETERNUS DX60 S4/DX100 S4/DX200 S4, ETERNUS DX60 S3/DX100 S3/DX200 S3, ETERNUS AF250 S2, ETERNUS AF250, ETERNUS DX200F, ETERNUS DX60 S2/DX80 S2/DX90 S2 ETERNUS_DXL ETERNUS DX500 S4/DX600 S4, ETERNUS DX500 S3/DX600 S3, ETERNUS AF650 S2, ETERNUS AF650 ETERNUS_DXM ETERNUS DX8900 S4, ETERNUS DX8700 S3/DX8900 S3 ETERNUS_DXH 第4 章 SUSE Linux Enterprise Server 11 以降の場合

内蔵ディスクなど、マルチパス構成から外したいデバイスがある場合には、"blacklist"に外したい デバイス名を記述してください。記述方法の詳細は、Novell 社の Web サイトを参照してくださ い。 • SLES12 の場合は、内蔵ディスクをマルチパス構成から外したいデバイスとして、必ず "blacklist"にデバイス名を記述してください。 • SLES11 SP2 の場合は設定内容を有効にするため、以下のパッチ（またはそれ以上の新しい パッチ）を適用する必要があります。xxx はアーキテクチャー名（x86 など）を示します。 - kpartx-0.4.9-0.66.1.xxx.rpm - multipath-tools-0.4.9-0.66.1.xxx.rpm

4.1.3

device-mapper multipath の有効化

device-mapper multipath を有効にします。

• SUSE Linux Enterprise Server 12 以降の場合

1 初期RAM ディスクを作成します。

使用しているカーネルに合わせて、初期RAM ディスクのイメージファイルを作成します。作成

方法は、ファイバチャネルカードのマニュアルを参照してください。

2 以下のコマンドを実行します。

# systemctl enable multipathd.service # systemctl start multipathd.service • SUSE Linux Enterprise Server 11 の場合

以下のコマンドを実行します。

# insserv boot.multipath multipathd # chkconfig multipathd on # chkconfig boot.multipath on # /etc/init.d/boot.multipath start # /etc/init.d/multipathd start

4.1.4

Linux サーバの再起動

Linux サーバを再起動します。 実行例 # shutdown -r now

第4 章 SUSE Linux Enterprise Server 11 以降の場合 4.1 device-mapper multipath の設定

4.2

device-mapper multipath の確認

device-mapper multipath が有効になったあとの各種確認を行います。

4.2.1

device-mapper multipath 設定後のデバイス確認

device-mapper multipath によって作成されたデバイスファイルを確認します。 実行例 # cd /dev/mapper # ls -l total 0

lrwxrwxrwx 1 root root 16 Apr 2 00:44 control -> ../device-mapper brw--- 1 root root 253, 0 Apr 2 00:44 mpatha

brw--- 1 root root 253, 1 Apr 2 00:44 mpathb brw--- 1 root root 253, 2 Apr 2 00:44 mpathc brw--- 1 root root 253, 3 Apr 2 00:44 mpathd :

brw--- 1 root root 253, 23 Apr 2 00:44 mpathu brw--- 1 root root 253, 24 Apr 2 00:44 mpathv brw--- 1 root root 253, 25 Apr 2 00:44 mpathw brw--- 1 root root 253, 26 Apr 2 00:44 mpathx

4.2.2

device-mapper multipath の状態確認

"multipath -ll"コマンドによってパスの状態を確認します。サーバに割り当てたすべてのパス分のデバ イスが正常状態で認識されていることを確認してください。 • マルチパス正常状態（例：ETERNUS DX410 S2 を 2 パスで接続している場合） 2 つのブロックデバイスでマルチパスが構成され、それぞれのパスの状態が"active ready"と表示され ることを確認します。 # multipath -ll

mpathb (36000b5d0006a0000006a0317000a0000) dm-2 FUJITSU,ETERNUS_DX400 size=10G features=’1 queue_if_no_path’ hwhandler=’0’ wp=rw

‘-+- policy=’round-robin 0’ prio=150 status=active |- 3:0:0:1 sdc 8:32 active ready running

‘- 4:0:0:1 sde 8:64 active ready running : : 2 2 "active ready" • マルチパス（"3:0:0:X"側）の異常状態（例：ETERNUS DX410 S2 を 2 パスで接続している場合） # multipath -ll

mpathb (36000b5d0006a0000006a0317000a0000) dm-2 FUJITSU,ETERNUS_DX400 size=10G features='1 queue_if_no_path' hwhandler='0' wp=rw

`-+- policy='round-robin 0' prio=150 status=active `- 4:0:0:1 sde 8:64 active ready running

:

: _{OS∧ᩘ࡟ࡼࡗ࡚ࡣࠊ␗ᖖഃࡢࣃࢫࡢ}

ࢫࢸ࣮ࢱࢫࡀ⾲♧ࡉࢀ࡞ࡃ࡞ࡾࡲࡍࠋ

第4 章 SUSE Linux Enterprise Server 11 以降の場合 4.2 device-mapper multipath の確認

ストレージクラスタ使用時に、ストレージシステム装置がフェイルオーバすると、"multipath -ll"で パスごとに以下のメッセージが表示される場合がありますが、ストレージシステム装置の動作には 問題ありません。以下のメッセージは無視してください。

# multipath -ll

Jul 27 13:58:34 | sdn: couldn't get asymmetric access state Jul 27 13:58:34 | sdc: couldn't get asymmetric access state

mpathb (36000b5d0006a0000006a0317000a0000) dm-2 FUJITSU,ETERNUS_DXM size=15G features='1 queue_if_no_path' hwhandler='0' wp=rw

|-+- policy='round-robin 0' prio=-1 status=active | `- 6:0:0:1 sdn 8:208 active ready running `-+- policy='round-robin 0' prio=-1 status=enabled `- 1:0:0:1 sdc 8:32 active ready running

2ࣃࢫᵓᡂࡢࡓࡵࠊ

"couldn't get asymmetric access state"

ࡀ2ࡘ⾲♧ࡉࢀࡲࡍࠋ

第4 章 SUSE Linux Enterprise Server 11 以降の場合 4.2 device-mapper multipath の確認

第

_{5 章}

SUSE Linux Enterprise Server 10 の場合

サーバで使用しているOS が SLES10 の場合の、マルチパス環境の設定および設定後の確認事項につ

いて説明しています。

5.1

SUSE Linux Enterprise Server 10 SP3 以降の場合

5.1.1

device-mapper multipath の設定

マルチパス環境にするための設定を行います。

5.1.1.1

事前準備

device-mapper multipath は RPM (Red Hat Package Manager)を使用します。

サポート組み合わせ表にRPM の版数が記載されていない場合は、OS に標準添付されている RPM を 使用してください。

5.1.1.2

/etc/multipath.conf の設定

device-mapper multipath の構成ファイルを以下のように設定します。 以下の手順でファイルを作成します。 1 "/usr/share/doc/packages/multipath-tools/multipath.conf.synthetic"をコピーし、ファイルを作成し ます。 # cp /usr/share/doc/packages/multipath-tools/multipath.conf.synthetic /etc/multipath.conf 2 以下の内容をファイルに追加します。 "defaults"の最後に以下の内容を追加します。 defaults { user_friendly_names yes }

"devices"の最後に以下の内容を追加します。 （例：ETERNUS DX410 S2 の場合） devices { device { vendor "FUJITSU" product "ETERNUS_DX400" prio alua path_grouping_policy group_by_prio path_selector "round-robin 0" failback immediate no_path_retry 10 path_checker tur } } • "defaults"と"{"の間には半角スペースを入れてください。 • "devices"と"{"の間には半角スペースを入れてください。 • "device"と"{"の間には半角スペースを入れてください。 "product"の設定値は、使用する装置によって異なります。 以下の表を確認して設定してください。 使用する装置 "product"設定値 ETERNUS DX60 S3/DX100 S3/DX200 S3, ETERNUS DX200F, ETERNUS DX60 S2/DX80 S2/DX90 S2 ETERNUS_DXL ETERNUS DX500 S3/DX600 S3 ETERNUS_DXM ETERNUS DX8700 S3/DX8900 S3 ETERNUS_DXH

ETERNUS DX400 S2 series ETERNUS_DX400

ETERNUS DX8000 S2 series ETERNUS_DX8000

内蔵ディスクなど、マルチパス構成から外したいデバイスがある場合には、"blacklist"に外したい

デバイス名を記述してください。記述方法の詳細は、Novell 社の Web サイトを参照してくださ

い。

第5 章 SUSE Linux Enterprise Server 10 の場合 5.1 SUSE Linux Enterprise Server 10 SP3 以降の場合

5.1.1.3

device-mapper multipath の有効化

device-mapper multipath を有効にします。 以下のコマンドを実行します。

# insserv boot.multipath multipathd # chkconfig multipathd on # chkconfig boot.multipath on # /etc/init.d/boot.multipath start # /etc/init.d/multipathd start デバイスが多く接続されている環境では、"/etc/init.d/boot.multipath start"コマンドの実行後に、以下の メッセージが表示される場合があります。

Setup multipath targets/etc/init.d/boot.multipath: line 102: /sys/block/dm-*/uevent: No such file or directory

timeout waiting for devices failed

または

Setup multipath targetstimeout waiting for devices failed これらのメッセージが表示された場合は、5 分ほど時間を空けてから、再度"/etc/init.d/boot.multipath start"コマンドを実行してください。

5.1.1.4

Linux サーバの再起動

Linux サーバを再起動します。 実行例 # shutdown -r now 第5 章 SUSE Linux Enterprise Server 10 の場合 5.1 SUSE Linux Enterprise Server 10 SP3 以降の場合

5.1.2

device-mapper multipath の確認

device-mapper multipath が有効になったあとの各種確認を行います。

5.1.2.1

device-mapper multipath 設定後のデバイス確認

device-mapper multipath によって作成されたデバイスファイルを確認します。 実行例 # cd /dev/mapper # ls -l total 0

lrwxrwxrwx 1 root root 16 Apr 2 00:44 control -> ../device-mapper brw--- 1 root root 253, 0 Apr 2 00:44 mpatha

brw--- 1 root root 253, 1 Apr 2 00:44 mpathb brw--- 1 root root 253, 2 Apr 2 00:44 mpathc brw--- 1 root root 253, 3 Apr 2 00:44 mpathd :

brw--- 1 root root 253, 23 Apr 2 00:44 mpathu brw--- 1 root root 253, 24 Apr 2 00:44 mpathv brw--- 1 root root 253, 25 Apr 2 00:44 mpathw brw--- 1 root root 253, 26 Apr 2 00:44 mpathx

5.1.2.2

device-mapper multipath の状態確認

"multipath -ll"コマンドによってパスの状態を確認します。サーバに割り当てたすべてのパス分のデバ イスが正常状態で認識されていることを確認してください。 • マルチパス正常状態（例：ETERNUS DX410 S2 を 2 パスで接続している場合） 2 つのブロックデバイスでマルチパスが構成され、それぞれのパスの状態が"active ready"と表示され ることを確認します。 # multipath -ll

mpathr (3600000e00d00000000000422001e0000) dm-20 FUJITSU,ETERNUS_DX400 [size=2.0G][features=1 queue_if_no_path][hwhandler=0] ¥_ round-robin 0 [prio=100][active] ¥_ 6:0:0:6 sdaf 65:240 [active][ready] ¥_ 5:0:0:6 sdh 8:112 [active][ready] : : 2 2 "[active] [ready]" • マルチパス（"5:0:0:X"側）の異常状態（例：ETERNUS DX410 S2 を 2 パスで接続している場合） # multipath -ll

mpathr (3600000e00d00000000000422001e0000) dm-20 FUJITSU,ETERNUS_DX400 [size=2.0G][features=1 queue_if_no_path][hwhandler=0] ¥_ round-robin 0 [prio=100][active] ¥_ 6:0:0:6 sdaf 65:240 [active][ready] ¥_ 5:0:0:6 sdh 8:112 [failed][faulty] : : "[failed][faulty]"

第5 章 SUSE Linux Enterprise Server 10 の場合 5.1 SUSE Linux Enterprise Server 10 SP3 以降の場合

5.2

SUSE Linux Enterprise Server 10 SP2 以前の場合

5.2.1

device-mapper multipath の設定

マルチパス環境にするための設定を行います。

5.2.1.1

事前準備

device-mapper multipath は RPM (Red Hat Package Manager)を使用します。

サポート組み合わせ表にRPM の版数が記載されていない場合は、OS に標準添付されている RPM を 使用してください。

5.2.1.2

/etc/multipath.conf の設定

device-mapper multipath の構成ファイルを以下のように設定します。 以下の手順でファイルを作成します。 1 "/usr/share/doc/packages/multipath-tools/multipath.conf.synthetic"をコピーし、ファイルを作成し ます。 # cp /usr/share/doc/packages/multipath-tools/multipath.conf.synthetic /etc/multipath.conf 2 以下の内容をファイルに追加します。 "defaults"の最後に以下の内容を追加します。 defaults { user_friendly_names yes } "devices"の最後に以下の内容を追加します。 （例：ETERNUS DX410 S2 の場合） devices { device { vendor "FUJITSU" product "ETERNUS_DX400" prio_callout "/sbin/mpath_prio_alua %d" path_grouping_policy group_by_prio path_selector "round-robin 0" failback immediate no_path_retry 10 path_checker tur } }

第5 章 SUSE Linux Enterprise Server 10 の場合 5.2 SUSE Linux Enterprise Server 10 SP2 以前の場合

• "defaults"と"{"の間には半角スペースを入れてください。 • "devices"と"{"の間には半角スペースを入れてください。 • "device"と"{"の間には半角スペースを入れてください。 "product"の設定値は、使用する装置によって異なります。 以下の表を確認して設定してください。 使用する装置 "product"設定値 ETERNUS DX60 S2/DX80 S2/DX90 S2 ETERNUS_DXL

ETERNUS DX400 S2 series ETERNUS_DX400

ETERNUS DX8000 S2 series ETERNUS_DX8000

内蔵ディスクなど、マルチパス構成から外したいデバイスがある場合には、"blacklist"に外したい デバイス名を記述してください。記述方法の詳細は、Novell 社の Web サイトを参照してくださ い。

5.2.1.3

device-mapper multipath の有効化

device-mapper multipath を有効にします。 以下のコマンドを実行します。

# insserv boot.multipath multipathd # chkconfig multipathd on # chkconfig boot.multipath on # /etc/init.d/boot.multipath start # /etc/init.d/multipathd start デバイスが多く接続されている環境では、"/etc/init.d/boot.multipath start"コマンドの実行後に、以下の メッセージが表示される場合があります。

Setup multipath targets/etc/init.d/boot.multipath: line 102: /sys/block/dm-*/uevent: No such file or directory

timeout waiting for devices failed

または

Setup multipath targetstimeout waiting for devices failed

これらのメッセージが表示された場合は、5 分ほど時間を空けてから、再度"/etc/init.d/boot.multipath start"コマンドを実行してください。

5.2.1.4

Linux サーバの再起動

第5 章 SUSE Linux Enterprise Server 10 の場合 5.2 SUSE Linux Enterprise Server 10 SP2 以前の場合

再起動後、/var/log/message に以下の warning メッセージが出力される場合がありますが、マルチパ スの構築および動作に問題はありません。

Jun 30 16:15:00 nvcs2 multipathd: sdb: Using deprecated prio_callout '/sbin/mpath_prio_alua %d' (controller setting) Please fixup /etc/multipath.conf

5.2.2

device-mapper multipath の確認

device-mapper multipath が有効になったあとの各種確認を行います。

5.2.2.1

device-mapper multipath 設定後のデバイス確認

device-mapper multipath によって作成されたデバイスファイルを確認します。 実行例 # cd /dev/mapper # ls -l total 0

lrwxrwxrwx 1 root root 16 Apr 2 00:44 control -> ../device-mapper brw--- 1 root root 253, 0 Apr 2 00:44 mpatha

brw--- 1 root root 253, 1 Apr 2 00:44 mpathb brw--- 1 root root 253, 2 Apr 2 00:44 mpathc brw--- 1 root root 253, 3 Apr 2 00:44 mpathd :

brw--- 1 root root 253, 23 Apr 2 00:44 mpathu brw--- 1 root root 253, 24 Apr 2 00:44 mpathv brw--- 1 root root 253, 25 Apr 2 00:44 mpathw brw--- 1 root root 253, 26 Apr 2 00:44 mpathx

5.2.2.2

device-mapper multipath の状態確認

"multipath -ll"コマンドによってパスの状態を確認します。サーバに割り当てたすべてのパス分のデバ イスが正常状態で認識されていることを確認してください。 • マルチパス正常状態（例：ETERNUS DX410 S2 を 2 パスで接続している場合） 2 つのブロックデバイスでマルチパスが構成され、それぞれのパスの状態が"active ready"と表示され ることを確認します。 # multipath -ll

mpathr (3600000e00d00000000000422001e0000) dm-20 FUJITSU,ETERNUS_DX400 [size=2.0G][features=1 queue_if_no_path][hwhandler=0] ¥_ round-robin 0 [prio=100][active] ¥_ 6:0:0:6 sdaf 65:240 [active][ready] ¥_ 5:0:0:6 sdh 8:112 [active][ready] : : 2 2 "[active] [ready]"

第5 章 SUSE Linux Enterprise Server 10 の場合 5.2 SUSE Linux Enterprise Server 10 SP2 以前の場合

• マルチパス（"5:0:0:X"側）の異常状態（例：ETERNUS DX410 S2 を 2 パスで接続している場合）

# multipath -ll

mpathr (3600000e00d00000000000422001e0000) dm-20 FUJITSU,ETERNUS_DX400 [size=2.0G][features=1 queue_if_no_path][hwhandler=0] ¥_ round-robin 0 [prio=100][active] ¥_ 6:0:0:6 sdaf 65:240 [active][ready] ¥_ 5:0:0:6 sdh 8:112 [failed][faulty] : : "[failed][faulty]" SLES10 を使用する場合、"multipath -ll" コマンド実行後のパスの状態表示の中に、以下のメッセージ が出力される場合がありますが、マルチパスの構築および動作に問題はありません。

sdaf: Using deprecated prio_callout '/sbin/mpath_prio_alua %d' (controller setting) Please fixup /etc/multipath.conf

sdh: Using deprecated prio_callout '/sbin/mpath_prio_alua %d' (controller setting) Please fixup /etc/multipath.conf

第5 章 SUSE Linux Enterprise Server 10 の場合 5.2 SUSE Linux Enterprise Server 10 SP2 以前の場合

FUJITSU Storage ETERNUS DX, ETERNUS AF 構築ガイド（サーバ接続編）

ファイバチャネル

/FCoE/iSCSI/SAS/Linux 用

device-mapper multipath 設定

P3AM-3912-30Z0 発行日: 2018 年 12 月 発行責任: 富士通株式会社 • 本書の内容は、改善のため事前連絡なしに変更することがあります。 • 本書の内容は、細心の注意を払って制作致しましたが、本書中の誤字、情報の抜け、本書情報の使用に起因する 運用結果に関しましては、責任を負いかねますので予めご了承願います。 • 本書に記載されたデータの使用に起因する第三者の特許権およびその他の権利の侵害については、当社はその責 を負いません。 • 無断転載を禁じます。