目次 1. 機能概要 2. 設定方法 3. 構成例 4. ご参考当ガイドでは以下の Flex System 環境での構成を記載しています今後のバージョンアップに伴い変更される可能性がありますが基本的に同様の設定となりますまた他のラック型サーバーでも基本的には同様の設定となります Flex

(1)

Emulex 10GbE バーチャルファブリックアダプター

Switch Independent Mode(vNIC2) 設定ガイド

Lenovo Japan, Enterprise Business Group, SE本部製品SE部

(2)

2

1. 機能概要

2. 設定方法

3. 構成例

4. ご参考

• 当ガイドでは以下のFlex System 環境での構成を記載しています。今後のバージョンアップに伴い変更される可能性がありますが、基本的に同様の設定となります。また、他のラック型サーバーでも基本的には同様の設定となります。 – Flex System x240 M5 - uEFI 1.01 - IMM2 1.20 - DSA 10.0 – Flex System CN4054

- Emulex UCNA Firmware Update 10.3.83.7

(3)

3

• Emulex BE3/BE3R/XE102/XE104 NIC搭載機種

– Flex Systemオプション製品

- Flex System x240オンボードLOM

- (00Y3306)CN4054R 10Gb バーチャル・ファブリック・アダプター

- (00JY800) CN4052 2ポート 10Gb バーチャル・ファブリック・アダプター

- (94Y5160) CN4058S 8ポート 10Gb バーチャル・ファブリック・アダプター

– System x オプション製品

- (00D8540) Emulex 10GbE バーチャルファブリックアダプター III v2

- (00D1996) Emulex VFA5 ML2 デュアルポート 10GbE SFP+ アダプター

- (00JY820) Emulex VFA5 2x10 GbE SFP+ PCIe アダプター

- (00JY830)Emulex VFA5 2x10 GbE SFP+ アダプター (FCoE/iSCSI)

• 最新の対象機器については、システムガイドをご確認ください。

– http://www.lenovojp.com/server/systemguide

(4)

(5)

5

10Gbイーサーネットを4ポートに分割することで、帯域を効率よく使用することができる機能

Virtual Fabric Adapter (VFA) vNIC/UFPとは

10Gbネットワークを最大限に活用

柔軟かつ信頼性の高い各機能

アダプター~スイッチポート間でのバーチャルチャネル（論理経路）毎の帯域制御が可能 UFP：1Gbps以上100Mbps単位 vNIC：100Mbps単位送信、受信、双方の通信で帯域制御が可能 vNIC2 pNIC vNIC3 vNIC4 vNIC5 vNIC6 vNIC7 vNIC8 vNIC1 仮想NIC (vNIC) vNIC3 vNIC5 vNIC7 vNIC1 vNIC4 vNIC6 vNIC8 vNIC2 物理NIC (pNIC) pNIC Flex System コンピュート・ノード論理経路（バーチャルパイプ）ハードウェアFCoE or HW iSCSIのサポート ※別途有償ライセンスが必要になります Onboard NIC CN4054R ダイナミックな帯域制御値の割り当て変更が可能

複雑になりがちな仮想化環境においてVirtual Fabricなら

ユーザーネットワーク環境の要求に対して柔軟に対応可能です

(6)

6

“Unified Fabric Port”モード（UFP）

• 帯域制御値などの変更時にサーバー再起動が不要 • 双方向（送受信）の帯域割り当ておよび制御が可能 • 4つのモードで用途に合わせた柔軟な構成が可能 • Tunnelモード、Trunkモード、Accessモード、FCoE モード

• Flex System EN4093R、G8264スイッチとEmulex

10Gアダプターの組み合わせにて提供 “Virtual Fabric”モード（vNIC1） • 帯域制御値などの変更時にサーバー再起動が不要 • 双方向（送受信）の帯域割り当ておよび制御が可能 • Lenovo NetworkingスイッチとEmulex 10Gアダプターの組み合わせにて提供

Virtual Fabric Adapter (VFA) vNIC/UFPの特徴

“Switch Independent”モード (vNIC2) • Lenovo Networkingスイッチ以外のイーサネットスイッチと互換性があり（既存環境との親和性） • 一方向（送信）のみで帯域割り当ておよび制御が可能 • UEFIメニュー（BIOS設定）による設定画面 • IEEE VLANタグによる通信制御 vNIC3 vNIC2 vNIC1 vNIC4 物理ポート vNIC2 vNIC3 vNIC4 vNIC5 vNIC6 vNIC7 vNIC8 vNIC1 仮想スイッチ VLANxx VLANxx VLANxx VLANxx ハイパーバイザー or OS （仮想NIC, 仮想スイッチ）物理NIC 仮想パイプ物理スイッチアップリンク接続 帯域制御 UFP/vNIC1:スイッチ側設定 vNIC2:UEFI画面での設定 vNIC分割設定 UFP(Tunnel)/vNIC1: VLANアウタータグ/ UFP(Trunk/Access/FCoE)/vNIC2: カスタマーVLAN アップリンク接続 UFP(Trunk):VLANアウタータグ vNIC1:vNICグループ UFP(Trunk/Access/FCoE)/ vNIC2: カスタマーVLANベース当ガイドの対象範囲

(7)

7

• 仮想アダプターごとに、それぞれ独立したLPVIDの値を付与することでNIC分割を行

います。(下記例では1001)

• OS上VMwareであればポートグループ上で付与したVLAN ID(100)はそのまま透過し

ます。VLANIDが付与されていないNW通信にはLPVID(1001)が付与されます。

vNIC2モードの動作

Lenovo Flex System エンタープライズ・シャーシ

EN4093R コンピュート・ノード オンボードLOM/VFA 物理ポート 1 LPVID:1001 vSwitch0 _INTA1 1001 100 1001 100 ポートグループA： VLANなしポートグループB： VLAN100

• スイッチ側ではVLANタグ(100,1001)が透過する設定にする必要があります。

– OSでVLANタグが付与されない場合でも、上記の通りパケットはNICにおいてLPVIDでタグ付けされます。

– したがって、Switch IndependentモードのNICと接続するEN4093R 内部ポートのPVIDは捨てVLANを設定するか、PVIDタギングを有効化した上で使用するVLANを設定してください。

(8)

(9)

9

• マルチチャネルモード（Switch Independent Mode）の有効化

– System Settings>Network と遷移し、対象となるアダプターを選択します。

– Multichannel ModeよりSwitch Independent Modeを選択します

– Controller Configuration より帯域の下限、上限値、LPVIDの値を付与し、save

をおこないます。

– 同様に他のポートに関しても設定をおこないます。

• 当ガイドでは、CN4054を搭載した構成を使用します。

(10)

10

• VFA(バーチャル・ファブリック・アダプター)を搭載したコンピュート・ノードの

uEFIから物理ポートに対してvNIC2設定を行います。

• コンピュート・ノードを再起動させ、 POST (Power On Self Test)中のメッセー

ジ表示後、

F1

キーを押してUEFIを起動させます。

(11)

11

UEFI設定手順②

(12)

12

• Network

を選択します。

(13)

13

• 「Network Device List」

に表示されている

MAC:xx:xx:xx:xx:xx:xx Slot1

Dev PFA xx:xx:0(バス番号)

を選択します。

UEFI設定手順④

(14)

14

UEFI設定手順⑤

(15)

15

UEFI設定手順⑥

(16)

16

UEFI設定手順⑦

(17)

17

• 帯域幅とNICを分割するために論理的に使用するLPVIDの値を指定するた

めに、

_{Controller Configuration}

を選択します。

(18)

18

• Configure LPVID

を選択します。

(19)

19

• 各vNICに対してLPVIDの値を指定します。

(20)

20

• 輻輳が発生したときに最低限割り当てられる帯域（minimum Bandwidth）と

帯域に余裕がある場合に使用できる帯域（Maximum Bandwidth）を設定し

ます。まず、

Configure bandwidth

を選択します。

(21)

21

• 最小帯域と最大帯域を100Mbps単位で指定します。25と設定した場合は

2.5Gbpsが割り当てられます。

UEFI設定手順⑫

最小

帯域

最大

帯域

(22)

22

• Save Configuration

を選択し、設定を保存します。

(23)

23

• NIC選択画面に戻り、他のNICについても同様に設定をおこないます。

(24)

24

• 同一チップのNICに関しては共通設定があるため、一部設定はグレーアウト

されています。

UEFI設定手順⑮

• 以上でUEFI設定は完了です。P.8にしたがって、スイッチ側のVLAN設定をし

てください。

(25)

(26)

26

■主な機能/設定■

• オンボードLOM/VFAでvNIC2を有効にし、物理10GbEポートを4つのvNICに分割 • Flexシャーシ筐体内のEN4093R x 2台でStackingを構成 • 上位スイッチのG8264 x 2台をVLAGで構成 ※VLAG + VRRPも可能 • EN4093RとG8264の接続はクロス・スタック・リンクアグリゲーション-VLAGで接続 • Compute NodeはActive-StandbyのTeaming構成

vNIC2 構成例① – 上位スイッチで筐体冗長構成が可能な場合

EN4093R-1 _EN4093R-2 Compute Node Teaming Core Network Compute Node Teaming 10G LoM/ VFA G8264-1 G8264-2 ISL <Physical View> VLAG LAG VLAG LAG Stacking 10G LoM/ VFA Flex System Chassis

<Logical View> L3 L2 Core Network Teaming Teaming 1GbE 10GbE 40GbE 64GbE (VC) VNIC/UFP FCoE iSCSI FC 凡例

(27)

27

■構成内容■

•

Compute Node側のオンボードLOM/VFAでvNIC2を有効にする事で仮想的にNIC数を増やす事が可能です。 • vNIC2を使用する際は動的な設定、双方向の帯域制御が出来なくなりますが、UplinkをvNICのグループごとに分けて用意する必要が無い為（※Uplink Sharedが可能）、上位スイッチとの接続に使用する物理ポート数を節約する事が可能となります。 • EN4093R側はvNIC2とStackingの混在構成を行います。上位スイッチのG8264 x2台でVLAG を構成する事で冗長性とActive-Activeパスを確保する事が可能です（vLAGを構成したG8264 の代わりに、vPCを構成したCiscoスイッチを使用することも可能です）。また、VLAG + VRRPで Flexシャーシ内のゲートウェイを冗長化する事が可能です。

• Compute NodeのサーバOSでActive-Standby のTeaming構成を行い、EN4093/RでLayer2

Failoverの設定を行う事で上位スイッチのリンク障害にも対応できます。 ※vNIC2ではvNICごとのFailover設定はできません。物理10GbEポート単位でのFailoverとなり

ますのでご注意ください。

• 以上の構成を行うことで論理的にはLoop-Freeとなり、STPは不要となります。

(28)

28

• オンボードLOMを使用し、LPVIDでタグを付与する場合、以下のようなVLAN

設定・接続イメージとなります。

– vmnic番号は認識順により異なる場合があります。

vNIC2構成例① シャーシ内詳細(オンボードLOM使用時)

Lenovo Flex System エンタープライズ・シャーシ

コンピュート・ノード オンボードLOM 物理ポート 1 物理ポート 2 vNIC ポート1 (1001) vNIC ポート2 (1002) vNIC ポート3 (1003) vNIC ポート4 (1004) vmnic2 vmnic4 vmnic6 vmnic0 EN4093R(ベイ1) EN4093R(ベイ2) vNIC ポート1 (2001) vNIC ポート2 (2002) vNIC ポート3 (2003) vNIC ポート4 (2004) vmnic3 vmnic5 vmnic7 vmnic1 1:x (INTAx) 2:x (INTBx) VLAN1001 VLAN2001 VLAN1002 VLAN2002 VLAN1003 VLAN1004 VLAN2003 VLAN2004 1:43 (EXT1) 1:61 (EXT19) 1:57 (EXT15) 2:43 (EXT1) 2:61 (EXT19) 2:57 (EXT15) • xは内部物理ポート番号で、1以上14以下の整数。 • スタッキング構成時のポート表記例 : Port Number1～42までが内部ポート、43～64までが外部ポート

…

Stacking _ISL

(29)

29 Lenovo Flex System エンタープライズ・シャーシ

• オンボードLOMを外してCN4054を使用する場合、以下のようにvSwitchの

アップリンクを設定することでアダプター冗長の構成となります。

vNIC2構成例① シャーシ内詳細(CN4054使用時)

コンピュート・ノード CN4054 物理ポート 1 物理ポート 2 vNIC ポート1 (1001) vNIC ポート2 (1002) vNIC ポート3 (1003) vNIC ポート4 (1004) vmnic2 vmnic4 vmnic6 vmnic0 vNIC ポート1 (2001) vNIC ポート2 (2002) vNIC ポート3 (2003) vNIC ポート4 (2004) vmnic3 vmnic5 vmnic7 vmnic1 物理ポート 4 物理ポート 3 vNIC ポート1 (1001) vNIC ポート2 (1002) vNIC ポート3 (1003) vNIC ポート4 (1004) vmnic13 vmnic15 vmnic17 vmnic11 vNIC ポート1 (2001) vNIC ポート2 (2002) vNIC ポート3 (2003) vNIC ポート4 (2004) vmnic12 vmnic14 vmnic16 vmnic10

vSwitch0 : vmnic0 vmnic11 vSwitch1 : vmnic2 vmnic13 vSwitch2 : vmnic4 vmnic15 vSwitch3 : vmnic6 vmnic17 vSwitch4 : vmnic1 vmnic10 vSwitch5 : vmnic3 vmnic12 vSwitch6 : vmnic5 vmnic14 vSwitch7 : vmnic7 vmnic16

EN4093R(ベイ1) EN4093R(ベイ2) 2:x (INTAx) ※x,yは内部物理ポート番号。x は1以上14以下の整数。yは15 以上28以下の整数。 1:x (INTAx) 2:y (INTBy) 1:y (INTBy) *前頁同様 Stacking ISLの構成が必要

(30)

30

■主な機能/設定■

• オンボードLOM/VFAでvNIC2を有効にし、物理10GbEポートを4つのvNICに分割 • Hot Links機能により、EN4093/Rと上位スイッチの間のリンクをActive/Standbyで切り替える。 • Compute NodeはActive-StandbyのTeaming構成 • 上位スイッチ間のリンク切り替えはComputing nodeへのリンク切り替えには影響を与えず、同じリンクを用いて通信が継続される。 • Flexシャーシ筐体内のEN4093R x 2台でStackingを構成 • 論理的にはloop-free構成となる為、Spanning-Tree Protocol 等は不要。

vNIC2 構成例②-上位スイッチで筐体冗長構成がとられない場合

EN4093R-1 _EN4093R-2 Compute Node Teaming Core Network Compute Node Teaming 10G LoM/ VFA <Physical View> 10G LoM/ VFA Flex System Chassis

<Logical View> L3 L2 Core Network Teaming Teaming 1GbE 10GbE 40GbE 64GbE (VC) VNIC/UFP FCoE iSCSI FC 凡例 Active Standby LAG

(31)

31

■構成内容■

• Compute Node側のオンボードLOM/VFAでvNIC2を有効にする事で仮想的にNIC数を増やす事が可能です。 • vNIC2を使用する際は動的な設定、双方向の帯域制御が出来なくなりますが、UplinkをvNICのグループごとに分けて用意する必要が無い為（※Uplink Sharedが可能）、上位スイッチとの接続に使用する物理ポート数を節約する事が可能となります。 • EN4093/RはHot Links機能により、上位スイッチへのリンクがActive/Standbyとなります。 ActiveリンクがDownした際、Standbyリンクに即座に切り替えを行います。Active/Standbyとなるため、一部帯域の有効活用ができない点に注意が必要です。 • EN4093/Rと上位スイッチとの間のループ構成を回避するため、EN4093/R間のケーブル接続は行いません。 • Compute nodeはNICチーミング機能によりActive/Standby構成を取り、EN4093/RとのリンクがDownするとFailover処理を行います。 ※vNIC2ではvNICごとのFailover設定はできません。物理10GbEポート単位でのFailoverとなりますのでご注意ください。

vNIC2 構成例②-上位スイッチで筐体冗長構成がとられない場合

(32)

(33)

33

Q1.

vNIC2を使用することで、スイッチで使用できる機能に制限が出ますか。

A1.

スイッチの機能に依存しないため、制限はでません。言い換えると、スイッチは

vNIC2を使用していることを意識しません。

Q2.

vNIC2を使用することで、VLANサポート数に制限が発生しますか。

A2.

OSがサポート可能なVLAN数をサポートします。唯一の例外は、ベアメタル

Windows OSを使用する際、vNICあたり使用可能なのは最大63VLANで、

Windowsバージョンやドライバーのバージョンに依存してもっと少ないケースも

あります。

よくあるご質問

(34)

34

• Lenovo システムガイド – System x

http://www.lenovojp.com/server/systemguide/

• Lenovo System x 技術情報

http://www.lenovojp.com/server/technical/

• System Networking はじめての導入セットアップ・ガイド

http://www.lenovojp.com/server/technical/gd-networking.shtml

• Flex System InfoCenter(英語)

http://pic.dhe.ibm.com/infocenter/flexsys/information/index.jsp?topic=%2F

com.ibm.acc.pureflex.doc%2Fp7een_template_landing.html

• [Redbook] NIC Virtualization in IBM Flex System Fabric Solutions(英語)

http://www.redbooks.ibm.com/abstracts/sg248223.html?Open

ご参考資料

(35)

(36)

(37)

37

Emulex 10GbE バーチャルファブリックアダプター

Switch Independent Mode(vNIC2) 設定ガイド

Lenovo Japan, Enterprise Business Group, SE本部 製品SE部

1.

機能概要

2.

設定方法

3.

構成例

4.

ご参考

• Emulex BE3/BE3R/XE102/XE104 NIC搭載機種

– Flex Systemオプション製品

- Flex System x240オンボードLOM

- (00Y3306)CN4054R 10Gb バーチャル・ファブリック・アダプター

- (00JY800) CN4052 2ポート 10Gb バーチャル・ファブリック・アダプター

- (94Y5160) CN4058S 8ポート 10Gb バーチャル・ファブリック・アダプター

– System x オプション製品

- (00D8540) Emulex 10GbE バーチャルファブリックアダプター III v2

- (00D1996) Emulex VFA5 ML2 デュアルポート 10GbE SFP+ アダプター

- (00JY820) Emulex VFA5 2x10 GbE SFP+ PCIe アダプター

- (00JY830)Emulex VFA5 2x10 GbE SFP+ アダプター (FCoE/iSCSI)

• 最新の対象機器については、システムガイドをご確認ください。

– http://www.lenovojp.com/server/systemguide

10Gbイーサーネットを4ポートに分割することで、帯域を効率よく使用することができる機能

Virtual Fabric Adapter (VFA) vNIC/UFPとは

10Gbネットワークを 最大限に活用

柔軟かつ信頼性の高い各機能

複雑になりがちな仮想化環境においてVirtual Fabricなら

ユーザーネットワーク環境の要求に対して柔軟に対応可能です

Virtual Fabric Adapter (VFA) vNIC/UFPの特徴

• 仮想アダプターごとに、それぞれ独立したLPVIDの値を付与することでNIC分割を行

います。(下記例では1001)

• OS上VMwareであればポートグループ上で付与したVLAN ID(100)はそのまま透過し

ます。VLANIDが付与されていないNW通信にはLPVID(1001)が付与されます。

vNIC2モード の動作

• スイッチ側ではVLANタグ(100,1001)が透過する設定にする必要があります。

• マルチチャネルモード（Switch Independent Mode）の有効化

– System Settings>Network と遷移し、対象となるアダプターを選択します。

– Multichannel ModeよりSwitch Independent Modeを選択します

– Controller Configuration より帯域の下限、上限値、LPVIDの値を付与し、save

をおこないます。

– 同様に他のポートに関しても設定をおこないます。

• 当ガイドでは、CN4054を搭載した構成を使用します。

• VFA(バーチャル・ファブリック・アダプター)を搭載したコンピュート・ノードの

uEFIから物理ポートに対してvNIC2設定を行います。

• コンピュート・ノードを再起動させ、 POST (Power On Self Test)中のメッセー

ジ表示後、

F1

キーを押してUEFIを起動させます。

UEFI設定手順②

• Network

を選択します。

• 「Network Device List」

に表示されている

MAC:xx:xx:xx:xx:xx:xx Slot1

Dev PFA xx:xx:0(バス番号)

を選択します。

UEFI設定手順④

UEFI設定手順⑤

UEFI設定手順⑥

UEFI設定手順⑦

• 帯域幅とNICを分割するために論理的に使用するLPVIDの値を指定するた

めに、

Controller Configuration

を選択します。

• Configure LPVID

を選択します。

• 各vNICに対してLPVIDの値を指定します。

• 輻輳が発生したときに最低限割り当てられる帯域（minimum Bandwidth）と

帯域に余裕がある場合に使用できる帯域（Maximum Bandwidth）を設定し

ます。まず、

Configure bandwidth

を選択します。

• 最小帯域と最大帯域を100Mbps単位で指定します。25と設定した場合は

2.5Gbpsが割り当てられます。

UEFI設定手順⑫

最小

帯域

最大

Lenovo Japan, Enterprise Business Group, SE本部製品SE部

10Gbネットワークを最大限に活用

vNIC2モードの動作

_{Controller Configuration}

よびLenovo Enterprise Solutions (以下総称して、LES）以外の製品に関す