はじめに
オフィスでのネットワークではギガビット Ethernet が当たり前になり、ワークステーション、サーバー では、10Gb Ethernet が主流になってきております。 ネットワークの高速化により、性能が必要なス トレージの分野でも、Fiber Channel から、iSCSI 等へと、ユーザーの選択肢が広がりました。現在、 40Gb Ethernet も出荷されており、更に高性能ネットワークが使われ始めています。
もう一つ、高速化でホットな分野が、High Performance Computing(HPC)の分野です。HPC は、多数 の計算ノードをネットワークで接続し、並列処理させることにより、格段の性能を引き出す技術です。 ここで必要とされることが、各ノード間の転送バンド幅、およびレイテンシの性能です。この分野は、主に InfiniBand が主流となっており、速度は、SDR(10Gbps)から始まり、DDR(20Gbps)、QDR(40Gbps)そ して、FDR(56Gbps)と高速化が進められてきており、FDR スイッチに於いては、ポート間のレイテンシで 200ns という性能を叩きだしています。 従来、これら2つのネットワークは別々のネットワークであり、相互に頻繁に通信するということは稀でし たが、近年では、ビッグデータの活用など、オフィス環境から HPC へ処理を依頼するケースが増えつつあ り、両ネットワークを繋ぎ通信する必要性が出てきました。 従来ですと、相互通信の為に両方のプロトコルをサポートする専用ゲートウェイを設置する必要がありまし たが、Mellanox の ConnectX と SwitchX シリコンに搭載された、VPI(：Virtual Protocol Interconnect)技術により、Ethernet と InfiniBand 間の高速度インターコネクトが可能となりまし た。1個のチップで、Ethernet と InfiniBand の両方をサポートすることができ、ゲートウェイの機能 を持ったスイッチへと発展しました。それが、Mellanox の SX60xx/SX10xx です。 ゲートウェイというと、セットアップが何となく複雑で難しいと感じられるかもしれませんが、いざやって みると、そんな難しいものでは有りません。実際に、セットアップしてみましょう。 SX6036でのスイッチのゲートウェイ設定について
Mellanox SwitchX チップを搭載のスイッチは、Proxy-ARP 機能により、Ethernet ネットワークと InfiniBand ファブリックとの間で IPv4パケットを送受信することが出来ます。ただし、Proxy-IP は IP ルーターとしてでは無く、IPoE と IPoIB ネットワーク間の Unreliable Datagram 通信を行うとい うものです。
図1
InfiniBand ホストから送られた ARP Request は、Proxy-ARP で一旦受け取られ、新たな ARP リクエ ストが Proxy-ARP から VLAN インターフェース上の Ethernet ホストへ送られます。Ethernet ホスト は、ARP Reply を Proxy-ARP へ返送します。 そして、Proxy-ARP は InfiniBand ホストへ ARP Reply を返します。したがって、一旦、宛先アドレスが解決されると、InfiniBand と Ethernet との間 で、データの送受信ができるようになります。
このシステムは、InfiniBand ARP で3500エントリー、Ethenet を100エントリー迄サポートすること が出来ます。Proxy-ARP は、下図のように、IP アドレス、VLAN およびサブネットの PKEY 値を持つ論理 インターフェースです。現時点で、Proxy-ARP インターフェースは、32エントリーまでサポート可能です。
[注意]SX6036/1036スイッチはGatewayとして使用した場合、ルーティング機能が使えませんので、
Ethernet/Gateway/InfiniBandのIPアドレスは全て同じDomainにセットして下さい
1) CLI でコマンドを発行するために、management port(mgmt0 192.168.10.5) よりスイッチへ ssh で Login します。
工場出荷時のホストネームおよびパスワードは下記の通り ホストネーム:admin
パスワード:admin
[root@T2 デスクトップ]# ssh admin@192.168.10.7 Mellanox MLNX-OS Switch Management
Password:
Last login: Sat Feb 15 09:36:03 2014 from 192.168.10.136 Mellanox Switch
Please read and accept the Mellanox End User License Agreement located at:
http://www.mellanox.com/related-docs/prod_management_software/MLNX-OS_EULA.pdf
2) 内部の設定を行うために、Configure モードに入ります。 switch-6284a4 [standalone: master] > enable
switch-6284a4 [standalone: master] # configure terminal 3) ライセンスの確認をします。
下記の例では、現在インストールされているライセンスの確認をします。 switch-6284a4 [standalone: master] (config) # show license No licenses have been configured.
4) システムプロファイルの確認。
SX6036(InfiniBand)/SX1036(Ethernet) では、Gateway License が適用されていると、ib-single-switch モード/eth-が適用されていると、ib-single-switch モード/vpi-が適用されていると、ib-single-switch モードの3種類から選 択することが可能です。
Gateway License が適用されていない場合、SX6036は、ib-single-switch モードのみ、 SX1036(Ethernet Switch)ですと eth-single-switch モードのみのサポートとなります。 下記の SX6036例では、Gateway License が適用前ですので、eth-single-switch モードを選択 すると、そのモードはサポートされていないとの警告が出てきます。 そして、システムプロファイル は ib-single-switch モードのみのサポートとなります。
switch-6284a4 [standalone: master] (config) # show license No licenses have been configured.
switch-6284a4 [standalone: master] (config) # system profile eth-single-switch
switch-6284a4 [standalone: master] (config) # show system profile ib-single-switch
5) Gateway License の適用
Mellanox 社から入手した License Key を入力します。(注：以下の key は、スイッチの Serial＃ より生成される個別の Key となりますので、他のスイッチには、導入出来ません。)
switch-6284a4 [standalone: master] (config) # license install LK2-EFM_SX-5M11-5K11-5T11-5N11-5HGL-0KAL-64R3-4CAQ-60QK-6D9L-88A0-Y7TX-1V2M-6
License was installed successfully. Please wait 1 minute before further configurations.
6) システムプロファイルの変更
SX6036/1036を IB-Ethernet Gateway として使用するため、vpi-single-switch モードで動作 させます。システムプロファイルを変更すると、スイッチは一旦リセットされ、リブート後に新しいプ ロファイルに変更されます。
[注意] この設定は、GUI で行うことはできません。
switch-6284a4 [standalone: master] (config) # system profile vpi-single-switch
Warning! The switch configuration is going to be deleted and the system will be reloaded.
Type 'yes' to confirm profile change: yes
Note: 1 Web UI request(s) currently in progress began before this change was applied, and may not be affected by this change.
switch-6284a4 [standalone: master] (config) # System shutdown initiated -- logging off. Connection to 192.168.10.7 closed.
7) 再度、スイッチ Admin へログインします。
[root@T2 デスクトップ]# ssh admin@192.168.10.7 Mellanox MLNX-OS Switch Management
Password:
Last login: Sat Feb 15 10:34:28 2014 from 192.168.10.136 Mellanox Switch
System is initializing! This may take a few minutes
Modules are being configured
Please read and accept the Mellanox End User License Agreement located at:
http://www.mellanox.com/related-docs/prod_management_software/MLNX-OS_EULA.pdf
8) 内部構成の設定を行うために Configure モードに入ります。 switch-6284a4 [standalone: master] > enable
9) システムプロファイルを確認します。下記の例では vpi-single-switch モードに設定され、 Gateway として動作させることが可能となります。
switch-6284a4 [standalone: master] (config) # show system profile vpi-single-switch
10) Gateway として動作させる準備が出来ました。 これ以降は、GUI でも設定できるようになります。 Routing、IGMP snooping および、(subnet manager)は、工場出荷時に Disable になっており ますが、一度 Configuration を行った場合は、必ず下記の様に、Disable にして下さい。
switch-6284a4 [standalone: master] (config) # no ip routing
switch-6284a4 [standalone: master] (config) # no ip igmp snooping switch-6284a4 [standalone: master] (config) # no ib sm
なお、これらの機能は、GUI でも Disable にすることが可能です。 11) このスイッチが Gateway 機能をサポート出来ることを確認します。
switch-6284a4 [standalone: master] (config) # show system capabilities IB: Supported
Ethernet: Supported, Full L2, L3 GW: Supported
Max SM nodes: 648
IB Max licensed speed: FDR
Ethernet Max licensed speed: 40Gb
*GUI では、Status タブの Profile & Capability で確認することが出来ます。 12) Gateway の設定を開始します。 まずは proxy-arp モードを Enable にします。
switch-6284a4 [standalone: master] (config) # ip proxy-arp switch-6284a4 [standalone: master] (config) # show ip proxy-arp Proxy-arp: enabled
13) Proxy-arp の番号を指定し作成します。 そして proxy-arp 機能の CLI コマンドの受付状態に します。
switch-6284a4 [standalone: master] (config) # interface proxy-arp 1
なおこれからはプロンプトが(Config interface proxy-arp 1)になることに留意して下さい。 14) ゲートウェイ自体の IP アドレスを設定します。
switch-6284a4 [standalone: master] (config interface proxy-arp 1) # ip address 10.10.10.10
15) ゲートウェイのネットマスクを設定します。
switch-6284a4 [standalone: master] (config interface proxy-arp 1) # ip netmask /24
16) 一旦 proxy-arp の設定コマンドを抜け出して、Ethernet 側の VLAN 10の設定をします。 switch-6284a4 [standalone: master] (config interface proxy-arp 1) # exit switch-6284a4 [standalone: master] (config) # vlan 10
switch-6284a4 [standalone: master] (config vlan 10) # exit 17) InfiniBand 側で pkey のセットアップをします。
switch-6284a4 [standalone: master] (config) # interface proxy-arp 1
switch-6284a4 [standalone: master] (config interface proxy-arp 1) # ip pkey 0x7fff
18) Proxy-arp の機能を Enable にします。
switch-6284a4 [standalone: master] (config interface proxy-arp 1) # no shutdown
switch-6284a4 [standalone: master] (config interface proxy-arp 1) # exit 19) 各 Ethenet ポートに所属する VLAN の設定をします。
switch-6284a4 [standalone: master] (config) # interface ethernet 1/1 switch-6284a4 [standalone: master] (config interface ethernet 1/1) # switchport access vlan 10
switch-6284a4 [standalone: master] (config interface ethernet 1/1) # exit [注意]CLI コマンドでは、ポートの選択を複数選択するコマンドが有りますが、Proxy-arp ではポートを 一度に選択することは出来ません。もしやったとしても下記の様なメッセージが出され、CLI コマンドは 無効となります。
switch-6284a4 [standalone: master] (config) # interface ethernet 1/2-1/3 switch-6284a4 [standalone: master] (config interface ethernet 1/2-1/3) # switchport access vlan 10
% interface range is not supported for this command
switch-6284a4 [standalone: master] (config interface ethernet 1/2-1/3) # exit 20) 最後に、IP route のディフォルト値を設定します。
switch-6284a4 [standalone: master] (config) # interface proxy-arp 1
switch-6284a4 [standalone: master] (config interface proxy-arp 1) # ip route default 10.10.10.254
switch-6284a4 [standalone: master] (config interface proxy-arp 1) # exit 21) 各インターフェースの状態を見ます。
switch-6284a4 [standalone: master] (config) # show interface proxy-arp 1 Proxy-arp 1
Admin state: Enabled Operational state: Down
GUID: 00:02:C9:03:00:72:04:82 Internet Address: 10.10.10.10/24 Broadcast Address: 10.10.10.255 Description: N/A MTU: 1500 Counters: Enabled
Bridged interfaces: vlan 10(D), pkey 0x7fff(D) Vlan counters --- RX 0 Unicast packets 0 Multicast packets 0 Unicast bytes 0 Multicast bytes 0 Bad packets 0 Bad bytes TX 0 Unicast packets 0 Multicast packets 0 Unicast bytes 0 Multicast bytes
Pkey counters --- RX 0 Unicast packets 0 Multicast packets 0 Unicast bytes 0 Multicast bytes 0 Bad packets 0 Bad bytes TX 0 Unicast packets 0 Multicast packets 0 Unicast bytes 0 Multicast bytes
switch-6284a4 [standalone: master] (config) # show interfaces proxy-arp brief Interface Description State Bridged interfaces ---
proxy-arp 1 N/A Down vlan 10(D), pkey 0x7fff(D) switch-6284a4 [standalone: master] (config) # show interfaces proxy-arp brief Interface Description State Bridged interfaces ---
proxy-arp 1 N/A Down vlan 10(D), pkey 0x7fff(D)
switch-6284a4 [standalone: master] (config) # show ip route interface proxy-arp 1
Destination Mask Gateway Interface Source Distance/Metric
10.10.10.0 255.255.255.0 0.0.0.0 proxy-arp 1 kernel 0/0
default 0.0.0.0 10.10.10.254 proxy-arp 1 static 0/0
switch-6284a4 [standalone: master] (config) #
この例では、ポートに何も接続していませんので、State=Down となっておりますが、Ethernet/IB の 量ポートにノードを接続しますと、Active となります。
GUI によるセットアップ法
Mngm0ポートの IP アドレスを用いて Web ブラウザでアクセスしますとログイン画面が表示されます。 工場出荷時は工場出荷時のホストネームおよびパスワードは下記の通りです。 ホストネーム:admin パスワード:admin ログインが成功しますと、Summary 画面を表示します。 [注意]今後各機能タブの一番右側に"Save”と赤で表示されるボタンがございます。 これが変化する度にこのボタンをクリックしてください。受け付けられますと、グレーアウトします。まずは、どのような License が適用されているかを確認します。
この例では、ライセンスの適用が無い、工場出荷モデルと同じ構成としましたので、License としては、 何ら登録されていません。ここで Mellanox から入手した License Key を入れ、Apply ボタンをクリッ クします。
ここでシステムプロファイルの変更を行います。CLIの6)に有りますようにSystem Profileを VPI-Single-Switch モードにします。 下記にございますように、SX6036では全てのポートが InfiniBand(SX1036では全てのポートが Ethernet)に割りつけられております。ここで、Port1から Port8迄を一気に使用プロトコルを InfiniBand から Ethernet へ行います。 確かにポート1-8が Ethernet ポートに変更されました。 [注意]CLI では、GUI の様に複数のポートを纏めてプロトコルの変更をすることが出来ません。
次は、Port1-4を VLAN 10へ登録します。Ethernet Management タブを選択し、メニューから VLAN を選択します。
まずは、Create VLAN 項目で VLAN を10として、Apply ボタンをクリックすると VLAN Table に10番が 追加されます。 ここで VLAN 10と名前を付け Apply ボタンをクリックすることに名前が付けられます。 Interfaces Switchport Table の Interface 項目をチェックすると、各ポートのモードや Access VLAN が選択できるようになります。ここで Port1-4を VLAN 10にセットし、Apply ボタンをクリック します。
(複数ポート選択可能です。CLI ですと、ポートごとに設定を繰り返さなければなりません。)
次に Proxy-ARP の設定を行います。Gateway タブの Proxy-ARP Global メニューを選んでクリック してください。次の様な画面が出たところで、IP Proxy-ARP にチェックマークを行い、Apply ボタンを クリックします。
次に Proxy-ARP Interfaces メニューを選び ID＝１とし、Apply ボタンをクリックします。そうしま すと、Proxy-ARP Interfaces のリストに”Proxy-ARP 1”作られます
ここで、Interface Proxy-ARP 1 Configuration のパラメータを一気にセットし完了です。
また、Counter ボックスにチェックマークを入れて APPLY ボタンをクリックすると統計情報も表示できま す。
本内容は、2014年4月時点の内容となります。 参考文献：
- SwitchX 36-Port QSFP FDR InfiniBand System Hardware User Manual Rev 2.2 - SwitchX 36 Port FDR IB Switch Installation Guide Rev.1.5
