SMC-R構成ガイド
日本アイ・ビー・エム
Power Systemsテクニカル・セールス
日本アイ・ビー・エム システムズ・エンジニアリング株式会社
2018年 3月 8日
© 2017 IBM Corporation 2
•© IBM Corporation 2018. All Rights Reserved.
•ワークショップ、セッション、および資料は、IBMまたはセッション発表者によって準備され、それぞれ独⾃の⾒解を反映したものです。それらは 情報提供の⽬的のみで提供されており、いかなる参加者に対しても法律的またはその他の指導や助⾔を意図したものではなく、またそのような結果 を⽣むものでもありません。本講演資料に含まれている情報については、完全性と正確性を期するよう努⼒しましたが、「現状のまま」提供され、 明⽰または暗⽰にかかわらずいかなる保証も伴わないものとします。本講演資料またはその他の資料の使⽤によって、あるいはその他の関連によっ て、いかなる損害が⽣じた場合も、IBMは責任を負わないものとします。 本講演資料に含まれている内容は、IBMまたはそのサプライヤーやライセ ンス交付者からいかなる保証または表明を引きだすことを意図したものでも、IBMソフトウェアの使⽤を規定する適⽤ライセンス契約の条項を変更 することを意図したものでもなく、またそのような結果を⽣むものでもありません。 •本講演資料でIBM製品、プログラム、またはサービスに⾔及していても、IBMが営業活動を⾏っているすべての国でそれらが使⽤可能であることを 暗⽰するものではありません。本講演資料で⾔及している製品リリース⽇付や製品機能は、市場機会またはその他の要因に基づいてIBM独⾃の決定 権をもっていつでも変更できるものとし、いかなる⽅法においても将来の製品または機能が使⽤可能になると確約することを意図したものではあり ません。本講演資料に含まれている内容は、参加者が開始する活動によって特定の販売、売上⾼の向上、またはその他の結果が⽣じると述べる、ま たは暗⽰することを意図したものでも、またそのような結果を⽣むものでもありません。 パフォーマンスは、管理された環境において標準的なIBM ベンチマークを使⽤した測定と予測に基づいています。ユーザーが経験する実際のスループットやパフォーマンスは、ユーザーのジョブ・ストリー ムにおけるマルチプログラミングの量、⼊出⼒構成、ストレージ構成、および処理されるワークロードなどの考慮事項を含む、数多くの要因に応じ て変化します。したがって、個々のユーザーがここで述べられているものと同様の結果を得られると確約するものではありません。 •記述されているすべてのお客様事例は、それらのお客様がどのようにIBM製品を使⽤したか、またそれらのお客様が達成した結果の実例として⽰さ れたものです。実際の環境コストおよびパフォーマンス特性は、お客様ごとに異なる場合があります。 •IBM、IBM ロゴ、ibm.com、[当該情報に関連し商標リスト中に掲載されたＩＢＭブランド、製品名称があれば追加する]は、世界の多くの国で登 録されたInternational Business Machines Corporationの商標です。
•他の製品名およびサービス名等は、それぞれIBMまたは各社の商標である場合があります。
•現時点での IBM の商標リストについては、www.ibm.com/legal/copytrade.shtmlをご覧ください。
•Adobe, Adobeロゴ, PostScript, PostScriptロゴは、Adobe Systems Incorporatedの⽶国およびその他の国における登録商標または商標です。 •IT Infrastructure Libraryは英国Office of Government Commerceの⼀部であるthe Central Computer and Telecommunications Agencyの登 録商標です。
•インテル, Intel, Intelロゴ, Intel Inside, Intel Insideロゴ, Intel Centrino, Intel Centrinoロゴ, Celeron, Intel Xeon, Intel SpeedStep, Itanium, およびPentium は Intel Corporationまたは⼦会社の⽶国およびその他の国における商標または登録商標です。
•Linuxは、Linus Torvaldsの⽶国およびその他の国における登録商標です。
•Microsoft, Windows, Windows NT および Windowsロゴは Microsoft Corporationの⽶国およびその他の国における商標です。 •ITILは英国The Minister for the Cabinet Officeの登録商標および共同体登録商標であって、⽶国特許商標庁にて登録されています。 •UNIXはThe Open Groupの⽶国およびその他の国における登録商標です。
•Cell Broadband Engineは、Sony Computer Entertainment, Inc.の⽶国およびその他の国における商標であり、同社の許諾を受けて使⽤してい ます。
•JavaおよびすべてのJava関連の商標およびロゴは Oracleやその関連会社の⽶国およびその他の国における商標または登録商標です。
更新履歴
© 2017 IBM Corporation
SMC-RによるAIX間通信高速化
• SMC-RはAIX間の10Gbネットワーク通信を⾼速化
– AIX間の通信をRDMA化することで低レイテンシーな通信を実現
– TCPレイヤーでの制御により標準的なTCP/IPとRDMA通信の共存可能
TPS 10Gb SMC-R• アプリケーションから透過的
– TCPで制御するためアプリ側の対応不要
• トランザクションが約10%向上
※
– AP-DB間のレイテンシー向上によりTPCCでの
TPSが向上
※ E880上の#EC30（RoCEアダプター）を持つLPAR間で Oracle DBに対してTPCCでTPSを測定SMC-R: Shared Memory Communication over RDMA
検証環境
Node1
AIX7.2TL2SP1
G8264
10Gネットワークスイッチ
ent1 (EC30) ent0Node2
AIX7.2TL2SP1
ent1 (EC30) ent0POWER Hypervisor
© 2017 IBM Corporation
SMC-Rの構成準備
• SMC-Rの前提パッケージ確認
– ofed.smcr.rteが導⼊されていることを確認
※1
• RoCEアダプターをNICモードに変更
– RoCEアダプターをNICモードに変更しentデバイスを構成
# lslpp -L | grep ofedofed.core.rte 7.2.2.0 C F OFED Core Runtime Environment
ofed.smcr.rte 7.2.2.0 C F SMCR
※1 AIX 7.2TL2のBOSメディアから導⼊する
# rmdev -dl roce0 roce0 deleted
# chdev -l hba0 -a stack_type=ofed hba0 changed
# cfgmgr
# lsdev | grep ^ent
ent0 Available Virtual I/O Ethernet Adapter (l-lan)
ent1 Available 00-00-01 RoCE Converged Network Adapter ent2 Available 00-00-02 RoCE Converged Network Adapter
SMC-Rの構成準備
• RoCEアダプターのRDMA通信有効化
– entデバイスのrdma属性を設定
• RoCEアダプターにIPアドレス設定
– enデバイスにIPアドレスを設定
# chdev -l ent1 -a rdma=desired ent1 changed
# lsattr -El ent1 -a rdma
rdma desired Request RDMA True
# ifconfig en1
en1: flags=1e080863,18c0<UP,BROADCAST,NOTRAILERS,RUNNING,SIMPLEX,MULTICAST,GROUPRT,64BIT,CHECKSUM_OFFLOAD(ACTIVE),LARGESEND,CHAIN> inet 10.0.0.2 netmask 0xffffff00 broadcast 10.0.0.255
© 2017 IBM Corporation
SMC-Rデバイスの構成
• SMC-Rの有効化
– smcr0デバイスを構成
• SMC-Rの設定
– smcr0デバイスの属性を設定
※
# mkdev -c tcpip -t smcr smcr0 Available※ smcr0デバイスの属性
enabled：
有効化（1）
ip_addr_list：
SMC-R通信に使⽤する⾃ノードのIPアドレス
port_range：
SMC-R通信を使⽤するポートの範囲
# chdev -l smcr0 -a enabled=1 smcr0 changed # chdev -l smcr0 -a ip_addr_list=10.0.0.2 smcr0 changed # chdev -l smcr0 -a port_range=1-65535 smcr0 changedSMC-Rデバイスの構成
• SMC-Rの設定確認
– smcr0デバイスの属性を確認
# lsattr -El smcr0
enabled 1 SMCR Enabled True
ip_addr_list 10.0.0.2 IP Address List True
max_memory 512 Max Memory in MB True
port_range 1-2000 TCP Port Range True
tx_intr_cnt 128 Tx Interrupt event coalesce counter True
© 2017 IBM Corporation
SMC-Rの疎通確認
• SMC-Rの疎通確認
– SMC-Rを構成したノード間でFTP通信を実施
# ftp 10.0.0.3 Connected to 10.0.0.3.220 e880003 FTP server (Version 4.2 Mon Aug 7 14:37:46 CDT 2017) ready. Name (10.0.0.3:root): root
331 Password required for root. Password:
230-Last unsuccessful login: Mon Jan 29 11:26:32 2018 on /dev/pts/0 from pvc01 230-Last login: Wed Feb 14 23:50:49 2018 on /dev/pts/0 from pvc01
230 User root logged in. ftp> bin
200 Type set to I.
ftp> put "| dd if=/dev/zero bs=1024k count=100" /dev/null 200 PORT command successful.
150 Opening data connection for /dev/null. 100+0 records in
100+0 records out 226 Transfer complete.
104857600 bytes sent in 0.5984 seconds (1.711e+05 Kbytes/s) local: | dd if=/dev/zero bs=1024k count=100 remote: /dev/null
SMC-Rの疎通確認
• SMC-Rの疎通確認
– smcr0デバイスの統計情報確認（TCP Payload Bytes Sent/Recvの増加を確認）
# entstat -d smcr0
---ETHERNET STATISTICS (smcr0) :
Device Type: IBM Shared Memory Channel (SMCR) Psuedo-Adapter Elapsed Time: 0 days 0 hours 0 minutes 0 seconds
IBM Shared Memory Channel (SMCR) Psuedo-Adapter Specific Statistics:
---Active Link Groups: 2
TCP Payload Bytes Sent: 104857678 TCP Payload Bytes Recv: 411 CLC Messages Sent: 3
CLC Messages Recv: 3 LLC Messages Sent: 4 LLC Messages Recv: 4 〜以下略
© 2017 IBM Corporation
（参考）検証環境のネットワークスイッチ設定
• G8264 10gネットワークスイッチの設定
– Converged Enhance Ethernet (CEE) フィーチャーを使⽤不可に設定
– スパンニング・ツリー・プロトコル (STP) を使⽤不可に設定
RS G8264(config)#no cee enable
