Azure Stack ネットワーク構成
株式会社インターネットイニシアティブ 今中 裕介
1.0 版
改訂履歴
版数 日付 内容 作成者 承認者
目次
1.
目的 ...
1
1-1. はじめに ... 1 1-2. 目的 ... 12.
IIJ サービス紹介 ...
2
2-1. IIJ GIO ... 2 2-2. IIJ プライベートアクセスサービス ... 2 2-3. IIJ クラウドエクスチェンジサービス ... 23.
Microsoft Azure 紹介 ...
3
3-1. Microsoft Azure ... 33-2. Microsoft Azure Stack ... 3
3-3. ExpressRoute ... 3
4.
理想とする構成 ...
4
4-1. Azure Stack 構成イメージ ... 4 4-2. 実現させたい構成要素 ... 45.
実装 ...
5
5-1. 設計方針 ... 5 5-2. 環境の構成 ... 6 5-2-1. Azure Stack 構成要素 ... 6 5-2-2. 物理構成 ... 6 5-2-3. Azure Stack ネットワーク構成 ... 7 5-2-4. BoR Switch ネットワーク構成 ... 8 5-2-5. IIJ サービス構成 ... 8 5-2-6. BGP 構成 ... 9 5-2-7. 論理ネットワーク ... 106.
まとめ ...
11
7.
Appendix ...
12
7-1. BoR Switch（Cisco 891FJ）設定 ... 12 7-1-1. インターフェース設定サンプル ... 12 7-1-2. BGP 設定サンプル ... 131. 目的
1-1. はじめに
株式会社インターネットイニシアティブ(以降、IIJ)は、2014 年 7 月に日本マイクロソフト株式会社(以降、Microsoft)と、両社 のクラウドサービス(IIJ クラウド「IIJ GIO」, Microsoft クラウド「Microsoft Azure」)を連携させたマルチクラウドサービ ス提供に向けて、戦略的協業を発表。ビジネススタートから約 3 年、IIJ は Microsoft との強力なパートナー関係の基、Azure や Office365 ソリューションを提供し多くの実績を積みあげてきた。
2014 年
Azure x IIJ GIO 協業発表 2015 年
ExpressRoute 接続サービス提供開始
Office365 CSP 提供開始
Azure CSP 提供開始
Microsoft Partner of the Year 2015 にて Hosting コンピテンシー アワード受賞 2016 年
2016 Microsoft Worldwide Partner Award にて Hosting Partner of the Year 受賞
Microsoft Partner of the Year 2016 にて Hybrid Cloud & Infrastructure Platform アワード受賞 2017 年
Azure CSP Indirect Provider に認定
現在も IIJ は Microsoft と協調し、様々なソリューションの技術検証、開発を進めており、 2017 年 7 月に GA された Azure Stack においても同様に Azure Stack Development Kit およびマルチノード構成での検証を進めてきた。今回は、マルチノード構成を 導入するために必要となるネットワーク設計に着眼し、IIJ サービスを利用してインターネットおよび Azure に接続するための 情報をまとめている。
1-2. 目的
Azure Stack マルチノード構成をデータセンターに設置し、インターネットや Azure と接続するために必要となるネットワーク 設計およびハードウェアベンダーへ依頼する際の留意点を明確化する。
Azure Stack 4 台構成の設置に必要となるラック、電源などの諸元を把握する
Azure Stack を提供しているハードウェアベンダーに依頼する際に必要となる情報を把握する
Azure Stack の対向となるネットワーク機器のスペックを把握する
2. IIJ サービス紹介
本環境で利用する IIJ サービスについて記述する。2-1. IIJ GIO
IIJ GIO（ジオ）は高品質で多様な企業向けのインフラリソース（IaaS）をコアサービスとして、アプリケーションやプラット フォームを提供する付加価値サービス、特定業務向けシステムの早期導入を実現する応用ソリューションなど、豊富なラインア ップの IT サービスを提供している。2-2. IIJ プライベートアクセスサービス
IIJ プライベートアクセスサービス(以降、PVA)は、IIJ GIO プライベートバックボーンサービスと連携し、IIJ GIO、Azure、 Amazon Web Services といったクラウドサービス接続を提供するサービスである。お客様拠点とは専用線、WAN、VPN で接続する ことができ、アクセスポイントは東日本と西日本の複数データセンターから選択できる。単一拠点において標準で冗長構成とな っており、利用上限帯域に応じた月額固定料金で提供している。
2-3. IIJ クラウドエクスチェンジサービス
IIJ クラウドエクスチェンジサービス for Microsoft(以降、CXM)は、Azure や Office 365 をはじめとするマイクロソフトクラ ウドサービスとオンプレミスを閉域網で接続するサービスである。IIJ GIO プライベートバックボーンサービスを介して、Azure の閉域網接続サービス「ExpressRoute」とオンプレミスとの間に専用プライベートネットワークを構築し、マルチキャリア接続 に対応した信頼性の高いネットワークを構築する。
3. Microsoft Azure 紹介
3-1. Microsoft Azure
開発者や IT プロフェッショナルがアプリケーションのビルド、デプロイ、管理に使用できる包括的なクラウド サービスのセ ットであり、Microsoft の世界規模のデータセンター ネットワークを介して利用が可能である。
3-2. Microsoft Azure Stack
Azure Stack は Azure の拡張機能で、クラウドが持つ俊敏性とイノベーションの急速性をオンプレミス環境にもたらす。Azure サービスをオンプレミスで実行することで、ニーズに合わせてクラウドとオンプレミスを適切に組み合わせることが可能であ る。アプリの実行場所が Azure と Azure Stack のどちらであっても開発者が同じ方法で作成とデプロイを行えるため、生産性を 最大限に高めることが可能である。
3-3. ExpressRoute
Azure ExpressRoute を使用すると、Azure データセンターと、お客様のオンプレミスのインフラストラクチャとの間でプライ ベート接続が可能である。ExpressRoute 接続はパブリック インターネットを経由しないため、一般的なインターネット接続よ りも信頼性は高く、スピードは速く、待ち時間は短縮される。
4. 理想とする構成
4-1. Azure Stack 構成イメージ
4-2. 実現させたい構成要素
Azure Stack マルチノード構成を IIJ のデータセンターに設置
Azure Stack と Azure および IIJ GIO 間はすべて動的ルーティング（BGP）で構成
Azure Stack からインターネット、Azure および IIJ GIO への通信は Border Switch がルーティング
インターネットから特定の Azure Stack 上のサービスへアクセス
Azure Stack 内の Azure リソースのパブリック IP アドレスはプライベートアドレスを利用して外部と通信
Border Switch を含む Azure Stack の外部は 1G ネットワーク構成
5. 実装
前頁の構成要素を実現させるための設計とその構成について記述する。
5-1. 設計方針
ネットワーク
Azure Stack では、それ自身の管理画面や作成したリソースをインターネットに直接公開する場合、/26 から /22 の間のサイズ を持つパブリック IP アドレスブロックを Public VIPs Subnet として定義する。しかし、Azure Stack 上のリソースを直接イン ターネットに公開する事よりも既存の環境（IIJ GIO および Express Route 経由の Azure）との連携を重要視するため、Public VIPs Subnet にもプライベート IP アドレスを設定する。Azure Stack とインターネット間の通信時には、経路上の設備で NAT を行う。
認証連携
本環境の認証管理には、Azure Active Directory を使用する。
リージョン・ドメイン名および証明書
既存の JP ドメインに Azure Stack 用サブドメインとして「azs」を新規作成し、その上に今回準備する本環境を「jpn」リージ ョンとして定義する。Azure Stack でサービスを提供する際には、最低以下の 6 つのサーバ証明書が必要となる。 *.jpn.azs.example.jp *.vault.jpn.azs.example.jp *.adminvault.jpn.azs.example.jp *.blob.jpn.azs.example.jp *.table.jpn.azs.example.jp *.queue.jpn.azs.example.jp
さらに、Azure App Services を提供するためには以下の 2 つの証明書が必要となる。
*.appservice.jpn.azs.example.jp *.scm.appservice.jpn.azs.example.jp
DNS・NTP
Azure Stack が参照する DNS Forwarder、NTP Server は、いずれもインターネット上にあるサーバを指定する。 DNS サーバは IIJ が提供しているキャッシュ DNS を利用した。
5-2. 環境の構成
5-2-1. Azure Stack 構成要素
Compute Node Azure Stack の主機能が稼働するサーバである。1 つの筐体の中にサーバとストレージの機能が集約された、いわゆ るハイパーコンバージドインフラである。 台数：4 台 Hardware Lifecycle Host
Compute Node およびスイッチのハードウェア、および Azure Stack ソフトウェアの正常性監視を行うサーバである。 ハードウェア監視は OEM ハードウェアベンダー提供のソリューションを、Azure Stack の監視はマイクロソフト提供 の管理パッケージや REST API を利用する。
台数：1 台
Top of Rack Switch (以降、ToR Switch)
Azure Stack 構成ホストを収容するスイッチである。後述の BMC Switch や Border Switch および Azure Stack の Software Defined Network 上に構築される Software Router と BGP ピアリングを構成し、Azure Stack 内の経路情 報はすべて動的に制御される。
台数：2 台
BMC Switch
Compute Node および Hardware Lifecycle Host の BMC(Baseboard Management Controller)を接続するスイッチであ る。
台数：1 台
Border Switch (以降、BoR Switch)
既存ネットワークと Azure Stack の境界に設置するスイッチである。Azure Stack 製品構成には含まれないので、別 途準備が必要となる。ToR Switch との間で BGP 構成、もしくは静的経路を設定することにより、Azure Stack 内部と 外部の通信を可能とする。本環境では BGP 構成とした。 台数：2 台
5-2-2. 物理構成
収容ラック IIJ データセンターサービスで提供される東日本のデータセンターを利用した。ハードウェアベンダーから提供され るラックは利用せず、データセンター標準のラックを利用した。 本環境のハードウェアが要求するラック Unit 数、重量および電源容量は以下の通りである。これを踏まえ、100V30A の電源を 2 系統備えたフルサイズ(42U)のサーバラックを準備した。 台数 Unit 数 重量 （Kg） 電源容量 (VA) Compute Node 4 2 23.6 986.04 Hardware Lifecycle Host 1 1 15.4 629.22 ToR Switch 2 1 13.0 367.14 BMC Switch 1 1 10.0 250.00 計 8 12 145.8 5557.66 Compute Nodeメーカー・機種 HPE ProLiant DL380 Gen9
CPU Intel Xeon E5-2650v4 2.20GHz (12cores) x2
Memory 512GB
HDD 6TBx10
Hardware Lifecycle Host
メーカー・機種 HPE ProLiant DL360 Gen9
CPU Intel Xeon E5-2620v4 2.10GHz (8cores) x2
Memory 64GB
HDD 600GBx4
ToR Switch
メーカー・機種 HPE HP5900AF-48XG-4QSFP+ Switch
アップリンクポート 40GbE QSFP+ 4 ポート (注)
ダウンリンクポート 1GbE/10GbE SFP+ 48 ポート
(注) BoR Switch とは 1000BASE-T で接続する構成としたため、SFP - 1000BASE-T トランシーバが追加で必要
BMC Switch
メーカー・機種 HPE HP5900AF-48G-4XG-2QSFP+ Switch
アップリンクポート 1GbE/10GbE SFP+ 4 ポート 40GbE QSFP+ 2 ポート ダウンリンクポート 10/100/1000BASE-T 48 ポート BoR Switch メーカー・機種 Cisco 891FJ アップリンクポート 10/100BASE-T 1 ポート 1000BASE-T or SFP 1 ポート ダウンリンクポート 10/100/1000BASE-T 8 ポート
5-2-3. Azure Stack ネットワーク構成
ハードウェアベンダーへ依頼する前に、以下ネットワークについてアドレスブロックのアサインが必要である。 本環境では、以下のようにアサインした。 BMC SubnetCompute Node の監視・管理、および Azure Stack のデプロイに使用される。
設定可能最小サイズ：/27
設定値：172.16.32.0/24
Storage & Private VIPs Subnet
このブロックの前半が Storage Service や Virtual Machines の Live Migration に、後半が Private VIP に使用さ れる。
設定可能サイズ：/26～/22 (マイクロソフトによる推奨値は/24) 設定値：172.16.35.0/24
Switch Infrastructure Subnet
スイッチ間のルーティング、およびスイッチの管理に使用される。
設定可能最小サイズ：/26
設定値：172.16.36.0/26
5-2-4. BoR Switch ネットワーク構成
ToR Switch および IIJ サービスと接続するため、以下の構成とした。
グローバルセグメント
デフォルトルートは IIJ データセンター接続サービスで提供されるゲートウェイを指定した。
インターネット向け通信は NAPT 設定し、Public VIPs Subnet の一部 IP アドレスに対して Static NAT を設定した。
プライベートセグメント
ToR および PVA との接続は eBGP とした。BoR 間の接続は iBGP とした。 AS 番号：65300 各セグメントのアドレスブロックは以下のようにアサインした。 BoR#1-ToR#1 間：172.16.36.0/30 BoR#1-ToR#2 間：172.16.36.4/30 BoR#2-ToR#1 間：172.16.36.8/30 BoR#2-ToR#2 間：172.16.36.12/30 PVA 間：172.16.37.0/29 BoR#1-BoR#2 間：172.16.37.8/30
5-2-5. IIJ サービス構成
IIJ GIO、Azure およびインターネットと接続するために IIJ サービスの構成が必要となる。
IIJ データセンター接続サービス インターネット接続を標準で二重化されており、用途に応じた契約帯域で利用が可能なサービス。本環境で利用する 帯域およびデータセンターの情報を示す。 契約帯域：10Mbps ホストアドレス数：14 個(ネットマスク /28) 収容データセンター：東日本 PVA
本環境では、IIJ GIO および Azure と閉域接続するために利用した。PVA と接続するための回線およびケーブルは、 別途調達が必要となる。 契約帯域：100Mbps 回線種別：光回線(1000BASE-LX) 物理インターフェース：Auto/Auto ルーティング方式：BGP AS 番号：AS65531（契約時に IIJ が指定） PVA へ広報するアドレス：172.16.35.0/24 CXM
契約帯域：100Mbps リージョン：西日本 ピアリング：プライベート、パブリック
5-2-6. BGP 構成
本環境全体の BGP 構成を示す。 Internet ToR #1 ToR #2 BMC SLB MUX BoR #2 BoR #1 Internet GW #2 Internet GW #1 PBB IIJ GIO PVA #1 PVA #2 AS65531 AS65300 AS64675 AS64719 e B G P iBGP SLB MUX CXM Express Route Azure e B G P e B G P5-2-7. 論理ネットワーク
本環境全体の論理ネットワークを示す。 Interne t GW IIJ Servi ce Interne t GW IIJ Servi ce Ci sco 89 1FJ BoR1 swi tch Ci sco 89 1FJ BoR2 swi tch PVA #1 IIJ Servi ce PVA #2 IIJ Servi ce HPE HP59 00AF ToR1 swi tch HPE HP59 00AF ToR2 swi tch HPE HP59 00AF BMC swi tchHPE ProL ian t DL38 0 Gen9 Co mpute No de #1
HPE ProL ian t DL38 0 Gen9 Co mpute No de #2
HPE ProL ian t DL38 0 Gen9 Co mpute No de #3
HPE ProL ian t DL38 0 Gen9 Co mpute No de #4
HPE ProL ian t DL36 0 Gen9
HL H
BMC Subnet 172.16.32.0/24 (VLAN6)
Infr astructur e Subnet 172.16.34.0/24 (VLAN7) Storage Subnet 172.16.33.0/25 (VLAN107) Border/Border1_To_Rack1/TOR1 172.16.36.0/30 Border/Border1_To_Rack1/TOR2 172.16.36.4/30 Border/Border2_To_Rack1/TOR1 172.16.36.8/30 Border/Border2_To_Rack1/TOR2 172.16.36.12/30 .1 .2 .5 .6 .9 .10 .13 .14 .2 .3 .2 .3
Switch Management Subnet (VLAN5)
172.16.36.40/29 .43 Rack1/TOR2_To_Rack1/BMC 172.16.36.20/30 .21 Rack1/TOR1-ibgp-1_To_Rack1/TOR2-ibgp-1 172.16.36.28/30 .30 Rack1/TOR1-ibgp-2_To_Rack1/TOR2-ibgp-2 172.16.36.32/30 .34 .42 .1 .1 Rack1/TOR1_To_Rack1/BMC 172.16.36.16/30 .17 .33 .29 .18 .22 .41
Public VIPs Subnet 172.16.35.0/24 Pr ivate VIPs Subnet 172.16.33.128/25 IIJ GIO .1 .3 .4 .5 .6 Loopback0 172.16.36.26/32 Loopback0 172.16.36.24/32 Loopback0172.16.36.25/32 vr id 107 vr id 7 NTP Server DN S Se rver .254 .2 SLB MUX .13 .12 Border/Border1_To_Border/2 172.16.37.8/30 Boarder_To_GW .10 .9 Border_To_PVA 172.16.37.0/29 .2 .1 .3 .5 .6 .4 PBB Virtual Router CXM Azure Privat e
The InternetInternet
SLB MUX
Azure Public ExpressRoute
6. まとめ
Azure Stack 導入におけるネットワーク設計の考慮と今後の期待をまとめる。 ＜データセンター設置＞ 4 台構成の場合、フルラック（42U）は必要ない 電源は 100V/30A が 2 系統または 200V/30A が 1 系統必要 ＜ネットワーク設計＞ ハードウェアベンダーへ依頼する前に Azure Stack 内部および外部のネットワーク設計が必要 最低でも /22 程度のネットワークアドレスブロックが必要となるため、既存の環境に導入する際はアドレスの空き状況に 注意が必要 BoR Switch の設計にはハードウェアベンダーと事前に認識合わせを実施することを推奨 Azure Stack と Azure および PVA は同じ eBGP であるため、BoR Switch のルーティング設計は特に問題なし
インターネット向け通信は BoR Switch で Source NAT することでアクセス可能
Public VIPs Subnet がプライベートアドレスを使用しても、BoR Switch で Static NAT することでインターネットからア
クセス可能
BoR Switch、ToR Switch 間は標準で 10G 接続となりインターフェースは 2 つ使用するので、BoR Switch のスペックに注意
が必要 ＜証明書＞ 認証局の証明書を用いる場合は Azure Stack の設置時までに手配が必要なので注意 自己署名証明書も利用可能 ワイルドカード証明書でも問題なし ＜期待する改善内容＞ 設置するネットワーク環境が 10G に対応していない場合も想定できるため、1G の ToR Switch を選択できるメニューがある とよい（機器コスト削減も期待できる）
ToR Switch 自体は空きのインターフェースが多いが BoR 間で利用するインターフェースが決められているため、1G 接続の
場合は変換用のトランシーバが必要となる。BoR 間で利用するインターフェースを指定できるとよい。
ToR Switch は Azure Stack のマルチノード構成に必ず 1 台含まれるが、マルチノード構成を追加する場合は、ToR Switch
を集約できる構成が望ましい
Azure Stack 上のリソースに接続する方法として Public VIPs Subnet のアドレスを利用する方法だけでなく、Virtual
Network との接続方法を広げるため、VPN Gateway だけでなく Express Route も作成できるとよい
＜今後予定している確認内容＞
Azure Stack および BoR Switch のパフォーマンス
CSP を利用した場合のマーケットプレイスの連携及び課金、請求
7. Appendix
7-1. BoR Switch（Cisco 891FJ）設定
7-1-1. インターフェース設定サンプル
interface FastEthernet0 description To_InternetGW#1 ip address x.x.x.x 255.255.255.248 no ip redirects no ip proxy-arp duplex full speed 100 standby version 2 standby 255 ip x.x.x.x standby 255 priority 105standby 255 preempt delay minimum 60 standby 255 authentication md5 key-string xxxxxxx standby 255 track 200 decrement 10
no cdp enable no shutdown !
interface GigabitEthernet0 description To_BoR#2 switchport mode access switchport access vlan 200 no ip address duplex auto speed auto no cdp enable spanning-tree portfast no shutdown ! interface GigabitEthernet1 description To_ToR#1 switchport mode access switchport access vlan 201 no ip address duplex auto speed auto no cdp enable spanning-tree portfast no shutdown ! interface GigabitEthernet2 description To_ToR#2 switchport mode access switchport access vlan 202 no ip address duplex auto speed auto no cdp enable spanning-tree portfast no shutdown ! interface GigabitEthernet8 description To_PVA#1 ip address 172.16.37.5 255.255.255.248 no ip redirects no ip proxy-arp duplex auto speed auto media-type sfp no cdp enable no shutdown !
7-1-2. BGP 設定サンプル
interface Vlan1 no ip address shutdown ! interface Vlan200 description To_BoR#2 ip address 172.16.37.9 255.255.255.252 no ip redirects no ip proxy-arp no shutdown ! interface Vlan201 description To_ToR#1 ip address 172.16.36.1 255.255.255.252 no ip redirects no ip proxy-arp no shutdown ! interface Vlan202 description To_ToR#2 ip address 172.16.36.5 255.255.255.252 no ip redirects no ip proxy-arp no shutdown ! end router bgp 65300 bgp router-id 172.16.37.9 bgp log-neighbor-changes no bgp default ipv4-unicast timers bgp 10 30 neighbor 172.16.36.2 remote-as 64675 neighbor 172.16.36.2 description To_ToR#1 neighbor 172.16.36.6 remote-as 64675 neighbor 172.16.36.6 description To_ToR#2 neighbor 172.16.37.2 remote-as 65531 neighbor 172.16.37.2 description To_PVA#1 neighbor 172.16.37.2 password xxxxxxx neighbor 172.16.37.10 remote-as 65300 neighbor 172.16.37.10 description To_gw2 !address-family ipv4
network 172.16.35.0 mask 255.255.255.0 neighbor 172.16.36.2 activate
neighbor 172.16.36.2 advertisement-interval 0 neighbor 172.16.36.2 soft-reconfiguration inbound neighbor 172.16.36.6 activate
neighbor 172.16.36.6 advertisement-interval 0 neighbor 172.16.36.6 soft-reconfiguration inbound
