OOL の CORD に関する取り組みと今後の展望について 株式会社オキット 新里康晃

OOLのCORDに関する取り組み

と今後の展望について

2

Agenda

1.CORDについて

2.モチベーションとONFとの連携強化

3.動作検証

4.今後の活動予定

CORDについて

■ CORD(Central Office Re-architected as a Datacenter)

■ SDN/NFV技術を活用し、キャリアの有する通信設備（局舎）を再構 築し、以下の利点をキャリアネットワークに提供していく ■ サービス提供時間の短縮 ■ 回線コストの削減 ■ 回線サービスへの様々な付加機能の提供 ■ 元々はSDN Controller である ONOS のユースケースのひとつ DataCenterの経済性とCloud Serviceの迅速性をキャリアサービスへ

キャリアの課題・背景

■

局舎(Central Office)の複雑化が、CAPEX/OPEX増加の原因と

なっている

■局舎に存在する装置の種類は300種類を超える ■ベンダー固有の装置仕様 ✓回線の収容機器とユーザー接続機器の仕様制限等 ■拡張につぐ拡張を繰り返してきたため、設備が肥大化 オープンなプラットフォーム上で、汎用機器を用いて シンプル化したい

オープンプラットフォームとしてのCORD

OpenStack/Docker ONOS XOS VNF VNF VNF VNF VNF VNF VNF XOS : サービスオーケストレーター OpenStack/Docker : 仮想インフラ管理 ONOS : ネットワーク制御 ホワイトボックススイッチ 汎用サーバー オープンソース 汎用機器 + Network Devices (WhiteBox OLT, Open ROADM)

CORD適用領域

■

CORDのユースケースとして、主に３つの事業領域の取り組

みが始まっている。

■家庭向け通信サービス：インターネット接続サービス(R-CORD) ■企業向け通信サービス：拠点間接続、Firewall、IDS (E-CORD) ■モバイル通信サービス：無線アクセスネットワーク制御(M-CORD)

では、実際にどのような変化が

もたらされるのか？

従来のサービス設備(R-CORD)

専用機器で構成、装置の数が肥大化

R-CORDユースケース

To Backbone Network

Central Office vSG: virtual subscriber Gateway

OLT: Optical Line Terminal

NW機能の一部をVNFとして、

CORD上の共通リソース上に展開し、 NW設備をシンプル化する

E-CORDユースケース

ユーザーに近い場所に 付加サービスを展開 拠点間接続 企業向けネットワークアプリケーション （Firewall、IDS、WAN Accelerator)

M-CORDユースケース

従来の設備 CORD適用後の設備 _{vPGW,vSGWをユーザーよりの拠点に} 展開することで、ローカルトラフィックの 折り返しを実現する 全てのトラフィックが、PGWを経由する vBBU vSGW vPGW https://www.pipelinepub.com/telecom_innovation/M-CORD-for-5G-Networks/3

CORD Central Office

CORDまとめ

・キャリアの通信サービスにDataCenterの経済性とCloud

Serviceの迅速性を与えることが主題

・SDN技術を利用して、ユーザーに近い局舎に柔軟なサービ

スが提供できるVNF基盤を構築（エッジネットワーキング）

・様々なサービスを同一のVNF基盤上で展開できる

・オープンなプラットフォーム

開発コミュニティについて

■

ONF

■ON.Lab設立(2012/6) ■ONOS 1.0 リリース(2014/12) ■CORD Project 設立(2016/5) ■ON.LabとONFが統合 (2017/5)

■

参加企業の主な役割

■Operators - ユースケースの提案やテストベッドの提供で貢献 ■Vendors - 装置の提供や開発技術者の提供で貢献

CORD開発サイクル

■

CORD-1.0 リリース (2016/9)

■

CORD-2.0 リリース (2017/1)

■

CORD-3.0 リリース (2017/5)

■

CORD-4.0 リリース (2017/9)

※４ヶ月毎にリリース

■

CORD Build 2017 (2017/11)

■CORDを主体としたイベントの第１回が開催

Topic

■

R-CORD

■ AT&T

■ VOLTHA( Virtual OLT Hardware Abstraction)の取り組み

✓ PON機器の管理システムとハードウェアデバイスの分離 ✓ CORD-5.0で組み込まれる予定 ✓ 5G機器についても、同様の試みを実施予定 ■ NTT EAST ■ GE-PON機器にて、CORD環境上で実証実験を実施

■

E-CORD

■ CORD-4.1にてOfficialサポート(2017/12)

■ China MobileがE-CORD PODを構築

■

M-CORD

■ Pre Release (正式VerはCORD-5.0?)

2.モチベーションと

ONFとの連携強化

モチベーション

■

関心・興味はあるが、現状どれくらい実用的？

■ 自社プロダクトへのソフトウェア取り込み

■

運用マニュアル的なドキュメントが欲しい

■ ノウハウの蓄積によるSI、保守を見据えて 構築・検証を開始

CORD構築環境

■

Single Pod

■ 1 Server (virtual)

■

Full Pod

■ 3 servers + 4 Switches

■

Half Pod

■ 2 Servers + 1 Switch switch 1 (Spine 1) port 1 port 2 switch 2 (Spine 2) port 1 port 2 switch 3 (Leaf 1) 40G: port 1 10G : port 33~36 port 2 port 31 port 32 switch 4 (LEAF 2) port 2 port 31 port 32 eth4 eth4 40G: port 1 10G : port 33~36 fabric br-int OVS VM VM fabric br-int OVS VM VM eth4 fabric br-int OVS VM VM ※Full PODで環境構築を実施

構築にあたってのトラブル

■

1コマンドでデプロイ可能な作りとなっているが、そもそも

環境デプロイがなかなか成功しない

■

Compute nodeの切り離し・再組み込みを実行した際に、

OpenStackとの連携が上手く動作しない

■

Compute node単位でのリセットができないため、環境全体

の再インストールが必要になった（CORD-2.0,CORD-3.0)

■

環境の構築には時間がかかる（デプロイ待ちで3h目安)

■

数日経つと、動いていた環境が動かなくなる ..etc

ONF側のエンジニアに支援を依頼！

25 Compute 3 corddev /MAAS GW 192.168.18.0/2 4 Internet Jenkins GW head Compute1 10.6.0.0/24

External and IPMI

Compute2 switch 1 switch 2 switch 3 switch 4

OOL

ONF

Test environment in OOL (Physical POD Plan)

Internal LAN Port IPMI/BMC Port .50 .61 .52 .53 .54 .60 .61 .62 .63 .64 .31 .32 .33 .34 .51 .60 .251

ONF支援の結果

■

ONF側のJenkins Serverと連携することで、環境全体のデプ

ロイも楽に。

■

現状は最新版であるCORD-4.1を好きなタイミングでデプロ

イ可能

■

トラブルシューティング時に、ONFエンジニア側の現状把握

がしやすくなったため、情報の共有がスムーズに

■

CORD-4.1となって動作環境が安定に

検証STEP1：簡易動作検証

■

スイッチ追加、サーバー追加時の動作

■

VMインスタンスの作成〜疎通確認

※次ページに上記動作の概要を示す

CORD Overview

29 Spine Spine Leaf Leaf head node compute node1 compute node2 OVS OVS ONOS Underlay ONOS Overlay Openstack MAAS XOS VXLAN Tunnel between OVS ONOS Underlay controls

Leaf-Spine fabric

ONOS Overlay controls VXLAN Tunnel VM VM Provision VM Provision Compute node OVS VM VM OVS VM VM Slice A Slice B

検証STEP2：耐障害性試験

■

目的

■キャリアグレードのプラットフォームとして、障害想定時にサービ スへの影響があるかどうか

■

検証内容

■耐障害性 - コントローラ断時におけるトラヒックへの影響 - NW機器・リンク断時のトポロジ検知・トラヒック迂回

31 ONOS1 (underlay) SPINE1 SPINE2 LEAF1 _LEAF2 VM 1 VM₂ VM₃ ③ ⑤ ⑥

ovs ovs ovs

ONOS2 (overlay) ① _② ④ ①Contorller(underlay)障害 ②Controller(overlay) 障害 ③Spine SW 障害 ④LEAF SW 障害 ⑤Spine-Leaf Link 断 ⑥Leaf-Server Link 断 ※ONOSについては、Cluster(冗長化）の 有無で全断時と局所障害時を想定する 障害発生時に、各VM間の通信に異常があ るかを観測 耐障害性試験項目

耐障害性検証

耐障害性試験結果

■①、②のController全断時は、障害発生から10秒~30秒程度で既存トラフ ィックが疎通不可となる ■④、⑥の項目については、LEAF~Serverの冗長化機能が未実装のため、 NGとなっている ①ONOS1 (underlay) ②ONOS2 (overlay) ③SPINE1 ④LEAF1 ⑤ SPINE~LE AF ⑥LEAF~ Server cluster無 し（全断) _{NG NG OK NG OK NG} cluster有 り _{OK OK OK NG OK NG}

1) Spine1 port1 ~ Leaf1 port31が初期接続

トポロジ自動検知

3) Spine1 port20 へ差し替え

トポロジ自動検知

■ポート差し替えなどの、物理トポロジ変更時には自動検知できる

■ただしLeaf配下については、変更されたトポロジを動作させるために、 設定反映が必要となる

検証まとめ

■

耐障害性

■Controllerの冗長が担保できている前提において、SPINE~LEAFの障 害想定についてはサービスへの影響は見られない ■LEAF~Serverについては、MC-LAG相当の機能実装待ち

■

トポロジ検知

■トポロジの自動検知機能有り ■新規機器の追加時には、設定を反映することでシステムへ容易に追 加できる

OOLテストベッド環境への組み込み

本プロジェクトで構築した評価環境はOOLテストベッドに組み込み、CORD評価環境として開放 する

今後のCORDに対する別テーマの検証を迅速に可能とする

OOL TOSS(testbed OSS)よりスライスの作成やservice(VNF)のデプロイを可能にする。 ショーケースとして会員企業に公開し、各種研究検証活動や見学、展示会等で活用

TOSS Presentation Layer

Orchestration Layer _XOSXOS-API ONAP

Portal SDK

ONOS

Underlay

Control OverlayControl

Control Layer

OpenStack WhiteboxSW_WhiteboxSWOFDPA/ONL_{WhiteboxSW Servers} Infra Layer

OpenStack-API NaEF-API

台湾交通大学との連携

Summary & Future Plan

■

Summary

■ CORDは、キャリアの通信サービスにDataCenterの経済性とCloud Serviceの迅速性を与えることが主題 ■ OOLはCORDの環境構築・検証に取り組んでいる ■ 初期構築に時間を要した ■ CORD-4.1では動作は安定している

■

Future Plan

■ 検証結果のフィードバック、機能要望・ユースケース提案などを 通じてCORD communityとの連携を強化する ■ ユースケースに応じた環境を提供するために、OOLテストベッド に取り込み、会員企業向けに公開する ■ 国立交通大学とユースケースを策定し、検証を実施していく

41

構成要素

●head node

○xos

- docker container

○onos

- docker container

○maas

- docker container

○openstack controller

- lxd container

●compute node

○openstack compute

○ovs

●fabric SW

○Spine & Leaf

3) 投入設定例( fabric-network-cfg.json ) "ports": { "of:0000cc37aba0e3b5/37": { "interfaces": [ { "ips": [ "10.6.1.254/24" ], "vlan-untagged" : 1 } ]

トポロジ自動検知（設定反映)

設定反映コマンド

$cord generate > fabric-network-cfg.json

$docker-compose -p rcord exec xos_ui python /opt/xos/tosca/run.py [email protected] /opt/cord_profile/fabric-service.yaml

引用・関連資料

ONF CORD https://opencord.org/

CORD wiki https://wiki.opencord.org/

CORD guide https://guide.opencord.org/

CORD Build 2017 http://cordbuild.org/

github