アクセスネットワークへの
仮想化技術の適用動向
2020年11月12日
NTTアクセスサービスシステム研究所 浅香航太
(TTC SWG2401専門委員)
TTCセミナー「5Gモバイル向け次世代光アクセスの最新技術・標準化動向」1 Copyright 2020 NTT CORPORATION
目次
背景
ONFにおける動向
BBFにおける動向
• Cloud COプロジェクト
• PON Abstraction Interface for Time-Critical Applicationsプロジェクト
ITU-Tにおける動向
まとめ
2 Copyright 2020 NTT CORPORATION
0
2000
4000
6000
8000
10000
12000
14000
16000
18000
FTTH DSL CATV BWA LTE背景
国内FTTH契約数: 3300万以上 これまでの光アクセスシステム: 急増するトラヒックに対応するための大容量化 これからの光アクセシステム: 大容量化に加え、FTTH以外のサービスへの適用が必要契約数(万)
総務省「電気通信サービスの契約数及びシェアに関する四半期データの公表(平成26年度第4四半期(3月末))」および 「電気通信サービスの契約数及びシェアに関する四半期データの公表(令和元年度第4四半期(3月末))」を元に作成西暦(年度)
3 Copyright 2020 NTT CORPORATION
NG-PON2による多様なサービス収容の例
基本システム: TWDM-PONによる経済的な大容量化 (40-80 Gbps) オプション: PtP WDMオーバレイにより伝送遅延要求条件の厳しいサービスにも対応 OSU1 OSU2 OSU3 OSU4ルータ
OLT
コアネットワーク
PtPOSUモバイルネットワーク
RRH
PtP WDM overlayBBU: Baseband unit
NG-PON2: Next generation passive optical network 2 OLT: Optical Line Terminal
ONU: Optical Network Unit OSU: Optical subscriber unit PtP: Point-to-Point
RRH: Remote radio head
TWDM: Time and wavelength division multiplexing
ビジネスユーザ
マスユーザ
ONU
BBU
4 Copyright 2020 NTT CORPORATION
光アクセスシステムのトレンド
これまで: 高速大容量化+多様なサービスの収容 これから: 多様なサービス収容に迅速かつ柔軟に対応するための、仮想化・部品化 技術の研究開発が活発 100 M 1 G 10 G 1990 2000 2010 2020 100 G 10M B-PON GE-PON 10G-EPON G-PON西暦(年)
総帯域
(bit
/s)
NG-PON2 XG-PON1 (上り2.5G/ 下り10G) SIEPON Now IEEE PON ITU-T PON XGS-PON (上り10G/下り10G) 50G-EPON5
Copyright 2020 NTT CORPORATION
光アクセスシステムにおける機能部品化のイメージ
OLT software
OLT hardware platform
PHY
MAC
…
OAM
Multicast
DBA
…
Commodity hardware, chipset (e.g. x86 CPU, GP-GPU, etc.)
Open API
Disaggregated
Conventional OLT
bound to ASIC
PMD
MSA IFOptical transceiver
10G-PON TRx 1G-PON TRx Based on a figure from the presentationby K. Nishimoto et al, OFC2020, M1K.4 10G-PtP TRx
従来のOLT
機能部品化されたOLT
ASIC: Application-Specific Integrated Circuit API: Application Programming Interface DBA: Dynamic Bandwidth Allocation
GP-GPU: General-Purpose computing on Graphics Processing Unit IF: Interface
MAC: Media Access Control
MSA: Multi-Source Agreement
OAM: Operation, Administration, and Maintenance PHY: Physical layer
PMD: Physical Media Dependent PtP: Point-to-Point
6 Copyright 2020 NTT CORPORATION
目次
背景
ONFにおける動向
BBFにおける動向
• Cloud COプロジェクト
• PON Abstraction Interface for Time-Critical Applicationsプロジェクト
ITU-Tにおける動向
まとめ
7
Copyright 2020 NTT CORPORATION
ONF (Open Networking Foundation)とは
ONFは、SDN(Software Defined Network)の普及と商用化を目指す非営利団体 キャリア、OTTのみならず、装置・ LSIベンダまで幅広くコラボレーション • キャリア/OTTの役割: ユースケース/キャリア要件の提示、トライアルの実施 • ベンダの役割: 装置/OSS仕様検討および開発 • ONFの役割: OSS開発拠点として、ONF社員によりOSS開発を主導 (ONF社員に加え、キャリア・ベンダ派遣された技術者もOSS開発に参加) メンバーシップ 種別 企業数 キャリア/OTT ベンダ Partner (最上位ランク) 11社
AT&T, CU, DT, Google,
NTT, TT Ciena, Edgecore, Intel, Radisys, Tech Mahindra Member 62社 CM, CT, Sprint, Telefonica, TIM, Verizon,
ほか
Broadcom, Cisco, Dell, Ericsson, Fujitsu, NEC,
Nokia, Samsung, Tibit, ZTE, ほか
引用:https://opennetworking.org/member-listing/ ※2020/10時点
CM: China Mobile CT: China Telecom CU: China Unicom
DT: Deutsche Telecom TT: Turk Telecom
8 Copyright 2020 NTT CORPORATION
ONFにおけるプロジェクト
様々なNWシステムの部品化を目的とした各プロジェクトにより各種検討を実施 2019年ComcastによるTrellisの商用導入が、ONFとして初の導入実績 プロジェクト SEBA Trellis NG-SDN(Stratum)
ODTN COMAC/
OMEC AETHER SD-RAN
概要 仮想化技術 を適用した アクセスシ ステム Leaf-Spine (WB-SW) 網のONOS による制御 システム WB-SW向 け設定・検 証システム 仮想化技術 を適用した 光トランス ポートシス テム モバイルと 固定アクセ ス網の融合 システム /OSSベース のEPCシス テム 仮想化技術 を適用した モバイル エッジクラ ウドシステ ム nRT-RIC (O-RAN仕 様検討中) のOSS開発 参画キャ リア /OTT AT&T, DT, NTT, Telefonica, TT Comcast CU, DT, Google, NTT Com, TT CU, Comcast, NTT Com, Telefonica AT&T, CU, DT, Google, TT, Sprint CU, Google, DT AT&T, CM, CU, DT, NTT, Facebook 導入状況 2019年導入 済み(TT) 2020年予定 (DT) 2019年導入 済み (Comcast) SEBAと組み 合わせた導 入を予定 (DT) 2019年トラ イアル実施 済み (Telefonica) COMAC :202 2年予定 (DT), OMEC: 2020 年導入済み (T-Mobile Poland) 2021-2022 年トライア ル予定 (CU) 未定
COMAC: Converged Multi-Access and Core EPC: Evolved Packet Core
NG-SDN: Next-Generation Software Defined Network nRT-RIC: near Real-Time RAN Intelligent Controller ODTN: Open Disaggregated Transport Network OMEC: Open Mobile Evolved Core
ONOS: Open Network Operation System OSS: Open Source Software
RAN: Radio Access Network
SEBA: SDN Enabled Broadband Access SD-RAN: Software-Defined RAN WB-SW: White Box Switch
9 Copyright 2020 NTT CORPORATION
ONFにおける光アクセスシステムの部品化
※R-CORD: レジデンシャルCORDの 略で、マス向け光アクセスシステ ムのユースケース R-CORD(※)のアーキテクチャ ROADM Cor e OLT Acc es s ONOS Leaf-Spine FabricCommodity Servers, Switches, and I/O
出典: L. Peterson et al., “Central office re-architected as a datacenter,” IEEE Commun. Mag. Vol. 54, Issue 10, pp. 96-101, Oct., 2016.
ONFにより開発されたSDNコントローラであるONOS のユースケースとして、
「局舎をデータセンタとして再設計する」コンセプトCORDに基づき局舎機能
を部品化
• ONOSコントローラ、汎用ハードウェア(ホワイトボックススイッチ
/OLTおよびサーバ)およびOSSで再構築することが特長。
• CAPEX/OPEX削減および迅速なサービスインを期待
CORD: Central Office Re-architected as a Datacenter ONOS: Open Networking Operating System
10
Copyright 2020 NTT CORPORATION
SEBA (SDN-Enabled Broadband Access)とは
ONU ONU ONU
Compute
NFVO (e.g. ONAP)
SEBA
SDN controller (ONOS)
ASG
AN driver
(VOLTHA) ASG driver
Legacy OpS
OLT Hardware
Core NW
Network Edge Mediator (NEM) SEBA NBI client
R-CORDの進化版
• キャリアが保有するOpSやNFVOから、部品化アクセスシステムを運用・管理・ 制御するためのNEMを新たに定義し、FCAPS機能の実装を強化
• 2019年3月SEBAの基本仕様をまとめたSEBA Reference Documentを一般公開 メインプレーヤ
• AT&T、ドイツテレコム、トルコテレコム、NTT • Ciena, Edgecore, Infosys, Netsia, Radysis
AN: Access Node
ASG: Aggregation Switch and Gateway
FCAPS: Fault, Configuration, Accounting, Performance, Security NBI: Northbound Interface
NFVO: Network Function Virtualization Orchestrator ONAP: Open Network Automation Platform
OpS: Operation System
VOLTHA: Virtual OLT Hardware Abstraction
出典
https://opennetworking.org/wp- content/uploads/2019/04/ONF- Reference-Design-SEBA-032919.pdf
11
Copyright 2020 NTT CORPORATION
Other Access Systems
OLT ONU
ONU
ONU IEEE PON
OLT ONU ONU ONU ITU-T PON
抽象化技術VOLTHA
ONOSからVOLTHA以下を、疑似的なEthernetスイッチとしてOpenFlowによりVLAN や帯域設定を制御することが可能 • OLTハードウェアのベンダ仕様差異を吸収 • アクセス方式(プロトコル、トポロジー)の仕様差異を吸収 SDN controller (ONOS) ホワイトボックススイッチVOLTHA
ベンダ仕様
差異を吸収
アクセス方
式の仕様差
異を吸収
大きな疑似
スイッチと
して抽象化
OLT ONU ONU ONU ITU-T PON ベンダA ベンダBベンダ仕様
差異を吸収
UNI NNIアクセス方
式の仕様差
異を吸収
NNI: Network-Network Interface UNI: User-Network Interface
アクセス方
式の仕様差
異を吸収
12 Copyright 2020 NTT CORPORATION
VOLTHAの構成
コアとアダプタにより構成 • コア:方式仕様に依存しない共通機能部 • アダプタ:OLTハードウェアおよび方式毎に開発が必要なアダプテーション部VOLTHA
アダプタ
回線設定読込部
コア
OLTハードウェア設定部
テクノロジー プロファイル OLTハードウェア上位/下位の情報
のやり取りを制御
方式の差分を抽象化
QoS等の回線
設定
ベンダ独自IF
に変換
Kafka, REST, gRPC OpenFlow
13
Copyright 2020 NTT CORPORATION
NEM
上位OpSからのコマンドをNEM配下のエレメント単位の設定に分解
R-CORD で の 課 題 と な っ て い た FCAPS ( Fault, Configuration, Accounting, Performance, Security)機能をNEMに実装
Network Edge Mediator (NEM)
SDN controller (ONOS) VOLTHA
XOS
Kibana
(メッセージ用ダッ シュボード)DB
DB
Kafka
(メッセージキュー) FailurePerformance ConfigurationInventory
ZTP Security Accounting att-workflow-driver dt-workflow-driver olt-service Kafka, REST, gRPC Kafka, REST, gRPC OpenFlow
上位/下位の情報
のやり取りを制御
故障・モニタ情
報などの可視化
下位からのイベ
ント情報を蓄積
SEBA NBI client 上位OpSとのメ ディエーション
キャリアごとの認
証手順の差異を吸
収するドライバ
14 Copyright 2020 NTT CORPORATION
SEBAの開発/導入状況および課題
基本機能は導入レベルまで完成度が向上(特にVOLTHA) 長期安定性の確保や複数OSS組み合わせ時の動作保証などが今後の課題 導入状況 • ドイツテレコム:2020年12月までに商用導入予定 • トルコテレコム:2019年12月に小規模商用導入済み(2020年規模拡大予定) 2017.9 2020.12 Ver.2.4 Ver.2.6 Ver.2.0完成度
高
低
2019.5 2020.6 ドイツテレコム及びト ルコテレコムによる商 用導入へ スケーラビリティ 検証機能 IEEE仕様対応機 能 VOLTHAの開発状況イメージ OSSリリース時期 IEEE仕様 対応機能 Ver.1.0 キャリアグレード版 キャリア運用要 件反映版 多種アクセス方 式対応版 初リリース 初期検証版 Ver.1.3 2018.915 Copyright 2020 NTT CORPORATION
目次
背景
ONFにおける動向
BBFにおける動向
• Cloud COプロジェクト
• PON Abstraction Interface for Time-Critical Applicationsプロジェクト
ITU-Tにおける動向
まとめ
16
Copyright 2020 NTT CORPORATION
BBF (Broadband Forum)とは
1994年に米国で設立されたADSL Forum等を母体とし、2008年Broadband Forumと 改称しファイバアクセス網までスコープを拡張 ブロードバンドサービスの普及促進、システム管理・制御プロトコル仕様および相互 接続仕様策定を推進する会員制非営利団体(150社以上のサービスプロバイダおよびベ ンダから構成) 技術委員会ワークエリア(WA) 最高執行責任者 ・事務局 ・広報 ・マーケティング 幹部諮問 審議会 理事会(BoD) ブロードバンドユーザサービス Common YANG ファイバアクセス網 (FAN) 物理層伝送 無線有線融合 ルーティング&転送 SDN and NFV アーキテクチャ&マイグレーション 太枠:仮想化技術を導入した 各種仕様策定または審議が 行われているWA 市場要件検討 グループ 運営委員会 サービスプロバイダ 実行審議会(SPAC) 出典:https://www.broadband-forum.org/about-the-broadband-forum/about-the-forum/bbf-working-structure
17 Copyright 2020 NTT CORPORATION
BBFのスコープ
OLT コントローラ ONU (ベンダA) ONU (ベンダB) ONU (ベンダA) (ベンダA)HGW遠隔管理・制御プロトコル仕様
例:TR-069 (DSL), TR-142(PON) ※これまでにHGW8億台に実装相互接続・認証試験仕様
例:BBF.247 XGS/NG-PON2認証プログラムOLT管理・制御プロトコル仕様
例:WT-385 (PON向けNC/Y) 光アクセスシステム仕様(ITU-T, FSAN)例:ITU-T G.984 (G-PON), G.9807 (XGS-PON), G.989 (NG-PON2)など
システム管理・制御プロトコル仕様および相互接続・認証試験仕様など、ブロードバ ンドサービスの社会実装に不可欠な仕様として、世界中のキャリア・ベンダが利用し ている。近年は、アクセス仮想化にも注力している。 光アクセスシステム仕様を策定するITU-TおよびFSANとは、共同認証試験イベント開 催、共同ワークショップ開催およびリエゾン文書交換を通じて、密接に連携して活動 している
18
Copyright 2020 NTT CORPORATION
Cloud CO (Central Office)
2016年3Q(7月)会合で提案・合意されたプロジェクト。2018年1月に最初の文書TR-384を公開 スコープ:SDN/NFV+Cloud技術を導入した次世代局舎の仕様化
(SEBAのBBF版的な位置付け。ハードウェア仕様化はスコープ外 ) OLT装置等のアクセスノード抽象化のため、HALを導入(VOLTHAのBBF版)
Spine SW Spine SW
Leaf SW Leaf SW Leaf SW Leaf SW
Compute Node
Compute
Node Access Node
NW I/O NNI NFVI HAL VNF1 VNF2 VNF3 VNF4 VNFn PNF1 PNF2 PNFn CPE UNI Cloud CO Macro-Node
Cloud CO Domain Orchestrator
MANO
SDN Management & Control (M&C)
CO: Central Office
CPE: Customer Premises Equipment HAL: Hardware Abstraction Layer
NNI: Network to Network Interface NW: Network
PNF: Physical Network Function I/O: Input/Output
MANO: Management and Orchestration
NFVI: Network Function Virtualization Infrastructure
SDN: Software Defined Network SW: Switch
UNI: User to Network Interface VNF: Virtual Network Function
19
Copyright 2020 NTT CORPORATION
BAA (Broadband Access Abstraction)
引用: Tim Carey (Nokia), OB-BAA Project Chair, “Open Broadband: Broadband Access Abstraction Overview” http://www.wiki.opencord.org/download/attachments/4981456/vOLTHA_April_2018_BAA.pdf 上位インタフェースは、BBFの既存NETCONF/YANG(NC/Y)モデルに準拠 オープン開発を行っており、2018年8月最初のBAAリリース(コードと文書)を実施 従来OLT装置への適用もスコープにしている点が、VOLTHAと異なる IEEE仕様のOLT装置には、現時点では非対応 現時点で導入実績なし(システムベンダにて開発中) Access Node PNF1 PNF2 PNFn
HAL
(BAA)
SDN M&C 上位IF (原則NC/Y、 OpenFlowは 未対応) 抽象化および FCAPS機能 上位IFおよび ドライバ (IEEE仕様は 非対応)NETCONF: Network Configuration Protocol YANG: Yet Another Next Generation
20
Copyright 2020 NTT CORPORATION
PON Abstraction Interface for
Time-Critical Applications (TCA)
部品化によるメリット最大化のため、従来は部品化の対象外であったDBAなど
の時間制約の厳しい機能の部品化プロジェクトが開始された
(2016年10月)。 部品化の基本方針として、フレーム生成を担う共通処理部と、柔軟に入替え可
能なアルゴリズム部とを、APIで分離。
API
Access Node PNF1 PNF2 PNFnAPI: Application Programmable Interface PNF: Physical Network Function
用途に応じて入替
アルゴリズムA
アルゴリズムB
共通処理部
21
Copyright 2020 NTT CORPORATION
TCAにより策定されたBBF標準文書
TR-402: Functional Model for PON Abstraction Interface
– DBAの部品化コンセプト、ユースケースおよびAPI機能要件
TR-403: PON abstraction interface specifications
– DBA-APIの仕様詳細:APIフォーマットおよび処理時間要件
http://www.broadband-forum.org/technical/download/TR-402.pdf http://www.broadband-forum.org/technical/download/TR-403.pdf
Published on Oct., 2018 Published on Dec., 2018
22 Copyright 2020 NTT CORPORATION
TR-403におけるDBA-APIの仕様概要
DBA-APIにより、エンジン部とアプリ部に分離
– エンジン部:フレーム生成(高速処理が必要な機能はハードウエアに配置)
– アプリ部:帯域割当計算(ソフトウェア部品化し適用先に応じて入替可能)
DBA-APIの処理時間要件は、適用先に応じてクラス分けして仕様化
Class Min. call interval
[us] Max. processing time [us]
1
1000
1000
2
500
500
3
250
250
4
125
125
5
62.5
62.5
22Time requirement classes
DBA App
(Algorithm)
Processor (e.g. CPU)
PON (OLT) Hardware
DBA Engine
getReport() setGrant()
R R R
G G G
R
: Report messageG
: Gate message ONUsDBA-API
from BBF TR-403, http://www.broadband-forum.org/technical/download/TR-403.pdf
Based on Fig.1 in K. Nishimoto et al, JOCN, in press
モバイルフロン トホールへの PON適用を想定 した仕様
23 Copyright 2020 NTT CORPORATION
DBA-APIのユースケース
将来モバイル通信では、多数のスモールセルが展開される見込みであり、
TDM-PONによるモバイルフロントホール(MFH)収容によるCAPEX削
減が期待されるが、 TDM-PON内における遅延時間が課題となる
ソフトウェア部品化したDBAを、FTTH向け(SR-DBA)からモバイル
向け(CO-DBA)に入れ替えることと、CU/DUからのスケジューリン
グ情報を活用することで、低遅延化を実現可能
DBAソフトウェア部品の入れ替え
OLT Power splitter 局舎 ONU ONU ONU SR-DBA Power Splitter 局舎 CU/DU OLT RU RU RU SR-DBA CO-DBAFTTH
MFH
Small cellsCO-DBA: Cooperative DBA CU: Central Unit
DU: Distributed Unit MFH: Mobile Fronthaul UE UE UE UE UE
RU: Radio Unit
SR-DBA: Status Report DBA UE: User Equipment
UEスケジュー リング情報
CO-IF
モバイル向け DBAに入れ替え
24 Copyright 2020 NTT CORPORATION
FTTH向けDBAにおける遅延
ONU HE SR-DBA App OLT Data Report Report info Grant info Grant (BWmap) Data Pro ces sing delay at C PU API DBA engine PON HW CPU Ti meK. Asaka et al, JOCN 11(2019)A33-A39
FTTHにおけるDBA(SR-DBA
)では、全ONUからの要求に基づ
き、各ONUの上り信号送信のタイ
ミングと送信量の計算を行い、ス
ケジューリング情報(Grant)と
してOLTから各ONUに送信される。
ONUは、OLTからのスケジューリ
ング情報が届くのを待つ必要があ
り、約1ms程度の遅延時間が発生
する要因となるが、FTTH向けに
は問題にならない。
BWmap: Bandwidth map HE: Home Equipment 1ms DBA
delay at ONU
25
Copyright 2020 NTT CORPORATION
MFH向けDBAによる低遅延化
K. Asaka et al, JOCN 11(2019)A33-A39
ONU UE RU CO-DBA App OLT Grant (BWmap) Data Low DBA delay at ONU CU/DU CO IF UE schedule info Grant info Data DBA engine Tim e Data request P ro ces sin g del ay at CP U API PON HW CPU MFH latency requirement < 250us
モバイルシステムにおいて、
CU/DUは各UEの上り信号送信の
タイミングと送信量の制御を行う。
このスケジューリングをOLTが共
有することができれば、ONUに各
RUから届く上り信号が届く前に、
DBA計算を完了することができる。
このようなCO-DBAにより、遅延
時間を大幅に削減することが可能
となる。一方で、モバイルシステ
ム(CU/DU)とOLTとの間に連携
インタフェース(CO-IF)が必要
になる
UEスケジュー リング情報 モバイル向け DBAに入れ替え26 Copyright 2020 NTT CORPORATION
遅延時間の検証結果
SR-DBAによる遅延時間は、約1 ms
CO-DBAおよび連携IFの導入により、50
m
s以下の低遅延化を実現
0 100 200 300 400 500 600 700 800 900 1000 1100 1200 1300 1400 0 1000 2000 3000 4000 5000L
at
e
n
c
y
[
m
s]
Data rate
(each ONU)[Mbps]
1 ONU 3 ONUs 4 ONUs 0 10 20 30 40 50 0 1000 2000 3000 4000 5000 1 ONU 2 ONUs 4 ONUs
w/o Cooperation with CU/DU
w/ Cooperation with CU/DU
6000
27
Copyright 2020 NTT CORPORATION
BBF大阪会合におけるデモ(2018/6)
Demo setup of mobile fronthaul over NG-PON2 system
DBA-API (BBF TR-402/403) implemented Box-type OLT DU/CU
28 Copyright 2020 NTT CORPORATION
関連標準化動向
DBAソフトウェア部品の入替を可能とするDBA-APIについては、BBF
TR-402/403として2018年標準化完了
CO-DBAの仕様化については、ITU-T G.989/G.hspとして審議中
CO-IFの仕様化については、O-RAN Alliance (WG4)にて2020年標準
化完了
ONU OLT ControllerCU
/DU
PON IFOLT
CTI CO-DBABBF
TR-402/403 ORAN allianceCTI: Cooperative Transport Interface
ITU-T
29 Copyright 2020 NTT CORPORATION
目次
背景
ONFにおける動向
BBFにおける動向
• Cloud COプロジェクト
• PON Abstraction Interface for Time-Critical Applicationsプロジェクト
ITU-Tにおける動向
30 Copyright 2020 NTT CORPORATION
ITU-Tにおける動向
ITU-Tでは、仮想化の取り組みを二つのStudy Group (SG)で行っている。 • SG13: アーキテクチャ 基本アーキテクチャをY.3150(2018年3月)/Y.3151(2019年4月)として仕様化 • SG15:インタフェース等の詳細規定 G.hspにPONスライスの要件や制御などを議論中スライス構築の基本アーキテクチャ
出典: https://www.itu.int/rec/T-REC-Y.3150-201801-S/en, https://www.itu.int/rec/T-REC-Y.3151-201904-I/enサービスプロバイダ
スライスの管理・制御
スライスを構成する
コントローラと物理資源
Slice Customer Slice LCM&O Slice Support Resource Controller (Stack, DBA, etc.)H/W
…
H/W SDN Infrastructure Abstraction, etc. SDN Controller Slice Orchestration R2 R1 Slice Customer/Application Y.3150 Y.3151 G.hspにて詳細を議論31 Copyright 2020 NTT CORPORATION
目次
背景
ONFにおける動向
BBFにおける動向
• Cloud COプロジェクト
• PON Abstraction Interface for Time-Critical Applicationsプロジェクト
ITU-Tにおける動向
32 Copyright 2020 NTT CORPORATION