Polling Question 1

高尾 竜太 (Ryota Takao)

テクニカルアシスタンスセンター, テクニカルサービス

May 24, 2016

ASR 1000 シリーズルータ の

アーキテクチャーとトラブルシューティング

Cisco Support Community

ご参加ありがとうございます

本日の資料はこちらからダウンロードいただけます

http://supportforums.cisco.com/ja/community/5356/webcast

直接ダウンロードする場合はこちら

オーディオ ブロードキャスト について

[Audio Broadcast（オーディオ ブロードキャスト）] ウィン

ドウが自動的に表示され、コンピュータのスピーカーか

ら音声が流れます

[Audio Broadcast（オーディオ ブロードキャスト）] ウィン

ドウが表示されない場合は、[Communicate（コミュニ

ケート）] メニューから [Audio Broadcast（オーディオ ブ

ロードキャスト）] を選択します

イベントが開始されると自動的に音声が流れ始めます

音声接続に関する詳細はこちらをご参照ください。解決

しない場合は、QA ウィンドウよりお知らせください。

https://supportforums.cisco.com/ja/document/82876

ご質問方法

Webcast 中のご質問は全て画面右側のQAウィンドウ

より All Panelist 宛に送信してください

エキスパート スピーカー

高尾 竜太 (Ryota Takao)

テクニカルアシスタンスセンター,

テクニカルサービス

高尾 竜太 (Ryota Takao)

May 24, 2016

Cisco Support Community Expert Series Webcast

ASR 1000 シリーズルータ の

アーキテクチャーとトラブルシューティング

•

ASR1000 の概要

•

ASR1000 内部構造の詳細

•

ASR1000 パケットフロー

•

その他、補足説明

•

Troubleshooting : High CPU

•

Troubleshooting : Memory 関連

•

Troubleshooting : Packet Drop

•

Troubleshooting : Crash

•

Troubleshooting : Hardware

•

References

© 2010 Cisco and/or its affiliates. All rights reserved. 9

Perf

orm

anc

e

and

Sc

alabilit

y

ISR G2 Cisco 1900, 2900, 3900 ISR G1 Cisco 1800, 2800, 3800 ISR 4000 ISR 4400, 4300 ASR1000 Cisco 7600 ASR9000 Branch Routers

WAN Aggregation and Internet Edge Routers

Service Provider Routers

ASR1000 は大きくわけると

モジュール型とボックス型の

2種類がある。

ASR1000の種類 : モジュール型

モジュール型

RP, ESP, SIP に機能、及び、ハードウェアを分割したモデル

＊RP, ESP, SIP については後述します。

ASR1002

ASR1004

ASR1006

ASR1006-X

ASR1009-X

ASR1000の種類 : ボックス型

ボックス型

RP, ESP, SIP のハードウェアを1台に統合したモデル

＊RP, ESP, SIP については後述します。

ASR1000の構成要素

ASR1000

シャーシ

RP

ESP

SIP/SPA

シャーシ

• ASR10xx(-X), 数字は RU を表す(01,02,04,06,09,13)

• 各Module 間のBus を提供

RP(Route Processor)

• ASR1000-RP1 と ASR1000-RP2 がある。

• RP は システムの管理や ASR1000 宛てのパケットの処理を行う。

ESP(Embedded Service Processor)

• ASR1000-ESP5, 10, 20, 40, 100, 200 があり、数字は処理可能な帯域を表す。

• パケット転送処理を行う。

ASR1000の構成要素

SIP(SPA Interface Processor)

• ASR1000-SIP10 と ASR1000-SIP40 がある。数字は処理可能な帯域。

• SPA とセットで使用し、Interface を提供する。

SPA(Shared Port Adaptor)

• SIP に挿す Module で、SIP とセットで使用することで、Interface を提供す

る。

• 豊富な種類の SPA があり、様々な Interface を提供可能。

ASR1000

シャーシ

RP

ESP

SIP/SPA

ASR1000の構成要素

Ethernet Line Cards

• SIP 用の Slot に SIP の代わりに挿して使用する

• Ethernet の Interface を提供する

• 以下の3種類の Module がある。

ASR1000-2T+20X1GE : 10GE x 2 + 1GE x 20

ASR1000-6TGE : 10GE x 6

ASR1000-MIP100 : EPA を挿す slot が 2 つあり、EPA を挿して使用する。

EPA-1X100GE : 1x100GE

EPA-CPAK-2X40GE : 2x40GE

EPA-10X10GE : 10x10GE

EPA-18X1GE : 18x1GE

ASR1000

シャーシ

RP

ESP

SIP/SPA

ASR1000 の外観

RP

ESP

SIP

SPA

built-in SPA

ASR1006

ASR1001

各モデルの性能比較 :

以下のドキュメント等をご参照してください。

•

Cisco ASR 1000 Series Aggregation Services Routers Data Sheet

•

Cisco ASR 1000 Series Route Processors Data Sheet

•

Cisco ASR 1000 Series Embedded Services Processors Data Sheet

•

Cisco ASR 1000 Series Ethernet Line Cards Data Sheet

•

Cisco ASR 1000 Series Shared Port Adapter and SPA Interface

Processor Support Data Sheet

各モデルの冗長機能

1001

1001-X

1002

1002-X

1004

1006

1006-X

1009-X

1013

RP

×

×

×

×

×

○

○

○

○

Dual IOS

○

○

○

○

○

×

×

×

×

ESP

×

×

×

×

×

○

○

○

○

SIP

×

×

×

×

×

×

×

×

×

SPA

×

×

×

×

×

×

×

×

×

Power Supply

○

○

○

○

○

○

○

○

○

どのモデルもSIP/SPAの冗長機能はありませんが、Port-Channel を使用することで

Interface の冗長性を提供可能です。

Cisco ASR 1000 Series Aggregation Services Routers Software Configuration Guide

Dual IOS

IOS-XE では Linux Kernel 上で IOSd(IOSデーモン)が Linux のプロセスの１つとして

動作しています。RP を2枚挿すことが出来ない ASR1000 シリーズルータでは以下の

コマンドを実行することで Dual IOS の機能を使用し IOSd を２つ起動させることが可能です。

Dual IOS の機能を使用すると、片方の IOS を Active、もう片方の IOS を Standby として動作します。Active

IOS がクラッシュすると Standy IOS へ切り替わるため冗長性を高めることが出来ます。

IOSd を２つ起動するために通常より多くのメモリを使用するため、Dual IOS の機能を使用するためにはメモリ

の拡張が必要となります。

Router# enable

Router# configure terminal Router(config)# redundancy Router(config-red)# mode SSO Router(config-red)# end

Router# write Router# reload

投票質問1

ASR1000 シリーズルータに関してどの程

度知識がありますか?

1.

構築または運用などの業務に携

わった経験がある

2.

実務経験はないが、実機を触ったこ

とがある

3.

ドキュメント等の資料を読んだ程度

4.

ほとんど知識がない

用語説明

•

Interconnect ASIC (SerDes) -

RP,ESP,SIPとミッドプレーンを接続

•

SPA Aggregation ASIC (PLIM) -

SPA のデータパスを集約

•

QFP(Quantum Flow Processor) -

パケット転送処理、QoS 処理

1. PPE(Packet Processing Engine) – パケット転送処理、各種 feature の処理 2. BQS(Buffering, Queueing and Scheduling) - QoS 処理

•

ESI

(Enhanced SerDes Interconnect)

-

ESP-SIP, ESP-RP 間パケット転送用, 11.5/23Gbps, non-shared bus

•

SPI4.2 -

SIP-SPAの接続、SPA aggregation-Interconn, QFP-Interconn の接続など

•

EOBC -

RP-カード間のIPC通信用の経路、1Gbps, non-shared bus

•

I

2

C -

low level での HW 管理（温度監視、OIR、reset など）

に使用される bus

ESP FECP QFP Crypto Assist. interconn. PPE BQS ESP FECP QFP Crypto Assist. interconn. PP E BQ S

ASR1000構成要素

FECP(CPU) QFP Crypto Assist. interconn. RP CPU interconn. GE switch SIP SPA SPA IOCP (CPU) SPA Aggreg. interconn. RP CPU interconn. GE switch Midplane SIP SPA SPA IOCP SPA Aggreg. interconn. SIP SPA SPA IOCP SPA Aggreg. interconn. A cti v e A cti v e S tby S tby RP コントロールプレーン システム管理 ESP データプレーン SIP SPAを収容、 パケットのバッファリング

ESP FECP QFP Crypto Assist. interconn. PP E BQ S ESP FECP QFP Crypto Assist. interconn. PP E BQ S

ASR1000システム制御用データパス

RP CPU interconn. GE switch SIP SPA SPA IOCP SPA Aggreg. interconn. RP CPU interconn. GE switch Midplane SIP SPA SPA IOCP SPA Aggreg. interconn. SIP SPA SPA IOCP SPA Aggreg. interconn. A cti v e S tby S tby I2_{C バス} システムの監視 (温度, OIR, ファン回転速度など) EOBC スイッチ

SPA Control Link SPAの管理 A cti v e EOBC RP <-> 各カードのIPC通信

ESP FECP QFP Crypto Assist. interconn. PP E BQ S ESP FECP QFP Crypto Assist. interconn. PP E BQ S

ASR1000データパス

RP CPU interconn GE switch SIP SPA SPA IOCP SPA Aggreg. interconn. RP CPU interconn GE switch Midplane SIP SPA SPA IOCP SPA Aggreg. interconn. SIP SPA SPA IOCP SPA Aggreg. interconn. A cti v e A cti v e S tby S tby HyperTransport (punt/inject) ESI リンク 全てのパケットは ESPに送られる

RPブロック図

ESPs 2.5’’ Hard disk Output clocks

SIPs ESPs RP Misc ESPs SIPs RP Ctrl SIPs SIPs Input clocks RP ESI, 11.5 Gbps SPA-SPI, 11.2 Gbps Hypertransport, 10Gbps Other GE, 1Gbps I2_C SPA Control SPA Bus CPU (1.5 – 2.66 GHz Dual-core) I2_{C Chassis}

Management Bus _Interconnect EOBC Gig Eth Switch

CPU Memory Mgmt Ethernet USB Console & Aux RP(Route Processor) システムの管理 IOS-XEが動作 管理トラフィック専用 RP1: 4GB RP2: 8&16GB tracelog, core を格納 NVRAM Bootdisk Stratum-3 Network clock circuit 33MB 起動イメージを格納 RP1: 1GB RP2: 2GB Card Infrastructure BITS (input & output)

RP

CPU

Crypto

FECP

ESP ブロック図

RPs RPs ESP RPs _SIPs E-RP* PCI* E-CSR

QFP

TCAM Resource DRAM Packet Buffer DRAM Part Len / BW SRAM SA table DRAM Dispatcher Packet Buffer DDRAM Boot Flash (OBFL,…) JTAG Ctrl EEPROM Temp Sensor Reset / Pwr Ctrl

Packet Processor Engine

…

PPE1 PPE2 PPE3 PPE4 PPE5

PPE6 PPE7 PPE8 PPE40

BQS Reset / Pwr Ctrl Interconnect SPI Mux ESP FECP QFP Crypto Assist. intercon. PP E BQ S Interconnect

Forwarding Engine Control Processor

ESP用の linux プロセスを動作 ESPの管理、PPE, BQS, Crypto のプログラミング

BQS(Buffering Queuing & Scheduling)

QoS のスケジューリングを行う (shaping, LLQ,…)

PPE(Packet Processing Engine)

パケット転送処理を行う GE, 1Gbps I2_C SPA Control SPA Bus ESI, 11.5 Gbps SPA-SPI, 11.2 Gbps Hypertransport, 10Gbps Other

SIP ブロック図

RPs GE, 1GbpsI2_C SPA Control SPA Bus ESI, 11.5 Gbps SPA-SPI, 11.2Gbps Hypertransport, 10Gbps Other 4 SPAs 4 SPAs

ESPs

4 SPAs C2W EV-FC EV-RP In ref clocks Network clocks 4 SPAs 4 SPAs RPs RPs SPA Agg. SPA Aggregation ASIC Ingress Scheduler Egress Buffer Status Ingress Classifier Egress buffers (per port) Network clock distribution IOCP … Ingress buffers (per port) … Interconnect DDRAM Boot Flash (OBFL,…) JTAG Ctrl EEPROM Temp Sensor Reset / Pwr Ctrl RPs Reset / Pwr Ctrl SIP SPA SPA IOCP SPA Aggreg. intercon. IO Control Processor SPA、SIP の管理 SIP用 linuxを動作 SPA Aggregation パケットの受信、送信、 ESPへの転送 Ingress Classifier ip prec, dscp により high/low queue に振り分け

ASR1000 - ボックス型

ESP FECP QFP Crypto Assist. interconn. PP E BQ S FECP QFP Crypto Assist. interconn. RP CPU GE switch SIP SPA SPA IOCP SPA Aggreg. interconn. Midplane interconn. ESP QFP Crypto Assist. RP CPU SIP SPA SPA SPA Aggreg.

• RP以外のCPUを削除

• ミッドプレーンの削除

ASR1000ソフトウェア構造

• IOS-XE を使用 : linux + IOSd（IOSデーモン）

• IOSd は linux kernel 上で linux のプロセスの１つとして動作している。

• IOSd を補助する linux プロセスを実装している

• IOS-XE の主要な linux プロセスは ooo manager の名前が多い

• chassis manager

• forwarding manager

• virtualization manager

ASR1000ソフトウェア構造

ESP

RP

IOSd

active

Platform Adaptation Layer (PAL) Forwarding manager

SIP

IOSd

standby

Chassis manager Linux Kernel Forwarding manager Chassis manager Linux Kernel QFP client / driver QFP ucode Linux Kernel Chassis manager

SPA driver_{SPA driver} SPA driver • 従来の IOS と同じように動作 • 各種設定に応じたデータを生成 • ルーティングテーブルの作成、管理(RIB, FIB…) • 各カードの初期化 • OIR の検知、管理 • システムの状態管理 • ESPの冗長構成の管理 • FIB(コピー) のメンテナンス • FIBの状態をactive/standby ESP に通知 • QFPのプログラミング • 統計情報の収集、及び、RPへの通知 • RPのForwarding mgr と通信 • FIB (コピー)のメンテナンス • QFP client/driver と通信 • SPAのドライバ、SPA毎に独立 • いずれかのSPAで発生した問 題や、ドライバの upgrade 等 はその他の SPA の動作には 影響しない Control messaging

•

ASR1000構成要素の他の呼び方

•

CC = SIP

•

FP = ESP

•

CPP = QFP

•

manager は

manと省略される

•

chassis manager -> cman

•

forwarding manager -> fman

•

それぞれのカード上で動作する同名プロセスは

man-

と表示

•

例：ESP上の forwarding manager = fman-fp

•

例 : RP 上の chassis manager = cman-rp

ESP

SIP

データパケット転送の概要

SPA

SPA agg.

Interconn

Interconn

QFP

ESI SPI4.2 SPI4.2 SPI4.2

• SIP-> ESP -> SIP と

移動

• それぞれの ASIC で

カウンタが確認できる

g

Interconnect

. Ingress classifier Ingress Scheduler Egress Buffer Status ESI, 10/40Gbps SPA-SPI, 11.2Gbps Hypertransport, 10Gbps Other SPAs … Ingress Buffers (per port) … Egress Buffers (per port)

ESPs

パケットフロー

– データ/SIP/ingress

1.

SPA で受信したパケットを SIP に送信

2.

SPA aggregation ASIC でパケットをhigh/lowに分類

(

IP prec/DSCP, IPv6 TC, MPLS EXP, CoS, コンフィグ可

)

3.

バッファにパケットを格納

• バッファを設定に応じ複数 queue に分割(SIP10/40で最大 64/96 queue) • queueの分割は high/low の設定にも依存 4.

どのパケットをESPに送信するかスケジューリング

5.

Interconnect がESPにパケットを送信

ESPはSIPに対して backpressure を掛けられる (high/low それぞれ個別)

SPA

aggregation

ASIC

Data

© 2011 Cisco and/or its affiliates. All rights reserved. Cisco Public

TECOPT-2401 ₃₄ flow control flow control 1 2 3 4 5 (H/L FIFO queue)

パケットフロー

_{– データ/ESP}

1. QFP上のパケットバッファに格納

2. dispatcherが使用するPPEを割当.

3. PPE がFIA(後述)に沿って転送処理を実施

Input feature 処理

NetFlow, MQC/NBAR Classify, FW, RPF, Mark/Police, NAT, WCCP など.

forwarding先の決定

Ipv4 FIB, Load Balance, MPLS, MPLSoGRE, Multicast など.

Output features 処理

NetFlow, FW, NAT, Crypto, MQC/NBAR Classify, Police/Mark など.

4. BQSでqueueing処理を実施、

5. パケットを送信先(SIP/RP)、priority, MQCの設定な

どによりスケジューリング、送信

出力先の SIP は ESP に対して backpressure を掛けることができ る。

Interconnect

Pkt Buffer

DRAM _{BW SRAM}Part Len/ Resource DRAM

SIP

TCAM4 Processor pool PPE0 PPE0 PPE0 PPE1 PPE0 PPE0 PPE0 PPE6 PPE0 PPE0 PPE0 PPE2 PPE0 PPE0 PPE0 PPE5 PPE0 PPE0 PPE0 PPE3

…

_PPE0PPE0 PPE0 PPE40 PPE0 PPE0 PPE0 PPE4

Buffer, queue, schedule (BQS)

Quantum Flow

Processor

Buffer, queue, schedule (BQS)

Buffer, queue, schedule (BQS)

Dispatcher/ Pkt Buffer

Data

ESI, 10/40Gbps SPA-SPI, 11.2Gbps Hypertransport, 10Gbps Other

ASR System BW

(Depends on ESP) 1 2 4 5 3 flow control

g

Interconnect

. Ingress classifier Ingress Scheduler Egress Buffer Status ESI, 10/40Gbps SPA-SPI, 11.2Gbps Hypertransport, 10Gbps Other SPAs … Ingress Buffers (per port) … Egress Buffers (per port)

ESPs

SPA Agg.

SPA

Aggregation

ASIC

パケットフロー

_{– データ/SIP/egress}

1. Interconnect を通してパケットを受信

2. SPA Aggregation ASIC で受信したパケットをバッファに格納

• バッファを設定に応じ複数 queue に分割(SIP10/40で最大64/96 queue)

• queueの分割は high/low の設定にも依存

3. SPA Aggregation ASIC は適切な queue を選択し、格納されて いるパケットをSPAに送る(high queueはlow queueに優先)

SPA は SIP 対して backpressure を掛けることができる。

Data

flow control 1 2 3 (H/L FIFO queue)

FIA(Feature Invocation Array)

•

input/output インターフェイスに設定された feature を順番に処理

•

PPEで実行

L2/L3 Classify

IPv4 Validation

SSLVPN ERSPAN MLP IP Hdr. Compress. VASI LI LISP FPM ACL BGP Policy Acct. ISG QPPB IPSec uRPF NAT PBR SBC WCCP ISG Marking Policing Accounting TCP MSS Adjust Netflow LI BDI IP Tunnels NAT APS WCCP Classify SSLVPN Firewall IPSec ACL GEC FPM MLP IPHC Queuing

Forwarding

• IP Unicast • Loadbalancing • IP Multicast • MPLS Imposit. • MPLS Dispos. • MPLS Switch. • FRR • AToM Dispos. • MPLSoGRE

IPv6

IPv4

MPLS

XConnect

L2 Switch

ESP

SIP

Puntパケット転送の概要

SPA

SPA agg.

Interconn

Interconn

QFP

ESI SPI4.2 SPI4.2 SPI4.2

SIP-> ESP -> RP と移動

RP

Interconn

RPCP

HT

Puntの逆(RPから出力されるパケット)

||

Inject

ESI, 10/40Gbps SPA-SPI, 11.2Gbps Hypertransport, 10Gbps Other GE, 1Gbps I2_C SPA Control SPA Bus IPC Messages

コントロールパケット

•

OSPF LSA の場合

1. OSPF LSA を受信、 2. ESP に移動し PPE での転送処理を開始

3. PPE が転送処理の過程で OSPF LSAであると判断

4. PPEが内部転送用ヘッダをパケットに付与しRPへ転送 5. PPEからBQSへパケットが移動 6. BQS が パケットを RP へ転送するようにスケジュール 7. RP がパケットを受信 8. IOSd プロセスでパケットを処理、SPF を実施 9. IOSで更新したRIB/FIBの情報をFMAN-RPに送信 10.FMAN-RP が更新されたFIBをFMAN-FPに送信 11.FMAN-FPが更新された FIB を QFP にプログラミング SIP SPA SPA IOCP SPA Agg. … ESP FECP Interconn. QFP subsys-tem Crypto assist RP _CPU

IOS

Forwarding Mgr.Chassis Mgr.

Kernel (incl. utilities) Chassis Mgr. Forwarding Mgr. QFP Client / Driver Interconn. Chassis Mgr. SP A driv er SP A driv er SP A driv er SPA driver Interconn. QFP code

IOS

Kernel (incl. utilities)

Kernel (incl. utilities) Kernel (incl. utilities)

Kernel (incl. utilities)

Interconn.

LSA

LSMPI について

QFP

IOS-XE

Linux

IOSd

_LSMPI IOMEM packet packet Punt/Inject IOSd

•

LSMPI(Linux Shared Memory Punt

Interface)

•

IOS は linux のメモリ領域にアクセス不可

•

IOS のメモリ領域に改めてパケットコピーは無駄

•

IOSがlinuxとパケットを共有するためのインターフェイスを

GibabitEthernet 0(MGMT) interfaceについて

ASR1000 シリーズルータでは管理用のポートとして Gi0 が用意されています。

Default で vrf Mgmt-intf に所属し、vrf を変更することは出来ません。

また、RP の CPU に直接接続されているため、ESP や SIP に障害が起きたとしても、

Gi0 の通信が出来なくなることはありません。

Power Supply に関する注意

モジュール型の ASR1000 シリーズルータでは Power Supply(PS) は全て挿入された状態で

使用する必要があります。これは PS と FAN が一体になっているため、PS を抜いてしまうと

冷却機能を提供出来なくなるためです。

PS を抜くと以下のメッセージが出力され 5 分後にシステムがシャットダウンされます。

そのため、

PS の交換は 5 分以内に完了させてください。

PS は挿入されていれば良いので、全ての PS へ電源を供給している必要はありません。

投票質問2

弊社の IOS or IOX-XEルータで使用する

機会の多いルータは何でしょうか?

1.

Cisco 800 シリーズルータ

2.

ISR G1(Cisco 1800, 2800, 3800)

3.

ISR G2(Cisco 1900, 2900, 3900)

4.

ISR4400, ISR4300

5.

ASR1000 シリーズルータ

6.

その他

Troubleshooting : High CPU : 取得ログ

IOS-XE Router : CPU 使用率の高騰時に取得するログ

https://supportforums.cisco.com/ja/document/12752901

ASR1000 で High CPU が発生した場合は以下の Link のログを

事象の発生の前後、事象の発生中に複数回ご取得ください。

•

Step 1 : 問題の発生している Line Card の確認

show platform software status control-processor brief

•

Step 2 : Line Card が RP の場合は IOSd(IOS) の問題なのか、その他の

Linux process の問題なのか確認

show platform software process slot <slot> monitor cycles 1

•

Step 3 : IOSdの問題の場合 : 通常の IOS と同様の Troubleshooting を行い

ます

•

Step 4 : IOSd以外のLinux process の問題の場合 : Linux process の

Troubleshooting を行う

Troubleshooting : High CPU

Step 1 : 問題の発生している Line Card の確認

Router#show platform software status control-processor brief Load Average

Slot Status 1-Min 5-Min 15-Min RP0 Healthy 1.70 1.64 0.83 ESP0 Healthy 0.46 0.82 0.40 SIP0 Healthy 0.38 0.29 0.12 Memory (kB)

Slot Status Total Used (Pct) Free (Pct) Committed (Pct) RP0 Healthy 3874976 1698568 (44%) 2176408 (56%) 2555804 (66%) ESP0 Healthy 3877056 580736 (15%) 3296320 (85%) 449304 (12%) SIP0 Healthy 449776 368516 (82%) 81260 (18%) 418064 (93%) CPU Utilization

Slot CPU User System Nice Idle IRQ SIRQ IOwait RP0 0 98.40 1.39 0.00 0.09 0.00 0.09 0.00 ESP0 0 0.29 0.49 0.00 99.20 0.00 0.00 0.00 SIP0 0 0.90 0.60 0.00 98.50 0.00 0.00 0.00

show platform software status control-processor brief で問題の発生している

Line Card を確認します。以下の例では RP0(R0) で問題が発生しています。

Step 2 : IOSd(IOS) の問題なのか、その他の Linux process の問題なのかを確認

Router#show platform software process slot R0 monitor cycles 1 top - 15:17:27 up 8 min, 0 users, load average: 1.99, 1.75, 0.94 Tasks: 130 total, 2 running, 128 sleeping, 0 stopped, 0 zombie

Cpu(s): 50.6%us, 16.6%sy, 0.0%ni, 24.7%id, 7.2%wa, 0.1%hi, 0.8%si, 0.0%st Mem: 3874976k total, 1699952k used, 2175024k free, 108800k buffers

Swap: 0k total, 0k used, 0k free, 1006808k cached PID USER PR NI VIRT RES SHR S %CPU %MEM TIME+ COMMAND

25370 root 20 0 1905m 480m 126m R 99.9 12.7 9:11.26 linux_iosd-imag 2647 root 20 0 2648 1140 872 R 1.8 0.0 0:00.01 top 1 root 20 0 2156 640 552 S 0.0 0.0 0:01.24 init 2 root 15 -5 0 0 0 S 0.0 0.0 0:00.00 kthreadd 3 root 15 -5 0 0 0 S 0.0 0.0 0:00.16 ksoftirqd/0 4 root RT -5 0 0 0 S 0.0 0.0 0:00.00 watchdog/0 5 root 15 -5 0 0 0 S 0.0 0.0 0:00.04 events/0 6 root 15 -5 0 0 0 S 0.0 0.0 0:00.02 khelper 9 root 15 -5 0 0 0 S 0.0 0.0 0:00.00 netns

show platform software process slot <slot> monitor cycles 1 で各 Linux Process

の CPU 使用率 を確認します。

linux_iosd-imag の CPU 使用率が上昇している場合は IOSd(IOS) の問題です。

逆に linux_iosd-imag の CPU 使用率が上昇していなければ、

Step 3 : IOSdの問題の場合

Step 2 で linux_iosd-imag の CPU 使用率が上昇している場合は、

IOSd(IOS) の問題ですので通常の IOS ルーターと同様の Troubleshooting

を行ってください。

以下の手順で Troubleshooting を行ってください。

Step 3-1 : CPU使用率が上昇しているプロセスを確認

Step 3-2 : 該当のプロセスの詳細を確認

Step 3-1 : CPU使用率が上昇しているプロセスを確認

Router#show processes cpu sorted

CPU utilization for five seconds: 98%/0%; one minute: 95%; five minutes: 93% PID Runtime(ms) Invoked uSecs 5Sec 1Min 5Min TTY Process

322 1098755 23146 47470 98.21% 95.44% 93.44% 0 Test-proc-1:1s:5 1 3 16 187 0.00% 0.00% 0.00% 0 Chunk Manager 2 6 257 23 0.00% 0.00% 0.00% 0 Load Meter 3 136 531 256 0.00% 0.00% 0.00% 0 Exec 5 1 5 200 0.00% 0.00% 0.00% 0 IPC ISSU Dispatc 4 1 21 47 0.00% 0.00% 0.00% 0 Retransmission o 6 16 12 1333 0.00% 0.00% 0.00% 0 RF Slave Main Th 8 1912 186 10279 0.00% 0.14% 0.12% 0 Check heaps 9 5 24 208 0.00% 0.00% 0.00% 0 Pool Manager 10 0 1 0 0.00% 0.00% 0.00% 0 DiscardQ Backgro

show processes cpu sorted を取得し、CPU が上昇しているプロセス名と PID を

確認します。

この CPU の高騰は test process create コマンドで擬似的に作成したものです。

Test-proc-1:1s:5 は通常は存在しないプロセスです。

Step 3-2 : 該当のプロセスの詳細を確認

Router#show stacks 322

Process 322: Test-proc-1:1s:5000w:1n

Stack segment 0x45058000 - 0x45059770

FP: 0x45059708, RA: 0x143E878C

FP: 0x45059728, RA: 0x11A65490

FP: 0x45059768, RA: 0x119D8714

FP: 0x0, RA: 0x119D8690

show stacks <PID> を複数回取得し、該当のプロセスの stack を取得してください。

この情報を decode することで、そのプロセスで行われていた処理を確認出来ます。

残念ながら社外の方が decode することは基本的に出来ません。

また、プロセスに関連したコマンドを取得してください。

例えば、CPU 使用率が上昇しているプロセスが BGP であれば

BGP 関連のコマンドを取得してください。

Step 4 : IOSd以外のLinux process の問題の場合

Router#show platform software process list RP active

Name

Pid

PPid

Group Id

Status

Priority

Size

---init

1

0

1

S

20

2207744

kthreadd

2

0

0

S

15

0

ksoftirqd/0

3

2

0

S

15

0

watchdog/0

4

2

0

S

4294967196

0

events/0

5

2

0

S

15

0

khelper

6

2

0

S

15

0

netns

9

2

0

S

15

0

snip

---show platform software process slot R0 monitor cycles 1 で

IOSd 以外の Linux process の問題と確認出来た場合は Linux Process の調査を行います。

以下のコマンドを取得して詳細を確認してください。

show platform software process list <slot>

Router#show platform software process list RP active process-id 1

Name: init

Process id : 1

Parent process id: 0

Group id : 1

Status : S

Session id : 1

User time : 4

Kernel time : 122

Priority : 20

Virtual bytes : 2207744

Resident pages : 160

Resident limit : 4294967295

Minor page faults: 957

Major page faults: 0

show platform software process list <slot> active process-id <Linux PID> で

Linux process の詳細を確認します。<Linux PID> には

show platform software process slot <slot> monitor cycles 1 で確認した

プロセスの PID を入力してください。

IOS(IOSd) の問題か、その他の Linux プロセスの問題かの判別

IOS(IOSd) の問題であれば ASR1000 シリーズルータでも Troubleshooting 方法は通常の IOS ルータと基本的

には同様です。IOS ルータのメモリ関連の問題の Troubleshooting 方法は以下の Webcast で解説を行っている

ので参照頂ければと思います。

2013/11/5 Webcast 「Cisco IOS Router のMemory/Buffer に関するTroubleshooting 方法の紹介」

資料

録画

IOSd の問題であれば以下も参考になると思います。

IOS Router : Memory 関連の問題が発生した際に取得するログ

IOSd の問題か、その他の Linux のプロセスの問題かは「show platform software process slot RP active

monitor cycles 1」を取得し、

linux_iosd-imag

で問題が起きているかどうか確認してください。

linux_iosd-imag

のプロセスに問題があれば、IOS の問題です。通常の IOS と同様の Troubleshooting を行って

ください。

Router#show platform software process slot RP active monitor cycles 1

snip

---PID USER PR NI

VIRT

RES

SHR S %CPU

%MEM

TIME+ COMMAND

25523 root

20

0 1905m 490m 126m R

1.7 13.0

11:38.84

linux_iosd-imag

---Troubleshooting : Memory 関連 : コマンドリスト

ASR1000 の Memory 関連の問題の Troubleshooting は

ASR1000 シリーズルータ : Memory 関連の問題が発生した際に取得するログ

https://supportforums.cisco.com/ja/document/12752891

Troubleshooting : Memory 関連 : コマンドの解説

「show platform software status control-processor brief」を使用して、ASR1000 シリーズルータの各Cardのメモリの状態を確認してく ださい。

Status、Free、Committed の値が異常でないかご確認ください。

以下に「show platform software status control-processor brief」の出力の一部を示します。 ＊メモリに関連のある部分のみ抜粋しています。

Router#show platform software status control-processor brief snip

---Memory (kB)

Slot Status Total Used (Pct) Free (Pct) Committed (Pct) RP0 Healthy 3874984 1616412 (42%) 2258572 (58%) 2527016 (65%) ESP0 Healthy 3877064 625740 (16%) 3251324 (84%) 2990496 (77%) SIP0 Healthy 449784 306268 (68%) 143516 (32%) 311208 (69%) snip

---show platform software status control-processor brief

各カードの Memory 使用率等を出力します。 ・Slot : Slot を表示します。

・Status : Status を表示。Healthy, Warning, Critical がある。 ・Total : ラインカードの合計メモリ

・Used (Pct) : Used：使用済みメモリ ・Free (Pct) : 使用可能なメモリ

show platform software process slot <slot> monitor cycles 1

「show platform software status control-processor brief」の Status、Free、Committed のいづれかの値に異常

があれば、「show platform software process slot <slot> monitor cycles 1」を取得して物理メモリや仮想メモリを

多く保持しているプロセスを確認してください。

「show platform software process slot <slot> monitor cycles 1」は linux の top コマンドのスナップショットを取得

し出力します。

以下に出力の一部を示します。

Router#show platform software process slot R0 monitor cycles 1

top - 22:48:24 up 8 days, 7:02, 0 users, load average: 0.08, 0.07, 0.01 Tasks: 128 total, 4 running, 124 sleeping, 0 stopped, 0 zombie

Cpu(s): 4.2%us, 2.5%sy, 0.0%ni, 93.3%id, 0.0%wa, 0.0%hi, 0.0%si, 0.0%st Mem: 3874984k total, 1631024k used, 2243960k free, 122276k buffers

Swap: 0k total, 0k used, 0k free, 979512k cached

PID USER PR NI VIRT RES SHR S %CPU %MEM TIME+ COMMAND

23447 root 20 0 2648 1144 876 R 1.9 0.0 0:00.01 top 1 root 20 0 2156 640 552 S 0.0 0.0 0:02.49 init 2 root 15 -5 0 0 0 S 0.0 0.0 0:00.00 kthreadd 3 root 15 -5 0 0 0 S 0.0 0.0 0:01.44 ksoftirqd/0 4 root RT -5 0 0 0 S 0.0 0.0 0:00.00 watchdog/0 5 root 15 -5 0 0 0 S 0.0 0.0 0:12.04 events/0 6 root 15 -5 0 0 0 S 0.0 0.0 0:00.03 khelper snip

---monitor platform software process <slot>

「monitor platform software process <slot>」を実行すると linux の top コマンドを実行します。 このコマンドを実行するには以下の設定が必要です。

こちらのコマンドは特権モードから抜けると無効になるので、設定を元に戻す操作などは特に必要はありません。また、このコマンドを 実行してもその他の機能への影響はありません。コマンドを実行するために必要なコマンドとお考えください。

「monitor platform software process <slot>」の出力は「show platform software process slot <slot> active monitor cycles 1」と同 様です。「monitor platform software process <slot>」は linux の top コマンドをそのまま実行しているので画面がロックされることと、 表示が5秒おきに切り替わります。そのため「show platform software process slot rp active monitor cycles 1」に比べるとログ取得 の観点から言えば使い勝手が悪いです。ですので、基本的には「show platform software process slot rp active monitor cycles 1」 をご使用ください。

「monitor platform software process <slot>」では Shift + p でCPU使用率順、Shift + m でメモリ使用率順にソートをすることが可能 です。また、「Shift + o」で次のページにあるような画面が表示されます。ソートしたい項目をアルファベットで指定し、「Enter」で決定す ると指定した項目でソートされます。

基本的には「show platform software process slot <slot> active monitor cycles 1」をご使用頂き、

特定の項目でソートを行いたいようなときには「monitor platform software process <slot>」を使用すれば良いと思います。 top コマンドのモードから抜けるには q を押してください。

nt Sort Field: K for window 1:Def

Select sort field via field letter, type any other key to return

a: PID = Process Id v: nDRT = Dirty Pages count b: PPID = Parent Process Pid w: S = Process Status c: RUSER = Real user name x: COMMAND = Command name/line d: UID = User Id y: WCHAN = Sleeping in Function e: USER = User Name z: Flags = Task Flags <sched.h> f: GROUP = Group Name

g: TTY = Controlling Tty Note1:

h: PR = Priority If a selected sort field can't be i: NI = Nice value shown due to screen width or your j: P = Last used cpu (SMP) field order, the '<' and '>' keys * K: %CPU = CPU usage will be unavailable until a field l: TIME = CPU Time within viewable range is chosen. m: TIME+ = CPU Time, hundredths

n: %MEM = Memory usage (RES) Note2:

o: VIRT = Virtual Image (kb) Field sorting uses internal values, p: SWAP = Swapped size (kb) not those in column display. Thus, q: RES = Resident size (kb) the TTY & WCHAN fields will violate r: CODE = Code size (kb) strict ASCII collating sequence. s: DATA = Data+Stack size (kb) (shame on you if WCHAN is chosen) t: SHR = Shared Mem size (kb)

u: nFLT = Page Fault count

monitor platform software process <slot>

shift + o

show platform software process list <slot>

show platform software process list <slot> を使用して仮想メモリサイズの大きなプロセスがないか確認してくだ

さい。

以下に show platform software process list <slot> の出力例を示します。

Router#

show platform software process list RP active

Name

Pid

PPid

Group Id

Status

Priority

Size

---init

1

0

1

S

20

2207744

kthreadd

2

0

0

S

15

0

ksoftirqd/0

3

2

0

S

15

0

watchdog/0

4

2

0

S

4294967196

0

events/0

5

2

0

S

15

0

khelper

6

2

0

S

15

0

netns

9

2

0

S

15

0

snip

---show platform software process list <slot> process-id <Linux PID>

以下のコマンドなどで異常なプロセスが確認出来た場合はこのコマンドで詳細を確認してください。

-show platform software process slot <slot> active monitor cycles 1

-monitor platform software process <slot>

-show platform software process list <slot>

以下に出力例を示します。

Router#

show platform software process list RP active process-id 1

Name: init

Process id

: 1

Parent process id: 0

Group id

: 1

Status

: S

Session id

: 1

User time

: 5

Kernel time

: 126

Priority

: 20

Virtual bytes

: 2207744

Resident pages

: 160

Resident limit

: 4294967295

Minor page faults: 964

show platform software memory messaging

show platform software memory messaging を使用して memory leak が発生していないか確認します。

diff の値が3桁(100)以上のものがあればメモリリークが発生している可能性が高いです。

以下に実際にメモリリークが発生している例を示します。

Router#

show platform software memory messaging chassis-manager 0

| exclude diff:0

snip

---[cm_common] enum cm_slot/36aacf147948da6f0b98b58fb75c171b/0 created:10079 destroyed:0 diff:10079

snip

---[cm_oir] message cm_heartbeat/701714127c8fe4259d164ce22ed416bd/0 created:10079 destroyed:0 diff:10079

created : メモリを割り当てた回数

destroyed : メモリを開放した回数

diff : created と destroyed の差分

上記出力より 10079回 memory を割り当てていますが destroyed の値が 0 になっており、割り当

てられたメモリを一度も開放していません。メモリリークが発生しています。

•

CSCto03123

cman-fp/cman-cc slow memory leak is seen

•

CSCti51325

ESP Committed memory calculation/threshold calculations

appear spurious

•

CSCtj47922

RLS33: %PLATFORM-4-ELEMENT_WARNING: R1/0: smand:

SIP/0: Committed Memor

•

CSCto82630

CC/SPA package modification to reduce SIP 10 memory

usage

Memory に関する既知の問題

Memory に関する既知の問題の中で問い合わせの多いものを紹介します。

CSCto03123

cman-fp/cman-cc slow memory leak is seen

この問題は RP と ESP 間、および、RP と SIP 間の死活監視のための heartbeat に使用されたメモリを開放しないことによって発 生します。

heartbeat は10秒間隔でおこなわれていて、以下のコマンドで確認可能です。 該当 version であれば 10秒おきに diff の値が増加していることが確認可能です。

Router#show platform software memory messaging chassis-manager 0 | i cm_slot|cm_heartbeat

[cm_common] enum cm_slot/36aacf147948da6f0b98b58fb75c171b/0 created:10079 destroyed:0 diff:10079 [cm_oir] message cm_heartbeat/701714127c8fe4259d164ce22ed416bd/0 created:10079 destroyed:0 diff:10079 Router#show platform software memory messaging chassis-manager F0 | i cm_slot|cm_heartbeat

[cm_common] enum cm_slot/36aacf147948da6f0b98b58fb75c171b/0 created:10110 destroyed:20 diff:10090 [cm_oir] message cm_heartbeat/701714127c8fe4259d164ce22ed416bd/0 created:10090 destroyed:0 diff:10090

heartbeat は10秒おきに常に行われているので、該当version であればこの問題は必ず発生します。

1日にリークするメモリ量は 130 バイト程度ですので、そのときの空きメモリ量にもよりますが、この問題でメモリが枯渇するまでには システム稼動から数年程度の時間がかかります。

そのため、システム稼動直後に大きな問題が発生するわけではありませんがシステム稼動から数年後にメモリが枯渇することになり ます。この問題の修正versionは以下の version および、それ以降の version となります。

・03.04.00 / 15.1(3)S ・03.03.01 / 15.1(2)S1 ・03.02.02 / 15.1(1)S2 ・03.01.04 / 15.0(1)S4

CSCti51325

ESP Committed memory calculation/threshold calculations appear spurious

この問題に該当していると以下のようなメッセージが出力されます。

%PLATFORM-4-ELEMENT_WARNING: R0/0: smand: ESP/0: Committed Memory value 314% exceeds warning level 300%

ESP でこのメッセージが出力される場合はまずこの不具合の該当 version か確認してください。

こちらは一部のプロセスによるメモリの要求方法に問題があり、committed memory の計算が正しくない状態になることがありますが ルータの機能には影響ありません。

該当 version を使用していて ESP の Committed の値が 300% を超えていていればこの不具合に該当していると考えられます。 以下にこの不具合の発生時の「show platform software status control-processor brief 」の出力例を示します。

Router#show platform software status control-processor brief snip

---Memory (kB)

Slot Status Total Used (Pct) Free (Pct) Committed (Pct) snip

---ESP0 Warning 969568 725992 (75%) 243576 (25%) 3032528 (313%) snip

---この問題の修正versionは以下の version および、それ以降の version となります。 ・03.03.00 / 15.1(2)S

・03.02.01 / 15.1(1)S1 ・03.01.03 / 15.0(1)S3

CSCtj47922

RLS33: %PLATFORM-4-ELEMENT_WARNING: R1/0: smand: SIP/0: Committed Memor

この問題に該当していると以下のようなメッセージが出力されます。

%PLATFORM-4-ELEMENT_WARNING: R1/0: smand: SIP/0: Committed Memory value 100% exceeds warning level 95%

この問題は SIP を使用した際に必要以上にメモリを要求してしまうことが原因です。

メモリを要求するだけで実際にメモリを使用する訳ではないので、表示上のみの問題となります。

SIP で上記のメッセージが出力される場合は CSCtj47922 か CSCto82630 に該当している可能性が非常に高いです。 まずはこれらの不具合の該当 version か確認してください。

Router#show platform software status control-processor brief snip

---Memory (kB)

Slot Status Total Used (Pct) Free (Pct) Committed (Pct) snip

---SIP0 Warning 449776 414988 (92%) 34788 ( 8%) 449920 (100%) snip

---この問題の修正versionは以下の version および、それ以降の version となります。 ・03.02.00 / 15.1(01)S

CSCto82630

CC/SPA package modification to reduce SIP 10 memory usage

この問題に該当していると以下のようなメッセージが出力されます。

%PLATFORM-4-ELEMENT_WARNING: R1/0: smand: SIP/0: Committed Memory value 100% exceeds warning level 95%

この問題は SIP を使用した際に必要以上にメモリを要求してしまうことが原因です。

メモリを要求するだけで実際にメモリを使用する訳ではないので、表示上のみの問題となります。

SIP で上記のメッセージが出力される場合は CSCtj47922 か CSCto82630 に該当している可能性が非常に高いです。 まずはこれらの不具合の該当 version か確認してください。

CSCtj47922 と CSCto82630 については見え方が同様でコマンド等でどちらに該当しているか明確に区別する方法がありません。

Router#show platform software status control-processor brief snip

---Memory (kB)

Slot Status Total Used (Pct) Free (Pct) Committed (Pct) snip

---SIP0 Warning 449776 414988 (92%) 34788 ( 8%) 449920 (100%) snip

---この問題の修正versionは以下の version および、それ以降の version となります。 ・03.04.00 / 15.1(3)S

Troubleshooting : Packet Drop

ASR1000 シリーズルータでは以下のようにコンポーネントがわかれているので

Packet Drop の Troubleshooting を行うためには各ASIC 等でコマンドを取得する

必要があります。

コマンドが多いですが以下の Link のコマンドをご取得頂ければと思います。

ASR1000 シリーズルータ : Packet Drop 発生時に取得するログ

https://supportforums.cisco.com/ja/document/12752896

① SPA:

show interfaces <interface-name>

show interfaces <interface-name> accounting show interfaces <interface-name> stats

show interfaces <interface-name> switching ＊隠しコマンド ipc-console <slot num> <subslot num> ←SPAに入るコマンドです。

show hw-module subslot <subslot num> counters ←SPA上で取得 show hw-module subslot <subslot num> drops-all ←SPA上で取得 show hw-module subslot <subslot num> errors ←SPA上で取得 SPA から抜けるには Ctrl+C x 3

② SPA Aggregation ASIC:

<SPA counters on SPA Aggregation ASIC>

show platform hardware port <slot/card/port> plim statistics show platform hardware subslot {slot/card} plim statistics show platform hardware slot {slot} plim statistics

<to/from Interconnect ASIC on SPA Aggregation ASIC> show platform hardware slot {slot} plim status internal ③ SIP Interconnect ASIC:

<from ESP Interconnect ASIC on SIP Interconnect ASIC> show platform hardware slot {slot} serdes statistics show controllers

SPA

SPA agg.

Interconn

Interconn

QFP

ESP

SIP

①

②

③

④

⑤⑥⑦

④ ESP Interconnect ASIC:

show platform hardware slot {F0|F1} serdes status show platform hardware slot {F0|F1} serdes statistics

show platform hardware slot {F0|F1} serdes statistics internal ⑤ ESP QFP IPM(Input Packet Module):

show platform hardware qfp active bqs 0 ipm interface statistics show platform hardware qfp active bqs 0 ipm statistics channel all show platform hardware qfp active bqs 0 ipm mapping

⑥ ESP QFP PPE(Packet Processor Engine):

show platform hardware qfp active statistics drop | exclude _0_

show platform hardware qfp active interface if-name <interface_name> statistics

show platform hardware qfp active infrastructure bqs queue output recycle all

⑦ ESP QFP OPM(Output Packet Module):

show platform hardware qfp active bqs 0 opm statistics channel all show platform hardware qfp active bqs 0 opm mapping

SPA

SPA agg.

Interconn

Interconn

QFP

ESP

SIP

①

②

③

④

⑤⑥⑦

Interconn

Interconn

RPCP

RP

ESP

QFP

⑧

⑨

⑩

⑧ ESP Punt

show platform software punt-policer

show platform hardware qfp active infrastructure punt statistics type {global-drop|inject-drop|punt-drop|per-cause} | exclude _0_

⑨ RP Interconnect ASIC

show platform hardware slot {R0|R1} serdes statistics ⑩ RP LSMPI

show platform software infrastructure lsmpi その他

High Priority Queue or Low Priority Queue

ASR1000#show platform hardware interface GigabitEthernet0/0/0 plim qos input map

Interface GigabitEthernet0/0/0

Low Latency Queue(High Priority):

IP PREC, 6, 7

IPv6 TC, 46

MPLS EXP, 6, 7

以下の値を header に持つパケットは High priority(Low Latency) として扱われる。

IP Precedence 6 or 7

IPv6 Traffic Class 46

MPLS Exp(Experimental) 6 or 7

また、ARP や BFD などのパケットも High priority として扱われる。

例えば OSPF の hello, BGP の keepalive などは IP Precedence 6 なので

High priority として扱われる。

show interfaces <interface-name>

ASR1000#show interfaces GigabitEthernet 0/0/0 GigabitEthernet0/0/0 is up, line protocol is up

Hardware is SPA-8X1GE-V2, address is 503d.e5cf.5f00 (bia 503d.e5cf.5f00) MTU 1500 bytes, BW 1000000 Kbit/sec, DLY 10 usec,

reliability 255/255, txload 1/255, rxload 1/255 Encapsulation ARPA, loopback not set

Keepalive not supported

Full Duplex, 1000Mbps, link type is auto, media type is T output flow-control is on, input flow-control is on ARP type: ARPA, ARP Timeout 04:00:00

Last input 00:00:01, output 00:00:34, output hang never Last clearing of "show interface" counters never

Input queue: 0/375/0/0 (size/max/drops/flushes); Total output drops: 0

Queueing strategy: fifo Output queue: 0/40 (size/max)

5 minute input rate 0 bits/sec, 0 packets/sec 5 minute output rate 0 bits/sec, 0 packets/sec

52570 packets input, 3720420 bytes, 0 no buffer

Received 0 broadcasts (0 IP multicasts)

0 runts, 0 giants, 0 throttles

0 input errors, 0 CRC, 0 frame, 0 overrun, 0 ignored

0 watchdog, 44906 multicast, 0 pause input 127 packets output, 9779 bytes, 0 underruns

0 output errors, 0 collisions, 2 interface resets 0 unknown protocol drops

0 babbles, 0 late collision, 0 deferred 0 lost carrier, 0 no carrier, 0 pause output

Input queue drops : インプット queue が一杯な場合

Input queue flushes : SPD で保護されるパケットが drop した場合上昇

Total output drops : output での drop。基本的に output buffer の不足によって発生

no buffer : 受信パケット用 buffer が不足すると増加

runts :イーサネット環境ではパケット長が64byteに満たないパケット

giants :イーサネット環境ではパケット長が1518byteを超えるパケット

throttles : バッファ不足によって上昇

input errors : CRC, frame, overrun, ignored の合計

CRC : CRC error

frame : 受信フレームが完全でない場合

overrun : 03.09.00.S を含む、それ以降の version で OverSubscription による Drop

ignored : 空きバッファがない場合

underruns :送信時にバッファの処理能力を超える速度でパケットを送信した場合

output errors :パケットを送信する際にエラーが発生した場合

lost carrier :送信中にキャリアが失われた場合

no carrier :送信中にキャリアが検知されない場合

show interfaces <interface-name> accounting

ASR1000#show interfaces GigabitEthernet 0/0/0 accounting

GigabitEthernet0/0/0

Protocol Pkts In Chars In Pkts Out Chars Out

Other 58 5050 3 1212

Spanning Tree 44 2288 0 0

CDP 0 0 3 1212

show interfaces <interface-name> stats

ASR1000#show interfaces GigabitEthernet 0/0/0 stats

GigabitEthernet0/0/0

Switching path Pkts In Chars In Pkts Out Chars Out

Processor 74 4989 3 1212

Route cache 0 0 0 0

Distributed cache 78 5967 3 1212

Total 152 10956 6 2424

show interfaces <interface-name> switching

ASR1000#show interfaces GigabitEthernet 0/0/0 switching GigabitEthernet0/0/0

Protocol DEC MOP

Switching path Pkts In Chars In Pkts Out Chars Out

Process 129 9933 128 9856

Cache misses 0 - -

-Fast 0 0 0 0 Auton/SSE 0 0 0 0 Protocol Spanning Tree

Switching path Pkts In Chars In Pkts Out Chars Out

Process 39059 2031068 0 0

Cache misses 0 - -

-Fast 0 0 0 0 Auton/SSE 0 0 0 0 Protocol CDP

Switching path Pkts In Chars In Pkts Out Chars Out

Process 11 4829 14 5656

Cache misses 0 - -

-Fast 0 0 0 0 Auton/SSE 0 0 0 0 Protocol Other

Switching path Pkts In Chars In Pkts Out Chars Out

Process 3899 694699 0 0

Cache misses 0 - -

-Fast 0 0 0 0 Auton/SSE 45698 3318201 142 15512

ipc-console <slot num> <subslot num>

ASR1000#ipc-console 0 0

Entering CONSOLE for slot 0

Type "^C^C^C" to end this session

Slot-0-0#

SPA にアクセスするためのコマンドです。(隠しコマンド)

SPA から抜けるには Ctrl+c x 3 を実行してください。

show hw-module subslot <subslot num> counters (On SPA)

Slot-0-0#show hw-module subslot 0 counters snip ---port:0 good_octets_received: 4026536 bad_octets_received: 0 good_frames_received: 53854 bad_frames_received: 0 broadcast_frames_received: 0 multicast_frames_received: 46003 good_octets_sent: 19552 good_frames_sent: 152 broadcast_frames_sent: 0 multicast_frames_sent: 0 mac_transfer_error: 0 excessive_collision: 0 unrecog_mac_control_received: 0 fc_sent: 0 good_fc_received: 0 rx_over_flow_events: 0 undersize: 0 fragments: 0 oversize: 0 jabber: 0 mac_rcv_error: 0 bad_crc: 0 collisions: 0 late_collision: 0 rate_limit_dropped: 0 tx_fifo_full_packet_drops : 0 spi4_rx_frames: 763555282 spi4_tx_frames: 157237 snip

---SPA

SPA agg.

Interconn

Interconn

QFP

ESP

SIP

show hw-module subslot <subslot num> drops-all (On SPA)

Slot-0-0#show hw-module subslot 0 drops-all

snip

---Ingress bad Pkt drop counter : 0

Channel 0 Rx EOP error counter : 0

snip

---Egress bad Pkt drop counter : 0

Channel 0 Tx EOP error counter : 0

snip

---SPA

SPA agg.

Interconn

Interconn

QFP

ESP

SIP

show hw-module subslot <subslot num> errors (On SPA)

Slot-0-0#show hw-module subslot 0 errors

snip

---port:0

bad_octets_received: 0

bad_frames_received: 0

mac_transfer_error: 0

excessive_collision: 0

unrecog_mac_control_received: 0

rx_over_flow_events: 0

undersize: 0

fragments: 0

oversize: 0

jabber: 0

mac_rcv_error: 0

bad_crc: 0

collisions: 0

late_collision: 0

rate_limit_dropped: 0

snip

---SPA

SPA agg.

Interconn

Interconn

QFP

ESP

SIP

show platform hardware port <slot/card/port> plim statistics

ASR1000#show platform hardware port 0/0/0 plim statistics

Interface 0/0/0

RX Low Priority

RX Drop Pkts 0 Bytes 0

RX Err Pkts 0 Bytes 0

TX Low Priority

TX Drop Pkts 0 Bytes 0

RX High Priority

RX Drop Pkts 0 Bytes 0

RX Err Pkts 0 Bytes 0

TX High Priority

TX Drop Pkts 0 Bytes 0

SPA Aggregation ASIC が

show platform hardware subslot {slot/card} plim statistics

ASR1000#show platform hardware subslot 0/0 plim statistics

0/0, SPA-8X1GE-V2, Online

RX Pkts 799591881 Bytes 51174712689

TX Pkts 164738 Bytes 11564787

RX IPC Pkts 0 Bytes 0

TX IPC Pkts 0 Bytes 0

SPA Aggregation ASIC が

show platform hardware subslot {slot/card} plim statistics

ASR1000#show platform hardware slot 0 plim status internal FCM Status

XON/XOFF 0xFFFF000F03FFFFFF ECC Status

Data Path Config

MaxBurst1 256, MaxBurst2 128, DataMaxT 32768 Cal Length RX 0x0002, TX 0x0002

Repetitions RX 0x0010, TX 0x0010 Data Path Status

RX in sync, TX in sync

Spi4 Channel 0, Rx Channel Status Starving, Tx Channel Status Starving Spi4 Channel 1, Rx Channel Status Starving, Tx Channel Status Starving RX Pkts 801039276 Bytes 54471504914

TX Pkts 165039 Bytes 12246663 Hypertransport Status

RX Pkts 33211 Bytes 1790992 TX Pkts 33211 Bytes 1594344

SPA Aggregation ASIC が

show platform hardware slot {slot} serdes statistics

ASR1000#show platform hardware slot 0 serdes statistics From Slot F0-Link A

Pkts High: 0 Low: 165377 Bad: 0 Dropped: 0

Bytes High: 0 Low: 12272975 Bad: 0 Dropped: 0 Pkts Looped: 0 Error: 0

Bytes Looped 0

Qstat count: 0 Flow ctrl count: 16542

SIP Interconnect ASIC が

show platform hardware slot {F0|F1} serdes status

ASR1000#show platform hardware slot F0 serdes status Slot R0-Link A

RX link locked

58-bit scrambler, 10 Gbps

0 Overruns, 0 Underruns 0 Reframe, 0 Disparity

0 Out of band, 0 Illegal control codes

Slot 0-Link A RX link locked

58-bit scrambler, 10 Gbps

0 Overruns, 0 Underruns 0 Reframe, 0 Disparity

0 Out of band, 0 Illegal control codes

ESP Interconnect ASIC が

RP から受信したパケット、RP へ送信したパケット、

show platform hardware slot {F0|F1} serdes statistics

ASR1000#show platform hardware slot F0 serdes statistics From Slot R0-Link A

Pkts High: 41802 Low: 166721 Bad: 0 Dropped: 0 Bytes High: 1883811 Low: 15343967 Bad: 0 Dropped: 0 Pkts Looped: 0 Error: 0

Bytes Looped 0

Qstat count: 0 Flow ctrl count: 32015 To Slot R0-Link A

Pkts High: 41699 Low: 809639240 From Slot 0-Link A

Pkts High: 8 Low: 809668406 Bad: 0 Dropped: 0 Bytes High: 512 Low: 55058294669 Bad: 0 Dropped: 0

Pkts Looped: 0 Error: 0 Bytes Looped 0

Qstat count: 3076162 Flow ctrl count: 16686 To Slot 0-Link A

Pkts High: 1 Low: 166834

ESP Interconnect ASIC が

RP から受信したパケット、RP へ送信したパケット、