TomahawkおよびLightspeedカードのパントファブリックデータパス障害のトラブルシューティング
内容
はじめに
このドキュメントでは、Cisco アグリゲーション サービス ルータ（ASR）9000 シリーズの動作中に表示されるパント ファブリック データ パス障害メッセージについて説明します。
背景説明
メッセージは次の形式で表示されます。
- 次に示すように、ルータコンソールにアラームが表示されます。
- これは、これらのメッセージのループバックパスがどこかで破損していることを意味します。
RP/0/RP0/CPU0:Oct 28 12:46:58.459 IST: pfm_node_rp[349]: %PLATFORM-DIAGS-3-PUNT_FABRIC_DATA_PATH_FAILED :
Set|online_diag_rsp[24790]|System Punt/Fabric/data Path Test(0x2000004)|failure threshold is 3,
(slot, NP) failed: (0/9/CPU0, 1) (0/9/CPU0, 3)
前述の0/9/CPU0上のNP1とNP3で問題が発生します。
このドキュメントは、エラーメッセージと、問題が発生した場合に取るべき措置について理解したいと考えている人を対象としています。
Tomahawkベースのラインカード(LC)は、サービスエッジ最適化（拡張QoS）LCまたはパケット転送最適化（基本QoS）LCとして使用できます。
- SE - サービス エッジ最適化
- TR:Packet Transport Optimized（パケット転送最適化）
4ポートおよび8ポートの100ギガビットイーサネットLCには、LAN/WAN/OTN Unified PHY CPAKポートまたはLAN PHY専用CPAKポートのいずれかをサポートする2つのタイプがあります。
次のLCはTomahawkベースです。
- A9K-8X100G-LB-SE
- A9K-8X100G-LB-TR
- A9K-8X100GE-SE
- A9K-8X100GE-TR
- A9K-4X100GE-SE
- A9K-4X100GE-TR
- A9K-400G-DWDM-TR
- A9K-MOD400-SE
- A9K-MOD400-TR
- A9K-MOD200-SE
- A9K-MOD200-TR
- A9K-24X10GE-1G-SE
- A9K-24X10GE-1G-TR
- A9K-48X10GE-1G-SE
- A9K-48X10GE-1G-TR
- A99-12X100GE
- A99-8X100GE-SE
- A99-8X100GE-TR
注：A99-Xで始まるTomahawkベースのLC部品番号は、Cisco ASR 9904、ASR 9906、ASR 9910、ASR 9912、およびASR 9922シャーシと互換性があります。それらは、Cisco ASR 9006 および ASR 9010 ルータとは互換性がありません。
LightspeedベースのLCは、サービスエッジ最適化（拡張QoS）LCまたはパケット転送最適化（基本QoS）LCとして使用できます。TomahawkベースのLCとは異なり、-SEと – TRの両方のタイプのLCが使用できるわけではありません。
- SE - サービス エッジ最適化
- TR:Packet Transport Optimized（パケット転送最適化）
次のLCはLightspeedベースです。
- A9K-16X100GE-TR
- A99-16X100GE-X-SE
- A99-32X100GE-TR
Lightspeed-Plus(LSP)ベースのLCは、サービスエッジ最適化（拡張QoS）LCまたはパケット転送最適化（基本QoS）LCとして使用できます。
次のLCはLSPベースです。
- A9K-4HG-FLEX-TR
- A9K-4HG-FLEX-SE
- A99-4HG-FLEX-TR
- A99-4HG-FLEX-SE
- A9K-8HG-FLEX-TR
- A9K-8HG-FLEX-SE
- A9K-20HG-FLEX-TR
- A9K-20HG-FLEX-SE
- A99-32X100GE-X-TR
- A99-32X100GE-X-SE
- A99-10X400GE-X-TR
- A99-10X400GE-X-SE
パント ファブリック診断パケット パス
- ルートプロセッサカード(RP)のCPUで実行される診断アプリケーションは、各ネットワークプロセッサ(NP)宛ての診断パケットを定期的に注入します。
- 診断パケットはNP内でループバックされ、パケットを発信したルートプロセッサカードのCPUに向けて再注入されます。
- ルート プロセッサ カード上の診断アプリケーションによる、NP ごとに固有のパケットを使用した全 NP のこの定期的なヘルス チェックは、ルータの動作中にデータ パス上のすべての機能エラーについてのアラートを提供します。
- アクティブルートプロセッサとスタンバイルートプロセッサの両方の診断アプリケーションは、NPごとに1つのパケットを定期的に注入し、NPごとの成功または失敗数を維持することに注意してください。
- 1分ごとに診断パケットがNPに送信され(各仮想キューインターフェイス(VQI)に4回（合計4分/VQI）、そのNPのすべてのVQIで実行されます)。 これを簡単に説明するために、次に例を示します。
LCに4つのNPがあると考えると、オンライン診断ではすべてのNPを実行する必要があります（正常なファブリックパスであることを確認するため）。 これで、各NPは20個のVQIをそれぞれ持つことができます(0 ～ 19、20 ～ 39、40 ～ 59、60 ～ 79)。
最初の1分で、オンライン診断は各NPに1つのパケットを送信します。
1 min : against VQI 0, 20, 40, 60 (to all 4 NPs)
2 min:""""""""
3 min: """""""
4 min : """""
5th min : against VQI 1, 21, 41, 61..
6 min : """"""""
すべてのVQIが完了すると、この動作が1サイクルで繰り返されます。
- ドロップされた診断パケットのしきい値に達すると、アプリケーションはPlatform Fault Manager(PFM)でアラームを起動します。
RP/0/RP1/CPU0:AG2-2#show pfm location 0/RP1/CPU0
node: node0_RP0_CPU0
---------------------
CURRENT TIME: Apr 7 01:04:04 2022PFM TOTAL: 1 EMERGENCY/ALERT(E/A): 0 CRITICAL(CR): 0 ERROR(ER): 1
-------------------------------------------------------------------------------------------------
Raised Time |S#|Fault Name |Sev|Proc_ID|Dev/Path Name |Handle
--------------------+--+-----------------------------------+---+-------+--------------+----------
Apr 7 00:54:52 2022|0 |PUNT_FABRIC_DATA_PATH_FAILED |ER |10042 >>ID |System Punt/Fa|0x2000004
PFMアラームに関するすべての情報を収集するには、次のコマンド出力をキャプチャします。
show pfm location all
show pfm trace location all
特定のプロセスによって発生するアラームの詳細を表示するには、次のコマンドを使用できます。
show pfm process name <process_name> location <location> >>> location where the PFM alarm is observed
ハイレベルLCのアーキテクチャ
トマホークLC
8x100Gアーキテクチャ
トマホーク – 8x100G LC
12 x 100Gアーキテクチャ
トマホーク12*100G LC
ライトスピードLC
A9K-20HG-FLEX-SE/TR
A9K-20HG-FLEX-SE/TR
A99-32x100GE-X-SE/TR
A99-32x100GE-X-SE/TR
A9K-8HG-FLEX-SE/TR
LCアーキテクチャ
LCアーキテクチャ
仮想出力キューとアービター
各ルートスイッチプロセッサ/スイッチプロセッサ(RSP/RP)には2つのファブリックチップがあり、両方とも1つの共通アービターで制御されます（デュアルRSP/RPはシャーシごとの復元力のあるアービターを意味します）。 アクティブなRSP/RP上のアービターのみが4つのファブリックチップすべてを制御します（デュアルRSPを想定）。 ただし、両方のアービターは、RSP/RP間のフェールオーバーが瞬時に行われるように、任意の時点でのシステム全体の状態を知るために、ファブリックアクセス要求を受信しています。アービタ間にはキープアライブは存在しませんが、RSP/RPにはComplex Programmable Logic Device(CPLD)ASIC（FPGAに似ています）が搭載されており、その機能の1つは、低レベルのキープアライブを介して他のRSP/RPの状態を追跡し、アクティブなアービタを確立することです。
各ファブリックインターコネクトASICにはVQIのセットがあります。これは、システム内の100Gエンティティ（Tomahawk用）を表すキューのセットです。 すべての100Gエンティティ（1つの出力NP上の1x100Gポートは、入力NPでは1つの100G VQIで表されます）には、複数のプライオリティクラスがあります。
各VQIには、異なるパケットプライオリティ用に4つのVirtual Output Queue（VOQ；仮想出力キュー）のセットがあり、そのうち3つがASR 9000の転送アーキテクチャで使用されます。これらは、入力QoSポリシーのプライオリティレベル1と2およびデフォルトに対応します。完全優先キューは2つあり、通常キューは1つです（4番目のキューはマルチキャスト用で、ユニキャスト転送には使用されません）。
通常、デフォルトキューは、出力NP VQIからのバックプレッシャの間に、最初にパケットの廃棄を開始します。出力ネットワーク処理ユニット(NPU)が過負荷になった（回線で処理できる以上のBpsまたはPPSを処理した）場合にのみ、入力LC/NPにバックプレッシャーがかかります。これは、その入力LC上のFabric Interface ASIC（FIA；ファブリックインターフェイスASIC）でのVQIフローが停滞することで表されます。
例：
RP/0/RP0/CPU0:AG3_1#show controllers np ports all location 0/0/CPU0 >>> LC0 is installed in slot 2
Node: 0/0/CPU0:
----------------------------------------------------------------
NP Bridge Fia Ports
-- ------ --- ---------------------------------------------------
0 -- 0 TenGigE0/0/0/0/0 - TenGigE0/0/0/0/9, TenGigE0/0/0/1/0 - TenGigE0/0/0/1/9
1 -- 1 TenGigE0/0/0/2/0 - TenGigE0/0/0/2/9, HundredGigE0/0/0/3
2 -- 2 HundredGigE0/0/0/4 - HundredGigE0/0/0/5 >>>Below is the VQI assignment
3 -- 3 HundredGigE0/0/0/6 - HundredGigE0/0/0/7
RP/0/RP0/CPU0:AG3_1#sh controller fabric vqi assignment slot 2
slot = 2
fia_inst = 2 >>>FIA 2
VQI = 40 SPEED_100G
VQI = 41 SPEED_100G
VQI = 42 SPEED_100G
VQI = 43 SPEED_100G
VQI = 44 SPEED_100G
VQI = 45 SPEED_100G
VQI = 46 SPEED_100G
VQI = 47 SPEED_100G
VQI = 56 SPEED_100G
VQI = 57 SPEED_100G
VQI = 58 SPEED_100G
VQI = 59 SPEED_100G
VQI = 60 SPEED_100G
VQI = 61 SPEED_100G
VQI = 62 SPEED_100G
VQI = 63 SPEED_100G
入力LCが特定のパケットを特定の出力NPUに送信すると決定すると、入力LCの変更(MDF)ステージは、ファブリック宛先ヘッダーでパケットをカプセル化します。FIAはその「アドレス」を調べる際に、特定の出力NPU/宛先/LCのVOQをチェックし、十分な帯域幅が使用可能かどうかを確認します。そのLCにパケットをデキューする準備ができると、入力FIAはその宛先LCに対してファブリック（アービタ）からの許可を要求します。調停アルゴリズムはQOSに対応しており、P1クラスパケットがP2クラスよりも優先されます。アービターは、入力FIAからの許可要求を出力FIAにリレーします。
入力FIAは、同じ出力LCに向かう複数のパケットを、いわゆるスーパーフレームにまとめることができます。これは、スイッチファブリックリンクを通過するネイティブフレーム/パケットではなく、スーパーフレームであることを意味します。100 ppsが一定のテストでは、CLIはファブリックカウンタが50 ppsのみを報告していることを表示できるため、この点に注意することが重要です。これはパケット損失ではなく、単にスイッチファブリックを介して送信される各スーパーフレームに2つのパケットがあることを意味します。スーパーフレームには、シーケンス情報と宛先FIAのリオーダーが含まれます（パケットは複数のファブリックリンクに「スプレー」できます）。 ユニキャストパケットだけがスーパーフレームに配置され、マルチキャストのパケットは配置されません。
パケットが出力LCで受信されると、認可はアービターに返されます。アービタのVOQあたりのトークン数には限りがあります。アービターが入力FIAに特定のVOQへの（スーパー）フレームの送信を許可した場合、出力FIAが出力NPにフレームを配信したときにのみ、そのトークンはプールに返されます。出力NPが出力FIAにバックプレッシャ信号を送出した場合、トークンは占有されたままになります。これは、入力FIAのVOQに対するトークンが最終的にアービターで枯渇する仕組みです。この状態になると、入力FIAは着信パケットの廃棄を開始します。バックプレッシャのトリガーは、出力NP内の受信フレーム記述子(RFD)バッファの使用率です。NPマイクロコードがパケットを処理している間、RFDバッファはパケットを保持しています。パケットが処理される機能が増えるほど、パケットがRFDバッファに留まる時間が長くなります。
- 入力FIAは、すべてのシャーシアービタにファブリック要求を行います。
- アクティブアービターは、フリーアクセスグラントトークンをチェックし、輻輳が存在する場合はQoSアルゴリズムを処理します。
- RSP上のローカルアービターからアクティブアービターへのクレジットメカニズム
- アクティブアービターが入力FIAにファブリック許可トークンを送信します。
- 入力FIAは、ファブリックリンク上でフレームのロードバランシング（スーパー）を行います。
- 出力FIAは、中央アービターにファブリックトークンを返します。
言い換えれば、ローカルアービターからRSP上のアクティブアービターへのクレジットメカニズムです。また、アービター障害の可能性のあるケースをカバーする別のセクションを追加します（エラーコードについては言及する必要はありませんが、アービターのASICエラーを確認する必要があります）。アービターの問題が発生した場合、ローカルまたは中央のアービターが原因で認可を取得せず、キューが積み重なる場合に備えてください。
仮想出力キューの概要
仮想出力キュー
異なる出力NPに向かうパケットは、異なるVOQセットに入れられます。1つのNPで輻輳が発生しても、異なるNPに向かうパケットはブロックされません。
ファブリックアービター図
ファブリックアービタ
Fabric Interconnect
ASR 9006およびASR 9010スイッチファブリックインターコネクト
ASR 9006およびASR 9010スイッチファブリックインターコネクト
ASR9922スイッチファブリックインターコネクト
ASR9912も同じで、10枚のLCと1つのファブリックインターコネクトチップしかサポートしていません。
ASR9922スイッチファブリックインターコネクト
ASR9922およびASR9912バックプレーン
ASR9922およびASR9912バックプレーン
オンライン診断の概要
- オンライン診断ツールは、LCとRPのCPUの両方で動作します。
- 転送パスをテストする診断テストは次のとおりです。
- アクティブおよびスタンバイRP CPUで実行されるPuntFabricDataPathテストで、システム内のすべてのアクティブNPに診断パケットが送信されます。アクティブRPが送信します。
- PuntFabricDataPath診断パケットはユニキャストとして送信され、スタンバイパケットはマルチキャストとして送信されます。応答パケットは、発信元RPのCPUに送り返されます。
- 転送パスをテストする診断テストは次のとおりです。
- LC内のNPループバックテスト。
- NPULoopbackテストがすべてのLC CPUで実行され、診断パケットがすべてのNPに送信されます。応答パケットはLCのCPUに送り返されます。
問題のトリアージ
次の手順は、パントパス障害に関連する問題を絞り込む方法についてのヒントを提供します。 まったく同じ順序で従う必要はありません。
トリアージの開始に必要な情報
- 該当するNPとLCを見つけます。
show logging | inc “PUNT_FABRIC_DATA_PATH”
RP/0/RP1/CPU0:Oct 28 12:46:58.459 IST: pfm_node_rp[349]: %PLATFORM-DIAGS-3-PUNT_FABRIC_DATA_PATH_FAILED :
Set|online_diag_rsp[24790]|System Punt/Fabric/data Path Test(0x2000004)|failure threshold is 3, (slot, NP)
failed: (0/9/CPU0, 1) (0/9/CPU0, 3)
前述の0/9/CPU0上のNP1とNP3で問題が発生します。
- シャーシスロットを見つけるには、
run nslot allコマンドを入力します。 - PFMアラーム
RP/0/RP1/CPU0:AG2-2#show pfm location 0/RP1/CPU0
node: node0_RP1_CPU0
---------------------
CURRENT TIME: Mar 25 12:11:29 2022
PFM TOTAL: 1 EMERGENCY/ALERT(E/A): 0 CRITICAL(CR): 0 ERROR(ER): 1
-------------------------------------------------------------------------------------------------
Raised Time |S#|Fault Name |Sev|Proc_ID|Dev/Path Name |Handle
--------------------+--+-----------------------------------+---+-------+--------------+----------
Mar 25 12:03:30 2022|1 |PUNT_FABRIC_DATA_PATH_FAILED |ER |8947 |System Punt/Fa|0x2000004
RP/0/RP1/CPU0:AG2-2#sh pfm process 8947 location 0/rp1/CPU0
node: node0_RP1_CPU0
---------------------
CURRENT TIME: Mar 25 12:12:36 2022
PFM TOTAL: 1 EMERGENCY/ALERT(E/A): 0 CRITICAL(CR): 0 ERROR(ER): 1
PER PROCESS TOTAL: 0 EM: 0 CR: 0 ER: 0
Device/Path[1 ]:Fabric loopbac [0x2000003 ] State:RDY Tot: 0
Device/Path[2 ]:System Punt/Fa [0x2000004 ] State:RDY Tot: 1
1 Fault Id: 432
Sev: ER
Fault Name: PUNT_FABRIC_DATA_PATH_FAILED
Raised Timestamp: Mar 25 12:03:30 2022
Clear Timestamp: Mar 25 12:07:32 2022
Changed Timestamp: Mar 25 12:07:32 2022
Resync Mismatch: FALSE
MSG: failure threshold is 3, (slot, NP) failed: (0/9/CPU0, 1) (0/9/CPU0, 3)
診断パケットフロー図
- RPとLC間のDIAGメッセージのパケットパス（診断パケット間隔は1分）。
RPのパケットパス：
online_diags <===> SPP <===> Fabric <===> NP
LCでのパケットパス：
online_diags <===> SPP <===> Punt-switch <====> NP
- LC内のNPループバックテスト
1分ごとに、NPごとのDIAGSパケットがLC CPUからパントスイッチに注入され、すべてがNPでループバックされます。ファブリックに対するアクセスは一切ありません。ターンアラウンドポイントまたはハーフマークは、各NPのマイクロコードです。
- 診断送信パス：LC：オンライン診断>注入> LC-NP >（ループ）
- 診断リターンパス：LC-NP >パント>オンライン診断：LC
診断テスト
RP/0/RP0/CPU0:AG2-2(admin)#show diagnostic content location <> >>> (in cXR)
RP/0/RP0/CPU0:AG2-2#show diagnostic content location <> >>> (in eXR)
A9K-8X100GE-L-SE 0/0/CPU0:
Diagnostics test suite attributes:
M/C/* - Minimal bootup level test / Complete bootup level test / NA
B/O/* - Basic ondemand test / not Ondemand test / NA
P/V/* - Per port test / Per device test / NA
D/N/* - Disruptive test / Non-disruptive test / NA
S/* - Only applicable to standby unit / NA
X/* - Not a health monitoring test / NA
F/* - Fixed monitoring interval test / NA
E/* - Always enabled monitoring test / NA
A/I - Monitoring is active / Monitoring is inactive
n/a - Not applicable
Test Interval Thre- Timeout
ID Test Name Attributes (day hh:mm:ss.ms shold ms )
==== ================================== ============ ================= ===== =====
1) CPUCtrlScratchRegister ----------> *B*N****A 000 00:01:00.000 3 n/a
2) DBCtrlScratchRegister -----------> *B*N****A 000 00:01:00.000 3 n/a
3) PortCtrlScratchRegister ---------> *B*N****A 000 00:01:00.000 3 n/a
4) PHYScratchRegister --------------> *B*N****A 000 00:01:00.000 3 n/a
5) NPULoopback ---------------------> *B*N****A 000 00:01:00.000 3 n/a
RP/0/RP0/CPU0:AG2-2#show diagnostic result location 0/0/CPU0
A9K-8X100GE-L-SE 0/0/CPU0:
Overall diagnostic result: PASS
Diagnostic level at card bootup: bypass
Test results: (. = Pass, F = Fail, U = Untested)
1 ) CPUCtrlScratchRegister ----------> .
2 ) DBCtrlScratchRegister -----------> .
3 ) PortCtrlScratchRegister ---------> .
4 ) PHYScratchRegister --------------> .
5 ) NPULoopback ---------------------> .
- 次の例で説明するように、このパラメータ「inject diags packets」を手動で詳細にテストできます。
admin diag start location 0/x/cpu0 test NPULoopback (cXR)
RP/0/RP0/CPU0:AG3_1#diagnostic start location 0/0/CPU0 test NPULoopback >>> eXR
Fri May 13 06:53:00.902 EDT
RP/0/RP0/CPU0:AG3_1#show diagnostic res location 0/0/CPU0 test 5 detail >>> Here there are
multiple test 1-5 (check previous examples)
Test results: (. = Pass, F = Fail, U = Untested)
___________________________________________________________________________
5 ) NPULoopback ---------------------> .
Error code ------------------> 0 (DIAG_SUCCESS)
Total run count -------------> 67319
Last test execution time ----> Fri May 13 06:53:01 2022
First test failure time -----> n/a
Last test failure time ------> n/a
Last test pass time ---------> Fri May 13 06:53:01 2022
Total failure count ---------> 0
Consecutive failure count ---> 0
___________________________________________________________________________
- NPがDIAGメッセージを送受信しているかどうかを確認します。
RP/0/RSP1/CPU0:AG2-2#show controllers np counters location | inc DIAG| LC_CPU
108 PARSE_RSP_INJ_DIAGS_CNT 25195 0 >>> total DIAG packets injected by Active+Stdby RP
904 PUNT_DIAGS_RSP_ACT 12584 0 >>> Loopbacks to Active RP
906 PUNT_DIAGS_RSP_STBY 12611 0 >>> Loopbacks to Stdby R
122 PARSE_LC_INJ_DIAGS_CNT 2618 0 >>> total DIAG packets injected by LC
790 DIAGS 12618 0 >>> total DIAG packets replied back to LC
16 MDF_TX_LC_CPU 3998218312 937 >>> a packet punted to LC CPU PARSE_RSP_INJ_DIAGS_CNT should match (PUNT_DIAGS_RSP_ACT + PUNT_DIAGS_RSP_STDBY)
PARSE_LC_INJ_DIAGS_CNT should match DIAGS
PARSE_XX_INJ_DIAGS_CNT should increment periodically.
- ソフトウェアパケットパス(SPP)がDIAGメッセージを送受信しているかどうかを確認します。
show spp sid stats location | inc DIAG 2. DIAG 35430
2. DIAG 35430
これらは受信および送信されたDIAGカウンタです。 これらはLC上で常に一致し、同時に増加します。
- debug punt-inject l2-packets diag np 0 location 0/9/CPU0
ログの例：SPPがシーケンス0x4eパケットを含む診断パケットを送受信しています。
LC/0/1/CPU0:Jun 6 04:14:05.581 : spp[89]: Sent DIAG packet. NP:0 Slot:0 Seq:0x4e
LC/0/1/CPU0:Jun 6 04:14:05.584 : spp[89]: Rcvd DIAG packet. NP:0 Slot:0 Seq:0x4e
- パケットパス内のドロップを確認します。
show drops all location
show drops all ongoing location
- オンライン診断のデバッグを確認します（cXRの場合）。
オンライン診断は、パケットの送受信が行われたときやパケットが失われたときのタイムスタンプをチェックする際に何度も役立ちます。 このようなタイムスタンプは、パケット相関のためにSPPキャプチャと比較できます。
admin debug diagnostic engineer location
admin debug diagnostic error location
注：これらのデバッグを無効にするには、admin undebug allコマンドを入力します。
デバッグからの出力例を次に示します。
RP/0/RSP0/CPU0:Mar 25 05:43:43.384 EST: online_diag_rsp[349]: Slot 1 has 4 NPs >>> Sending DIAG
messages to NPs on slot 1
RP/0/RSP0/CPU0:Mar 25 05:43:43.384 EST: online_diag_rsp[349]: PuntFabricDataPath: sending
a pak (seq 25), destination physical slot 1 (card type 0x3d02aa), NP 0, sfp=0xc6
RP/0/RSP0/CPU0:Mar 25 05:43:43.384 EST: online_diag_rsp[349]: PuntFabricDataPath: sending
a pak (seq 25), destination physical slot 1 (card type 0x3d02aa), NP 1, sfp=0xde
RP/0/RSP0/CPU0:Mar 25 05:43:43.384 EST: online_diag_rsp[349]: PuntFabricDataPath: sending
a pak (seq 25), destination physical slot 1 (card type 0x3d02aa), NP 2, sfp=0xf6
RP/0/RSP0/CPU0:Mar 25 05:43:43.384 EST: online_diag_rsp[349]: PuntFabricDataPath: sending
a pak (seq 25), destination physical slot 1 (card type 0x3d02aa), NP 3, sfp=0x10e
RP/0/RSP0/CPU0:Mar 25 05:43:43.888 EST: online_diag_rsp[349]: PuntFabricDataPath:
Time took to receive 22 pkts: 503922888 nsec, timeout value: 500000000 nsec
RP/0/RSP0/CPU0:Mar 25 05:43:43.888 EST: online_diag_rsp[349]: PuntFabricDataPath:
Received 22 packets, expected 24 => Some replies missed
RP/0/RSP0/CPU0:Mar 25 05:43:43.888 EST: online_diag_rsp[349]: PuntFabricDataPath:
Got a packet from physical slot 1, np 0
RP/0/RSP0/CPU0:Mar 25 05:43:43.888 EST: online_diag_rsp[349]: Successfully verified
a packet, seq. no.: 25
RP/0/RSP0/CPU0:Mar 25 05:43:43.888 EST: online_diag_rsp[349]: PuntFabricDataPath:
Got a packet from physical slot 1, np 2 <= Replies from NP1 and NP3 missing
RP/0/RSP0/CPU0:Mar 25 05:43:43.888 EST: online_diag_rsp[349]: Successfully verified
a packet, seq. no.: 25
RP/0/RSP0/CPU0:Mar 25 05:43:43.888 EST: online_diag_rsp[349]: PuntFabricDataPath:
Got a packet from physical slot 3, np 0
- 診断トレース：
RP/0/RP1/CPU0:AG2-2#show diagnostic trace location 0/rp1/CPU0
Fri Mar 25 12:16:40.866 IST
1765 wrapping entries (3136 possible, 2048 allocated, 0 filtered, 3503120 total)
Mar 16 02:40:21.641 diags/online/gold_error 0/RP1/CPU0 t7356 Failed to get ack: got 0 responses,
expected 1
Mar 16 02:40:36.490 diags/online/message 0/RP1/CPU0 t8947 My nodeid 0x120, rack# is 0, slot# 1,
board type = 0x100327
Mar 16 02:40:36.948 diags/online/message 0/RP1/CPU0 t8947 dev cnt=25, path cnt=3, shm loc for
dev alarms@0x7fd4f0bec000, path alarms@0x7fd4f0bec01c, path alarm data@0x7fd4f0bec028
Mar 16 02:40:37.022 diags/online/message 0/RP1/CPU0 t8947 Last rpfo time: 1647378637
Mar 24 06:03:27.479 diags/online/error 0/RP1/CPU0 2105# t9057 PuntFabricDataPath test error:
physical slot 11(LC# 9): expected np mask: 0x0000000f, actual: 0x0000000b, failed: 0x00000004
Mar 24 06:03:27.479 diags/online/error 0/RP1/CPU0 634# t9057 PuntFabricDataPath test failure detected,
detail in the form of (0-based) (slot, NP: count): (LC9,2: 13)
ファブリックトリアージ
- ファブリックの状態（リンクステータス、統計情報、ドロップ、アラームの概要が表示されます）:
show controllers fabric health location <>
- スパインのヘルス：
show controllers fabric health spine all
- オンボード障害ロギング(OBFL)（リロード後も使用可能）:
admin
sysadmin-vm:0_RP0# show logging onboard fabric location 0/0
- 入力LC FIAのファブリックカウンタをチェックします。
show controllers fabric fia errors ingress location <>
show controllers fabric fia stats location
- 入力LCクロスバー（TridentおよびSIP-700には適用外）:
show controllers fabric crossbar statistics instance [0-1] location <>
- 出力LCクロスバー（TridentおよびSIP-700には適用外）:
show controllers fabric crossbar statistics instance [0-1] location <>
- 出力LC FIA:
show controllers fabric fia errors egress location <>
show controllers fabric fia stats location
- スパインの統計情報：
show controllers fabric crossbar statistics instance [0-1] spine [0-6]
- ファブリックドロップを確認します。
- 入力LC FIA:
show controllers fabric fia drops ingress location <>
- 出力LC FIA:
show controllers fabric fia drops egress location <>
- ASICエラー：
- LSP:
show controllers fabric crossbar asic-errors instance 0 location<>
show asic-errors fia <> all location <>
-
- トマホーク:
show asic-errors fia <> all location <>
RP/0/RP0/CPU0:AG3_1#show controllers np fabric-counters all np0 location 0/0/CPU0
Node: 0/0/CPU0:
----------------------------------------------------------------
Egress fabric-to-bridge interface 2 counters for NP 0
INTERLAKEN_CNT_TX_BYTES 0x000073fc 23b6d99b
INTERLAKEN_CNT_TX_FRM_GOOD 0x000000ae a79d6612
INTERLAKEN_CNT_TX_FRM_BAD 0x00000000 00000000 >>> this is 0 which is good,
need to check if it is incremented
-------------------------------------------------------------
Egress fabric-to-bridge interface 3 counters for NP 0
INTERLAKEN_CNT_TX_BYTES 0x0004abdd fe02068d
INTERLAKEN_CNT_TX_FRM_GOOD 0x000005b8 089aac95
INTERLAKEN_CNT_TX_FRM_BAD 0x00000000 00000000
-------------------------------------------------------------
Node: 0/0/CPU0:
----------------------------------------------------------------
Ingress fabric-to-bridge interface 2 counters for NP 0
INTERLAKEN_CNT_RX_BYTES 0x0004aeb5 a4b9dbbe
INTERLAKEN_CNT_RX_FRM_GOOD 0x0000058e b7b91c15
INTERLAKEN_CNT_RX_FRM_BAD 0x00000000 00000000
INTERLAKEN_CNT_RX_BURST_CRC32_ERROR 0x00000000 00000000
INTERLAKEN_CNT_RX_BURST_CRC24_ERROR 0x00000000 00000000
INTERLAKEN_CNT_RX_BURST_SIZE_ERROR 0x00000000 00000000
-------------------------------------------------------------
Ingress fabric-to-bridge interface 3 counters for NP 0
INTERLAKEN_CNT_RX_BYTES 0x000094ce b8783f95
INTERLAKEN_CNT_RX_FRM_GOOD 0x000000f5 33cf9ed7
INTERLAKEN_CNT_RX_FRM_BAD 0x00000000 00000000
INTERLAKEN_CNT_RX_BURST_CRC32_ERROR 0x00000000 00000000
INTERLAKEN_CNT_RX_BURST_CRC24_ERROR 0x00000000 00000000
INTERLAKEN_CNT_RX_BURST_SIZE_ERROR 0x00000000 00000000
- FIAのリンクステータスを確認するには、次のようにします。
show controllers fabric fia link-status location
RP/0/RP0/CPU0:AG3_1#show controllers fabric fia link-status location 0/0/CPU0
********** FIA-0 **********
Category: link-0
spaui link-0 Up >>> FIA to NP link
spaui link-1 Up >>> FIA to NP link
arb link-0 Up >>> Arbitor link
xbar link-0 Up >>> FIA to XBAR link
xbar link-1 Up >>> FIA to XBAR link
xbar link-2 Up >>> FIA to XBAR link
- XBARのリンクステータスを確認するには、次の手順を実行します。
RP/0/RP0/CPU0:AG3_1#show controllers fabric crossbar link-status instance 0 lo 0/0/CPU0
Mon May 2 04:05:06.161 EDT
PORT Remote Slot Remote Inst Logical ID Status
======================================================
00 0/0/CPU0 01 2 Up
01 0/FC3 01 0 Up
02 0/FC3 00 0 Up
03 0/FC4 01 0 Up
04 0/FC2 01 0 Up
05 0/FC4 00 0 Up
06 0/FC2 00 0 Up
07 0/FC1 01 0 Up
10 0/FC1 00 0 Up
14 0/FC0 01 0 Up
15 0/FC0 00 0 Up
16 0/0/CPU0 02 0 Up
18 0/0/CPU0 02 2 Up
19 0/0/CPU0 02 1 Up
20 0/0/CPU0 03 2 Up
21 0/0/CPU0 03 1 Up
22 0/0/CPU0 03 0 Up
23 0/0/CPU0 00 2 Up
24 0/0/CPU0 00 1 Up
25 0/0/CPU0 00 0 Up
26 0/0/CPU0 01 0 Up
27 0/0/CPU0 01 1 Up
LSPカードで次のログが表示される場合は、
LC/0/3/CPU0:Jul 5 13:05:53.365 IST: fab_xbar[172]: %PLATFORM-CIH-5-ASIC_ERROR_THRESHOLD :
sfe[1]: An interface-err error has occurred causing packet drop transient.
ibbReg17.ibbExceptionHier.ibbReg17.ibbExceptionLeaf0.intIpcFnc0UcDataErr Threshold has been exceeded
ここで17*2は、show controllers fabric crossbar link-status instance 1 lo 0/3/CPU0コマンドでポートを識別するのに役立ちます。
ログ収集：
show platform
show inventory
show tech fabric
show tech np
show tech ethernet interface
show logging
show pfm location all
show pfm trace location <location id>
show controllers pm vqi location all
show hw-module fpd location all (cxr) / admin show hw-module fpd (exr)
show controllers fti trace <process-name> location <Card location>
admin show tech obfl
Cxr:
From Admin:
show logging onboard common location <>
show logging onboard error location <>
Exr:
From sysadmin/calvados:
show logging onboard fabric location <>
- FIAにASICエラーがある場合：
LSの場合：
show controllers asic LS-FIA instance <instance> block <block_name> register-name <register_name> location <>
LSPの場合：
show controllers asic LSP-FIA instance <instance> block <block_name> register-name <register_name> location <>
報告されたエラーが次のような場合：
LC/0/9/CPU0:Mar 1 05:12:25.474 IST: fialc[137]: %PLATFORM-CIH-5-ASIC_ERROR_THRESHOLD :
fia[3]: A link-err error has occurred causing performance loss persistent.
fnc2serdesReg1.fnc2serdesExceptionHier.fnc2serdesReg1.fnc2serdesExceptionLeaf0.
iNTprbsErrTxphyrdydropped6 Threshold has been exceeded
- instanceは、FIA ASICのインスタンス番号です。ここでは、「3」のblock_nameは「fnc2serdesReg1」で、register_nameは「fnc2serdesExceptionLeaf0」です。
- LC/RSP XBARのASICエラーの場合：
show controllers asic SKB-XBAR instance <instance> block-name <block_name> register-name <register_name> location <>
報告されたエラーが次のような場合：
LC/0/7/CPU0:Mar 4 06:42:01.241 IST: fab_xbar[213]: %PLATFORM-CIH-5-ASIC_ERROR_THRESHOLD :
sfe[0]: An interface-err error has occurred causing packet drop transient.
ibbReg11.ibbExceptionHier.ibbReg11.ibbExceptionLeaf0.intIpcFnc1UcDataErr Threshold has been exceeded
- instanceは、SFE/XBAR ASICのインスタンス番号です。ここで、「0」のblock_nameは「ibbReg11」で、register_nameは「ibbExceptionLeaf0」です。
- FC XBARでASICエラーが報告された場合：
show controllers asic FC2-SKB-XBAR instance <instance> block-name <block_name> register-name <register_name> location
報告されたエラーが次のような場合：
RP/0/RP0/CPU0:Mar 4 06:41:14.398 IST: fab_xbar_sp3[156]: %PLATFORM-CIH-3-ASIC_ERROR_SPECIAL_HANDLE_THRESH :
fc3xbar[1]: A link-err error has occurred causing packet drop transient.
cflReg17.cflExceptionHier.cflReg17.cflExceptionLeaf4.intCflPal1RxAlignErrPktRcvd Threshold has been exceeded
「FC3-SKB-XBAR」インスタンスは、SFE/XBAR ASICの番号です。ここでは「1」で、どちらも「fc3xbar[1]」から取得したblock_nameは「cflReg17」で、register_nameは「cflExceptionLeaf4」です。
例：
RP/0/RSP0/CPU0: AG2-10#sh logging | i ASIC
RP/0/RSP0/CPU0:May 11 20:48:57.658 IST: fab_xbar[184]: %PLATFORM-CIH-5-ASIC_ERROR_THRESHOLD :
sfe[0]: An interface-err error has occurred causing packet drop transient.
ibbReg13.ibbExceptionHier.ibbReg13.ibbExceptionLeaf0.intIpcFnc0UcDataErr Threshold has been exceeded
RP/0/RSP0/CPU0: AG2-10#sh controllers fabric crossbar link-status instance 0 location 0/rsp0/CPU0
PORT Remote Slot Remote Inst Logical ID Status
======================================================
04 0/0/CPU0 00 1 Up
06 0/0/CPU0 00 0 Up
08 0/7/CPU0 00 1 Up
10 0/7/CPU0 00 0 Up
24 0/2/CPU0 00 0 Up
26 0/2/CPU0 00 1 Up
>>> ibbReg13 >> 13*2 = 26 SO IT IS POINTING TO LC2 – IN THIS CASE YOU CAN DO OIR TO RECOVER THE ASIC ERROR
40 0/RSP0/CPU0 00 0 Up
RP/0/RSP0/CPU0: AG2-10#show controllers asic SKB-XBAR instance 0 block-name ibbReg13 register-name ibbExceptionLeaf0 location 0/RSP0/CPU0
address name value
0x00050d080 SkyboltRegisters_ibbReg13_ibbExceptionLeaf0_int1Stat 0x00000000 (4 bytes)
address name value
0x00050d084 SkyboltRegisters_ibbReg13_ibbExceptionLeaf0_int1StatRw1s 0x00000000 (4 bytes)
address name value
0x00050d088 SkyboltRegisters_ibbReg13_ibbExceptionLeaf0_int1Enable 0xfffffffb (4 bytes)
address name value
0x00050d08c SkyboltRegisters_ibbReg13_ibbExceptionLeaf0_int1First 0x00000000 (4 bytes)
address name value
0x00050d090 SkyboltRegisters_ibbReg13_ibbExceptionLeaf0_int2Stat 0x00000c50 (4 bytes)
address name value
0x00050d094 SkyboltRegisters_ibbReg13_ibbExceptionLeaf0_int2StatRw1s 0x00000c50 (4 bytes)
address name value
0x00050d098 SkyboltRegisters_ibbReg13_ibbExceptionLeaf0_int2Enable 0x00000000 (4 bytes)
address name value
0x00050d09c SkyboltRegisters_ibbReg13_ibbExceptionLeaf0_int2First 0x00000000 (4 bytes)
address name value
0x00050d0a0 SkyboltRegisters_ibbReg13_ibbExceptionLeaf0_haltEnable 0x00000000 (4 bytes)
address name value
0x00050d0a4 SkyboltRegisters_ibbReg13_ibbExceptionLeaf0_fault 0x00000000 (4 bytes)
address name value
0x00050d0a8 SkyboltRegisters_ibbReg13_ibbExceptionLeaf0_intMulti 0x00000840 (4 bytes)
address name value
0x00050d0ac SkyboltRegisters_ibbReg13_ibbExceptionLeaf0_leaf 0x00000000 (4 bytes)
RP/0/RSP0/CPU0:AG2-10#
アービター障害トリアージ
リンクステータスを確認するには、次の手順を実行します。
RP/0/RSP0/CPU0:AG2-10#sho controllers fabric arbiter link-status location 0/1/$
Port Remote Slot Remote Elem Remote Inst Status
=======================================================
00 0/1/CPU0 FIA 0 Up
01 0/1/CPU0 FIA 1 Up
24 0/RSP0/CPU0 ARB 0 Up
25 0/RSP1/CPU0 ARB 0 Up
VQIの可用性を確認するには、次の手順を実行します。
RP/0/RP0/CPU0:AG3_1#sh controllers fabric vqi assignment all
Current mode: Highbandwidth mode - 2K VQIs
Node Number of VQIs
----------------------------
0/0/CPU0 80
0/1/CPU0 40
0/2/CPU0 48
0/3/CPU0 80
0/5/CPU0 80
0/7/CPU0 80
0/12/CPU0 64
RP*/RSP* 8
----------------------------
In Use = 480
Available = 1568
VQIに割り当てられている速度を確認します。
RP/0/RP0/CPU0:AG3_1#sh controller fabric vqi assignment slot 7
Thu May 12 07:58:59.897 EDT
slot = 7
fia_inst = 0
VQI = 400 SPEED_100G
VQI = 401 SPEED_100G
VQI = 402 SPEED_100G
VQI = 403 SPEED_100G
VQI = 404 SPEED_100G
VQI = 405 SPEED_100G
VQI = 406 SPEED_100G
slot = 7
fia_inst = 1
VQI = 416 SPEED_40G
VQI = 417 SPEED_40G
VQI = 418 SPEED_40G
VQI = 419 SPEED_40G
VQI = 420 SPEED_100G
FIAでテールドロップが発生する場合は、次の手順を確認します。
VQIでキュー項目数を確認します。
RP/0/RP0/CPU0:AG3_1#show controllers fabric fia q-depth location 0/0/CPU0
Thu May 12 08:00:42.186 EDT
********** FIA-0 **********
Category: q_stats_a-0
Voq ddr pri Cellcnt Slot_FIA_NP
28 0 2 2 LC0_1_1
********** FIA-0 **********
Category: q_stats_b-0
Voq ddr pri Cellcnt Slot_FIA_NP
********** FIA-1 **********
Category: q_stats_a-1
Voq ddr pri Cellcnt Slot_FIA_NP
7 0 2 12342 LC0_0_0
>>> Here Packet count is high so we need to check for LC0 FIA0 NP0 (egress) is there any congestion
or any other issue in LC0 FIA0 or NP0
Here Pri = 2 is the default queue (BE) , Pri = 0 is P1 (Voice, real time) queue, Pri = 1 is P2
97 0 2 23 LC1_0_0
RP/0/RP0/CPU0:AG3_1#show controllers fabric vqi assignment slot 02
slot = 2
fia_inst = 0
VQI = 0 SPEED_10G
VQI = 1 SPEED_10G
VQI = 2 SPEED_10G
VQI = 3 SPEED_10G
VQI = 4 SPEED_10G
VQI = 5 SPEED_10G
VQI = 6 SPEED_10G
VQI = 7 SPEED_10G
VQIのポートマッピングの詳細：
RP/0/RP0/CPU0:AG3_1#show controllers pm vqi location 0/0/CPU0
Platform-manager VQI Assignment Information
Interface Name | ifh Value | VQI | NP#
--------------------------------------------------
TenGigE0_0_0_0_1 | 0x4000680 | 1 | 0
TenGigE0_0_0_0_2 | 0x40006c0 | 2 | 0
TenGigE0_0_0_0_3 | 0x4000700 | 3 | 0
TenGigE0_0_0_0_4 | 0x4000740 | 4 | 0
TenGigE0_0_0_0_5 | 0x4000780 | 5 | 0
TenGigE0_0_0_0_6 | 0x40007c0 | 6 | 0
TenGigE0_0_0_0_7 | 0x4000800 | 7 | 0
RP/0/RP0/CPU0:AG3_1#show controllers pm interface tenGigE 0/0/0/0/7
Ifname(1): TenGigE0_0_0_0_7, ifh: 0x4000800 :
iftype 0x1e
egress_uidb_index 0x12, 0x0, 0x0, 0x0
ingress_uidb_index 0x12, 0x0, 0x0, 0x0
port_num 0x0
subslot_num 0x0
ifsubinst 0x0
ifsubinst port 0x7
phy_port_num 0x7
channel_id 0x0
channel_map 0x0
lag_id 0x7e
virtual_port_id 0xa
switch_fabric_port 7 >>> VQI matching for the ports
in_tm_qid_fid0 0x38001e
in_tm_qid_fid1 0x0
in_qos_drop_base 0xa69400
out_tm_qid_fid0 0x1fe002
out_tm_qid_fid1 0xffffffff
np_port 0xd3
ログ収集：
Show tech fabric
Show tech np
show controllers pm trace ?
async Platform manager async trace
creation Platform manager interface creation/deletion trace
error Platform manager error trace
information Platform manager information trace
init Platform manager init trace
other Platform manager common trace
stats Platform manager stats trace
NP障害トリアージ
NPロードの検証：
RP/0/RP0/CPU0:AG3_1#show controller np load all location 0/0/CPU0
Node: 0/0/CPU0:
----------------------------------------------------------------
Load Packet Rate
NP0: 2% utilization 3095766 pps
NP1: 3% utilization 5335675 pps
NP2: 0% utilization 498 pps
NP3: 0% utilization 1117 pps
ポートマッピング：
RP/0/RP0/CPU0:AG3_1#show controllers np ports all location 0/0/CPU0
Node: 0/0/CPU0:
----------------------------------------------------------------
NP Bridge Fia Ports
-- ------ --- ---------------------------------------------------
0 -- 0 TenGigE0/0/0/0/0 - TenGigE0/0/0/0/9, TenGigE0/0/0/1/0 - TenGigE0/0/0/1/9
1 -- 1 TenGigE0/0/0/2/0 - TenGigE0/0/0/2/9, HundredGigE0/0/0/3
2 -- 2 HundredGigE0/0/0/4 - HundredGigE0/0/0/5
3 -- 3 HundredGigE0/0/0/6 - HundredGigE0/0/0/7
トマホーク
これは管理モードであることに注意してください。
sysadmin-vm:0_RP0# show controller switch statistics location 0/LC0/LC-SW
Thu May 12 12:32:37.160 UTC+00:00
Rack Card Switch Rack Serial Number
--------------------------------------
0 LC0 LC-SW
Tx Rx
Phys State Drops/ Drops/
Port State Changes Tx Packets Rx Packets Errors Errors Connects To
----------------------------------------------------------------------------
0 Up 2 3950184361 3977756349 0 0 NP0
1 Up 2 0 0 0 0 NP0
8 Up 1 1319787462 209249871 0 0 LC CPU N0 P0
9 Up 1 3374323096 1819796660 0 0 LC CPU N0 P1
16 Up 2 2245174606 1089972811 0 0 NP1
17 Up 2 0 0 0 0 NP1
18 Up 2 65977 16543963 0 0 NP2
19 Up 2 0 0 0 0 NP2
32 Up 2 128588820 3904804720 0 0 NP3
33 Up 2 0 0 0 0 NP3
show asic-error np <> all loc <> >>> Ignore the macwrap errors as they are seen for every
interface flaps/ Execute 3-4 times to verify the drops increment
show controller np fast-drop <> loc <> >>> Execute 3-4 times to verify the drops increment
RP/0/RP0/CPU0:AG3_1#show controller np fast-drop np0 location 0/0/CPU0
Thu May 12 10:13:22.981 EDT
Node: 0/0/CPU0:
----------------------------------------------------------------
All fast drop counters for NP 0:
TenGigE0/0/0/1/0-TenGigE0/0/0/1/9:[Priority1] 0
TenGigE0/0/0/1/0-TenGigE0/0/0/1/9:[Priority2] 0
TenGigE0/0/0/1/0-TenGigE0/0/0/1/9:[Priority3] 0
TenGigE0/0/0/0/0-TenGigE0/0/0/0/9:[Priority1] 0
TenGigE0/0/0/0/0-TenGigE0/0/0/0/9:[Priority2] 0
TenGigE0/0/0/0/0-TenGigE0/0/0/0/9:[Priority3] 0
show controllers np punt-path-counters all HOST-IF-0 np<> location <>
[Check for IF_CNT_RX_FRM & IF_CNT_TX_FRM] >>> To check if diagnostic packets make it to the LC NP
Host CPU network port
光速度
show asic-error np <> all loc <> >>> Ignore the macwrap errors as they are seen for every interface flap
RP/0/RP0/CPU0:AG3_1#sho asic-errors np 0 all location 0/5/CPU0
************************************************************
* 0_5_CPU0 *
************************************************************
************************************************************
* Single Bit Errors *
************************************************************
************************************************************
* Multiple Bit Errors *
************************************************************
************************************************************
* Parity Errors *
************************************************************
************************************************************
* Generic Errors *
************************************************************
ASR, ASR9K Lightspeed 20*100GE SE LC, 0/5/CPU0, npu[0]
Name : mphmacwrapReg1.mphmacwrapExceptionLeaf4.mphWrapIrqUmacIpInt82
Leaf ID : 0x2023e082
Error count : 1
Last clearing : Thu Apr 7 11:41:47 2022
Last N errors : 1
--------------------------------------------------------------
First N errors.
@Time, Error-Data
------------------------------------------
show controller np fast-drop <> loc <> >>> Execute 3-4 times to verify the drops increment
RP/0/RP0/CPU0:AG3_1#show controller np fast-drop np0 location 0/5/CPU0
Thu May 12 10:13:28.321 EDT
Node: 0/5/CPU0:
----------------------------------------------------------------
All fast drop counters for NP 0:
HundredGigE0_5_0_0[Crit] 0
HundredGigE0_5_0_0[HP] 0
HundredGigE0_5_0_0[LP2] 0
HundredGigE0_5_0_0[LP1] 0
HundredGigE0_5_0_0[Crit+HP_OOR] 0
HundredGigE0_5_0_0[LP2+LP1_OOR] 0
HundredGigE0_5_0_1[Crit] 0
HundredGigE0_5_0_1[HP] 0
HundredGigE0_5_0_1[LP2] 0
HundredGigE0_5_0_1[LP1] 0
HundredGigE0_5_0_1[Crit+HP_OOR] 0
これは管理モードであることに注意してください。
sysadmin-vm:0_RP0# show controller switch statistics location 0/LC5/LC-SW >>> Execute 3-4
times to verify the errors increment
Rack Card Switch Rack Serial Number
--------------------------------------
0 LC5 LC-SW
Tx Rx
Phys State Drops/ Drops/
Port State Changes Tx Packets Rx Packets Errors Errors Connects To
-----------------------------------------------------------------------------
0 Up 4 1456694749 329318054 0 4 CPU -- EOBC
1 Up 2 21 23 0 0 CPU -- flexE
2 Up 4 1063966999 87683758 0 0 CPU -- PUNT
3 Up 4 885103800 3021484524 0 0 CPU -- BFD
4 Up 3 329319167 1456700372 0 0 RP0
5 Up 3 0 0 0 0 RP1
6 Up 1 11887785 2256 0 0 IPU 0
7 Up 1 0 1086 0 0 IPU 1
9 Up 4 74028034 3025657779 0 0 NP0
10 Up 4 5 0 0 0 NP0
11 Down 1 0 0 0 0 PHY0 -- flexE
12 Up 4 264928 264929 0 0 NP1
13 Up 2 5 0 0 0 NP1
14 Down 1 0 0 0 0 PHY1 -- flexE
15 Up 4 1516538834 1159586563 0 0 NP2
ログ収集：
show tech np
show tech fabric
show asic-errors fia trace all location <>
- eXRでは、次のようにnp_datalogを収集します。
RP/0/RP0/CPU0:AG3_1#run chvrf 0 ssh lc0_xr
LC : [one time capture]
show_np -e <> -d npdatalog [<> should be the affected NP]
Path where NP datalogs is saved : /misc/scratch/np/NPdatalog_0_0_CPU0_np0_prm__20220512-105332.txt.gz
LC : 5 to 10 times
show_np -e <> -d pipeline [<> should be the affected NP]
- LSP上のNP初期化の障害の場合：
RP/0/RP0/CPU0:AG2-2#show controllers np ports all location 0/6/CPU0
Node: 0/6/CPU0:
----------------------------------------------------------------
NP Bridge Fia Ports
-- ------ --- ---------------------------------------------------
0 -- 0 HundredGigE0/6/0/0 - HundredGigE0/6/0/31 --
1 -- 1 HundredGigE0/6/0/4 - HundredGigE0/6/0/7
NP2 is down. >>>>>>>>>. NP Down/Init Failure
3 -- 3 HundredGigE0/6/0/12 - HundredGigE0/6/0/154 --
4 -- 4 HundredGigE0/6/0/16 - HundredGigE0/6/0/19
次のログが表示されます。
LC/0/6/CPU0:Mar 23 02:53:56.175 IST: npu_server_lsp[138]: %PLATFORM-LDA-3-INIT_FAIL :
Failed to initialize lda_bb_np_reset_process 13795 inst 0x2 LC INIT: Failed in NP HAL
Reset np (0x00000001 - Operation not permitted) : npu_server_lsp : (PID=4597) :
-Traceback= 7fea2d5cd9f6 7fea2d7d5816 7fea21465efa 7fea21465fc2 7fea42ad0bed 55a9dbd66031
7fea45e1c855 7fea45e1cc2b 7fea2624d526 7fea3571b96a 7fea4d6e4831 55a9dbd691e9
LC/0/6/CPU0:Mar 23 02:53:56.185 IST: npu_server_lsp[138]: %PLATFORM-NP-4-INIT_DEBUG_MSG :
LDA NP2 Reset failed!! Check for a downlevel IPU version.
ログ収集：
show tech-support ethernet interfaces
show tech-support ethernet controllers
show tech-support np
show tech-support fpd
admin show tech-support ctrace (in eXR)
show tech fabric
show asic-errors fia trace all location <>
show logging
gather (in eXR)
RP/0/RP0/CPU0:AG3_1#admin
sysadmin-vm:0_RP0#
[sysadmin-vm:0_RP0:~]$bash -l
[sysadmin-vm:0_RP0:~]$ gather
File will be generated and will get saved in rp0_xr:/misc/disk1
Tomahawk、LSQ、およびLSPの一般的なログ収集
show platform
show inventory
show tech fabric
show tech np
show tech ethernet interface
show logging
show pfm location all
show pfm trace location <location id>
sh pfm process <> location <>
show controllers pm vqi location all
show hw-module fpd location all (cxr) / admin show hw-module fpd (exr)
show controllers fti trace <process-name> location <card location>
Cxr:
From admin:
show logging onboard common location <>
show logging onboard error location <>
Exr:
From sysadmin/calvados:
show logging onboard fabric location <>"
一般的なエラーのシグニチャおよび推奨事項
| [Category] |
エラー |
観察 |
推奨事項 |
| NP Init障害 |
LC/0/0/CPU0:Sep 29 00:41:13.171 IST:pfm_node_lc[304]: %PLATFORM-NP-1-NP_INIT_FAIL_NO_RESET: Set|prm_server_ty[168018]|0x1008006|永続的なNP初期化エラー、ラインカードのリロードは不要。 |
HWパリティ/TCAMエラーによりNPがNP init persistent errorになり、NPがダウンする可能性があります。 |
CLIを使用してLCをリロードし、回復します。 |
| この問題は、LCの最初のリロード後に一時的に発生した場合に回復する可能性があります。 |
同じエラーが繰り返し発生する場合は、Return Material Authorization(RMA)を完了してください。 |
||
| RMA（繰り返しインスタンスが表示される場合）（SRのピンが破損または曲がっていないかどうかを調べるには、問題のあるボードの写真を撮ってください）。 |
|||
| 誤ったフィールド処理が原因で、新しいカードが同じ問題に直面する可能性があります。 |
|||
| NPにマッピングされたインターフェイスがダウンしたままになる/影響なし |
|||
| ASICの致命的な障害 – 二重ビットECCエラー |
LC/0/8/CPU0:5月29日18:29:09.836 IST:pfm_node_lc[301]: %FABRIC-FIA-0-ASIC_FATAL_FAULT : Set|fialc[159811]|0x108a000|Fabric interface asic0 encountered fatal fault 0x1 - DDR DOUBLE ECC ERROR |
これは、FIA is a HardエラーでのダブルビットECCエラーです。 |
FIAでのHWエラー。 |
| エラーが再発する可能性があるため、LCのadmin shutを推奨します。 |
カードのRMAを申請します。 |
||
| NP/FIAにマッピングされたインターフェイスがダウンしたままになる/影響なし |
|||
| この問題は、FIAがfib_mgrプロセスブロックを作成した場合に発生します。 |
|||
| SERDESエラー |
・RP/0/RSP1/CPU0:Apr 17 12:22:10.690 IST: pfm_node_rp[378]: %PLATFORM-CROSSBAR-1-SERDES_ERROR_LNK0 : Set|fab_xbar[209006]|0x101702f|XBAR_1_Slot_1 |
LCファブリックまたはRSPファブリックでのファブリックエラー |
繰り返しエラーが発生した場合に一時的またはCRCエラーを回復するには、CLIを使用してLCをリロードします。 |
| DATA_NB_SERDES_1_FAIL_0 |
LC/0/3/CPU0:Apr 10 18:55:03.213 IST:pfm_node_lc[304]: %FABRIC-FIA-1-DATA_NB_SERDES_1_FAIL_0 : Set|fialc[168004]|0x103d001|Data NB Serdes Link 1 Failure on FIA 1 RP/0/RSP0/CPU0:Apr 10 18:55:13.043 IST: FABMGR[227]: %PLATFORM-FABMGR-2-FABRIC_INTERNAL_FAULT: 0/3/CPU0 （スロット3）でファブリックエラーが発生しました。インターフェイスをシャットダウンします。 |
ファブリック上のSERDESエラーを自動回復するためのインターフェイスの再確立メカニズム。 ハードウェアの問題が発生した場合、エラーはLCまたはRSPで再び発生する可能性があります。 インターフェイスがアップしたままになる、またはSERDESで頻繁にエラーが発生し、トラフィックに影響が及ぶ。 |
OIR後の繰り返しインスタンスのRMA |
| ASIC INITエラー |
・LC/0/6/CPU0:Jul 17 00:01:40.738 2019:pfm_node_lc[301]: %FABRIC-FIA-1-ASIC_INIT_ERROR : Set|fialc[168003]|0x108a000|FIAインスタンス0でASIC INITエラーが検出されました |
syslogにASIC INIT ERRORがあるLC上のFIAのいずれかで発生するFIAインスタンスのダウンイベント。 |
CLIを使用してLCをリロードし、一時的な問題を排除します。 |
| FIA ASIC致命的エラー (TS_NI_INTR_LCL_TIMER_EXPIRED) |
LC/0/19/CPU0:Mar 8 04:52:29.020 IST: pfm_node_lc[301]: %FABRIC-FIA-0-FATAL_INTERRUPT_ERROR : Set|fialc[172098]|0x108a003|FIAの致命的なエラー割り込み3: TS_NI_INTR_LCL_TIMER_EXPIRED |
新しいカードの場合、ユニットの出荷/取り付け時に不適切な取り扱いが行われ、ボードに物理的な損傷が発生していることが確認されています。 数枚のボードは物理的な損傷を示していませんが、EFAの間にはんだクラックが観察されました。これは、パッケージに過剰な負荷がかかっており、時間の経過とともに誤動作する可能性があることを示しています。 インターフェイスがアップしたままになる、またはSERDESで頻繁にエラーが発生し、トラフィックに影響が及ぶ。 |
問題が解決しない場合は、RMA/R&Rに進みます。 |
| NP高速リセット(Tomahawk) |
LC/0/4/CPU0:7月6日04:06:49.259 IST: prm_server_ty[318]: %PLATFORM-NP-3-ECC : prm_ser_check:NP 1のソフトエラーから正常に回復するためにNPの高速リセットが完了しました。これ以上の修正操作は必要ありません。 |
NPはソフトパリティの問題を検出し、NPの高速リセットを試みてこれを修正しようとします。 |
最初の回はRMAを行いません。 |
| NPパリティLCリロード |
LC/0/6/CPU0:Jan 27 20:38:08.011 IST: prm_server_to[315]: %PLATFORM-NP-0-LC_RELOAD: NP3には1時間以内に3回の高速リセットがあり、NPdatalogの収集とLCの自動リブートが開始されました |
通常、3回回復を試みた後、LCはTomahawkカードで通常見られるNP上のパリティ問題を修正するために自動的にリロードします。 LCでは、LCをリロードし、報告されたNPでソフトで回復不可能なパリティの問題を修正することにより、自動回復機能が実行されます。 NPにマッピングされたインターフェイスがリセット/影響なし |
同じエラーが繰り返し発生した場合のRMA。 |
| LC_NP_LOOPBACK_FAILED |
LC/0/1/CPU0:7月26日17:29:06.146 IST:pfm_node_lc[304]: %PLATFORM-DIAGS-0-LC_NP_LOOPBACK_FAILED_TX_PATH : Set|online_diag_lc[168022]|ラインカードNPUループバックテスト(0x2000006)|リンク障害マスクは0x1です。 |
いずれかのNPでLC NPループバック診断テストが失敗しました。 |
CLIを使用してLCをリロードし、一時的な問題を排除します。 |
| アラームはPFMで「LC_NP_LOOPBACK_FAILED_XX_PATH」として設定されます。 |
同じエラーが繰り返し発生した場合のRMA。 |
||
| NPにマッピングされたインターフェイスがリセット/影響なし |
|||
| ファブリックFIA-1-SUSTAINED_CRC_ERR |
LC/0/5/CPU0:Mar 6 05:47:34.748 IST:pfm_node_lc[303]: %FABRIC-FIA-1-SUSTAINED_CRC_ERR : Set|fialc[168004]|0x103d000|ファブリックインターフェイスASIC-0でCRCエラーが発生しました |
Fiaシャットダウン：ファブリックFIAでCRCエラーが発生し続けました。 |
CLIを使用してLCをリロードし、一時的な問題を排除します。 |
| FIAシャットダウンイベントが発生すると、FIAのインターフェイスもダウンします。 |
同じエラーが繰り返し発生した場合のRMA。 |
||
| インターフェイスはアップ状態のまま/影響なし |
|||
| FAB ARB XIF1エラー |
・LC/0/6/CPU0:Jan 25 19:31:22.787 IST:pfm_node_lc[302]: %PLATFORM-FABARBITER-1-RX_LINK_ERR :Clear|fab_arb[163918]|0x1001001|LIT_XIF1_K_CHAR_ERR LC/0/6/CPU0:Jan 25 19:31:22.787 IST: pfm_node_lc[302]: %PLATFORM-FABARBITER-1-SYNC_ERR : Clear|fab_arb[163918]|0x1001001|LIT_XIF1_LOSS_SYNC LC/0/6/CPU0:Jan 25 19:33:23.010 IST:pfm_node_lc[302]: %PLATFORM-FABARBITER-1-RX_LINK_ERR : Set|fab_arb[163918]|0x1001001|LIT_XIF1_DISP_ERR |
LCおよびファブリックアービターの同期エラーとrx_linkエラーのパントエラー。 インターフェイスはアップ状態のまま/影響なし |
カードのOIRを行って、一時的な問題を除外します。 同じエラーが繰り返し発生した場合のRMA。 |
| FPOE_read_writeエラー |
xbarエラートレース(show tech fabric) |
Cisco Bug ID CSCvv45788 |
ソフトウェアの欠陥 |
| FIA_XBARサービス |
#show controller fabric fia link-status location 0/9/CPU0 |
カードのOIRを行って、一時的な問題を除外します。同じエラーが繰り返し発生した場合のRMA。 |
|
| NP DIAG ICFD高速リセット |
NP0、ICFD(STS-1)、NPのNP-DIAGは0 ～ 4です。 NP3は1時間以内に3回の高速リセットを行い、NPdatalog収集と自動LCリブートを開始しました |
NPの高速リセットをトリガーします。 LCは、3 NPの高速リセットが1時間で発生するとリロードします。 |
LCが何度もリロードする場合はRMAを要求します。 |
| PRMヘルスモニタリングがパケットNPの高速リセットを取得できませんでした |
NP-DIAGヘルスモニタリング障害 NP3は1時間以内に3回の高速リセットを行い、NPdatalog収集と自動LCリブートを開始しました |
NPの高速リセットをトリガーします。 LCは、3 NPの高速リセットが1時間で発生するとリロードします。 |
LCが何度もリロードする場合はRMAを要求します。 |
| PRMヘルスモニタリングで破損したパケットが取得される – NPの高速リセット |
NP-DIAGヘルスモニタリングの破損 NP3は1時間以内に3回の高速リセットを行い、NPdatalog収集と自動LCリブートを開始しました |
NPの高速リセットをトリガーします。 LCは、3 NPの高速リセットが1時間で発生するとリロードします。 |
LCが何度もリロードする場合はRMAを要求します。 |
| 最も多い非アクティブ失敗 |
NP上のNP-DIAG障害 Top inactivity時のUcodeからの割り込み – NPの高速リセット |
NPの高速リセットをトリガーします。 LCは、3 NPの高速リセットが1時間で発生するとリロードします。 |
LCが何度もリロードする場合はRMAを要求します。 |
| LSP NP Init障害 |
LC/0/6/CPU0:Mar 23 02:53:56.175 IST: npu_server_lsp[138]: %PLATFORM-LDA-3-INIT_FAIL : Failed to initialize lda_bb_np_reset_process 13795 inst 0x2 LC INIT: Failed in NP HAL Reset (0x00000001 – 操作は許可されていません) : npu_server_lsp : (PID=4597) : eback= 7fea2d5cd9f6 7fea2d7d5816 7fea21465efa 7fea21465fc2 7fea42ad0bed 55a9dbd66031 7fea45e1c855 5 7fea45e1cc2b 7fea2624d526 7fea3571b96a 7fea4d6e4831 55a9dbd691e9 |
次の情報を収集する必要があります。
ファイルが生成され、rp0_xr:/misc/disk1に保存されます。
|
CLIを使用してLCをリロードし、一時的な問題を排除します。 |
| Tomahawk NP Init障害(DDRトレーニング失敗) |
+++ show prm server trace error location 0/7/CPU0 [14:36:59.520 IST Sat Jan 29 2022] ++++ 97個のラッピングエントリ（2,112個の可能、割り当て済み320個、0個のフィルター処理、合計97個） 1月29日00:22:10.135 prm_server/error 0/7/CPU0 t10 prm_np_Channel_PowerUp : 0x80001d46チャネル3フェーズ4への電源投入時にエラーが発生しました 1月29日00:22:10.136 prm_server/error 0/7/CPU0 t10 np_thread_channel_bringup : 0xa57c0200 Power phase 4 failed on channel 3 Jan 29 00:22:10.136 prm_server/error 0/7/CPU0 t10 np_thread_channel_bringup NP3が起動に失敗し、再試行します。再試行回数1 1月29日00:22:35.125 prm_server/error 0/7/CPU0 t10 prm_np_Channel_PowerUp : 0x80001d46チャネル3フェーズ4への電源投入時にエラーが発生しました。 1月29日00:22:35.125 prm_server/error 0/7/CPU0 t10 np_thread_channel_bringup : 0xa57c0200電源相4がチャネル3で失敗しました Jan 29 00:22:35.125 prm_server/error 0/7/CPU0 t10 np_thread_channel_bringup NP3が起動に失敗し、再試行します。再試行回数2 1月29日00:22:59.075 prm_server/error 0/7/CPU0 t10 prm_np_Channel_PowerUp : 0x80001d46チャネル3フェーズ4への電源投入時にエラーが発生しました。 1月29日00:22:59.075 prm_server/error 0/7/CPU0 t10 np_thread_channel_bringup : 0xa57c0200 Power phase 4 failed on channel 3 Jan 29 00:22:59.075 prm_server/error 0/7/CPU0 t10 np_thread_channel_bringup 3回の試行の後、NP3が初期化に失敗しました。 Jan 29 00:23:00.087 prm_server/error 0/7/CPU0 t10 prm_send_pfm_msg: Persistent NP initialization failure, linecard reload not required. NPドライバのログを確認します。 <NP#3>DDRトレーニング失敗（ステータス0x1） <NP#3>ddr3TipRunAlg：チューニング失敗0 <NP#3>ddrTipRunAlgo opcode: ddr3TipRunAlg failed （エラー0x1） <NP#3>***エラー：不明0x1 |
ノード：node0_7_CPU0 1月29日00:22:58|8 |NP_INIT_FAIL_NO_RESET |E/A|5356 |ネットワークプロセス|0x1008000 |
CLIを使用してLCをリロードし、一時的な問題を排除します。それでも問題が発生する場合は、LCのRMA Cisco Bug ID CSCwa85165 |
| LSP NP初期化エラー（HbmReadParticleErrorエラー） |
LC/0/13/CPU0:Jan 10 13:34:59.106 IST: npu_server_lsp[278]: %PLATFORM-NP-4-SHUTDOWN_START : NP4: EMRHIMREG.ch1Psch0HbmReadParticleErrorが検出されました。NPシャットダウンが進行中です LC/0/13/CPU0:Jan 10 13:34:59.106 IST: pfm_node_lc[330]: %PLATFORM-NP-0-UNRECOVERABLE_ERROR : Set|npu_server_lsp[4632]|0x10a5004|NP4で回復不可能なエラーが検出されました |
+++ show controllers np interrupts all location 0/13/CPU0 [16:02:16.712 IST Mon Jan 10 2022] ++++ ノード： 0/13/CPU0: ---------------------------------------------------------------- NPU割り込み名ID Cnt — ------------------------------------------------------------------------------------------ -------------- ------- <中略> 4 hbmdpReg0.hbmdpExceptionLeaf0.hbmdpIntNwlHbmdpRdDataUncorrectableErrCh1Psch1 0x201dc013 1 4 hbmdpReg0.hbmdpExceptionLeaf0.hbmdpIntNwlHbmdpRdDataUncorrectableErrCh1Psch0 0x201dc012 1 |
Cisco Bug ID CSCvt59803がインストールされていることを確認します。 CLIを介したLCのリロードは回復に役立ちます。 |
| スタンバイ時のアービターリンクダウン |
ファブリックマネージャ： |
カードのOIRを行って、一時的な問題を除外します。同じエラーの繰り返しのインスタンスに対するRMA。 |
|
| Serdesエラー |
show serdes trace location 0/X/CPU0 | i "HTL_ERR_DEVICE_NOT_CONNECTED"')次のエラーが表示されます。 |
Cisco Bug ID CSCvz75552 |
ソフトウェアの欠陥 |
既知の障害
| Cisco Bug ID | コンポーネント | タイトル |
| Cisco Bug ID CSCvy00012 | asr9k-diags – オンライン | online_diag_rspによるパケットメモリの枯渇 |
| Cisco Bug ID CSCvw57721 | asr9k-servicepack（サービスパック） | Lightspeed NPおよびアービターSERDES用の更新されたファームウェアを含む包括SMU |
| Cisco Bug ID CSCvz75552 | asr9k-vic-ls（オプション） | Phyファームウェアがハングし、光ファイバがA9K-20HG-FLEXで認識されない |
| Cisco Bug ID CSCvz76691 | asr9k-servicepack（サービスパック） | Tomahawkラインカードのリンクステータス割り込み処理が改善された包括SMU |
| Cisco Bug ID CSCvz84139 | asr9k-ls – ファブリック | ルータを742にアップグレードするとfab_siがクラッシュする |
| Cisco Bug ID CSCwa81006 | asr9k-pfm | ASR9K/eXR unable to commit fault-manager datapath port shutdown」が表示される |
| Cisco Bug ID CSCvz16840 | asr9k-fia（ゲートキーパー） | 6.5.2で追加された変更により、転送パスが早期にシャットダウンされたため、CLIがLCをリロードすると、BLBセッションがフラップする |
| Cisco Bug ID CSCwb64255 | asr9k-fab-xbar | starscream(9912)およびMegatron(9922)シャーシのSKBの新しいSI設定 |
| Cisco Bug ID CSCwa09794 | asr9k-fab-xbar | skb-SM15のROシャーシの調整後の新しいSI |
| Cisco Bug ID CSCvv45788 | asr9k-fab-xbar | fab_xbarおよびmgid-programmerプロセスによるhwへの同時アクセス |
| Cisco Bug ID CSCwd22196 | asr9k-prm | トマホークLCのILKNリンク間のRFDバッファ枯渇 |
| Cisco Bug ID CSCwb66960 | asr9k-fab-infra | ASR9kパントファブリック障害分離 |
| Cisco Bug ID CSCwa79758 | asr9k-fab-xbar | XBARリンク障害が発生している別のLSP LCのOIRを実行した後のLSP LCでのマルチキャスト損失 |
| Cisco Bug ID CSCvw88284 | asr9k-lda-ls（ローカル認証） | 9910/9906シャーシでは、RSP5 BWはデフォルトで600 Gではなく200 Gに設定されます。 |
| Cisco Bug ID CSCvm82379 | asr9k-fab-arb | sh techファブリックの適用中のfab-arbクラッシュ |
| Cisco Bug ID CSCvh00349 | asr9k-fia（ゲートキーパー） | ASR9kファブリックは、スタンバイ状態で送信されるucastパケットを処理できます |
| Cisco Bug ID CSCvk44688 | asr9k-fia（ゲートキーパー） | FPGAでエラーが繰り返し発生し、回復できませんでした |
| Cisco Bug ID CSCvy31670 | asr9k-ls-fia（ルータ） | LSP:FC0を取り外すとファブリックレートリミッタが有効になりますが、FC4は有効になりません |
| Cisco Bug ID CSCvt59803 | asr9k-ls-npdriver | LSP: PLATFORM-NP-4-SHUTDOWN IMRHIMREG.ch1Psch1HbmReadParticleError |
fault-manager datapath port shutdown/toggleコマンドの動作
fault-manager datapath port shutdownコマンドは、アクティブなRP/RSPで、Punt Datapath Failureアラームが設定されているそれぞれのFIA/NPのポートをシャットダウンするのに役立ち、インターフェイスは、LCがリロードされるまで自動的には起動しません。このCLIコマンドは、7. x.xリリースから予想どおりに動作しません。(CLIコマンドfault-manager datapath port shutdownが7. x.xの設計どおりに動作しない):7.7.2で修正されています。fault-manager datapath port toggleというCLIコマンドは正常に動作します。Punt Datapath Failureアラームがクリアされると、ポートが開きます。- これにより、冗長パスで適切なリンクレベルの冗長性とBWのアベイラビリティが利用可能な場合に、サービスの停止を回避できます。
テスト – 前述のコマンドの動作を検証します。
NP0 LC7でのパントエラー生成の誘発：
RP/0/RP0/CPU0:ASR-9922-A#monitor np counter PUNT_DIAGS_RSP_ACT np0 count 20 location 0/7/CPU0
Wed Jul 7 14:15:17.489 UTC
Usage of NP monitor is recommended for cisco internal use only.
Please use instead 'show controllers np capture' for troubleshooting packet drops in NP
and 'monitor np interface' for per (sub)interface counter monitoring
Warning: Every packet captured will be dropped! If you use the 'count'
option to capture multiple protocol packets, this could disrupt
protocol sessions (eg, OSPF session flap). So if capturing protocol
packets, capture only 1 at a time.
Warning: A mandatory NP reset will be done after monitor to clean up.
This will cause ~150ms traffic outage. Links will stay Up.
Proceed y/n [y] > y
Monitor PUNT_DIAGS_RSP_ACT on NP0 ... (Ctrl-C to quit)
Wed Jul 7 14:17:08 2021 -- NP0 packet
From Fabric: 127 byte packet
0000: 00 09 00 00 b4 22 00 00 ff ff ff ff 00 00 ff ff ....4"..........
0010: 00 ff 00 ff f0 f0 f0 f0 cc cc cc cc aa aa aa aa ....ppppLLLL****
0020: 55 55 55 55 00 00 00 00 01 00 00 00 00 00 00 00 UUUU............
0030: 00 00 00 00 ff ff ff ff 00 00 ff ff 00 ff 00 ff ................
0040: f0 f0 f0 f0 cc cc cc cc aa aa aa aa 55 55 55 55 ppppLLLL****UUUU
0050: 00 00 00 00 01 00 00 00 00 00 00 00 00 00 00 00 ................
0060: ff ff ff ff 00 00 ff ff 00 ff 00 ff f0 f0 f0 f0 ............pppp
0070: cc cc cc cc aa aa aa aa 55 55 55 55 00 00 00 LLLL****UUUU...
(count 1 of 20)
Wed Jul 7 14:18:09 2021 -- NP0 packet
From Fabric: 256 byte packet
0000: 00 09 00 00 b5 22 00 00 ff ff ff ff 00 00 ff ff ....5"..........
0010: 00 ff 00 ff f0 f0 f0 f0 cc cc cc cc aa aa aa aa ....ppppLLLL****
0020: 55 55 55 55 00 00 00 00 01 00 00 00 00 00 00 00 UUUU............
0030: 00 00 00 00 ff ff ff ff 00 00 ff ff 00 ff 00 ff ................
0040: f0 f0 f0 f0 cc cc cc cc aa aa aa aa 55 55 55 55 ppppLLLL****UUUU
0050: 00 00 00 00 01 00 00 00 00 00 00 00 00 00 00 00 ................
0060: ff ff ff ff 00 00 ff ff 00 ff 00 ff f0 f0 f0 f0 ............pppp
0070: cc cc cc cc aa aa aa aa 55 55 55 55 00 00 00 00 LLLL****UUUU....
0080: 01 00 00 00 00 00 00 00 00 00 00 00 ff ff ff ff ................
0090: 00 00 ff ff 00 ff 00 ff f0 f0 f0 f0 cc cc cc cc ........ppppLLLL
00a0: aa aa aa aa 55 55 55 55 00 00 00 00 01 00 00 00 ****UUUU........
00b0: 00 00 00 00 00 00 00 00 ff ff ff ff 00 00 ff ff ................
00c0: 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 ................
00d0: 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 ................
00e0: 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 ................
00f0: 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 ................
(count 2 of 20)
Wed Jul 7 14:19:09 2021 -- NP0 packet
Actual packet size 515 bytes truncated size 384:
From Fabric: 384 byte packet
0000: 00 09 00 00 b6 22 00 00 ff ff ff ff 00 00 ff ff ....6"..........
0010: 00 ff 00 ff f0 f0 f0 f0 cc cc cc cc aa aa aa aa ....ppppLLLL****
0020: 55 55 55 55 00 00 00 00 01 00 00 00 00 00 00 00 UUUU............
0030: 00 00 00 00 ff ff ff ff 00 00 ff ff 00 ff 00 ff ................
0040: f0 f0 f0 f0 cc cc cc cc aa aa aa aa 55 55 55 55 ppppLLLL****UUUU
0050: 00 00 00 00 01 00 00 00 00 00 00 00 00 00 00 00 ................
0060: ff ff ff ff 00 00 ff ff 00 ff 00 ff f0 f0 f0 f0 ............pppp
0070: cc cc cc cc aa aa aa aa 55 55 55 55 00 00 00 00 LLLL****UUUU....
0080: 01 00 00 00 00 00 00 00 00 00 00 00 ff ff ff ff ................
0090: 00 00 ff ff 00 ff 00 ff f0 f0 f0 f0 cc cc cc cc ........ppppLLLL
00a0: aa aa aa aa 55 55 55 55 00 00 00 00 01 00 00 00 ****UUUU........
00b0: 00 00 00 00 00 00 00 00 ff ff ff ff 00 00 ff ff ................
00c0: 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 ................
00d0: 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 ................
00e0: 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 ................
00f0: 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 ................
0100: 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 ................
0110: 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 ................
0120: 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 ................
0130: 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 ................
0140: 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 ................
0150: 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 ................
0160: 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 ................
0170: 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 ................
RP/0/RP0/CPU0:ASR-9922-A#sh pfm location 0/RP0/CPU0
Wed Jul 7 14:19:17.174 UTC
node: node0_RP0_CPU0
---------------------
CURRENT TIME: Jul 7 14:19:17 2021
PFM TOTAL: 2 EMERGENCY/ALERT(E/A): 1 CRITICAL(CR): 0 ERROR(ER): 1
-------------------------------------------------------------------------------------------------
Raised Time |S#|Fault Name |Sev|Proc_ID|Dev/Path Name |Handle
--------------------+--+-----------------------------------+---+-------+--------------+----------
Jul 1 10:13:45 2021|0 |SPINE_UNAVAILABLE |E/A|5082 |Fabric Manager|0x1034000
Jul 7 14:19:09 2021|0 |PUNT_FABRIC_DATA_PATH_FAILED |ER |9429 |System Punt/Fa|0x2000004
RP/0/RP0/CPU0:ASR-9922-A#sh pfm process 9429 location 0/Rp0/CPU0
Wed Jul 7 14:19:37.128 UTC
node: node0_RP0_CPU0
---------------------
CURRENT TIME: Jul 7 14:19:37 2021
PFM TOTAL: 2 EMERGENCY/ALERT(E/A): 1 CRITICAL(CR): 0 ERROR(ER): 1
PER PROCESS TOTAL: 0 EM: 0 CR: 0 ER: 0
Device/Path[1 ]:Fabric loopbac [0x2000003 ] State:RDY Tot: 0
Device/Path[2 ]:System Punt/Fa [0x2000004 ] State:RDY Tot: 1
1 Fault Id: 432
Sev: ER
Fault Name: PUNT_FABRIC_DATA_PATH_FAILED
Raised Timestamp: Jul 7 14:19:09 2021
Clear Timestamp: N/A
Changed Timestamp: N/A
Resync Mismatch: FALSE
MSG: failure threshold is 3, (slot, NP) failed: (0/7/CPU0, 0)
Device/Path[3 ]:Crossbar Switc [0x108c000 ] State:RDY Tot: 0
Device/Path[4 ]:Crossbar Switc [0x108c001 ] State:RDY Tot: 0
Device/Path[5 ]:Crossbar Switc [0x108c002 ] State:RDY Tot: 0
Device/Path[6 ]:Crossbar Switc [0x108c003 ] State:RDY Tot: 0
Device/Path[7 ]:Crossbar Switc [0x108c004 ] State:RDY Tot: 0
Device/Path[8 ]:Crossbar Switc [0x108c005 ] State:RDY Tot: 0
Device/Path[9 ]:Crossbar Switc [0x108c006 ] State:RDY Tot: 0
Device/Path[10]:Crossbar Switc [0x108c007 ] State:RDY Tot: 0
Device/Path[11]:Crossbar Switc [0x108c008 ] State:RDY Tot: 0
Device/Path[12]:Crossbar Switc [0x108c009 ] State:RDY Tot: 0
Device/Path[13]:Crossbar Switc [0x108c00a ] State:RDY Tot: 0
Device/Path[14]:Crossbar Switc [0x108c00b ] State:RDY Tot: 0
Device/Path[15]:Crossbar Switc [0x108c00c ] State:RDY Tot: 0
Device/Path[16]:Crossbar Switc [0x108c00d ] State:RDY Tot: 0
Device/Path[17]:Crossbar Switc [0x108c00e ] State:RDY Tot: 0
Device/Path[18]:Fabric Interfa [0x108b000 ] State:RDY Tot: 0
Device/Path[19]:Fabric Arbiter [0x1086000 ] State:RDY Tot: 0
Device/Path[20]:CPU Controller [0x108d000 ] State:RDY Tot: 0
Device/Path[21]:Device Control [0x109a000 ] State:RDY Tot: 0
Device/Path[22]:ClkCtrl Contro [0x109b000 ] State:RDY Tot: 0
Device/Path[23]:NVRAM [0x10ba000 ] State:RDY Tot: 0
Device/Path[24]:Hooper switch [0x1097000 ] State:RDY Tot: 0
Device/Path[25]:Hooper switch [0x1097001 ] State:RDY Tot: 0
Device/Path[26]:Hooper switch [0x1097002 ] State:RDY Tot: 0
Device/Path[27]:Hooper switch [0x1097003 ] State:RDY Tot: 0
この場合、ポートはダウンしていません。
RP/0/RP0/CPU0:ASR-9922-A#sh ipv4 int brief location 0/7/CPU0
Wed Jul 7 14:21:29.693 UTC
Interface IP-Address Status Protocol Vrf-Name
TenGigE0/7/0/0 unassigned Down Down default
TenGigE0/7/0/1 unassigned Down Down default
TenGigE0/7/0/2 unassigned Down Down default
TenGigE0/7/0/3 unassigned Down Down default
TenGigE0/7/0/4 unassigned Down Down default
TenGigE0/7/0/5 unassigned Down Down default
TenGigE0/7/0/6 unassigned Down Down default
TenGigE0/7/0/7 unassigned Shutdown Down default
TenGigE0/7/0/8 unassigned Shutdown Down default
TenGigE0/7/0/9 unassigned Shutdown Down default
TenGigE0/7/0/10 unassigned Down Down default
TenGigE0/7/0/11 unassigned Down Down default
TenGigE0/7/0/12 unassigned Down Down default
TenGigE0/7/0/13 unassigned Shutdown Down default
TenGigE0/7/0/14 unassigned Shutdown Down default
TenGigE0/7/0/15 unassigned Shutdown Down default
TenGigE0/7/0/16 unassigned Shutdown Down default
TenGigE0/7/0/17 unassigned Shutdown Down default
TenGigE0/7/0/18 unassigned Down Down default
TenGigE0/7/0/19 unassigned Up Up default >>>>>>> Port is UP
RP/0/RP0/CPU0:ASR-9922-A#sh logging last 200 | in 0/7/0
Wed Jul 7 14:22:35.715 UTC
RP/0/RP0/CPU0:ASR-9922-A#
テストケース1.2:
fault-manager datapath port toggleコマンドでのNP/ポートの動作：
RP/0/RP0/CPU0:ASR-9922-A#sh run formal | in data
Wed Jul 7 14:52:11.714 UTC
Building configuration...
fault-manager datapath port toggle
RP/0/RP0/CPU0:ASR-9922-A#
PFMのアラームなし：
RP/0/RP0/CPU0:ASR-9922-A#sh pfm location 0/Rp0/CPU0
Wed Jul 7 14:55:13.410 UTC
node: node0_RP0_CPU0
---------------------
CURRENT TIME: Jul 7 14:55:13 2021
PFM TOTAL: 1 EMERGENCY/ALERT(E/A): 1 CRITICAL(CR): 0 ERROR(ER): 0
-------------------------------------------------------------------------------------------------
Raised Time |S#|Fault Name |Sev|Proc_ID|Dev/Path Name |Handle
--------------------+--+-----------------------------------+---+-------+--------------+----------
Jul 1 10:13:45 2021|0 |SPINE_UNAVAILABLE |E/A|5082 |Fabric Manager|0x1034000
RP/0/RP0/CPU0:ASR-9922-A#
NP0 LC7でのパントエラー生成：
RP/0/RP0/CPU0:ASR-9922-A#monitor np counter PUNT_DIAGS_RSP_ACT np0 count 20 location 0/7/CPU0
Wed Jul 7 14:51:18.596 UTC
Usage of NP monitor is recommended for cisco internal use only.
Please use instead 'show controllers np capture' for troubleshooting packet drops in NP
and 'monitor np interface' for per (sub)interface counter monitoring
Warning: Every packet captured will be dropped! If you use the 'count'
option to capture multiple protocol packets, this could disrupt
protocol sessions (eg, OSPF session flap). So if capturing protocol
packets, capture only 1 at a time.
Warning: A mandatory NP reset will be done after monitor to clean up.
This will cause ~150ms traffic outage. Links will stay Up.
Proceed y/n [y] > y
Monitor PUNT_DIAGS_RSP_ACT on NP0 ... (Ctrl-C to quit)
Wed Jul 7 14:53:21 2021 -- NP0 packet
From Fabric: 127 byte packet
0000: 00 09 00 00 d8 22 00 00 ff ff ff ff 00 00 ff ff ....X"..........
0010: 00 ff 00 ff f0 f0 f0 f0 cc cc cc cc aa aa aa aa ....ppppLLLL****
0020: 55 55 55 55 00 00 00 00 01 00 00 00 00 00 00 00 UUUU............
0030: 00 00 00 00 ff ff ff ff 00 00 ff ff 00 ff 00 ff ................
0040: f0 f0 f0 f0 cc cc cc cc aa aa aa aa 55 55 55 55 ppppLLLL****UUUU
0050: 00 00 00 00 01 00 00 00 00 00 00 00 00 00 00 00 ................
0060: ff ff ff ff 00 00 ff ff 00 ff 00 ff f0 f0 f0 f0 ............pppp
0070: cc cc cc cc aa aa aa aa 55 55 55 55 00 00 00 LLLL****UUUU...
(count 1 of 20)
Wed Jul 7 14:54:22 2021 -- NP0 packet
From Fabric: 256 byte packet
0000: 00 09 00 00 d9 22 00 00 ff ff ff ff 00 00 ff ff ....Y"..........
0010: 00 ff 00 ff f0 f0 f0 f0 cc cc cc cc aa aa aa aa ....ppppLLLL****
0020: 55 55 55 55 00 00 00 00 01 00 00 00 00 00 00 00 UUUU............
0030: 00 00 00 00 ff ff ff ff 00 00 ff ff 00 ff 00 ff ................
0040: f0 f0 f0 f0 cc cc cc cc aa aa aa aa 55 55 55 55 ppppLLLL****UUUU
0050: 00 00 00 00 01 00 00 00 00 00 00 00 00 00 00 00 ................
0060: ff ff ff ff 00 00 ff ff 00 ff 00 ff f0 f0 f0 f0 ............pppp
0070: cc cc cc cc aa aa aa aa 55 55 55 55 00 00 00 00 LLLL****UUUU....
0080: 01 00 00 00 00 00 00 00 00 00 00 00 ff ff ff ff ................
0090: 00 00 ff ff 00 ff 00 ff f0 f0 f0 f0 cc cc cc cc ........ppppLLLL
00a0: aa aa aa aa 55 55 55 55 00 00 00 00 01 00 00 00 ****UUUU........
00b0: 00 00 00 00 00 00 00 00 ff ff ff ff 00 00 ff ff ................
00c0: 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 ................
00d0: 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 ................
00e0: 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 ................
00f0: 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 ................
(count 2 of 20)
RP/0/RP0/CPU0:ASR-9922-A#sh pfm location 0/Rp0/CPU0
Wed Jul 7 14:56:24.459 UTC
node: node0_RP0_CPU0
---------------------
CURRENT TIME: Jul 7 14:56:24 2021
PFM TOTAL: 2 EMERGENCY/ALERT(E/A): 1 CRITICAL(CR): 0 ERROR(ER): 1
-------------------------------------------------------------------------------------------------
Raised Time |S#|Fault Name |Sev|Proc_ID|Dev/Path Name |Handle
--------------------+--+-----------------------------------+---+-------+--------------+----------
Jul 1 10:13:45 2021|0 |SPINE_UNAVAILABLE |E/A|5082 |Fabric Manager|0x1034000
Jul 7 14:55:23 2021|0 |PUNT_FABRIC_DATA_PATH_FAILED |ER |9429 |System Punt/Fa|0x2000004
RP/0/RP0/CPU0:ASR-9922-A#sh pfm process 9429 location 0/RP0/CPU0
Wed Jul 7 14:56:39.961 UTC
node: node0_RP0_CPU0
---------------------
CURRENT TIME: Jul 7 14:56:40 2021
PFM TOTAL: 2 EMERGENCY/ALERT(E/A): 1 CRITICAL(CR): 0 ERROR(ER): 1
PER PROCESS TOTAL: 0 EM: 0 CR: 0 ER: 0
Device/Path[1 ]:Fabric loopbac [0x2000003 ] State:RDY Tot: 0
Device/Path[2 ]:System Punt/Fa [0x2000004 ] State:RDY Tot: 1
1 Fault Id: 432
Sev: ER
Fault Name: PUNT_FABRIC_DATA_PATH_FAILED
Raised Timestamp: Jul 7 14:55:23 2021
Clear Timestamp: N/A
Changed Timestamp: N/A
Resync Mismatch: FALSE
MSG: failure threshold is 3, (slot, NP) failed: (0/7/CPU0, 0)
Device/Path[3 ]:Crossbar Switc [0x108c000 ] State:RDY Tot: 0
Device/Path[4 ]:Crossbar Switc [0x108c001 ] State:RDY Tot: 0
Device/Path[5 ]:Crossbar Switc [0x108c002 ] State:RDY Tot: 0
Device/Path[6 ]:Crossbar Switc [0x108c003 ] State:RDY Tot: 0
Device/Path[7 ]:Crossbar Switc [0x108c004 ] State:RDY Tot: 0
Device/Path[8 ]:Crossbar Switc [0x108c005 ] State:RDY Tot: 0
Device/Path[9 ]:Crossbar Switc [0x108c006 ] State:RDY Tot: 0
Device/Path[10]:Crossbar Switc [0x108c007 ] State:RDY Tot: 0
Device/Path[11]:Crossbar Switc [0x108c008 ] State:RDY Tot: 0
Device/Path[12]:Crossbar Switc [0x108c009 ] State:RDY Tot: 0
Device/Path[13]:Crossbar Switc [0x108c00a ] State:RDY Tot: 0
Device/Path[14]:Crossbar Switc [0x108c00b ] State:RDY Tot: 0
Device/Path[15]:Crossbar Switc [0x108c00c ] State:RDY Tot: 0
Device/Path[16]:Crossbar Switc [0x108c00d ] State:RDY Tot: 0
Device/Path[17]:Crossbar Switc [0x108c00e ] State:RDY Tot: 0
Device/Path[18]:Fabric Interfa [0x108b000 ] State:RDY Tot: 0
Device/Path[19]:Fabric Arbiter [0x1086000 ] State:RDY Tot: 0
Device/Path[20]:CPU Controller [0x108d000 ] State:RDY Tot: 0
Device/Path[21]:Device Control [0x109a000 ] State:RDY Tot: 0
Device/Path[22]:ClkCtrl Contro [0x109b000 ] State:RDY Tot: 0
Device/Path[23]:NVRAM [0x10ba000 ] State:RDY Tot: 0
Device/Path[24]:Hooper switch [0x1097000 ] State:RDY Tot: 0
Device/Path[25]:Hooper switch [0x1097001 ] State:RDY Tot: 0
Device/Path[26]:Hooper switch [0x1097002 ] State:RDY Tot: 0
Device/Path[27]:Hooper switch [0x1097003 ] State:RDY Tot: 0
インターフェイスTenGigE0/7/0/19がNP0からダウンしました。
RP/0/RP0/CPU0:ASR-9922-A#show logging last 200 | in 0/7/0
Wed Jul 7 14:58:42.959 UTC
LC/0/7/CPU0:Jul 7 14:55:23.798 UTC: ifmgr[270]: %PKT_INFRA-LINK-3-UPDOWN :
Interface TenGigE0/7/0/19, changed state to Down
LC/0/7/CPU0:Jul 7 14:55:23.798 UTC: ifmgr[270]: %PKT_INFRA-LINEPROTO-5-UPDOWN :
Line protocol on Interface TenGigE0/7/0/19, changed state to Down
RP/0/RP0/CPU0:Jul 7 14:55:23.802 UTC: BM-DISTRIB[1290]: %L2-BM-6-ACTIVE :
TenGigE0/7/0/19 is no longer Active as part of Bundle-Ether854 (Link is down)
LC/0/7/CPU0:Jul 7 14:55:25.854 UTC: vic_0_0[379]: %PLATFORM-VIC-4-RFI :
Interface TenGigE0/7/0/19, Detected Remote Fault
LC/0/7/CPU0:Jul 7 14:55:26.936 UTC: lda_server[114]: %PKT_INFRA-FM-2-FAULT_CRITICAL :
ALARM_CRITICAL :OPTICS RX POWER LANE-0 LOW ALARM :CLEAR : Te0/7/0/0:
PUNTエラーの生成を停止しました：
RP/0/RP0/CPU0:ASR-9922-A#sh ipv4 int brief location 0/7/CPU0
Wed Jul 7 14:59:16.322 UTC
Interface IP-Address Status Protocol Vrf-Name
TenGigE0/7/0/0 unassigned Down Down default
TenGigE0/7/0/1 unassigned Down Down default
TenGigE0/7/0/2 unassigned Down Down default
TenGigE0/7/0/3 unassigned Down Down default
TenGigE0/7/0/4 unassigned Down Down default
TenGigE0/7/0/5 unassigned Down Down default
TenGigE0/7/0/6 unassigned Down Down default
TenGigE0/7/0/7 unassigned Shutdown Down default
TenGigE0/7/0/8 unassigned Shutdown Down default
TenGigE0/7/0/9 unassigned Shutdown Down default
TenGigE0/7/0/10 unassigned Down Down default
TenGigE0/7/0/11 unassigned Down Down default
TenGigE0/7/0/12 unassigned Down Down default
TenGigE0/7/0/13 unassigned Shutdown Down default
TenGigE0/7/0/14 unassigned Shutdown Down default
TenGigE0/7/0/15 unassigned Shutdown Down default
TenGigE0/7/0/16 unassigned Shutdown Down default
TenGigE0/7/0/17 unassigned Shutdown Down default
TenGigE0/7/0/18 unassigned Down Down default
TenGigE0/7/0/19 unassigned Down Down default >>>>>>
アラーム停止：
RP/0/RP0/CPU0:ASR-9922-A#sh pfm location 0/Rp0/CPU0
Wed Jul 7 15:01:44.478 UTC
node: node0_RP0_CPU0
---------------------
CURRENT TIME: Jul 7 15:01:44 2021
PFM TOTAL: 1 EMERGENCY/ALERT(E/A): 1 CRITICAL(CR): 0 ERROR(ER): 0
-------------------------------------------------------------------------------------------------
Raised Time |S#|Fault Name |Sev|Proc_ID|Dev/Path Name |Handle
--------------------+--+-----------------------------------+---+-------+--------------+----------
Jul 1 10:13:45 2021|0 |SPINE_UNAVAILABLE |E/A|5082 |Fabric Manager|0x1034000
RP/0/RP0/CPU0:ASR-9922-A#
インターフェイスが起動しました：
RP/0/RP0/CPU0:ASR-9922-A#show logging | in 0/7/0/19
Wed Jul 7 15:06:11.532 UTC
LC/0/7/CPU0:Jul 7 14:55:23.798 UTC: ifmgr[270]: %PKT_INFRA-LINK-3-UPDOWN :
Interface TenGigE0/7/0/19, changed state to Down
LC/0/7/CPU0:Jul 7 14:55:23.798 UTC: ifmgr[270]: %PKT_INFRA-LINEPROTO-5-UPDOWN :
Line protocol on Interface TenGigE0/7/0/19, changed state to Down
RP/0/RP0/CPU0:Jul 7 14:55:23.802 UTC: BM-DISTRIB[1290]: %L2-BM-6-ACTIVE :
TenGigE0/7/0/19 is no longer Active as part of Bundle-Ether854 (Link is down)
LC/0/7/CPU0:Jul 7 14:55:25.854 UTC: vic_0_0[379]: %PLATFORM-VIC-4-RFI :
Interface TenGigE0/7/0/19, Detected Remote Fault
LC/0/7/CPU0:Jul 7 15:03:27.204 UTC: ifmgr[270]: %PKT_INFRA-LINK-3-UPDOWN :
Interface TenGigE0/7/0/19, changed state to Up
LC/0/7/CPU0:Jul 7 15:03:27.206 UTC: ifmgr[270]: %PKT_INFRA-LINEPROTO-5-UPDOWN :
Line protocol on Interface TenGigE0/7/0/19, changed state to Up
RP/0/RP0/CPU0:Jul 7 15:03:29.219 UTC: BM-DISTRIB[1290]: %L2-BM-6-ACTIVE :
TenGigE0/7/0/19 is Active as part of Bundle-Ether854
更新履歴
| 改定 | 発行日 | コメント |
|---|---|---|
1.0 |
09-Jan-2023 |
初版 |
フィードバック