辨識和跟蹤Nexus 9000雲規模ASIC CRC
目錄
簡介
本文檔介紹用於跟蹤在Cisco Nexus 9000雲規模ASIC模組上觀察到的CRC錯誤源的步驟。
必要條件
需求
Cisco建議您瞭解直通交換和儲存轉發交換的基礎知識。思科也建議您瞭解「乙太網路訊框檢查順序」(FCS)欄位的基本概念，以及FCS欄位使用的循環冗餘檢查(CRC)演演算法。如需詳細資訊，請參閱本檔案：
採用元件
本文檔中的資訊基於運行NX-OS軟體版本7.0(3)I7(8)的雲規模ASIC的Cisco Nexus 9000系列交換機。
本文中的資訊是根據特定實驗室環境內的裝置所建立。文中使用到的所有裝置皆從已清除（預設）的組態來啟動。如果您的網路運作中，請確保您瞭解任何指令可能造成的影響。
背景資訊
本文檔還介紹了用於區分模組化Nexus交換機的物理介面和內部交換矩陣鏈路上觀察到的堆疊和非堆疊CRC錯誤的步驟。
預設情況下，Cisco Nexus 9000系列交換機使用直通交換。直通交換是指交換機對幀做出轉發決定，並在交換機處理了足夠的幀報頭做出有效的轉發決定後立即開始從出口介面轉發幀。這不同於儲存轉發交換，儲存轉發交換是指交換機在從輸出介面轉發幀之前緩衝整個幀。
乙太網幀的FCS欄位驗證幀的完整性並確保幀在傳輸過程中沒有被損壞。乙太網幀的FCS欄位位於該幀有效負載後方的乙太網幀的末尾。在儲存轉發交換模式下運行的交換機能夠在將幀從出口介面轉發出去（或如果FCS欄位包含無效內容，則丟棄該幀）之前使用FCS欄位驗證乙太網幀的完整性。但是，在直通交換模式下運行的交換機在將幀從出口介面轉發出去之前無法使用FCS欄位驗證乙太網幀的完整性；換言之，當直通交換機能夠驗證乙太網幀的完整性時，大多數乙太網幀已經從出口介面轉發出去。
如果以直通交換模式運行的交換機接收到帶有無效FCS欄位的乙太網幀，該交換機可以採取以下操作：
- 計算傳入受損幀的CRC值，然後使用計算的CRC值的位逆值重寫乙太網幀的FCS欄位。如果需要路由該幀，則在重寫該幀的乙太網報頭後，將計算損壞幀的CRC值並逐位反轉。此操作稱為「堆積」CRC。
- 根據對乙太網幀的轉發決策，將乙太網幀的剩餘部分（以及堆疊的CRC）從出口介面轉發出去。
- 遞增輸入介面上的輸入錯誤計數器和/或CRC錯誤計數器。
本文檔介紹驗證與入口介面關聯的CRC計數器是正常CRC（通常表示連線到入口介面的鏈路上的物理層問題）還是堆疊的CRC（表示連線到入口介面的裝置也在直通交換模式下運行並且收到格式錯誤的乙太網幀）的步驟。
適用硬體
本文件內容涵蓋的程序僅適用於以下硬體：
Nexus 9200/9300固定交換器
- N9K-C92160YC-X
- N9K-C92300YC
- N9K-C92304QC
- N9K-C92348GC-X
- N9K-C9236C
- N9K-C9272Q
- N9K-C9332C
- N9K-C9364C
- N9K-C93108TC-EX
- N9K-C93108TC-EX-24
- N9K-C93180LC-EX
- N9K-C93180YC-EX
- N9K-C93180YC-EX-24
- N9K-C93108TC-FX
- N9K-C93108TC-FX-24
- N9K-C93180YC-FX
- N9K-C93180YC-FX-24
- N9K-C9348GC-FXP
- N9K-C93240YC-FX2
- N9K-C93216TC-FX2
- N9K-C9336C-FX2
- N9K-C9336C-FX2-E
- N9K-C93360YC-FX2
- N9K-C93180YC-FX3
- N9K-C93108TC-FX3P
- N9K-C93180YC-FX3S
- N9K-C9316D-GX
- N9K-C93600CD-GX
- N9K-C9364C-GX
- N9K-C9364D-GX2A
- N9K-C9332D-GX2B
Nexus 9500模組化交換機線卡
- N9K-X97160YC-EX
- N9K-X9732C-EX
- N9K-X9736C-EX
- N9K-X97284YC-FX
- N9K-X9732C-FX
- N9K-X9788TC-FX
- N9K-X9716D-GX
Cisco Nexus 9200和9300雲規模CRC標識和跟蹤過程
本文檔本節介紹用於確定Cisco Nexus 9200和9300系列交換機上特定物理介面Ethernet1/1上觀察到的CRC錯誤源的分步說明。
NX-OS軟體版本10.2(1)及更高版本
從NX-OS軟體版本10.2(1)開始，配備Cloud Scale ASIC的Nexus交換機在穿過交換機的乙太網幀的FCS欄位中為具有Stocked CRC的資料包提供一個新的介面計數器。可以使用show interface命令標識具有遞增的非零CRC計數器和遞增CRC計數器的物理介面。這裡有一個例子，其中實體介面Ethernet1/1有零CRC計數器和非零堆疊的CRC計數器，這表示此介面收到具有無效和堆疊的CRC的訊框。
switch# show interface
<snip>
Ethernet1/1 is up
admin state is up, Dedicated Interface
Hardware: 100/1000/10000/25000 Ethernet, address: 00d7.8f86.2bbe (bia 00d7.8f86.2bbe)
MTU 1500 bytes, BW 10000000 Kbit, DLY 10 usec
reliability 255/255, txload 1/255, rxload 1/255
Encapsulation ARPA, medium is broadcast
Port mode is trunk
full-duplex, 10 Gb/s, media type is 10G
Beacon is turned off
Auto-Negotiation is turned on FEC mode is Auto
Input flow-control is off, output flow-control is off
Auto-mdix is turned off
Rate mode is dedicated
Switchport monitor is off
EtherType is 0x8100
EEE (efficient-ethernet) : n/a
admin fec state is auto, oper fec state is off
Last link flapped 04:09:21
Last clearing of "show interface" counters 00:50:37
0 interface resets
RX
8 unicast packets 253 multicast packets 2 broadcast packets
1832838280 input packets 2199405650587 bytes
0 jumbo packets 0 storm suppression bytes
0 runts 0 giants 1832838019 CRC 0 no buffer
1832838019 input error 0 short frame 0 overrun 0 underrun 0 ignored
0 watchdog 0 bad etype drop 0 bad proto drop 0 if down drop
0 input with dribble 0 input discard
0 Rx pause
1832838019 Stomped CRC
TX
908 unicast packets 323 multicast packets 3 broadcast packets
1234 output packets 113342 bytes
0 jumbo packets
0 output error 0 collision 0 deferred 0 late collision
0 lost carrier 0 no carrier 0 babble 0 output discard
0 Tx pause
注意：遞增CRC計數器表示收到幀時使用了堆疊的CRC或無效但非堆疊的CRC。遞增的堆積CRC計數器表示收到具有堆積CRC的幀。
或者，show interface counters errors non-zero 命令可用於檢視介面錯誤計數器。此步驟的範例如下所示。
switch# show interface counters errors non-zero
--------------------------------------------------------------------------------
Port Align-Err FCS-Err Xmit-Err Rcv-Err UnderSize OutDiscards
--------------------------------------------------------------------------------
Eth1/1 1790348828 1790348828 0 1790348828 0 0
--------------------------------------------------------------------------------
Port Single-Col Multi-Col Late-Col Exces-Col Carri-Sen Runts
--------------------------------------------------------------------------------
--------------------------------------------------------------------------------
Port Giants SQETest-Err Deferred-Tx IntMacTx-Er IntMacRx-Er Symbol-Err
--------------------------------------------------------------------------------
--------------------------------------------------------------------------------
Port InDiscards
--------------------------------------------------------------------------------
--------------------------------------------------------------------------------
Port Stomped-CRC
--------------------------------------------------------------------------------
Eth1/1 1790348828
您可以透過管道將show interface命令傳輸到json或json-pretty命令，以獲取結構化格式的CRC和多路CRC計數器統計資訊。此步驟的範例如下所示。
switch# show interface Ethernet1/1 | json-pretty | include ignore-case crc
"eth_crc": "828640831",
"eth_stomped_crc": "828640831",
NX-API REST API可用於使用sys/intf/phys-[intf-id]/dbgEtherStats.json對象模型檢索這些相同的統計資訊。此步驟的範例如下所示。
/api/node/mo/sys/intf/phys-[eth1/1]/dbgEtherStats.json
{
"totalCount": "1",
"imdata": [
{
"rmonEtherStats": {
"attributes": {
"cRCAlignErrors": "26874272810",
"dn": "sys/intf/phys-[eth1/1]/dbgEtherStats",
"dropEvents": "0",
"rXNoErrors": "26874276337",
"stompedCRCAlignErrors": "26874272810",
...
}
}
}
]
}
NX-OS軟體版本10.1(2)及更低版本
對於10.2(1)之前的NX-OS軟體版本，堆疊的CRC計數器在介面上不可用。需要執行幾個步驟來確定觀察到無效CRC的入口介面，並驗證CRC是否無效或堆疊。
步驟 1.辨識物理介面上遞增的CRC計數器
使用show interface命令標識具有遞增的非零CRC計數器的物理介面。這裡顯示的範例是，實體介面Ethernet1/1具有非零CRC計數器。
switch# show interface
<snip> Ethernet1/1 is up admin state is up, Dedicated Interface Hardware: 100/1000/10000/25000 Ethernet, address: 00d7.8f86.2bbe (bia 00d7.8f86.2bbe) MTU 1500 bytes, BW 10000000 Kbit, DLY 10 usec reliability 255/255, txload 1/255, rxload 1/255 Encapsulation ARPA, medium is broadcast Port mode is trunk full-duplex, 10 Gb/s, media type is 10G Beacon is turned off Auto-Negotiation is turned on FEC mode is Auto Input flow-control is off, output flow-control is off Auto-mdix is turned off Rate mode is dedicated Switchport monitor is off EtherType is 0x8100 EEE (efficient-ethernet) : n/a admin fec state is auto, oper fec state is off Last link flapped 04:09:21 Last clearing of "show interface" counters 00:50:37 0 interface resets RX 3 unicast packets 3087 multicast packets 0 broadcast packets 3097 input packets 244636 bytes 7 jumbo packets 0 storm suppression bytes 0 runts 7 giants 7 CRC 0 no buffer 7 input error 0 short frame 0 overrun 0 underrun 0 ignored 0 watchdog 0 bad etype drop 0 bad proto drop 0 if down drop 0 input with dribble 0 input discard 0 Rx pause
或者，您可以使用show interface counters errors non-zero命令顯示具有非零錯誤計數器的所有介面（包括非零CRC計數器）。這裡顯示的範例是，實體介面Ethernet1/1的CRC計數器會以FCS-Err欄顯示。
switch# show interface counters errors non-zero <snip> -------------------------------------------------------------------------------- Port Align-Err FCS-Err Xmit-Err Rcv-Err UnderSize OutDiscards -------------------------------------------------------------------------------- Eth1/1 7 7 0 7 0 0
步驟 2.將物理介面對映到ASIC、MAC塊和Mac塊子埠
使用show interface hardware-mappings命令確定三個主要特徵：
- 裝置-物理介面所連線的雲規模ASIC的識別符號。這使用從零開始的編號系統（例如，第一個ASIC是0，第二個ASIC是1，依此類推）
- MacId -物理介面所連線的MAC塊的識別符號。這使用從零開始的編號系統（例如，第一個MAC區塊是0，第二個MAC區塊是1，依此類推）
- MacSP -物理介面所連線的MAC塊子埠的識別符號。每個MAC塊都有四個與其相關聯的子埠，這些子埠使用基於零的編號系統，並且以2的值遞增。因此，第一子埠的索引為0，第二子埠的索引為2，第三子埠的索引為4，第四子埠的索引為6。
此處的示例中說明了這一點，其中物理介面Ethernet1/1與Cloud Scale ASIC 0、MAC塊4和MAC塊子埠0關聯。
switch# show interface hardware-mappings
<snip>
-------------------------------------------------------------------------------------------------------
Name Ifindex Smod Unit HPort FPort NPort VPort Slice SPort SrcId MacId MacSP VIF Block BlkSrcID
-------------------------------------------------------------------------------------------------------
Eth1/1 1a000000 1 0 16 255 0 -1 0 16 32 4 0 1 0 32
Eth1/2 1a000200 1 0 17 255 4 -1 0 17 34 4 2 5 0 34
Eth1/3 1a000400 1 0 18 255 8 -1 0 18 36 4 4 9 0 36
Eth1/4 1a000600 1 0 19 255 12 -1 0 19 38 4 6 13 0 38
Eth1/5 1a000800 1 0 12 255 16 -1 0 12 24 3 0 17 0 24
步驟 3.檢查CRC相關計數器的雲擴展ASIC暫存器
使用slot {x} show hardware internal tah counters asic {y}命令檢視Cloud Scale ASIC的暫存器計數器。此命令包含兩個變數：
- {x} -將此值替換為板卡插槽編號。對於架頂式交換機，此值始終為1。對於行尾式模組化交換機，板卡插槽編號是物理介面名稱中的第一個編號。例如，物理介面Ethernet1/1的板卡插槽編號為1，而物理介面Ethernet4/24的板卡插槽編號為4。
- {y} -用步驟2中標識的雲規模ASIC識別符號替換此值。例如，如果物理介面Ethernet1/1的Unit列的值為0，則此變數的值為0。如果物理介面Ethernet4/24的Unit列的值為3，則此變數的值為3。
此輸出可以顯示一個表。表的每一行都是不同的ASIC暫存器。表格的每一欄都對應於交換器上的一個實體介面。每列使用的名稱不是物理介面的名稱，而是MAC塊和MAC塊子埠的組合。用於列標題的格式如下：
M{A},{B}-{InterfaceSpeed}
此格式有三個變數，分別是：
- {A} -用MAC塊編號替換此值。
- {B} -用MAC塊子埠號替換此值。
- {InterfaceSpeed} -此值可與介面的物理速度相對應（例如，10G、25G、40Gx4等）
以下範例說明了這一點。回想一下，物理介面Ethernet1/1與板卡插槽編號1和Cloud Scale ASIC 0關聯，這意味著您必須運行的命令是slot 1 show hardware internal tah counters asic 0。與物理介面Ethernet1/1關聯的MAC塊是4，與物理介面Ethernet1/1關聯的MAC塊子埠是0，物理介面Ethernet1/1是10G介面。因此，我們要查詢的列標頭是M4,0-10G。
switch# slot 1 show hardware internal tah counters asic 0 <snip> *************** PER MAC/CH SRAM COUNTERS **************** REG_NAME M4,0-10G M4,2-10G M4,4-10G M4,6-10G M5,0-40Gx4 M6,0-40Gx4 M7,0-40Gx4 M8,0-10G ---------------------------------------------------------------------------------------------------------------------------- 02-RX Frm with FCS Err .... .... .... .... .... .... .... .... 16-RX Frm CRC Err(Stomp) c .... .... .... .... .... .... ....
此命令的輸出包含幾十個暫存器計數器。有兩個關鍵暫存器計數器與區分自然CRC錯誤和堆疊的CRC相關：
- 02-RX Frm with FCS Err -表示收到具有無效但非堆疊的CRC的幀。
- 16-RX From CRC Err(Stomp) -表示收到具有堆疊CRC的幀。
這些計數器的值是十六進位制的。dec NX-OS命令可以將十六進位制值轉換為十進位制值，如此處所示。
N9K-C93180YC-EX-2# dec 0xc
12
兩個暫存器計數器的組合值等於透過show interface或show interface counters errors non-zero的輸出在物理介面上觀察到的CRC數。
Cisco Nexus 9500雲規模-模組化交換機上的CRC辨識和跟蹤過程
本文檔本節介紹用於確定Cisco Nexus 9500系列交換機上特定物理介面Ethernet1/1上觀察到的CRC錯誤源的分步說明。
Nexus 9500系列交換機上的每個線卡都透過內部鏈路(iEth)連線到交換矩陣模組。每個線卡的每個ASIC與所有交換矩陣模組具有全網狀連線。此處的示例顯示一個線路卡具有四個Sugarbowl ASIC，內部鏈路連線到模組化Nexus 9500交換機中的四個交換矩陣模組。
當ASIC接收的流量需要從另一個ASIC或板卡輸出時，該流量需要透過交換矩陣模組傳送到交換矩陣。輸入ASIC根據封包標頭的雜湊以及ASIC可用的iEth連結數目，選取一個到光纖模組的iEth連結。
步驟 1.對映線卡和交換矩陣模組之間的內部鏈路。
請使用show system internal fabric connectivity module {x}命令（其中{x}是板卡或矩陣模組插槽編號）顯示指定板卡與所有矩陣模組之間的內部鏈路。此輸出顯示一個表，其中每行顯示線卡內部鏈路（在LC-iEthLink列下）與每個交換矩陣模組的內部鏈路（在FM-iEthLink列下）之間的一對一對映。此處顯示的範例取自插入了8個線卡和4個光纖模組的Nexus 9508交換器。此處的輸出顯示，插入交換機插槽8中的線卡的每個ASIC例項透過2條內部鏈路連線到4個已安裝的交換矩陣模組（插入插槽22、23、24和26）中的每個。
Nexus9500# show system internal fabric connectivity module 8
Internal Link-info Linecard slot:8
------------------------------------------------------------------------
LC-Slot LC-Unit LC-iEthLink MUX FM-Slot FM-Unit FM-iEthLink
------------------------------------------------------------------------
8 0 iEth01 - 22 0 iEth18
8 0 iEth02 - 22 1 iEth50
8 0 iEth03 - 23 0 iEth18
8 0 iEth04 - 23 1 iEth50
8 0 iEth05 - 24 0 iEth18
8 0 iEth06 - 24 1 iEth50
8 0 iEth07 - 26 0 iEth18
8 0 iEth08 - 26 1 iEth50
8 1 iEth09 - 22 0 iEth03
8 1 iEth10 - 22 1 iEth35
8 1 iEth11 - 23 0 iEth03
8 1 iEth12 - 23 1 iEth35
8 1 iEth13 - 24 0 iEth03
8 1 iEth14 - 24 1 iEth35
8 1 iEth15 - 26 0 iEth03
8 1 iEth16 - 26 1 iEth35
8 2 iEth17 - 22 0 iEth32
8 2 iEth18 - 22 1 iEth53
8 2 iEth19 - 23 0 iEth32
8 2 iEth20 - 23 1 iEth53
8 2 iEth21 - 24 0 iEth32
8 2 iEth22 - 24 1 iEth53
8 2 iEth23 - 26 0 iEth32
8 2 iEth24 - 26 1 iEth53
8 3 iEth25 - 22 0 iEth31
8 3 iEth26 - 22 1 iEth54
8 3 iEth27 - 23 0 iEth31
8 3 iEth28 - 23 1 iEth54
8 3 iEth29 - 24 0 iEth31
8 3 iEth30 - 24 1 iEth54
8 3 iEth31 - 26 0 iEth31
8 3 iEth32 - 26 1 iEth54
同樣，可以從交換矩陣模組的角度檢查iEth鏈路對映。這裡顯示了一個示例，其中顯示了插入插槽22中的交換矩陣模組與安裝在Nexus 9508機箱中的8個線卡中的每個線卡之間的內部鏈路。
Nexus9500# show system internal fabric connectivity module 22
Internal Link-info Fabriccard slot:22
------------------------------------------------------------------------
FM-Slot FM-Unit FM-iEthLink LC-Slot LC-Unit LC-EthLink MUX
------------------------------------------------------------------------
22 0 iEth09 1 0 iEth01 -
22 0 iEth06 1 1 iEth11 -
22 0 iEth25 1 2 iEth21 -
22 0 iEth26 1 3 iEth31 -
22 0 iEth10 2 0 iEth01 -
22 0 iEth05 2 1 iEth11 -
22 0 iEth23 2 2 iEth21 -
22 0 iEth24 2 3 iEth31 -
22 0 iEth12 3 0 iEth01 -
22 0 iEth11 3 1 iEth11 -
22 0 iEth21 3 2 iEth21 -
22 0 iEth22 3 3 iEth31 -
22 0 iEth14 4 0 iEth01 -
22 0 iEth13 4 1 iEth11 -
22 0 iEth07 4 2 iEth21 -
22 0 iEth08 4 3 iEth31 -
22 0 iEth16 5 0 iEth01 -
22 0 iEth15 5 1 iEth11 -
22 0 iEth01 5 2 iEth21 -
22 0 iEth04 5 3 iEth31 -
22 0 iEth20 6 0 iEth01 -
22 0 iEth17 6 1 iEth11 -
22 0 iEth28 6 2 iEth21 -
22 0 iEth27 6 3 iEth31 -
22 0 iEth19 7 0 iEth01 -
22 0 iEth02 7 1 iEth09 -
22 0 iEth30 7 2 iEth17 -
22 0 iEth29 7 3 iEth25 -
22 0 iEth18 8 0 iEth01 -
22 0 iEth03 8 1 iEth09 -
22 0 iEth32 8 2 iEth17 -
22 0 iEth31 8 3 iEth25 -
22 1 iEth41 1 0 iEth02 -
22 1 iEth38 1 1 iEth12 -
22 1 iEth59 1 2 iEth22 -
22 1 iEth60 1 3 iEth32 -
22 1 iEth42 2 0 iEth02 -
22 1 iEth37 2 1 iEth12 -
22 1 iEth62 2 2 iEth22 -
22 1 iEth61 2 3 iEth32 -
22 1 iEth44 3 0 iEth02 -
22 1 iEth43 3 1 iEth12 -
22 1 iEth64 3 2 iEth22 -
22 1 iEth63 3 3 iEth32 -
22 1 iEth46 4 0 iEth02 -
22 1 iEth45 4 1 iEth12 -
22 1 iEth39 4 2 iEth22 -
22 1 iEth40 4 3 iEth32 -
22 1 iEth48 5 0 iEth02 -
22 1 iEth47 5 1 iEth12 -
22 1 iEth36 5 2 iEth22 -
22 1 iEth33 5 3 iEth32 -
22 1 iEth52 6 0 iEth02 -
22 1 iEth49 6 1 iEth12 -
22 1 iEth57 6 2 iEth22 -
22 1 iEth58 6 3 iEth32 -
22 1 iEth34 7 0 iEth02 -
22 1 iEth51 7 1 iEth10 -
22 1 iEth55 7 2 iEth18 -
22 1 iEth56 7 3 iEth26 -
22 1 iEth50 8 0 iEth02 -
22 1 iEth35 8 1 iEth10 -
22 1 iEth53 8 2 iEth18 -
22 1 iEth54 8 3 iEth26 -
使用show system internal fabric link-state module {x}命令檢查內部埠是否為up（在ST列下），以及特定內部鏈路的相應ASIC片和MAC識別符號（在MAC列下）。此步驟的範例如下所示。
Nexus9500# show system internal fabric link-state module 8
cli : mod = 8
module number = 8
========================================================================================================================
Module number = 8
========================================================================================================================
[LC] [ INST:SLI:MAC:GLSRC] [IETH] [ST] <========> [FM] [ INST:SLI:MAC:GLSRC] [IETH] [ST]
========================================================================================================================
[ 8] [ 0 : 0 : 7 : 0x38] [iEth01] [UP] <========> [22] [ 0 : 3 : 21 : 0x18] [iEth18] [UP]
[ 8] [ 0 : 1 : 9 : 0x0] [iEth02] [UP] <========> [22] [ 1 : 3 : 21 : 0x18] [iEth50] [UP]
[ 8] [ 0 : 0 : 6 : 0x30] [iEth03] [UP] <========> [23] [ 0 : 3 : 21 : 0x18] [iEth18] [UP]
[ 8] [ 0 : 1 : 16 : 0x38] [iEth04] [UP] <========> [23] [ 1 : 3 : 21 : 0x18] [iEth50] [UP]
[ 8] [ 0 : 0 : 8 : 0x40] [iEth05] [UP] <========> [24] [ 0 : 3 : 21 : 0x18] [iEth18] [UP]
[ 8] [ 0 : 1 : 15 : 0x30] [iEth06] [UP] <========> [24] [ 1 : 3 : 21 : 0x18] [iEth50] [UP]
[ 8] [ 0 : 0 : 5 : 0x28] [iEth07] [UP] <========> [26] [ 0 : 3 : 21 : 0x18] [iEth18] [UP]
[ 8] [ 0 : 1 : 17 : 0x40] [iEth08] [UP] <========> [26] [ 1 : 3 : 21 : 0x18] [iEth50] [UP]
[ 8] [ 1 : 0 : 7 : 0x38] [iEth09] [UP] <========> [22] [ 0 : 0 : 4 : 0x20] [iEth03] [UP]
[ 8] [ 1 : 1 : 9 : 0x0] [iEth10] [UP] <========> [22] [ 1 : 0 : 4 : 0x20] [iEth35] [UP]
[ 8] [ 1 : 0 : 6 : 0x30] [iEth11] [UP] <========> [23] [ 0 : 0 : 4 : 0x20] [iEth03] [UP]
[ 8] [ 1 : 1 : 16 : 0x38] [iEth12] [UP] <========> [23] [ 1 : 0 : 4 : 0x20] [iEth35] [UP]
[ 8] [ 1 : 0 : 8 : 0x40] [iEth13] [UP] <========> [24] [ 0 : 0 : 4 : 0x20] [iEth03] [UP]
[ 8] [ 1 : 1 : 15 : 0x30] [iEth14] [UP] <========> [24] [ 1 : 0 : 4 : 0x20] [iEth35] [UP]
[ 8] [ 1 : 0 : 5 : 0x28] [iEth15] [UP] <========> [26] [ 0 : 0 : 4 : 0x20] [iEth03] [UP]
[ 8] [ 1 : 1 : 17 : 0x40] [iEth16] [UP] <========> [26] [ 1 : 0 : 4 : 0x20] [iEth35] [UP]
[ 8] [ 2 : 0 : 7 : 0x38] [iEth17] [UP] <========> [22] [ 0 : 5 : 35 : 0x28] [iEth32] [UP]
[ 8] [ 2 : 1 : 9 : 0x0] [iEth18] [UP] <========> [22] [ 1 : 4 : 24 : 0x0] [iEth53] [UP]
[ 8] [ 2 : 0 : 6 : 0x30] [iEth19] [UP] <========> [23] [ 0 : 5 : 35 : 0x28] [iEth32] [UP]
[ 8] [ 2 : 1 : 16 : 0x38] [iEth20] [UP] <========> [23] [ 1 : 4 : 24 : 0x0] [iEth53] [UP]
[ 8] [ 2 : 0 : 8 : 0x40] [iEth21] [UP] <========> [24] [ 0 : 5 : 35 : 0x28] [iEth32] [UP]
[ 8] [ 2 : 1 : 15 : 0x30] [iEth22] [UP] <========> [24] [ 1 : 4 : 24 : 0x0] [iEth53] [UP]
[ 8] [ 2 : 0 : 5 : 0x28] [iEth23] [UP] <========> [26] [ 0 : 5 : 35 : 0x28] [iEth32] [UP]
[ 8] [ 2 : 1 : 17 : 0x40] [iEth24] [UP] <========> [26] [ 1 : 4 : 24 : 0x0] [iEth53] [UP]
[ 8] [ 3 : 0 : 7 : 0x38] [iEth25] [UP] <========> [22] [ 0 : 5 : 34 : 0x20] [iEth31] [UP]
[ 8] [ 3 : 1 : 9 : 0x0] [iEth26] [UP] <========> [22] [ 1 : 4 : 25 : 0x8] [iEth54] [UP]
[ 8] [ 3 : 0 : 6 : 0x30] [iEth27] [UP] <========> [23] [ 0 : 5 : 34 : 0x20] [iEth31] [UP]
[ 8] [ 3 : 1 : 16 : 0x38] [iEth28] [UP] <========> [23] [ 1 : 4 : 25 : 0x8] [iEth54] [UP]
[ 8] [ 3 : 0 : 8 : 0x40] [iEth29] [UP] <========> [24] [ 0 : 5 : 34 : 0x20] [iEth31] [UP]
[ 8] [ 3 : 1 : 15 : 0x30] [iEth30] [UP] <========> [24] [ 1 : 4 : 25 : 0x8] [iEth54] [UP]
[ 8] [ 3 : 0 : 5 : 0x28] [iEth31] [UP] <========> [26] [ 0 : 5 : 34 : 0x20] [iEth31] [UP]
[ 8] [ 3 : 1 : 17 : 0x40] [iEth32] [UP] <========> [26] [ 1 : 4 : 25 : 0x8] [iEth54] [UP]
步驟 2.檢查iEth鏈路上的CRC計數器並跟蹤損壞幀的來源
在模組化Nexus 9500交換機上，在以下情況下您會看到一個或多個iEth鏈路上出現CRC錯誤：
- 當交換機以直通交換模式運行時，在FCS欄位中收到具有錯誤CRC值的損壞乙太網幀的板卡不會本地丟棄該幀。相反，線卡會照常轉發資料包。如果封包的輸出介面屬於另一個ASIC或線路卡，輸入線路卡會將封包轉送到光纖模組。交換矩陣模組也以直通交換模式運行，因此交換矩陣模組將資料包轉發到出口線卡。輸出板卡將封包轉送到下一個躍點，並增加輸出介面上的輸出錯誤計數器。
- 如果內部鏈路由於硬體故障而發生故障，則穿越內部鏈路的資料包可能會在板卡和交換矩陣模組之間損壞。
使用show system internal fabric connectivity stats module {x}命令檢查相應內部鏈路的CRC計數器。這裡顯示的範例是，插入插槽22的光纖模組接收的iEth56封包具有無效的CRC，該iEth56連線到插入交換器插槽7的線路卡的iEth26。這表示交換矩陣模組從插入交換機插槽7中的線卡接收損壞的乙太網幀。
Nexus9500# show system internal fabric connectivity stats module 22
Internal Link-info Stats Fabriccard slot:22
-------------------------------------------------------------------------------------
FM-Slot FM-Unit FM-iEthLink LC-Slot LC-Unit LC-EthLink MUX CRC
-------------------------------------------------------------------------------------
22 0 iEth09 1 0 iEth01 - 0
22 0 iEth06 1 1 iEth11 - 0
22 0 iEth25 1 2 iEth21 - 0
22 0 iEth26 1 3 iEth31 - 0
22 0 iEth10 2 0 iEth01 - 0
22 0 iEth05 2 1 iEth11 - 0
22 0 iEth23 2 2 iEth21 - 0
22 0 iEth24 2 3 iEth31 - 0
22 0 iEth12 3 0 iEth01 - 0
22 0 iEth11 3 1 iEth11 - 0
22 0 iEth21 3 2 iEth21 - 0
22 0 iEth22 3 3 iEth31 - 0
22 0 iEth14 4 0 iEth01 - 0
22 0 iEth13 4 1 iEth11 - 0
22 0 iEth07 4 2 iEth21 - 0
22 0 iEth08 4 3 iEth31 - 0
22 0 iEth16 5 0 iEth01 - 0
22 0 iEth15 5 1 iEth11 - 0
22 0 iEth01 5 2 iEth21 - 0
22 0 iEth04 5 3 iEth31 - 0
22 0 iEth20 6 0 iEth01 - 0
22 0 iEth17 6 1 iEth11 - 0
22 0 iEth28 6 2 iEth21 - 0
22 0 iEth27 6 3 iEth31 - 0
22 0 iEth19 7 0 iEth01 - 0
22 0 iEth02 7 1 iEth09 - 0
22 0 iEth30 7 2 iEth17 - 0
22 0 iEth29 7 3 iEth25 - 0
22 0 iEth18 8 0 iEth01 - 0
22 0 iEth03 8 1 iEth09 - 0
22 0 iEth32 8 2 iEth17 - 0
22 0 iEth31 8 3 iEth25 - 0
22 1 iEth41 1 0 iEth02 - 0
22 1 iEth38 1 1 iEth12 - 0
22 1 iEth59 1 2 iEth22 - 0
22 1 iEth60 1 3 iEth32 - 0
22 1 iEth42 2 0 iEth02 - 0
22 1 iEth37 2 1 iEth12 - 0
22 1 iEth62 2 2 iEth22 - 0
22 1 iEth61 2 3 iEth32 - 0
22 1 iEth44 3 0 iEth02 - 0
22 1 iEth43 3 1 iEth12 - 0
22 1 iEth64 3 2 iEth22 - 0
22 1 iEth63 3 3 iEth32 - 0
22 1 iEth46 4 0 iEth02 - 0
22 1 iEth45 4 1 iEth12 - 0
22 1 iEth39 4 2 iEth22 - 0
22 1 iEth40 4 3 iEth32 - 0
22 1 iEth48 5 0 iEth02 - 0
22 1 iEth47 5 1 iEth12 - 0
22 1 iEth36 5 2 iEth22 - 0
22 1 iEth33 5 3 iEth32 - 0
22 1 iEth52 6 0 iEth02 - 0
22 1 iEth49 6 1 iEth12 - 0
22 1 iEth57 6 2 iEth22 - 0
22 1 iEth58 6 3 iEth32 - 0
22 1 iEth34 7 0 iEth02 - 0
22 1 iEth51 7 1 iEth10 - 0
22 1 iEth55 7 2 iEth18 - 0
22 1 iEth56 7 3 iEth26 - 1665601166
22 1 iEth50 8 0 iEth02 - 0
22 1 iEth35 8 1 iEth10 - 0
22 1 iEth53 8 2 iEth18 - 0
22 1 iEth54 8 3 iEth26 - 0
在板卡或交換矩陣模組上使用slot {x} show hardware internal tah counters asic {y}命令確定CRC錯誤是無效還是增大的CRC。區分無效CRC錯誤和堆疊的CRC錯誤的兩個暫存器計數器是：
- 02-RX Frm with FCS Err -表示收到具有無效但未堆疊的CRC的幀。
- 16-RX From CRC Err(Stomp) -表示收到具有堆疊CRC的幀。
此處顯示的範例是，插入機箱插槽22的光纖模組上收到損毀的訊框，透過內部連結iEth54連線到插入機箱插槽8的線路卡，收到時會有堆疊的CRC：
Nexus9500# slot 22 show hardware internal tah counters asic 1
REG_NAME M24,0-100Gx4 M25,0-100Gx4
--------------------------------------------------------------------------------------------------------------------------
02-RX Frm with FCS Err .... ....
03-RX Frm with any Err .... 144912733e
16-RX Frm CRC Err(Stomp) .... 14491277d7
或者，使用show hardware internal errors module {x}命令檢視特定模組的ASIC錯誤計數器。此步驟的範例如下所示。
注意：在此輸出中，無效CRC和堆疊的CRC的介面入站錯誤(CRC、len、Algn Err)計數器增加，而只有堆疊的CRC的介面入站CRC錯誤堆疊計數器增加。
Nexus9500# show hardware internal errors module 22
|------------------------------------------------------------------------|
| Device:Lacrosse Role:MAC Mod:22 |
| Last cleared @ Tue Jul 6 04:10:45 2021
| Device Statistics Category :: ERROR
|------------------------------------------------------------------------|
Instance:0
ID Name Value Ports
-- ---- ----- -----
Instance:1
ID Name Value Ports
-- ---- ----- -----
196635 Interface Inbound Errors (CRC,len,Algn Err) 0000053053264536 27:0
1048603 Interface Inbound CRC Error Stomped 0000053053264535 27:0
確定接收損壞幀的入口板卡後，使用slot {x} show hardware internal tah counters asic {y}或show hardware internal errors module {x}命令以類似方式確定接收錯誤的入口介面，以及接收錯誤時是無效的CRC還是堆疊的CRC。
交換矩陣模組或出口板卡在iEth鏈路上顯示CRC錯誤，但連線的板卡沒有輸入CRC的跡象的情況非常罕見。此問題的根本原因通常是交換矩陣模組的硬體故障。Cisco建議向Cisco TAC提交一個支援案例，進一步對此問題進行故障排除，並在必要時更換交換矩陣模組。
範例
本檔案的此節將帶領您完成先前的程式，並附上一些範例。
案例 1.接收堆疊式CRC的物理介面
本示例演示如何辨識物理介面上的CRC錯誤是堆疊的CRC。
請考慮使用此拓樸：
在本例中，在交換機N9K-1上透過超大的8000位元組ICMP資料包(來自介面SVI 10（擁有IP地址192.0.2.1），目的地為N9K-3的介面SVI 10（擁有IP地址192.0.2.3）（MTU為1500位元組）來生成有目的地堆疊的CRC錯誤。N9K-1、N9K-2和N9K-3均為Nexus 93180YC-EX型號交換機。
N9K-1# ping 192.0.2.3 count 5 packet-size 8000 PING 192.0.2.3 (192.0.2.3): 8000 data bytes Request 0 timed out Request 1 timed out Request 2 timed out Request 3 timed out Request 4 timed out Request 5 timed out --- 192.0.2.3 ping statistics --- 5 packets transmitted, 0 packets received, 100.00% packet loss
在本示例中，在交換機N9K-3的物理介面Ethernet1/1上觀察到遞增的CRC錯誤。
N9K-3# show interface Ethernet1/1
<snip>
Ethernet1/1 is up
admin state is up, Dedicated Interface
Hardware: 100/1000/10000/25000 Ethernet, address: 00d7.8f86.2bbe (bia 00d7.8f86.2bbe)
MTU 1500 bytes, BW 10000000 Kbit, DLY 10 usec
reliability 255/255, txload 1/255, rxload 1/255
Encapsulation ARPA, medium is broadcast
Port mode is trunk
full-duplex, 10 Gb/s, media type is 10G
Beacon is turned off
Auto-Negotiation is turned on FEC mode is Auto
Input flow-control is off, output flow-control is off
Auto-mdix is turned off
Rate mode is dedicated
Switchport monitor is off
EtherType is 0x8100
EEE (efficient-ethernet) : n/a
admin fec state is auto, oper fec state is off
Last link flapped 06:13:44
Last clearing of "show interface" counters 02:55:00
0 interface resets
RX
9 unicast packets 10675 multicast packets 0 broadcast packets
10691 input packets 816924 bytes
7 jumbo packets 0 storm suppression bytes
0 runts 7 giants 7 CRC 0 no buffer
7 input error 0 short frame 0 overrun 0 underrun 0 ignored
0 watchdog 0 bad etype drop 0 bad proto drop 0 if down drop
0 input with dribble 0 input discard
0 Rx pause
步驟 1.確認遞增CRC
透過生成從N9K-1的介面SVI 10（擁有IP地址192.0.2.1）到N9K-3的介面SVI 10（擁有IP地址192.0.2.3）的超大大小8000位元組ICMP資料包，確認CRC在物理介面Ethernet1/1上增加。
N9K-1# ping 192.0.2.3 count 5 packet-size 8000
PING 192.0.2.3 (192.0.2.3): 8000 data bytes
Request 0 timed out
Request 1 timed out
Request 2 timed out
Request 3 timed out
Request 4 timed out
Request 5 timed out
--- 192.0.2.3 ping statistics ---
5 packets transmitted, 0 packets received, 100.00% packet loss
N9K-3# show interface Ethernet1/1
Ethernet1/1 is up
admin state is up, Dedicated Interface
Hardware: 100/1000/10000/25000 Ethernet, address: 00d7.8f86.2bbe (bia 00d7.8f86.2bbe)
MTU 1500 bytes, BW 10000000 Kbit, DLY 10 usec
reliability 255/255, txload 1/255, rxload 1/255
Encapsulation ARPA, medium is broadcast
Port mode is trunk
full-duplex, 10 Gb/s, media type is 10G
Beacon is turned off
Auto-Negotiation is turned on FEC mode is Auto
Input flow-control is off, output flow-control is off
Auto-mdix is turned off
Rate mode is dedicated
Switchport monitor is off
EtherType is 0x8100
EEE (efficient-ethernet) : n/a
admin fec state is auto, oper fec state is off
Last link flapped 06:52:57
Last clearing of "show interface" counters 03:34:13
0 interface resets
RX
11 unicast packets 13066 multicast packets 0 broadcast packets
13089 input packets 1005576 bytes
12 jumbo packets 0 storm suppression bytes
0 runts 12 giants 12 CRC 0 no buffer
12 input error 0 short frame 0 overrun 0 underrun 0 ignored
0 watchdog 0 bad etype drop 0 bad proto drop 0 if down drop
0 input with dribble 0 input discard
0 Rx pause
步驟 2.將物理介面對映到ASIC、MAC塊和MAC塊子埠
在N9K-3上使用show interface hardware-mappings命令可將物理介面Ethernet1/1對映到ASIC編號0、MAC塊4和MAC塊子埠0。
N9K-3# show interface hardware-mappings
<snip>
-------------------------------------------------------------------------------------------------------
Name Ifindex Smod Unit HPort FPort NPort VPort Slice SPort SrcId MacId MacSP VIF Block BlkSrcID
-------------------------------------------------------------------------------------------------------
Eth1/1 1a000000 1 0 16 255 0 -1 0 16 32 4 0 1 0 32
Eth1/2 1a000200 1 0 17 255 4 -1 0 17 34 4 2 5 0 34
Eth1/3 1a000400 1 0 18 255 8 -1 0 18 36 4 4 9 0 36
Eth1/4 1a000600 1 0 19 255 12 -1 0 19 38 4 6 13 0 38
Eth1/5 1a000800 1 0 12 255 16 -1 0 12 24 3 0 17 0 24
步驟 3.檢查CRC相關計數器的雲擴展ASIC暫存器
根據步驟2中的資訊，您知道以下事實：
- 物理介面Ethernet1/1對映到ASIC編號0。
- 物理介面Ethernet1/1對映到MAC塊4的MAC塊子埠0
- 由於N9K-3是架頂式Nexus 93180YC-EX型號交換機，因此您知道唯一可能的線卡插槽編號是1
- 從步驟1中收集的show interface命令的輸出可以瞭解到，物理介面Ethernet1/1的速度是10G。
使用此資訊，您可以使用slot 1 show hardware internal tah counters asic 0命令檢視所有物理介面的ASIC暫存器計數器。具體來說，您尋找的是與M4、0-10G關聯的ASIC暫存器計數器。
N9K-3# slot 1 show hardware internal tah counters asic 0 <snip> *************** PER MAC/CH SRAM COUNTERS **************** REG_NAME M4,0-10G M4,2-10G M4,4-10G M4,6-10G M5,0-40Gx4 M6,0-40Gx4 M7,0-40Gx4 M8,0-10G ---------------------------------------------------------------------------------------------------------------------------------- 02-RX Frm with FCS Err .... .... .... .... .... .... .... .... 16-RX Frm CRC Err(Stomp) c .... .... .... .... .... .... ....
您可以看到暫存器16的非零十六進位制值0xc，表示此物理介面上接收到具有堆疊CRC的幀。您可以使用dec 0xc命令將其轉換為十進位制值12，與物理介面Ethernet1/1上的CRC錯誤數匹配。
N9K-3# dec 0xc
12
結論
您已經確認N9K-3正在物理介面Ethernet1/1上接收具有堆疊CRC的幀。這表示Ethernet1/1鏈路遠端端的裝置（在本例中為N9K-2）增加了這些幀的CRC；格式錯誤的幀的根本原因不是直接連線到Ethernet1/1的鏈路，而是更進一步的下游。可在下游網路裝置上進行其他故障排除，以確定這些格式錯誤的幀的來源。
案例 2.物理介面收到格式錯誤的幀，其中具有無效的CRC
本示例演示如何辨識由於直連鏈路上的物理層問題導致的幀格式錯誤而導致物理介面上的CRC錯誤增加。
請考慮使用此拓樸：
在本示例中，連線到交換機N9K-1的物理介面Ethernet1/40的流量生成器故意生成具有錯誤CRC的幀。這會模擬連線到Ethernet1/40的鏈路上的物理層問題，例如收發器故障或電纜損壞。N9K-1接收這些幀，辨識CRC無效，並遞增Ethernet1/40物理介面上的CRC錯誤計數器。 N9K-1是Nexus 93180YC-EX型號交換機。
N9K-1# show interface Ethernet1/40
Ethernet1/40 is up
admin state is up, Dedicated Interface
Hardware: 100/1000/10000/25000 Ethernet, address: 00d7.8f86.2bbe (bia 00d7.8f86.2c02)
MTU 1500 bytes, BW 10000000 Kbit, DLY 10 usec
reliability 255/255, txload 1/255, rxload 1/255
Encapsulation ARPA, medium is broadcast
Port mode is trunk
full-duplex, 10 Gb/s, media type is 10G
Beacon is turned off
Auto-Negotiation is turned on FEC mode is Auto
Input flow-control is off, output flow-control is off
Auto-mdix is turned off
Rate mode is dedicated
Switchport monitor is off
EtherType is 0x8100
EEE (efficient-ethernet) : n/a
admin fec state is auto, oper fec state is off
Last link flapped 06:13:44
Last clearing of "show interface" counters 02:55:00
0 interface resets
RX
1710 unicast packets 9873 multicast packets 0 broadcast packets
11583 input packets 886321 bytes
0 jumbo packets 0 storm suppression bytes
0 runts 0 giants 1683 CRC 0 no buffer
1683 input error 0 short frame 0 overrun 0 underrun 0 ignored
0 watchdog 0 bad etype drop 0 bad proto drop 0 if down drop
0 input with dribble 0 input discard
0 Rx pause
步驟 1.確認遞增CRC
透過show interface或show interface counters non-zero命令確認在N9K-1的物理介面Ethernet1/40上CRC增加。
N9K-1# show interface Ethernet1/40
<snip>
Ethernet1/40 is up
admin state is up, Dedicated Interface
Hardware: 100/1000/10000/25000 Ethernet, address: 00d7.8f86.2bbe (bia 00d7.8f86.2c02)
MTU 1500 bytes, BW 10000000 Kbit, DLY 10 usec
reliability 255/255, txload 1/255, rxload 1/255
Encapsulation ARPA, medium is broadcast
Port mode is trunk
full-duplex, 10 Gb/s, media type is 10G
Beacon is turned off
Auto-Negotiation is turned on FEC mode is Auto
Input flow-control is off, output flow-control is off
Auto-mdix is turned off
Rate mode is dedicated
Switchport monitor is off
EtherType is 0x8100
EEE (efficient-ethernet) : n/a
admin fec state is auto, oper fec state is off
Last link flapped 06:13:44
Last clearing of "show interface" counters 02:55:00
0 interface resets
RX
14055 unicast packets 9873 multicast packets 0 broadcast packets
23928 input packets 1676401 bytes
0 jumbo packets 0 storm suppression bytes
0 runts 0 giants 14028 CRC 0 no buffer
14028 input error 0 short frame 0 overrun 0 underrun 0 ignored
0 watchdog 0 bad etype drop 0 bad proto drop 0 if down drop
0 input with dribble 0 input discard
0 Rx pause
N9K-1# show interface counters errors non-zero
<snip>
--------------------------------------------------------------------------------
Port Align-Err FCS-Err Xmit-Err Rcv-Err UnderSize OutDiscards
--------------------------------------------------------------------------------
Eth1/40 26373 26373 0 26373 0 0
步驟 2.將物理介面對映到ASIC、MAC塊和MAC塊子埠
在N9K-1上使用show interface hardware-mappings命令可將物理介面Ethernet1/40對映到ASIC編號0、MAC塊10、MAC塊子埠6。
N9K-1# show interface hardware-mappings <snip> --------------------------------------------------------------------------------------------- Name Ifindex Smod Unit HPort FPort NPort VPort Slice SPort SrcId MacId MacSP VIF Block BlkSrcID --------------------------------------------------------------------------------------------- Eth1/38 1a004a00 1 0 45 255 148 -1 1 5 10 10 2 149 0 10 Eth1/39 1a004c00 1 0 46 255 152 -1 1 6 12 10 4 153 0 12 Eth1/40 1a004e00 1 0 47 255 156 -1 1 7 14 10 6 157 0 14 Eth1/41 1a005000 1 0 76 255 160 -1 1 36 64 17 0 161 0 64 Eth1/42 1a005200 1 0 77 255 164 -1 1 37 66 17 2 165 0 66
步驟 3.檢查CRC相關計數器的雲擴展ASIC暫存器
根據步驟2中的資訊，您知道以下事實：
- 物理介面Ethernet1/40對映到ASIC編號0。
- 物理介面Ethernet1/40對映到MAC塊10的MAC塊子埠6。
- 由於N9K-1是架頂式Nexus 93180YC-EX型號交換機，因此您知道唯一可能的線卡插槽編號是1。
- 從步驟1收集的show interface命令的輸出中，您知道物理介面Ethernet1/40的速度是10G。
使用此資訊，您可以使用slot 1 show hardware internal tah counters asic 0命令檢視所有物理介面的ASIC暫存器計數器。具體來說，您尋找的是與M10、6-10G關聯的ASIC暫存器計數器。
N9K-1# slot 1 show hardware internal tah counters asic 0 *************** PER MAC/CH SRAM COUNTERS **************** REG_NAME M8,2-10G M8,4-10G M8,6-10G M9,0-40Gx4 M10,0-10G M10,2-10G M10,4-10G M10,6-10G ------------------------------------------------------------------------------------------------------------------------------------- 02-RX Frm with FCS Err .... .... .... .... .... .... .... 973e 16-RX Frm CRC Err(Stomp) .... .... .... .... .... .... .... ....
您可以看到暫存器2的非零十六進位制值0x973e，它表示在此物理介面上接收到具有無效但非堆疊的CRC的幀。
您可以使用dec 0x973e命令將此值轉換為38,718的十進位制值，該值與Ethernet1/40物理介面上的CRC錯誤數匹配（或小於，因為CRC不斷增加）。
N9K-1# dec 0x973e
38718
結論
您已經確認N9K-1正在物理介面Ethernet1/40上接收具有無效但未堆疊的CRC的幀。這意味著直接連線到Ethernet1/40（或鏈路遠端端的裝置）的鏈路是格式錯誤的幀的最可能源。可以對此鏈路的物理層執行進一步的故障排除，以隔離格式錯誤幀的根本原因（例如檢查是否有損壞的電纜，用已知正常的收發器替換當前收發器等等）。
案例 3.Nexus 9500 iEth CRC錯誤系統日誌
此示例演示當Nexus 9500系列交換機生成內部介面上的報告錯誤的系統日誌時，如何辨識iEth內部鏈路上的CRC錯誤源。以下是一個系統日誌的示例。
Nexus9500# show logging logfile
<snip>
2021 Jul 9 05:51:19 Nexus9500 %DEVICE_TEST-SLOT22-3-INTERNAL_PORT_MONITOR_CRC_ERRORS_DETECTED: Module 22 received tx errors on internal interface ii22/1/56 since last run TXErr=36836897 TotalTXErr=50781987904
此系統日誌指示在插入交換機插槽22中的交換矩陣模組的iEth56內部鏈路上檢測到錯誤。
步驟 1.將交換矩陣模組上的乙太網鏈路對映到連線的線卡
使用show system internal fabric connectivity stats module {x}命令確定受影響的iEth內部鏈路所連線的板卡。在本示例中，插入交換機插槽22中的交換矩陣模組的iEth56出現錯誤。這裡有一個例子，插入插槽22的交換矩陣模組的iEth56連線到插入交換機插槽7的線卡的iEth26。
Nexus9500# show system internal fabric connectivity stats module 22 | include Eth56|FM-Slot
FM-Slot FM-Unit FM-iEthLink LC-Slot LC-Unit LC-EthLink MUX CRC
22 1 iEth56 7 3 iEth26 - 603816174
使用show system internal fabric link-state module {x}命令可查詢與交換矩陣模組的iEth56內部鏈路關聯的ASIC例項和MAC識別符號。以下是一個示例，其中ASIC例項為1，MAC識別符號為27。
Nexus9500# show system internal fabric link-state module 22 | include MAC|iEth56
[FM] [ INST:SLI:MAC:GLSRC] [IETH] [ST] <========> [LC] [ INST:SLI:MAC:GLSRC] [IETH] [ST]
[22] [ 1 : 4 : 27 : 0x18] [iEth56] [UP] <========> [ 7] [ 3 : 1 : 9 : 0x0] [iEth26] [UP]
步驟 2.檢查乙太網鏈路上接收的CRC是否無效或堆疊
上一步顯示，對於連線到插入插槽22中的交換矩陣模組的iEth56，我們的ASIC例項識別符號為1，MAC識別符號為27。使用slot {x} show hardware internal tah counters asic {y}命令辨識系統日誌報告的CRC是無效的CRC還是堆疊的CRC。這裡顯示了一個例子，其中M27,0-100Gx4列與我們的MAC識別符號27關聯，表示CRC是堆疊的。
Nexus9500# slot 22 show hardware internal tah counters asic 1
REG_NAME M27,0-100Gx4
-----------------------------------------
02-RX Frm with FCS Err ....
16-RX Frm CRC Err(Stomp) be9cb9bd6
或者，使用show hardware internal errors module {x} 命令獲取此相同資訊。此步驟的範例如下所示。
Nexus9500# show hardware internal errors module 22 | include CRC|Stomp|Inst
Instance:1
196635 Interface Inbound Errors (CRC,len,Algn Err) 0000051587084851 27:0
1048603 Interface Inbound CRC Error Stomped 0000051587084850 27:0
回想一下，在此輸出中，無效CRC和堆疊的CRC的介面入站錯誤(CRC、len、Algn Err)計數器會增加，而只有堆疊的CRC的介面入站CRC錯誤堆疊計數器會增加。
步驟 3.追蹤入口線路卡上具有無效CRC的訊框來源
現在您知道，進入交換機插槽22中的交換矩陣模組的CRC是從插槽7中插入的線卡進入交換機的。有了此資訊，您可以使用show interface counters errors module {x} non-zero命令辨識屬於相關板卡的介面上的非零CRC計數器。此步驟的範例如下所示。
Nexus9500# show interface counters errors module 7 non-zero
<snip>
--------------------------------------------------------------------------------
Port Align-Err FCS-Err Xmit-Err Rcv-Err UnderSize OutDiscards
--------------------------------------------------------------------------------
Eth7/32 0 0 0 1195309745 0 0
您可以在相關線卡上重複此案例的步驟#2，以驗證線卡是否收到無效的CRC或堆疊的CRC。
Nexus9500# show hardware internal errors module 7 | include ignore-case CRC|Stomp|Inst
Instance:3
196619 Interface Inbound Errors (CRC,len,Algn Err) 0000051801011139 11:0
1048587 Interface Inbound CRC Error Stomped 0000051801011140 11:0
使用show interface hardware-mappings命令標識前一個輸出中的MacId：MacSP值11:0對映到的前面板埠。以下是一個示例，其中11:0對映到前面板埠Eth7/32。
Nexus9500# show interface hardware-mappings | include Name|Eth7
<snip>
Name Ifindex Smod Unit HPort FPort NPort VPort Slice SPort SrcId MacId MacSP VIF Block BlkSrcID
Eth7/1 1a300000 25 0 16 255 0 -1 0 16 32 4 0 1 0 32
Eth7/2 1a300200 25 0 12 255 4 -1 0 12 24 3 0 5 0 24
Eth7/3 1a300400 25 0 8 255 8 -1 0 8 16 2 0 9 0 16
Eth7/4 1a300600 25 0 4 255 12 -1 0 4 8 1 0 13 0 8
Eth7/5 1a300800 25 0 60 255 16 -1 1 20 40 14 0 17 0 40
Eth7/6 1a300a00 25 0 56 255 20 -1 1 16 32 13 0 21 0 32
Eth7/7 1a300c00 25 0 52 255 24 -1 1 12 24 12 0 25 0 24
Eth7/8 1a300e00 25 0 48 255 28 -1 1 8 16 11 0 29 0 16
Eth7/9 1a301000 26 1 12 255 32 -1 0 12 24 3 0 33 0 24
Eth7/10 1a301200 26 1 8 255 36 -1 0 8 16 2 0 37 0 16
Eth7/11 1a301400 26 1 4 255 40 -1 0 4 8 1 0 41 0 8
Eth7/12 1a301600 26 1 0 255 44 -1 0 0 0 0 0 45 0 0
Eth7/13 1a301800 26 1 60 255 48 -1 1 20 40 14 0 49 0 40
Eth7/14 1a301a00 26 1 56 255 52 -1 1 16 32 13 0 53 0 32
Eth7/15 1a301c00 26 1 52 255 56 -1 1 12 24 12 0 57 0 24
Eth7/16 1a301e00 26 1 48 255 60 -1 1 8 16 11 0 61 0 16
Eth7/17 1a302000 27 2 16 255 64 -1 0 16 32 4 0 65 0 32
Eth7/18 1a302200 27 2 12 255 68 -1 0 12 24 3 0 69 0 24
Eth7/19 1a302400 27 2 8 255 72 -1 0 8 16 2 0 73 0 16
Eth7/20 1a302600 27 2 4 255 76 -1 0 4 8 1 0 77 0 8
Eth7/21 1a302800 27 2 60 255 80 -1 1 20 40 14 0 81 0 40
Eth7/22 1a302a00 27 2 56 255 84 -1 1 16 32 13 0 85 0 32
Eth7/23 1a302c00 27 2 52 255 88 -1 1 12 24 12 0 89 0 24
Eth7/24 1a302e00 27 2 48 255 92 -1 1 8 16 11 0 93 0 16
Eth7/25 1a303000 28 3 12 255 96 -1 0 12 24 3 0 97 0 24
Eth7/26 1a303200 28 3 8 255 100 -1 0 8 16 2 0 101 0 16
Eth7/27 1a303400 28 3 4 255 104 -1 0 4 8 1 0 105 0 8
Eth7/28 1a303600 28 3 0 255 108 -1 0 0 0 0 0 109 0 0
Eth7/29 1a303800 28 3 60 255 112 -1 1 20 40 14 0 113 0 40
Eth7/30 1a303a00 28 3 56 255 116 -1 1 16 32 13 0 117 0 32
Eth7/31 1a303c00 28 3 52 255 120 -1 1 12 24 12 0 121 0 24
Eth7/32 1a303e00 28 3 48 255 124 -1 1 8 16 11 0 125 0 16
結論
您已確認Nexus 9500在物理介面Ethernet7/32上接收的CRC過大的幀。這表示Ethernet7/32鏈路遠端端的裝置正在增大這些幀的CRC；格式錯誤的幀的根本原因不是直接連線到Ethernet7/32的鏈路，而是更下游的鏈路。可在下游網路裝置上進行其他故障排除，以確定這些格式錯誤的幀的來源。
案例 4.使用輸出介面跟蹤無效CRC幀的來源
此示例演示當上游交換機報告Nexus 9500正在生成具有堆積CRC的幀時，如何跟蹤Nexus 9500交換機上具有無效CRC的幀的源。在此場景中，上游交換機透過前面板埠Ethernet8/9連線。
步驟 1.辨識將無效CRC幀傳送到出口線卡的交換矩陣模組
您知道，向上行交換機傳送幀時，傳送幀的CRC堆積的出口介面是Ethernet8/9。首先，您需要確定要將具有堆疊CRC的幀傳送到插入機箱插槽8中的線卡的交換矩陣模組。此過程首先使用show hardware internal errors module {x}命令。此步驟的範例如下所示。
Nexus9500# show hardware internal errors module 8 | i CRC|Inst
<snip>
Instance:1
196617 Interface Inbound Errors (CRC,len,Algn Err) 0000091499464650 9:0
1048585 Interface Inbound CRC Error Stomped 0000091499464651 9:0
使用show system internal fabric link-state module 8命令，可將之前輸出中的MacID：MacSP 9:0對映到源交換矩陣模組。此步驟的範例如下所示。
Nexus9500# show system internal fabric link-state module 8
cli : mod = 8
module number = 8
========================================================================================================================
Module number = 8
========================================================================================================================
[LC] [ INST:SLI:MAC:GLSRC] [IETH] [ST] <========> [FM] [ INST:SLI:MAC:GLSRC] [IETH] [ST]
========================================================================================================================
...
[ 8] [ 1 : 1 : 9 : 0x0] [iEth10] [UP] <========> [22] [ 1 : 0 : 4 : 0x20] [iEth35] [UP]
您會看到，插入插槽8中的線路卡上的MAC識別符號9對映到插入機箱插槽22中的交換矩陣模組。您預計在內部鏈路iEth10上會看到CRC錯誤。您可以使用show system internal fabric connectivity stats module 8命令來驗證這一點。此步驟的範例如下所示。
Nexus9500# show system internal fabric connectivity stats module 8
Internal Link-info Stats Linecard slot:8
-------------------------------------------------------------------------------------
LC-Slot LC-Unit LC-iEthLink MUX FM-Slot FM-Unit FM-iEthLink CRC
-------------------------------------------------------------------------------------
8 0 iEth01 - 22 0 iEth18 0
8 0 iEth02 - 22 1 iEth50 0
8 0 iEth03 - 23 0 iEth18 0
8 0 iEth04 - 23 1 iEth50 0
8 0 iEth05 - 24 0 iEth18 0
8 0 iEth06 - 24 1 iEth50 0
8 0 iEth07 - 26 0 iEth18 0
8 0 iEth08 - 26 1 iEth50 0
8 1 iEth09 - 22 0 iEth03 0
8 1 iEth10 - 22 1 iEth35 1784603561
步驟 2.將交換矩陣模組上的乙太網鏈路對映到連線的線卡並檢查是否有堆疊的CRC
接下來，使用與方案3中相同的過程：檢查接收CRC的iEth內部鏈路，這些CRC是否根據交換矩陣模組的ASIC進行堆疊，以及哪個板卡連線到交換矩陣模組的iEth內部鏈路。下面分別使用show system internal fabric connectivity stats module {x}命令、show hardware internal errors module {x}命令和show system internal fabric link-state module {x}命令顯示此情況的示例。
Nexus9500# show system internal fabric connectivity stats module 22
Internal Link-info Stats Fabriccard slot:22
-------------------------------------------------------------------------------------
FM-Slot FM-Unit FM-iEthLink LC-Slot LC-Unit LC-EthLink MUX CRC
22 1 iEth56 7 3 iEth26 - 1171851894
Nexus9500# show hardware internal errors module 22 | i CRC|Stomp|Inst
Instance:1
196635 Interface Inbound Errors (CRC,len,Algn Err) 0000054593935847 27:0
1048603 Interface Inbound CRC Error Stomped 0000054593935846 27:0
Nexus9500# show system internal fabric link-state module 22 | i MAC|iEth56
[FM] [ INST:SLI:MAC:GLSRC] [IETH] [ST] <========> [LC] [ INST:SLI:MAC:GLSRC] [IETH] [ST]
[22] [ 1 : 4 : 27 : 0x18] [iEth56] [UP] <========> [ 7] [ 3 : 1 : 9 : 0x0] [iEth26] [UP]
步驟 3.追蹤入口模組上具有無效CRC的訊框來源
在確定入口線卡（在此場景中，插入插槽7中的線卡透過插槽22中的iEth26連線到插入交換矩陣模組的iEth56）後，您會確定損壞的幀進入交換機的入口埠。這可以用show interface counters errors module {x} non-zero命令完成。show hardware internal errors module {x}命令和show interface hardware-mappings命令的輸出可以驗證接收的幀是無效還是堆疊的CRC。
這裡顯示了一個例子，損壞的幀透過前面板介面Ethernet7/32進入交換機。
Nexus9500# show interface counters errors module 7 non-zero
<snip>
--------------------------------------------------------------------------------
Port Align-Err FCS-Err Xmit-Err Rcv-Err UnderSize OutDiscards
--------------------------------------------------------------------------------
Eth7/32 0 0 0 4128770335 0 0
--------------------------------------------------------------------------------
Port Stomped-CRC
--------------------------------------------------------------------------------
Eth7/32 4129998971
Nexus9500# show hardware internal errors module 7 | i i CRC|Stomp|Inst
<snip>
Instance:3
196619 Interface Inbound Errors (CRC,len,Algn Err) 0000054901402307 11:0
1048587 Interface Inbound CRC Error Stomped 0000054901402308 11:0
Nexus9500# show interface hardware-mappings | i Name|Eth7
<snip>
Name Ifindex Smod Unit HPort FPort NPort VPort Slice SPort SrcId MacId MacSP VIF Block BlkSrcID
...
Eth7/32 1a303e00 28 3 48 255 124 -1 1 8 16 11 0 125 0 16
結論
您已確認Nexus 9500在物理介面Ethernet7/32上接收的CRC過大的幀。這表示Ethernet7/32鏈路遠端端的裝置正在增大這些幀的CRC；格式錯誤的幀的根本原因不是直接連線到Ethernet7/32的鏈路，而是更下游的鏈路。
可在下游網路裝置上進行其他故障排除，以確定這些格式錯誤的幀的來源。
相關資訊
修訂記錄
| 修訂 | 發佈日期 | 意見 |
|---|---|---|
3.0 |
08-Nov-2023 |
更新的標題、簡介、技術內容術語、SEO、樣式要求、機器翻譯與格式設定。 |
2.0 |
03-Oct-2021 |
更新適用的硬體區段，以包含新的硬體。 |
1.0 |
13-Nov-2020 |
初始版本 |
意見