Nexus 9000 Cloud Scale ASIC CRC 식별 및 추적
목차
소개
이 문서에서는 Cisco Nexus 9000 Cloud Scale ASIC 모듈에서 관찰된 CRC 오류의 소스를 추적하는 데 사용되는 단계를 설명합니다.
사전 요구 사항
요구 사항
Cisco에서는 컷스루(cut-through) 및 스토어 앤 포워드(store-and-forward) 스위칭의 기본 사항을 이해하는 것이 좋습니다. 또한 FCS(Ethernet Frame Check Sequence) 필드 및 FCS 필드에서 사용하는 CRC(Cyclic Redundancy Check) 알고리즘의 기본을 이해할 것을 권장합니다. 자세한 내용은 다음 문서를 참조하십시오.
사용되는 구성 요소
이 문서의 정보는 Cloud Scale ASIC가 NX-OS 소프트웨어 릴리스 7.0(3)I7(8)을 실행하는 Cisco Nexus 9000 Series 스위치를 기반으로 합니다.
이 문서의 정보는 특정 랩 환경의 디바이스를 토대로 작성되었습니다. 이 문서에 사용된 모든 디바이스는 초기화된(기본) 컨피그레이션으로 시작되었습니다. 현재 네트워크가 작동 중인 경우 모든 명령의 잠재적인 영향을 미리 숙지하시기 바랍니다.
배경 정보
또한 이 문서에서는 모듈형 Nexus 스위치의 물리적 인터페이스 및 내부 패브릭 링크에서 관찰되는 압축 및 비압축 CRC 오류를 구별하는 데 사용되는 절차를 설명합니다.
Cisco Nexus 9000 Series 스위치는 기본적으로 컷스루 스위칭을 사용합니다. 컷스루 스위칭은 스위치에서 프레임에 대해 포워딩 결정을 내리고, 스위치에서 프레임의 헤더를 충분히 처리하여 유효한 포워딩 결정을 내리는 즉시 이그레스 인터페이스에서 프레임을 포워딩하기 시작하는 것입니다. 이는 이그레스 인터페이스에서 프레임을 포워딩하기 전에 스위치에서 전체 프레임을 버퍼링하는 저장 후 전달 스위칭과 다릅니다.
이더넷 프레임의 FCS 필드는 프레임의 무결성을 검증하고 전송 중에 프레임이 손상되지 않았는지 확인합니다. 이더넷 프레임의 FCS 필드는 프레임 페이로드 뒤의 이더넷 프레임 끝에 있습니다. 저장 후 전달 스위칭 모드로 작동하는 스위치는 이그레스(egress) 인터페이스에서 프레임을 포워딩하기 전에(또는 FCS 필드에 유효하지 않은 내용이 있는 경우 프레임을 드롭하기 전에) FCS 필드에 대한 이더넷 프레임의 무결성을 확인할 수 있습니다. 그러나 컷스루 스위칭 모드로 작동하는 스위치는 프레임을 이그레스(egress) 인터페이스에서 포워딩하기 전에 FCS 필드를 사용하여 이더넷 프레임의 무결성을 확인할 수 없습니다. 즉, 컷스루 스위치가 이더넷 프레임의 무결성을 확인할 수 있을 때까지 이더넷 프레임의 대부분은 이미 이그레스(egress) 인터페이스에서 포워딩되었습니다.
컷스루 스위칭 모드로 작동하는 스위치가 잘못된 FCS 필드가 있는 이더넷 프레임을 수신하는 경우 스위치는 다음 작업을 수행할 수 있습니다.
- 들어오는 손상된 프레임의 CRC 값을 계산한 다음 이더넷 프레임의 FCS 필드를 계산된 CRC 값의 비트 역순으로 다시 씁니다. 프레임을 라우팅해야 하는 경우, 프레임의 이더넷 헤더가 재작성된 후 손상된 프레임의 CRC 값이 계산되고 비트 반전됩니다. 이 작업은 CRC를 "압축"하는 것으로 알려져 있습니다.
- 프레임에 대한 전달 결정에 따라 이더넷 프레임의 나머지를 압축 CRC와 함께 이그레스 인터페이스 밖으로 전달합니다.
- 인그레스 인터페이스에서 입력 오류 카운터 및/또는 CRC 오류 카운터를 증분합니다.
이 문서에서는 인그레스 인터페이스와 연결된 CRC 카운터가 일반 CRC(일반적으로 인그레스 인터페이스에 연결된 링크의 물리적 레이어 문제를 나타냄) 또는 압축 CRC(인그레스 인터페이스에 연결된 장치가 컷스루 스위칭 모드에서도 작동 중이며 잘못된 형식의 이더넷 프레임을 수신했음을 나타냄)인지 확인하는 단계를 설명합니다.
적용 가능한 하드웨어
이 문서에서 다루는 절차는 이 하드웨어에만 적용됩니다.
Nexus 9200/9300 고정 스위치
- N9K-C92160YC-X
- N9K-C92300YC
- N9K-C92304QC
- N9K-C92348GC-X
- N9K-C9236C
- N9K-C9272Q
- N9K-C9332C
- N9K-C9364C
- N9K-C93108TC-EX
- N9K-C93108TC-EX-24
- N9K-C93180LC-EX
- N9K-C93180YC-EX
- N9K-C93180YC-EX-24
- N9K-C93108TC-FX
- N9K-C93108TC-FX-24
- N9K-C93180YC-FX
- N9K-C93180YC-FX-24
- N9K-C9348GC-FXP
- N9K-C93240YC-FX2
- N9K-C93216TC-FX2
- N9K-C9336C-FX2
- N9K-C9336C-FX2-E
- N9K-C93360YC-FX2
- N9K-C93180YC-FX3
- N9K-C93108TC-FX3P
- N9K-C93180YC-FX3S
- N9K-C9316D-GX
- N9K-C93600CD-GX
- N9K-C9364C-GX
- N9K-C9364D-GX2A
- N9K-C9332D-GX2B
Nexus 9500 모듈형 스위치 라인 카드
- N9K-X97160YC-EX
- N9K-X9732C-EX
- N9K-X9736C-EX
- N9K-X97284YC-FX
- N9K-X9732C-FX
- N9K-X9788TC-FX
- N9K-X9716D-GX
Cisco Nexus 9200 및 9300 Cloud Scale CRC 식별 및 추적 절차
이 섹션에서는 Cisco Nexus 9200 및 9300 Series 스위치의 특정 물리적 인터페이스 Ethernet1/1에서 관찰된 CRC 오류의 소스를 식별하기 위한 단계별 지침을 설명합니다.
NX-OS Software 릴리스 10.2(1) 이상
NX-OS 소프트웨어 릴리스 10.2(1)부터 Cloud Scale ASIC이 설치된 Nexus 스위치에는 스위치를 가로지르는 이더넷 프레임의 FCS 필드에 압축 CRC가 있는 패킷에 대한 새로운 인터페이스 카운터가 있습니다. show interface 명령을 사용하여 0이 아닌 CRC 및 스탬핑된 CRC 카운터를 늘려 물리적 인터페이스를 식별할 수 있습니다. 이것의 예가 여기에 나타나며, 여기서 물리적 인터페이스 Ethernet1/1은 제로 CRC 카운터 및 비-제로 스탬핑된 CRC 카운터를 가지며, 이는 유효하지 않고 스탬핑된 CRC를 갖는 프레임들이 이 인터페이스에서 수신되었음을 나타낸다.
switch# show interface
<snip>
Ethernet1/1 is up
admin state is up, Dedicated Interface
Hardware: 100/1000/10000/25000 Ethernet, address: 00d7.8f86.2bbe (bia 00d7.8f86.2bbe)
MTU 1500 bytes, BW 10000000 Kbit, DLY 10 usec
reliability 255/255, txload 1/255, rxload 1/255
Encapsulation ARPA, medium is broadcast
Port mode is trunk
full-duplex, 10 Gb/s, media type is 10G
Beacon is turned off
Auto-Negotiation is turned on FEC mode is Auto
Input flow-control is off, output flow-control is off
Auto-mdix is turned off
Rate mode is dedicated
Switchport monitor is off
EtherType is 0x8100
EEE (efficient-ethernet) : n/a
admin fec state is auto, oper fec state is off
Last link flapped 04:09:21
Last clearing of "show interface" counters 00:50:37
0 interface resets
RX
8 unicast packets 253 multicast packets 2 broadcast packets
1832838280 input packets 2199405650587 bytes
0 jumbo packets 0 storm suppression bytes
0 runts 0 giants 1832838019 CRC 0 no buffer
1832838019 input error 0 short frame 0 overrun 0 underrun 0 ignored
0 watchdog 0 bad etype drop 0 bad proto drop 0 if down drop
0 input with dribble 0 input discard
0 Rx pause
1832838019 Stomped CRC
TX
908 unicast packets 323 multicast packets 3 broadcast packets
1234 output packets 113342 bytes
0 jumbo packets
0 output error 0 collision 0 deferred 0 late collision
0 lost carrier 0 no carrier 0 babble 0 output discard
0 Tx pause
참고: 증분 CRC 카운터는 프레임이 스탬핑된 CRC 또는 유효하지 않지만 스탬핑되지 않은 CRC와 함께 수신되었음을 나타냅니다. 점증적 스탬핑된 CRC 카운터 증가는 스탬핑된 CRC를 갖는 프레임이 수신되었음을 나타낸다.
또는 show interface counters errors non-zero 명령을 사용하여 인터페이스 오류 카운터를 확인할 수 있습니다. 관련 예시가 여기에 나와 있습니다.
switch# show interface counters errors non-zero
--------------------------------------------------------------------------------
Port Align-Err FCS-Err Xmit-Err Rcv-Err UnderSize OutDiscards
--------------------------------------------------------------------------------
Eth1/1 1790348828 1790348828 0 1790348828 0 0
--------------------------------------------------------------------------------
Port Single-Col Multi-Col Late-Col Exces-Col Carri-Sen Runts
--------------------------------------------------------------------------------
--------------------------------------------------------------------------------
Port Giants SQETest-Err Deferred-Tx IntMacTx-Er IntMacRx-Er Symbol-Err
--------------------------------------------------------------------------------
--------------------------------------------------------------------------------
Port InDiscards
--------------------------------------------------------------------------------
--------------------------------------------------------------------------------
Port Stomped-CRC
--------------------------------------------------------------------------------
Eth1/1 1790348828
show interface 명령을 json 또는 json-pretty 명령에 파이프하여 구조화된 형식의 CRC 및 스탬핑된 CRC 카운터 통계를 얻을 수 있습니다. 관련 예시가 여기에 나와 있습니다.
switch# show interface Ethernet1/1 | json-pretty | include ignore-case crc
"eth_crc": "828640831",
"eth_stomped_crc": "828640831",
NX-API REST API는 sys/intf/phys-[intf-id]/dbgEtherStats.json object 모델을 사용하여 동일한 통계를 검색하는 데 사용할 수 있습니다. 관련 예시가 여기에 나와 있습니다.
/api/node/mo/sys/intf/phys-[eth1/1]/dbgEtherStats.json
{
"totalCount": "1",
"imdata": [
{
"rmonEtherStats": {
"attributes": {
"cRCAlignErrors": "26874272810",
"dn": "sys/intf/phys-[eth1/1]/dbgEtherStats",
"dropEvents": "0",
"rXNoErrors": "26874276337",
"stompedCRCAlignErrors": "26874272810",
...
}
}
}
]
}
NX-OS Software 릴리스 10.1(2) 이전
10.2(1) 이전의 NX-OS 소프트웨어 릴리스의 경우, 인터페이스에서 압축 CRC 카운터를 사용할 수 없습니다. 유효하지 않은 CRC가 관찰되는 인그레스 인터페이스를 확인하고 CRC가 유효하지 않은지 또는 스탬프되었는지 검증하려면 몇 가지 단계가 필요합니다.
1단계. 물리적 인터페이스에서 증가하는 CRC 카운터 식별
0이 아닌 CRC 카운터를 늘려 물리적 인터페이스를 식별하려면 show interface 명령을 사용합니다. 여기에 나와 있는 예를 들면, 물리적 인터페이스 Ethernet1/1에는 0이 아닌 CRC 카운터가 있습니다.
switch# show interface
<snip> Ethernet1/1 is up admin state is up, Dedicated Interface Hardware: 100/1000/10000/25000 Ethernet, address: 00d7.8f86.2bbe (bia 00d7.8f86.2bbe) MTU 1500 bytes, BW 10000000 Kbit, DLY 10 usec reliability 255/255, txload 1/255, rxload 1/255 Encapsulation ARPA, medium is broadcast Port mode is trunk full-duplex, 10 Gb/s, media type is 10G Beacon is turned off Auto-Negotiation is turned on FEC mode is Auto Input flow-control is off, output flow-control is off Auto-mdix is turned off Rate mode is dedicated Switchport monitor is off EtherType is 0x8100 EEE (efficient-ethernet) : n/a admin fec state is auto, oper fec state is off Last link flapped 04:09:21 Last clearing of "show interface" counters 00:50:37 0 interface resets RX 3 unicast packets 3087 multicast packets 0 broadcast packets 3097 input packets 244636 bytes 7 jumbo packets 0 storm suppression bytes 0 runts 7 giants 7 CRC 0 no buffer 7 input error 0 short frame 0 overrun 0 underrun 0 ignored 0 watchdog 0 bad etype drop 0 bad proto drop 0 if down drop 0 input with dribble 0 input discard 0 Rx pause
또는 show interface counters errors non-zero 명령을 사용하여 0이 아닌 오류 카운터(0이 아닌 CRC 카운터 포함)가 있는 모든 인터페이스를 표시할 수 있습니다. 여기에 표시된 예를 들면, 물리적 인터페이스 Ethernet1/1에는 FCS-Err 열에 표시된 0이 아닌 CRC 카운터가 있습니다.
switch# show interface counters errors non-zero <snip> -------------------------------------------------------------------------------- Port Align-Err FCS-Err Xmit-Err Rcv-Err UnderSize OutDiscards -------------------------------------------------------------------------------- Eth1/1 7 7 0 7 0 0
2단계. 물리적 인터페이스를 ASIC, MAC 블록 및 Mac 블록 하위 포트에 매핑
show interface hardware-mappings 명령을 사용하여 세 가지 주요 특성을 식별합니다.
- Unit(유닛) - 물리적 인터페이스가 연결되는 클라우드 규모 ASIC의 식별자입니다. 이는 제로 기반 번호 지정 시스템을 사용합니다(예를 들어, 첫 번째 ASIC는 0이고 두 번째 ASIC는 1입니다).
- MacId - 물리적 인터페이스가 연결되는 MAC 블록의 식별자입니다. 이는 0 기반 번호 지정 시스템을 사용합니다(예를 들어, 첫 번째 MAC 블록은 0이고 두 번째 MAC 블록은 1입니다)
- MacSP - 물리적 인터페이스가 연결되는 MAC 블록 하위 포트의 식별자입니다. 각 MAC 블록에는 4개의 하위 포트가 연결되어 있으며, 이는 제로 기반 번호 지정 시스템을 사용하고 값이 2만큼 증가합니다. 따라서, 제1 서브 포트는 0의 인덱스를 가지고, 제2 서브 포트는 2의 인덱스를 가지며, 제3 서브 포트는 4의 인덱스를 가지고, 제4 서브 포트는 6의 인덱스를 가진다.
이 예는 물리적 인터페이스 Ethernet1/1이 Cloud Scale ASIC 0, MAC 블록 4, MAC 블록 하위 포트 0과 연결된 경우를 보여줍니다.
switch# show interface hardware-mappings
<snip>
-------------------------------------------------------------------------------------------------------
Name Ifindex Smod Unit HPort FPort NPort VPort Slice SPort SrcId MacId MacSP VIF Block BlkSrcID
-------------------------------------------------------------------------------------------------------
Eth1/1 1a000000 1 0 16 255 0 -1 0 16 32 4 0 1 0 32
Eth1/2 1a000200 1 0 17 255 4 -1 0 17 34 4 2 5 0 34
Eth1/3 1a000400 1 0 18 255 8 -1 0 18 36 4 4 9 0 36
Eth1/4 1a000600 1 0 19 255 12 -1 0 19 38 4 6 13 0 38
Eth1/5 1a000800 1 0 12 255 16 -1 0 12 24 3 0 17 0 24
3단계. CRC 관련 카운터에 대한 Cloud Scale ASIC 레지스터 확인
Cloud Scale ASIC에 대한 레지스터 카운터를 보려면 slot {x} show hardware internal tah counters asic {y} 명령을 사용합니다. 이 명령에는 두 개의 변수가 포함되어 있습니다.
- {x} - 이 값을 라인 카드 슬롯 번호로 바꿉니다. ToR(top-of-rack) 스위치의 경우 이 값은 항상 1입니다. EoR(end-of-row) 모듈형 스위치의 경우 라인 카드 슬롯 번호는 물리적 인터페이스 이름의 첫 번째 번호입니다. 예를 들어, 물리적 인터페이스 Ethernet1/1은 라인 카드 슬롯 번호 1을 가지며, 물리적 인터페이스 Ethernet4/24는 라인 카드 슬롯 번호 4를 가집니다.
- {y} - 이 값을 2단계에서 식별된 클라우드 규모 ASIC 식별자로 바꿉니다. 예를 들어 물리적 인터페이스 Ethernet1/1의 Unit 열이 0 값을 가지는 경우 이 변수의 값은 0이 됩니다. 물리적 인터페이스 Ethernet4/24에 대한 Unit 열의 값이 3이면 이 변수의 값은 3이 됩니다.
이 출력은 테이블을 표시할 수 있습니다. 테이블의 각 행은 서로 다른 ASIC 레지스터입니다. 테이블의 각 열은 스위치의 물리적 인터페이스에 해당합니다. 각 열에 사용되는 이름은 물리적 인터페이스의 이름이 아니라 MAC 블록과 MAC 블록 하위 포트의 조합입니다. 열 머리글에 사용되는 형식은 다음과 같습니다.
M{A},{B}-{InterfaceSpeed}
이 형식에는 다음과 같은 세 가지 변수가 있습니다.
- {A} - 이 값을 MAC 블록 번호로 바꿉니다.
- {B} - 이 값을 MAC 블록 하위 포트 번호로 바꿉니다.
- {InterfaceSpeed} - 이 값은 인터페이스의 실제 속도(예: 10G, 25G, 40Gx4 등)와 일치할 수 있습니다.
이 예는 다음 예제에서 보여줍니다. 물리적 인터페이스 Ethernet1/1은 라인 카드 슬롯 번호 1 및 Cloud Scale ASIC 0과 연결되어 있습니다. 즉, 실행해야 하는 명령은 슬롯 1 show hardware internal tah counters asic 0입니다. 물리적 인터페이스 Ethernet1/1과 연결된 MAC 블록은 4이고, 물리적 인터페이스 Ethernet1/1과 연결된 MAC 블록 하위 포트는 0이며, 물리적 인터페이스 Ethernet1/1은 10G 인터페이스입니다. 따라서 우리가 찾고 있는 칼럼 헤더는 M4,0-10G입니다.
switch# slot 1 show hardware internal tah counters asic 0 <snip> *************** PER MAC/CH SRAM COUNTERS **************** REG_NAME M4,0-10G M4,2-10G M4,4-10G M4,6-10G M5,0-40Gx4 M6,0-40Gx4 M7,0-40Gx4 M8,0-10G ---------------------------------------------------------------------------------------------------------------------------- 02-RX Frm with FCS Err .... .... .... .... .... .... .... .... 16-RX Frm CRC Err(Stomp) c .... .... .... .... .... .... ....
이 명령의 출력에는 수십 개의 레지스터 카운터가 포함됩니다. 자연 CRC 오류를 스탬핑된 CRC와 구별하는 것과 관련된 두 개의 키 레지스터 카운터가 있습니다.
- 02-RX Frm with FCS Err - 유효하지 않지만 스탬핑되지 않은 CRC가 수신된 프레임을 나타냅니다.
- 16-RX Frm CRC Err(Stomp) - 스탬핑된 CRC가 있는 프레임이 수신되었음을 나타냅니다.
이러한 카운터의 값은 16진수입니다. dec NX-OS 명령은 여기에 표시된 대로 16진수 값을 10진수 값으로 변환할 수 있습니다.
N9K-C93180YC-EX-2# dec 0xc
12
두 레지스터 카운터의 결합된 값은 show interface 또는 show interface counters errors errors의 출력을 통해 물리적 인터페이스에서 관찰된 CRC 수(0이 아님)와 같습니다.
Cisco Nexus 9500 Cloud Scale - 모듈형 스위치의 CRC 식별 및 추적 절차
이 섹션에서는 Cisco Nexus 9500 Series 스위치의 특정 물리적 인터페이스 Ethernet1/1에서 관찰된 CRC 오류의 소스를 식별하기 위한 단계별 지침을 설명합니다.
Nexus 9500 시리즈 스위치의 각 라인 카드는 내부 링크(iEth)를 통해 패브릭 모듈에 연결됩니다. 각 라인 카드의 각 ASIC는 모든 패브릭 모듈에 대한 풀 메시 연결을 제공합니다. 이 예에서는 모듈형 Nexus 9500 스위치 내에서 4개의 패브릭 모듈에 연결되는 내부 링크가 포함된 4개의 Sugarbowl ASIC가 포함된 라인 카드를 보여 줍니다.
ASIC에서 수신한 트래픽이 다른 ASIC 또는 라인 카드를 이그레스(egress)해야 하는 경우, 해당 트래픽은 패브릭 모듈을 통해 패브릭으로 전송되어야 합니다. 인그레스 ASIC는 패킷 헤더의 해시 및 ASIC에 사용 가능한 iEth 링크의 수를 기반으로 패브릭 모듈에 대한 iEth 링크 중 하나를 선택합니다.
1단계. 라인 카드와 패브릭 모듈 간에 내부 링크를 매핑합니다.
show system internal fabric connectivity module {x} 명령(여기서 {x}은(는) 라인 카드 또는 패브릭 모듈 슬롯 번호)을 사용하여 지정된 라인 카드와 모든 패브릭 모듈 간의 내부 링크를 표시합니다. 이 출력은 각 행에서 라인 카드 내부 링크(LC-iEthLink 열 아래)와 각 패브릭 모듈의 내부 링크(FM-iEthLink 열 아래) 간의 일대일 매핑을 보여 주는 테이블을 표시합니다. 여기에 8개의 라인 카드와 4개의 패브릭 모듈이 삽입된 Nexus 9508 스위치의 예가 나와 있습니다. 이 출력은 스위치의 슬롯 8에 삽입된 라인 카드의 각 ASIC 인스턴스가 2개의 내부 링크를 통해 설치된 4개의 패브릭 모듈(슬롯 22, 23, 24, 26에 삽입됨) 각각에 연결되어 있음을 보여줍니다.
Nexus9500# show system internal fabric connectivity module 8
Internal Link-info Linecard slot:8
------------------------------------------------------------------------
LC-Slot LC-Unit LC-iEthLink MUX FM-Slot FM-Unit FM-iEthLink
------------------------------------------------------------------------
8 0 iEth01 - 22 0 iEth18
8 0 iEth02 - 22 1 iEth50
8 0 iEth03 - 23 0 iEth18
8 0 iEth04 - 23 1 iEth50
8 0 iEth05 - 24 0 iEth18
8 0 iEth06 - 24 1 iEth50
8 0 iEth07 - 26 0 iEth18
8 0 iEth08 - 26 1 iEth50
8 1 iEth09 - 22 0 iEth03
8 1 iEth10 - 22 1 iEth35
8 1 iEth11 - 23 0 iEth03
8 1 iEth12 - 23 1 iEth35
8 1 iEth13 - 24 0 iEth03
8 1 iEth14 - 24 1 iEth35
8 1 iEth15 - 26 0 iEth03
8 1 iEth16 - 26 1 iEth35
8 2 iEth17 - 22 0 iEth32
8 2 iEth18 - 22 1 iEth53
8 2 iEth19 - 23 0 iEth32
8 2 iEth20 - 23 1 iEth53
8 2 iEth21 - 24 0 iEth32
8 2 iEth22 - 24 1 iEth53
8 2 iEth23 - 26 0 iEth32
8 2 iEth24 - 26 1 iEth53
8 3 iEth25 - 22 0 iEth31
8 3 iEth26 - 22 1 iEth54
8 3 iEth27 - 23 0 iEth31
8 3 iEth28 - 23 1 iEth54
8 3 iEth29 - 24 0 iEth31
8 3 iEth30 - 24 1 iEth54
8 3 iEth31 - 26 0 iEth31
8 3 iEth32 - 26 1 iEth54
마찬가지로 패브릭 모듈의 관점에서 Eth 링크 매핑을 확인할 수 있습니다. 이 예제에서는 슬롯 22에 삽입된 패브릭 모듈과 Nexus 9508 섀시에 설치된 각 8개의 라인 카드 사이의 내부 링크가 표시되어 있습니다.
Nexus9500# show system internal fabric connectivity module 22
Internal Link-info Fabriccard slot:22
------------------------------------------------------------------------
FM-Slot FM-Unit FM-iEthLink LC-Slot LC-Unit LC-EthLink MUX
------------------------------------------------------------------------
22 0 iEth09 1 0 iEth01 -
22 0 iEth06 1 1 iEth11 -
22 0 iEth25 1 2 iEth21 -
22 0 iEth26 1 3 iEth31 -
22 0 iEth10 2 0 iEth01 -
22 0 iEth05 2 1 iEth11 -
22 0 iEth23 2 2 iEth21 -
22 0 iEth24 2 3 iEth31 -
22 0 iEth12 3 0 iEth01 -
22 0 iEth11 3 1 iEth11 -
22 0 iEth21 3 2 iEth21 -
22 0 iEth22 3 3 iEth31 -
22 0 iEth14 4 0 iEth01 -
22 0 iEth13 4 1 iEth11 -
22 0 iEth07 4 2 iEth21 -
22 0 iEth08 4 3 iEth31 -
22 0 iEth16 5 0 iEth01 -
22 0 iEth15 5 1 iEth11 -
22 0 iEth01 5 2 iEth21 -
22 0 iEth04 5 3 iEth31 -
22 0 iEth20 6 0 iEth01 -
22 0 iEth17 6 1 iEth11 -
22 0 iEth28 6 2 iEth21 -
22 0 iEth27 6 3 iEth31 -
22 0 iEth19 7 0 iEth01 -
22 0 iEth02 7 1 iEth09 -
22 0 iEth30 7 2 iEth17 -
22 0 iEth29 7 3 iEth25 -
22 0 iEth18 8 0 iEth01 -
22 0 iEth03 8 1 iEth09 -
22 0 iEth32 8 2 iEth17 -
22 0 iEth31 8 3 iEth25 -
22 1 iEth41 1 0 iEth02 -
22 1 iEth38 1 1 iEth12 -
22 1 iEth59 1 2 iEth22 -
22 1 iEth60 1 3 iEth32 -
22 1 iEth42 2 0 iEth02 -
22 1 iEth37 2 1 iEth12 -
22 1 iEth62 2 2 iEth22 -
22 1 iEth61 2 3 iEth32 -
22 1 iEth44 3 0 iEth02 -
22 1 iEth43 3 1 iEth12 -
22 1 iEth64 3 2 iEth22 -
22 1 iEth63 3 3 iEth32 -
22 1 iEth46 4 0 iEth02 -
22 1 iEth45 4 1 iEth12 -
22 1 iEth39 4 2 iEth22 -
22 1 iEth40 4 3 iEth32 -
22 1 iEth48 5 0 iEth02 -
22 1 iEth47 5 1 iEth12 -
22 1 iEth36 5 2 iEth22 -
22 1 iEth33 5 3 iEth32 -
22 1 iEth52 6 0 iEth02 -
22 1 iEth49 6 1 iEth12 -
22 1 iEth57 6 2 iEth22 -
22 1 iEth58 6 3 iEth32 -
22 1 iEth34 7 0 iEth02 -
22 1 iEth51 7 1 iEth10 -
22 1 iEth55 7 2 iEth18 -
22 1 iEth56 7 3 iEth26 -
22 1 iEth50 8 0 iEth02 -
22 1 iEth35 8 1 iEth10 -
22 1 iEth53 8 2 iEth18 -
22 1 iEth54 8 3 iEth26 -
show system internal fabric link-state module {x} 명령을 사용하여 내부 포트가 작동 중인지 여부(ST 열 아래) 및 특정 내부 링크의 해당 ASIC 슬라이스 및 MAC 식별자(MAC 열 아래)를 확인합니다. 관련 예시가 여기에 나와 있습니다.
Nexus9500# show system internal fabric link-state module 8
cli : mod = 8
module number = 8
========================================================================================================================
Module number = 8
========================================================================================================================
[LC] [ INST:SLI:MAC:GLSRC] [IETH] [ST] <========> [FM] [ INST:SLI:MAC:GLSRC] [IETH] [ST]
========================================================================================================================
[ 8] [ 0 : 0 : 7 : 0x38] [iEth01] [UP] <========> [22] [ 0 : 3 : 21 : 0x18] [iEth18] [UP]
[ 8] [ 0 : 1 : 9 : 0x0] [iEth02] [UP] <========> [22] [ 1 : 3 : 21 : 0x18] [iEth50] [UP]
[ 8] [ 0 : 0 : 6 : 0x30] [iEth03] [UP] <========> [23] [ 0 : 3 : 21 : 0x18] [iEth18] [UP]
[ 8] [ 0 : 1 : 16 : 0x38] [iEth04] [UP] <========> [23] [ 1 : 3 : 21 : 0x18] [iEth50] [UP]
[ 8] [ 0 : 0 : 8 : 0x40] [iEth05] [UP] <========> [24] [ 0 : 3 : 21 : 0x18] [iEth18] [UP]
[ 8] [ 0 : 1 : 15 : 0x30] [iEth06] [UP] <========> [24] [ 1 : 3 : 21 : 0x18] [iEth50] [UP]
[ 8] [ 0 : 0 : 5 : 0x28] [iEth07] [UP] <========> [26] [ 0 : 3 : 21 : 0x18] [iEth18] [UP]
[ 8] [ 0 : 1 : 17 : 0x40] [iEth08] [UP] <========> [26] [ 1 : 3 : 21 : 0x18] [iEth50] [UP]
[ 8] [ 1 : 0 : 7 : 0x38] [iEth09] [UP] <========> [22] [ 0 : 0 : 4 : 0x20] [iEth03] [UP]
[ 8] [ 1 : 1 : 9 : 0x0] [iEth10] [UP] <========> [22] [ 1 : 0 : 4 : 0x20] [iEth35] [UP]
[ 8] [ 1 : 0 : 6 : 0x30] [iEth11] [UP] <========> [23] [ 0 : 0 : 4 : 0x20] [iEth03] [UP]
[ 8] [ 1 : 1 : 16 : 0x38] [iEth12] [UP] <========> [23] [ 1 : 0 : 4 : 0x20] [iEth35] [UP]
[ 8] [ 1 : 0 : 8 : 0x40] [iEth13] [UP] <========> [24] [ 0 : 0 : 4 : 0x20] [iEth03] [UP]
[ 8] [ 1 : 1 : 15 : 0x30] [iEth14] [UP] <========> [24] [ 1 : 0 : 4 : 0x20] [iEth35] [UP]
[ 8] [ 1 : 0 : 5 : 0x28] [iEth15] [UP] <========> [26] [ 0 : 0 : 4 : 0x20] [iEth03] [UP]
[ 8] [ 1 : 1 : 17 : 0x40] [iEth16] [UP] <========> [26] [ 1 : 0 : 4 : 0x20] [iEth35] [UP]
[ 8] [ 2 : 0 : 7 : 0x38] [iEth17] [UP] <========> [22] [ 0 : 5 : 35 : 0x28] [iEth32] [UP]
[ 8] [ 2 : 1 : 9 : 0x0] [iEth18] [UP] <========> [22] [ 1 : 4 : 24 : 0x0] [iEth53] [UP]
[ 8] [ 2 : 0 : 6 : 0x30] [iEth19] [UP] <========> [23] [ 0 : 5 : 35 : 0x28] [iEth32] [UP]
[ 8] [ 2 : 1 : 16 : 0x38] [iEth20] [UP] <========> [23] [ 1 : 4 : 24 : 0x0] [iEth53] [UP]
[ 8] [ 2 : 0 : 8 : 0x40] [iEth21] [UP] <========> [24] [ 0 : 5 : 35 : 0x28] [iEth32] [UP]
[ 8] [ 2 : 1 : 15 : 0x30] [iEth22] [UP] <========> [24] [ 1 : 4 : 24 : 0x0] [iEth53] [UP]
[ 8] [ 2 : 0 : 5 : 0x28] [iEth23] [UP] <========> [26] [ 0 : 5 : 35 : 0x28] [iEth32] [UP]
[ 8] [ 2 : 1 : 17 : 0x40] [iEth24] [UP] <========> [26] [ 1 : 4 : 24 : 0x0] [iEth53] [UP]
[ 8] [ 3 : 0 : 7 : 0x38] [iEth25] [UP] <========> [22] [ 0 : 5 : 34 : 0x20] [iEth31] [UP]
[ 8] [ 3 : 1 : 9 : 0x0] [iEth26] [UP] <========> [22] [ 1 : 4 : 25 : 0x8] [iEth54] [UP]
[ 8] [ 3 : 0 : 6 : 0x30] [iEth27] [UP] <========> [23] [ 0 : 5 : 34 : 0x20] [iEth31] [UP]
[ 8] [ 3 : 1 : 16 : 0x38] [iEth28] [UP] <========> [23] [ 1 : 4 : 25 : 0x8] [iEth54] [UP]
[ 8] [ 3 : 0 : 8 : 0x40] [iEth29] [UP] <========> [24] [ 0 : 5 : 34 : 0x20] [iEth31] [UP]
[ 8] [ 3 : 1 : 15 : 0x30] [iEth30] [UP] <========> [24] [ 1 : 4 : 25 : 0x8] [iEth54] [UP]
[ 8] [ 3 : 0 : 5 : 0x28] [iEth31] [UP] <========> [26] [ 0 : 5 : 34 : 0x20] [iEth31] [UP]
[ 8] [ 3 : 1 : 17 : 0x40] [iEth32] [UP] <========> [26] [ 1 : 4 : 25 : 0x8] [iEth54] [UP]
2단계. 이더넷 링크에서 CRC 카운터를 확인하고 손상된 프레임의 소스를 추적합니다.
모듈형 Nexus 9500 스위치에서는 다음 시나리오에서 하나 이상의 iEth 링크에서 CRC 오류를 확인할 수 있습니다.
- 스위치가 컷스루 스위칭 모드에서 작동할 때, FCS 필드에 잘못된 CRC 값이 있는 손상된 이더넷 프레임을 수신하는 라인 카드는 프레임을 로컬로 삭제하지 않습니다. 대신 라인 카드는 패킷을 정상적으로 전달합니다. 패킷의 이그레스 인터페이스가 다른 ASIC 또는 라인 카드에 속하는 경우 인그레스 라인 카드는 패킷을 패브릭 모듈로 전달합니다. 패브릭 모듈은 컷스루 스위칭 모드에서도 작동하므로, 패브릭 모듈은 패킷을 이그레스 라인 카드로 전달합니다. 이그레스 라인 카드는 패킷을 next-hop으로 전달하고 이그레스 인터페이스에서 출력 오류 카운터를 증가시킵니다.
- 하드웨어 오류로 인해 내부 링크에 오류가 발생하는 경우, 내부 링크를 통과하는 패킷은 라인 카드와 패브릭 모듈 간에 손상될 수 있습니다.
show system internal fabric connectivity stats module {x} 명령을 사용하여 해당 내부 링크의 CRC 카운터를 확인합니다. 이것의 예가 여기에 나와 있으며, 여기서 슬롯 22에 삽입된 패브릭 모듈은 스위치의 슬롯 7에 삽입된 라인 카드의 iEth26에 연결된 iEth56에서 유효하지 않은 CRC가 포함된 패킷을 수신합니다. 이는 손상된 이더넷 프레임이 스위치의 슬롯 7에 삽입된 라인 카드에서 패브릭 모듈에 의해 수신됨을 나타냅니다.
Nexus9500# show system internal fabric connectivity stats module 22
Internal Link-info Stats Fabriccard slot:22
-------------------------------------------------------------------------------------
FM-Slot FM-Unit FM-iEthLink LC-Slot LC-Unit LC-EthLink MUX CRC
-------------------------------------------------------------------------------------
22 0 iEth09 1 0 iEth01 - 0
22 0 iEth06 1 1 iEth11 - 0
22 0 iEth25 1 2 iEth21 - 0
22 0 iEth26 1 3 iEth31 - 0
22 0 iEth10 2 0 iEth01 - 0
22 0 iEth05 2 1 iEth11 - 0
22 0 iEth23 2 2 iEth21 - 0
22 0 iEth24 2 3 iEth31 - 0
22 0 iEth12 3 0 iEth01 - 0
22 0 iEth11 3 1 iEth11 - 0
22 0 iEth21 3 2 iEth21 - 0
22 0 iEth22 3 3 iEth31 - 0
22 0 iEth14 4 0 iEth01 - 0
22 0 iEth13 4 1 iEth11 - 0
22 0 iEth07 4 2 iEth21 - 0
22 0 iEth08 4 3 iEth31 - 0
22 0 iEth16 5 0 iEth01 - 0
22 0 iEth15 5 1 iEth11 - 0
22 0 iEth01 5 2 iEth21 - 0
22 0 iEth04 5 3 iEth31 - 0
22 0 iEth20 6 0 iEth01 - 0
22 0 iEth17 6 1 iEth11 - 0
22 0 iEth28 6 2 iEth21 - 0
22 0 iEth27 6 3 iEth31 - 0
22 0 iEth19 7 0 iEth01 - 0
22 0 iEth02 7 1 iEth09 - 0
22 0 iEth30 7 2 iEth17 - 0
22 0 iEth29 7 3 iEth25 - 0
22 0 iEth18 8 0 iEth01 - 0
22 0 iEth03 8 1 iEth09 - 0
22 0 iEth32 8 2 iEth17 - 0
22 0 iEth31 8 3 iEth25 - 0
22 1 iEth41 1 0 iEth02 - 0
22 1 iEth38 1 1 iEth12 - 0
22 1 iEth59 1 2 iEth22 - 0
22 1 iEth60 1 3 iEth32 - 0
22 1 iEth42 2 0 iEth02 - 0
22 1 iEth37 2 1 iEth12 - 0
22 1 iEth62 2 2 iEth22 - 0
22 1 iEth61 2 3 iEth32 - 0
22 1 iEth44 3 0 iEth02 - 0
22 1 iEth43 3 1 iEth12 - 0
22 1 iEth64 3 2 iEth22 - 0
22 1 iEth63 3 3 iEth32 - 0
22 1 iEth46 4 0 iEth02 - 0
22 1 iEth45 4 1 iEth12 - 0
22 1 iEth39 4 2 iEth22 - 0
22 1 iEth40 4 3 iEth32 - 0
22 1 iEth48 5 0 iEth02 - 0
22 1 iEth47 5 1 iEth12 - 0
22 1 iEth36 5 2 iEth22 - 0
22 1 iEth33 5 3 iEth32 - 0
22 1 iEth52 6 0 iEth02 - 0
22 1 iEth49 6 1 iEth12 - 0
22 1 iEth57 6 2 iEth22 - 0
22 1 iEth58 6 3 iEth32 - 0
22 1 iEth34 7 0 iEth02 - 0
22 1 iEth51 7 1 iEth10 - 0
22 1 iEth55 7 2 iEth18 - 0
22 1 iEth56 7 3 iEth26 - 1665601166
22 1 iEth50 8 0 iEth02 - 0
22 1 iEth35 8 1 iEth10 - 0
22 1 iEth53 8 2 iEth18 - 0
22 1 iEth54 8 3 iEth26 - 0
라인 카드 또는 패브릭 모듈에서 슬롯 {x} show hardware internal tah counters asic {y} 명령을 사용하여 CRC 오류가 잘못되었거나 스탬핑된 CRC인지 확인합니다. 유효하지 않은 CRC 오류와 압축된 CRC 오류를 구별하는 두 개의 레지스터 카운터는 다음과 같습니다.
- 02-RX Frm with FCS Err - 유효하지 않지만 스탬핑되지 않은 CRC가 수신된 프레임을 나타냅니다.
- 16-RX Frm CRC Err(Stomp) - 스탬핑된 CRC가 있는 프레임이 수신되었음을 나타냅니다.
이것의 예가 여기에 나타나며, 여기서 손상된 프레임은 섀시의 슬롯 22에 삽입된 패브릭 모듈에서 내부 링크 iEth54 연결을 통해 수신되고, 섀시의 슬롯 8에 삽입된 라인 카드에는 권취 CRC가 수신됩니다.
Nexus9500# slot 22 show hardware internal tah counters asic 1
REG_NAME M24,0-100Gx4 M25,0-100Gx4
--------------------------------------------------------------------------------------------------------------------------
02-RX Frm with FCS Err .... ....
03-RX Frm with any Err .... 144912733e
16-RX Frm CRC Err(Stomp) .... 14491277d7
또는 show hardware internal errors module {x} 명령을 사용하여 특정 모듈에 대한 ASIC 오류 카운터를 확인합니다. 관련 예시가 여기에 나와 있습니다.
참고: 이 출력에서 인터페이스 인바운드 오류(CRC,len,Algn Err) 카운터는 잘못된 CRC와 압축된 CRC 모두에 대해 증가하는 반면, 인터페이스 인바운드 CRC 오류 압축된 카운터는 압축된 CRC에만 증가합니다.
Nexus9500# show hardware internal errors module 22
|------------------------------------------------------------------------|
| Device:Lacrosse Role:MAC Mod:22 |
| Last cleared @ Tue Jul 6 04:10:45 2021
| Device Statistics Category :: ERROR
|------------------------------------------------------------------------|
Instance:0
ID Name Value Ports
-- ---- ----- -----
Instance:1
ID Name Value Ports
-- ---- ----- -----
196635 Interface Inbound Errors (CRC,len,Algn Err) 0000053053264536 27:0
1048603 Interface Inbound CRC Error Stomped 0000053053264535 27:0
손상된 프레임을 수신하는 인그레스 라인 카드를 식별한 후 슬롯 {x} show hardware internal tah counters asic {y} 또는 show hardware internal errors module {x} 명령을 사용하여 오류가 수신되는 인그레스 인터페이스를 식별하고 오류가 잘못된 CRC 또는 스탬핑된 CRC로 수신되는지 여부를 식별합니다.
패브릭 모듈 또는 이그레스 라인 카드가 iEth 링크에서 CRC 오류를 표시하지만 연결된 라인 카드에는 인그레스 CRC 표시가 없는 드문 시나리오가 발생할 수 있습니다. 이 문제의 근본 원인은 일반적으로 패브릭 모듈의 하드웨어 오류입니다. Cisco에서는 이 문제를 추가로 해결하고 필요한 경우 패브릭 모듈을 교체하기 위해 Cisco TAC에 지원 케이스를 열 것을 권장합니다.
예
문서의 이 섹션에서는 몇 가지 예를 들어 이전 절차를 살펴봅니다.
시나리오 1. 물리적 인터페이스 스템핑된 CRC 수신
이 예는 물리적 인터페이스의 CRC 오류가 스탬핑된 CRC임을 식별하는 방법을 보여줍니다.
다음 토폴로지를 고려하십시오.
이 예에서는 MTU가 1500바이트인 N9K-3의 인터페이스 SVI 10(IP 주소 192.0.2.3을 소유함)으로 향하는 인터페이스 SVI 10(IP 주소 192.0.2.1)에서 소싱된 점보 크기 8000바이트 ICMP 패킷을 통해 스위치 N9K-1에서 의도적으로 스톰된 CRC 오류가 생성됩니다. N9K-1, N9K-2 및 N9K-3은 모두 Nexus 93180YC-EX 모델 스위치입니다.
N9K-1# ping 192.0.2.3 count 5 packet-size 8000 PING 192.0.2.3 (192.0.2.3): 8000 data bytes Request 0 timed out Request 1 timed out Request 2 timed out Request 3 timed out Request 4 timed out Request 5 timed out --- 192.0.2.3 ping statistics --- 5 packets transmitted, 0 packets received, 100.00% packet loss
이 예에서, CRC 오류의 증가는 스위치 N9K-3의 물리적 인터페이스 Ethernet1/1에서 관찰된다.
N9K-3# show interface Ethernet1/1
<snip>
Ethernet1/1 is up
admin state is up, Dedicated Interface
Hardware: 100/1000/10000/25000 Ethernet, address: 00d7.8f86.2bbe (bia 00d7.8f86.2bbe)
MTU 1500 bytes, BW 10000000 Kbit, DLY 10 usec
reliability 255/255, txload 1/255, rxload 1/255
Encapsulation ARPA, medium is broadcast
Port mode is trunk
full-duplex, 10 Gb/s, media type is 10G
Beacon is turned off
Auto-Negotiation is turned on FEC mode is Auto
Input flow-control is off, output flow-control is off
Auto-mdix is turned off
Rate mode is dedicated
Switchport monitor is off
EtherType is 0x8100
EEE (efficient-ethernet) : n/a
admin fec state is auto, oper fec state is off
Last link flapped 06:13:44
Last clearing of "show interface" counters 02:55:00
0 interface resets
RX
9 unicast packets 10675 multicast packets 0 broadcast packets
10691 input packets 816924 bytes
7 jumbo packets 0 storm suppression bytes
0 runts 7 giants 7 CRC 0 no buffer
7 input error 0 short frame 0 overrun 0 underrun 0 ignored
0 watchdog 0 bad etype drop 0 bad proto drop 0 if down drop
0 input with dribble 0 input discard
0 Rx pause
1단계. CRC 증가 확인
N9K-3의 인터페이스 SVI 10(IP 주소 192.0.2.3)으로 향하는 N9K-1의 인터페이스 SVI 10(IP 주소 192.0.2.1)에서 소싱된 점보 크기 8000바이트 ICMP 패킷을 생성하여 CRC가 물리적 인터페이스 Ethernet1/1에서 증가하는지 확인합니다.
N9K-1# ping 192.0.2.3 count 5 packet-size 8000
PING 192.0.2.3 (192.0.2.3): 8000 data bytes
Request 0 timed out
Request 1 timed out
Request 2 timed out
Request 3 timed out
Request 4 timed out
Request 5 timed out
--- 192.0.2.3 ping statistics ---
5 packets transmitted, 0 packets received, 100.00% packet loss
N9K-3# show interface Ethernet1/1
Ethernet1/1 is up
admin state is up, Dedicated Interface
Hardware: 100/1000/10000/25000 Ethernet, address: 00d7.8f86.2bbe (bia 00d7.8f86.2bbe)
MTU 1500 bytes, BW 10000000 Kbit, DLY 10 usec
reliability 255/255, txload 1/255, rxload 1/255
Encapsulation ARPA, medium is broadcast
Port mode is trunk
full-duplex, 10 Gb/s, media type is 10G
Beacon is turned off
Auto-Negotiation is turned on FEC mode is Auto
Input flow-control is off, output flow-control is off
Auto-mdix is turned off
Rate mode is dedicated
Switchport monitor is off
EtherType is 0x8100
EEE (efficient-ethernet) : n/a
admin fec state is auto, oper fec state is off
Last link flapped 06:52:57
Last clearing of "show interface" counters 03:34:13
0 interface resets
RX
11 unicast packets 13066 multicast packets 0 broadcast packets
13089 input packets 1005576 bytes
12 jumbo packets 0 storm suppression bytes
0 runts 12 giants 12 CRC 0 no buffer
12 input error 0 short frame 0 overrun 0 underrun 0 ignored
0 watchdog 0 bad etype drop 0 bad proto drop 0 if down drop
0 input with dribble 0 input discard
0 Rx pause
2단계. 물리적 인터페이스를 ASIC, MAC 블록 및 MAC 블록 하위 포트에 매핑
N9K-3에서 show interface hardware-mappings 명령을 사용하여 물리적 인터페이스 Ethernet1/1을 ASIC 번호 0, MAC 블록 4 및 MAC 블록 하위 포트 0에 매핑합니다.
N9K-3# show interface hardware-mappings
<snip>
-------------------------------------------------------------------------------------------------------
Name Ifindex Smod Unit HPort FPort NPort VPort Slice SPort SrcId MacId MacSP VIF Block BlkSrcID
-------------------------------------------------------------------------------------------------------
Eth1/1 1a000000 1 0 16 255 0 -1 0 16 32 4 0 1 0 32
Eth1/2 1a000200 1 0 17 255 4 -1 0 17 34 4 2 5 0 34
Eth1/3 1a000400 1 0 18 255 8 -1 0 18 36 4 4 9 0 36
Eth1/4 1a000600 1 0 19 255 12 -1 0 19 38 4 6 13 0 38
Eth1/5 1a000800 1 0 12 255 16 -1 0 12 24 3 0 17 0 24
3단계. CRC 관련 카운터에 대한 Cloud Scale ASIC 레지스터 확인
2단계의 정보를 바탕으로 다음과 같은 사실을 알 수 있습니다.
- 물리적 인터페이스 Ethernet1/1은 ASIC 번호 0에 매핑됩니다.
- 물리적 인터페이스 Ethernet1/1은 MAC 블록 4의 MAC 블록 하위 포트 0에 매핑됩니다.
- N9K-3은 ToR(top-of-rack) Nexus 93180YC-EX 모델 스위치이므로 라인 카드 슬롯 번호는 1뿐입니다
- 1단계에서 수집한 show interface의 출력에서 물리적 인터페이스 Ethernet1/1의 속도는 10G입니다.
이 정보를 사용하여 slot 1 show hardware internal tah counters asic 0 명령을 사용하여 모든 물리적 인터페이스에 대한 ASIC 레지스터 카운터를 볼 수 있습니다. 특히 M4,0-10G와 연결된 ASIC 레지스터 카운터를 찾고 있습니다.
N9K-3# slot 1 show hardware internal tah counters asic 0 <snip> *************** PER MAC/CH SRAM COUNTERS **************** REG_NAME M4,0-10G M4,2-10G M4,4-10G M4,6-10G M5,0-40Gx4 M6,0-40Gx4 M7,0-40Gx4 M8,0-10G ---------------------------------------------------------------------------------------------------------------------------------- 02-RX Frm with FCS Err .... .... .... .... .... .... .... .... 16-RX Frm CRC Err(Stomp) c .... .... .... .... .... .... ....
0이 아닌 16진수 값인 0xc를 레지스터 16에 사용할 수 있습니다. 이는 스탬핑된 CRC가 있는 프레임이 이 물리적 인터페이스에서 수신되었음을 나타냅니다. dec 0xc 명령을 사용하여 12의 십진수 값으로 변환할 수 있으며, 이는 물리적 인터페이스 Ethernet1/1의 CRC 오류 수와 일치합니다.
N9K-3# dec 0xc
12
결론
N9K-3이 물리적 인터페이스 Ethernet1/1에서 압축 CRC가 있는 프레임을 수신한다는 것을 확인했습니다. 이는 Ethernet1/1 링크의 원격 측(이 경우 N9K-2)에 있는 디바이스가 이러한 프레임의 CRC를 누르고 있다는 것을 의미합니다. 형식이 잘못된 프레임의 근본 원인은 Ethernet1/1에 직접 연결된 링크가 아니라 더 다운스트림입니다. 다운스트림 네트워크 디바이스에서 추가적인 트러블슈팅을 수행하여 이러한 형식이 잘못된 프레임의 소스를 확인할 수 있습니다.
시나리오 2. 물리적 인터페이스에서 잘못된 CRC가 포함된 형식이 잘못된 프레임을 받았습니다.
이 예에서는 직접 연결된 링크의 물리적 레이어 문제로 인해 형식이 잘못된 프레임으로 인해 물리적 인터페이스의 CRC 오류가 증가하고 있음을 식별하는 방법을 보여 줍니다.
다음 토폴로지를 고려하십시오.
이 예에서 스위치 N9K-1의 물리적 인터페이스 Ethernet1/40에 연결된 트래픽 생성기는 의도적으로 잘못된 CRC를 갖는 프레임을 생성하는 것입니다. 이는 Ethernet1/40에 연결된 링크의 물리적 레이어 문제(예: 트랜시버 결함 또는 케이블 손상)를 시뮬레이션합니다. N9K-1은 이러한 프레임을 수신하고, CRC가 유효하지 않음을 인식하고, Ethernet1/40 물리적 인터페이스에서 CRC 오류 카운터를 늘립니다. N9K-1은 Nexus 93180YC-EX 모델 스위치입니다.
N9K-1# show interface Ethernet1/40
Ethernet1/40 is up
admin state is up, Dedicated Interface
Hardware: 100/1000/10000/25000 Ethernet, address: 00d7.8f86.2bbe (bia 00d7.8f86.2c02)
MTU 1500 bytes, BW 10000000 Kbit, DLY 10 usec
reliability 255/255, txload 1/255, rxload 1/255
Encapsulation ARPA, medium is broadcast
Port mode is trunk
full-duplex, 10 Gb/s, media type is 10G
Beacon is turned off
Auto-Negotiation is turned on FEC mode is Auto
Input flow-control is off, output flow-control is off
Auto-mdix is turned off
Rate mode is dedicated
Switchport monitor is off
EtherType is 0x8100
EEE (efficient-ethernet) : n/a
admin fec state is auto, oper fec state is off
Last link flapped 06:13:44
Last clearing of "show interface" counters 02:55:00
0 interface resets
RX
1710 unicast packets 9873 multicast packets 0 broadcast packets
11583 input packets 886321 bytes
0 jumbo packets 0 storm suppression bytes
0 runts 0 giants 1683 CRC 0 no buffer
1683 input error 0 short frame 0 overrun 0 underrun 0 ignored
0 watchdog 0 bad etype drop 0 bad proto drop 0 if down drop
0 input with dribble 0 input discard
0 Rx pause
1단계. CRC 증가 확인
CRC가 show interface 또는 show interface counters non-zero 명령을 통해 N9K-1의 물리적 인터페이스 Ethernet1/40에서 증가하는지 확인합니다.
N9K-1# show interface Ethernet1/40
<snip>
Ethernet1/40 is up
admin state is up, Dedicated Interface
Hardware: 100/1000/10000/25000 Ethernet, address: 00d7.8f86.2bbe (bia 00d7.8f86.2c02)
MTU 1500 bytes, BW 10000000 Kbit, DLY 10 usec
reliability 255/255, txload 1/255, rxload 1/255
Encapsulation ARPA, medium is broadcast
Port mode is trunk
full-duplex, 10 Gb/s, media type is 10G
Beacon is turned off
Auto-Negotiation is turned on FEC mode is Auto
Input flow-control is off, output flow-control is off
Auto-mdix is turned off
Rate mode is dedicated
Switchport monitor is off
EtherType is 0x8100
EEE (efficient-ethernet) : n/a
admin fec state is auto, oper fec state is off
Last link flapped 06:13:44
Last clearing of "show interface" counters 02:55:00
0 interface resets
RX
14055 unicast packets 9873 multicast packets 0 broadcast packets
23928 input packets 1676401 bytes
0 jumbo packets 0 storm suppression bytes
0 runts 0 giants 14028 CRC 0 no buffer
14028 input error 0 short frame 0 overrun 0 underrun 0 ignored
0 watchdog 0 bad etype drop 0 bad proto drop 0 if down drop
0 input with dribble 0 input discard
0 Rx pause
N9K-1# show interface counters errors non-zero
<snip>
--------------------------------------------------------------------------------
Port Align-Err FCS-Err Xmit-Err Rcv-Err UnderSize OutDiscards
--------------------------------------------------------------------------------
Eth1/40 26373 26373 0 26373 0 0
2단계. 물리적 인터페이스를 ASIC, MAC 블록 및 MAC 블록 하위 포트에 매핑
N9K-1에서 show interface hardware-mappings 명령을 사용하여 물리적 인터페이스 Ethernet1/40을 ASIC 번호 0, MAC 블록 10, MAC 블록 하위 포트 6에 매핑합니다.
N9K-1# show interface hardware-mappings <snip> --------------------------------------------------------------------------------------------- Name Ifindex Smod Unit HPort FPort NPort VPort Slice SPort SrcId MacId MacSP VIF Block BlkSrcID --------------------------------------------------------------------------------------------- Eth1/38 1a004a00 1 0 45 255 148 -1 1 5 10 10 2 149 0 10 Eth1/39 1a004c00 1 0 46 255 152 -1 1 6 12 10 4 153 0 12 Eth1/40 1a004e00 1 0 47 255 156 -1 1 7 14 10 6 157 0 14 Eth1/41 1a005000 1 0 76 255 160 -1 1 36 64 17 0 161 0 64 Eth1/42 1a005200 1 0 77 255 164 -1 1 37 66 17 2 165 0 66
3단계. CRC 관련 카운터에 대한 Cloud Scale ASIC 레지스터 확인
2단계의 정보를 바탕으로 다음과 같은 사실을 알 수 있습니다.
- 물리적 인터페이스 Ethernet1/40은 ASIC 번호 0에 매핑됩니다.
- 물리적 인터페이스 Ethernet1/40은 MAC 블록 10의 MAC 블록 하위 포트 6에 매핑됩니다.
- N9K-1은 ToR(top-of-rack) Nexus 93180YC-EX 모델 스위치이므로 가능한 라인 카드 슬롯 번호는 1뿐입니다.
- 1단계에서 수집한 show interface의 출력에서 물리적 인터페이스 Ethernet1/40의 속도가 10G임을 알 수 있습니다.
이 정보를 사용하여 모든 물리적 인터페이스에 대한 ASIC 레지스터 카운터를 보려면 slot 1 show hardware internal tah counters asic 0 명령을 사용할 수 있습니다. 특히 M10,6-10G와 연결된 ASIC 레지스터 카운터를 찾고 있습니다.
N9K-1# slot 1 show hardware internal tah counters asic 0 *************** PER MAC/CH SRAM COUNTERS **************** REG_NAME M8,2-10G M8,4-10G M8,6-10G M9,0-40Gx4 M10,0-10G M10,2-10G M10,4-10G M10,6-10G ------------------------------------------------------------------------------------------------------------------------------------- 02-RX Frm with FCS Err .... .... .... .... .... .... .... 973e 16-RX Frm CRC Err(Stomp) .... .... .... .... .... .... .... ....
레지스터 2에 0x973e가 아닌 16진수 값이 표시될 수 있습니다. 이는 이 물리적 인터페이스에서 유효하지 않지만 압축 해제되지 않은 CRC가 수신된 프레임을 나타냅니다.
dec 0x973e 명령을 사용하여 이 값을 38,718의 십진수 값으로 변환할 수 있습니다. 이 값은 물리적 인터페이스 Ethernet1/40의 CRC 오류 수와 일치합니다(또는 CRC가 지속적으로 증가하므로 보다 작음).
N9K-1# dec 0x973e
38718
결론
N9K-1이 물리적 인터페이스 Ethernet1/40에서 유효하지 않지만 압축 해제되지 않은 CRC가 포함된 프레임을 수신한다는 것을 확인했습니다. 즉, Ethernet1/40에 직접 연결된 링크(또는 링크의 원격 끝에 있는 디바이스)가 형식이 잘못된 프레임의 소스일 가능성이 높습니다. 이 링크의 물리적 레이어에 대한 추가 트러블슈팅을 수행하여 형식이 잘못된 프레임의 근본 원인을 격리할 수 있습니다(예: 손상된 케이블 연결 확인, 현재 트랜시버를 정상 작동이 확인된 트랜시버로 교체 등).
시나리오 3. Nexus 9500 이더넷 CRC 오류 Syslog
이 예에서는 Nexus 9500 시리즈 스위치에 의해 내부 인터페이스의 syslog 보고 오류가 생성될 때 iEth 내부 링크에서 CRC 오류의 소스를 식별하는 방법을 보여 줍니다. 이 syslog의 예가 여기에 나와 있습니다.
Nexus9500# show logging logfile
<snip>
2021 Jul 9 05:51:19 Nexus9500 %DEVICE_TEST-SLOT22-3-INTERNAL_PORT_MONITOR_CRC_ERRORS_DETECTED: Module 22 received tx errors on internal interface ii22/1/56 since last run TXErr=36836897 TotalTXErr=50781987904
이 syslog는 스위치의 슬롯 22에 삽입된 패브릭 모듈의 iEth56 내부 링크에서 오류가 감지되었음을 나타냅니다.
1단계. 패브릭 모듈의 이더넷 링크를 연결된 라인 카드에 매핑
show system internal fabric connectivity stats module {x} 명령을 사용하여 영향받는 iEth 내부 링크가 연결되는 라인 카드를 식별합니다. 이 예에서 스위치의 슬롯 22에 삽입된 패브릭 모듈의 iEth56에 오류가 있습니다. 이 예시는 슬롯 22에 삽입된 패브릭 모듈의 iEth56이 스위치의 슬롯 7에 삽입된 라인 카드의 iEth26에 연결되는 경우를 보여줍니다.
Nexus9500# show system internal fabric connectivity stats module 22 | include Eth56|FM-Slot
FM-Slot FM-Unit FM-iEthLink LC-Slot LC-Unit LC-EthLink MUX CRC
22 1 iEth56 7 3 iEth26 - 603816174
show system internal fabric link-state module {x} 명령을 사용하여 패브릭 모듈의 iEth56 내부 링크와 연결된 ASIC 인스턴스 및 MAC 식별자를 찾습니다. 이것의 예가 여기에 나타나며, 여기서 ASIC 인스턴스는 1이고 MAC 식별자는 27이다.
Nexus9500# show system internal fabric link-state module 22 | include MAC|iEth56
[FM] [ INST:SLI:MAC:GLSRC] [IETH] [ST] <========> [LC] [ INST:SLI:MAC:GLSRC] [IETH] [ST]
[22] [ 1 : 4 : 27 : 0x18] [iEth56] [UP] <========> [ 7] [ 3 : 1 : 9 : 0x0] [iEth26] [UP]
2단계. iEth 링크에 수신된 CRC가 유효하지 않은지 또는 억지인지 확인
이전 단계에서는 슬롯 22에 삽입된 패브릭 모듈에 연결된 iEth56에 대한 ASIC 인스턴스 식별자가 1이고 MAC 식별자가 27임을 보여줍니다. syslog에 의해 보고된 CRC가 잘못된 CRC인지 또는 스탬핑된 CRC인지를 식별하려면 슬롯 {x} show hardware internal tah counters asic {y} 명령을 사용합니다. 이것의 예가 여기에 나타나며, 여기서 M27,0-100Gx4 열은 MAC 식별자 27과 연관되며 CRC가 스탬핑되었음을 나타냅니다.
Nexus9500# slot 22 show hardware internal tah counters asic 1
REG_NAME M27,0-100Gx4
-----------------------------------------
02-RX Frm with FCS Err ....
16-RX Frm CRC Err(Stomp) be9cb9bd6
또는 show hardware internal errors module {x} 명령을 사용하여 이 동일한 정보를 수집합니다. 관련 예시가 여기에 나와 있습니다.
Nexus9500# show hardware internal errors module 22 | include CRC|Stomp|Inst
Instance:1
196635 Interface Inbound Errors (CRC,len,Algn Err) 0000051587084851 27:0
1048603 Interface Inbound CRC Error Stomped 0000051587084850 27:0
이 출력에서 인터페이스 인바운드 오류(CRC,len,Algn Err) 카운터는 잘못된 CRC 및 압축된 CRC 모두에 대해 증가하는 반면, 인터페이스 인바운드 CRC 오류 압축된 카운터는 압축된 CRC에만 증가합니다.
3단계. 인그레스 라인 카드의 유효하지 않은 CRC가 있는 프레임의 소스 추적
이제 스위치의 슬롯 22에 삽입된 패브릭 모듈로 들어오는 CRC가 슬롯 7에 삽입된 라인 카드에서 스위치로 들어온다는 것을 알 수 있습니다. 이 정보를 사용하여 show interface counters errors module {x} non-zero 명령을 사용하여 관련 라인 카드에 속하는 인터페이스에서 0이 아닌 CRC 카운터를 식별할 수 있습니다. 관련 예시가 여기에 나와 있습니다.
Nexus9500# show interface counters errors module 7 non-zero
<snip>
--------------------------------------------------------------------------------
Port Align-Err FCS-Err Xmit-Err Rcv-Err UnderSize OutDiscards
--------------------------------------------------------------------------------
Eth7/32 0 0 0 1195309745 0 0
관련 라인 카드에서 이 시나리오의 #2단계를 반복하여 라인 카드가 유효하지 않은 CRC를 수신하는지 또는 스탬핑된 CRC를 수신하는지 확인할 수 있습니다.
Nexus9500# show hardware internal errors module 7 | include ignore-case CRC|Stomp|Inst
Instance:3
196619 Interface Inbound Errors (CRC,len,Algn Err) 0000051801011139 11:0
1048587 Interface Inbound CRC Error Stomped 0000051801011140 11:0
show interface hardware-mappings 명령을 사용하여 이전 출력의 MacId:MacSP 값 11:0이 매핑되는 전면 패널 포트를 식별합니다. 이 예제가 여기에 나와 있습니다. 여기서 11:0은 전면 패널 포트 Eth7/32에 매핑됩니다.
Nexus9500# show interface hardware-mappings | include Name|Eth7
<snip>
Name Ifindex Smod Unit HPort FPort NPort VPort Slice SPort SrcId MacId MacSP VIF Block BlkSrcID
Eth7/1 1a300000 25 0 16 255 0 -1 0 16 32 4 0 1 0 32
Eth7/2 1a300200 25 0 12 255 4 -1 0 12 24 3 0 5 0 24
Eth7/3 1a300400 25 0 8 255 8 -1 0 8 16 2 0 9 0 16
Eth7/4 1a300600 25 0 4 255 12 -1 0 4 8 1 0 13 0 8
Eth7/5 1a300800 25 0 60 255 16 -1 1 20 40 14 0 17 0 40
Eth7/6 1a300a00 25 0 56 255 20 -1 1 16 32 13 0 21 0 32
Eth7/7 1a300c00 25 0 52 255 24 -1 1 12 24 12 0 25 0 24
Eth7/8 1a300e00 25 0 48 255 28 -1 1 8 16 11 0 29 0 16
Eth7/9 1a301000 26 1 12 255 32 -1 0 12 24 3 0 33 0 24
Eth7/10 1a301200 26 1 8 255 36 -1 0 8 16 2 0 37 0 16
Eth7/11 1a301400 26 1 4 255 40 -1 0 4 8 1 0 41 0 8
Eth7/12 1a301600 26 1 0 255 44 -1 0 0 0 0 0 45 0 0
Eth7/13 1a301800 26 1 60 255 48 -1 1 20 40 14 0 49 0 40
Eth7/14 1a301a00 26 1 56 255 52 -1 1 16 32 13 0 53 0 32
Eth7/15 1a301c00 26 1 52 255 56 -1 1 12 24 12 0 57 0 24
Eth7/16 1a301e00 26 1 48 255 60 -1 1 8 16 11 0 61 0 16
Eth7/17 1a302000 27 2 16 255 64 -1 0 16 32 4 0 65 0 32
Eth7/18 1a302200 27 2 12 255 68 -1 0 12 24 3 0 69 0 24
Eth7/19 1a302400 27 2 8 255 72 -1 0 8 16 2 0 73 0 16
Eth7/20 1a302600 27 2 4 255 76 -1 0 4 8 1 0 77 0 8
Eth7/21 1a302800 27 2 60 255 80 -1 1 20 40 14 0 81 0 40
Eth7/22 1a302a00 27 2 56 255 84 -1 1 16 32 13 0 85 0 32
Eth7/23 1a302c00 27 2 52 255 88 -1 1 12 24 12 0 89 0 24
Eth7/24 1a302e00 27 2 48 255 92 -1 1 8 16 11 0 93 0 16
Eth7/25 1a303000 28 3 12 255 96 -1 0 12 24 3 0 97 0 24
Eth7/26 1a303200 28 3 8 255 100 -1 0 8 16 2 0 101 0 16
Eth7/27 1a303400 28 3 4 255 104 -1 0 4 8 1 0 105 0 8
Eth7/28 1a303600 28 3 0 255 108 -1 0 0 0 0 0 109 0 0
Eth7/29 1a303800 28 3 60 255 112 -1 1 20 40 14 0 113 0 40
Eth7/30 1a303a00 28 3 56 255 116 -1 1 16 32 13 0 117 0 32
Eth7/31 1a303c00 28 3 52 255 120 -1 1 12 24 12 0 121 0 24
Eth7/32 1a303e00 28 3 48 255 124 -1 1 8 16 11 0 125 0 16
결론
Nexus 9500이 물리적 인터페이스 Ethernet7/32에서 압축 CRC가 있는 프레임을 수신한다는 것을 확인했습니다. 즉, Ethernet7/32 링크의 원격에 있는 디바이스가 이러한 프레임의 CRC를 누르고 있습니다. 잘못된 프레임의 근본 원인은 Ethernet7/32에 직접 연결된 링크가 아니라 더 다운스트림입니다. 다운스트림 네트워크 디바이스에서 추가적인 트러블슈팅을 수행하여 이러한 형식이 잘못된 프레임의 소스를 확인할 수 있습니다.
시나리오 4. 이그레스 인터페이스를 사용하여 잘못된 CRC 프레임의 소스 추적
이 예에서는 업스트림 스위치가 Nexus 9500이 스탬핑된 CRC가 있는 프레임을 생성한다고 보고할 때 Nexus 9500 스위치에서 유효하지 않은 CRC가 있는 프레임의 소스를 추적하는 방법을 보여 줍니다. 이 시나리오에서는 업스트림 스위치가 전면 패널 포트 Ethernet8/9를 통해 연결됩니다.
1단계. 이그레스 라인 카드에 잘못된 CRC 프레임을 전송하는 패브릭 모듈 식별
업스트림 스위치로 압축 CRC가 있는 프레임을 전송하는 이그레스 인터페이스는 Ethernet8/9입니다. 먼저, 스탬핑된 CRC가 있는 프레임을 섀시의 슬롯 8에 삽입된 라인 카드로 전송하는 패브릭 모듈을 확인해야 합니다. 이 프로세스는 show hardware internal errors module {x} 명령으로 시작합니다. 관련 예시가 여기에 나와 있습니다.
Nexus9500# show hardware internal errors module 8 | i CRC|Inst
<snip>
Instance:1
196617 Interface Inbound Errors (CRC,len,Algn Err) 0000091499464650 9:0
1048585 Interface Inbound CRC Error Stomped 0000091499464651 9:0
이전 출력의 MacID:MacSP 9:0은 show system internal fabric link-state module 8 명령을 사용하여 소스 패브릭 모듈에 매핑할 수 있습니다. 관련 예시가 여기에 나와 있습니다.
Nexus9500# show system internal fabric link-state module 8
cli : mod = 8
module number = 8
========================================================================================================================
Module number = 8
========================================================================================================================
[LC] [ INST:SLI:MAC:GLSRC] [IETH] [ST] <========> [FM] [ INST:SLI:MAC:GLSRC] [IETH] [ST]
========================================================================================================================
...
[ 8] [ 1 : 1 : 9 : 0x0] [iEth10] [UP] <========> [22] [ 1 : 0 : 4 : 0x20] [iEth35] [UP]
슬롯 8에 삽입된 라인 카드의 MAC 식별자 9는 섀시의 슬롯 22에 삽입된 패브릭 모듈에 매핑됩니다. 내부 링크 iEth10에서 CRC 오류가 표시될 것으로 예상됩니다. show system internal fabric connectivity stats module 8 명령을 사용하여 이를 검증할 수 있습니다. 관련 예시가 여기에 나와 있습니다.
Nexus9500# show system internal fabric connectivity stats module 8
Internal Link-info Stats Linecard slot:8
-------------------------------------------------------------------------------------
LC-Slot LC-Unit LC-iEthLink MUX FM-Slot FM-Unit FM-iEthLink CRC
-------------------------------------------------------------------------------------
8 0 iEth01 - 22 0 iEth18 0
8 0 iEth02 - 22 1 iEth50 0
8 0 iEth03 - 23 0 iEth18 0
8 0 iEth04 - 23 1 iEth50 0
8 0 iEth05 - 24 0 iEth18 0
8 0 iEth06 - 24 1 iEth50 0
8 0 iEth07 - 26 0 iEth18 0
8 0 iEth08 - 26 1 iEth50 0
8 1 iEth09 - 22 0 iEth03 0
8 1 iEth10 - 22 1 iEth35 1784603561
2단계. 패브릭 모듈의 이더넷 링크를 연결된 라인 카드에 매핑하고 스탬핑된 CRC 확인
그런 다음 CRC를 수신하는 iEth 내부 링크, 패브릭 모듈의 ASIC에 따라 CRC가 억지눌림인지 여부, 패브릭 모듈의 iEth 내부 링크에 어떤 라인 카드가 연결되었는지 확인하여 시나리오 3과 동일한 프로세스를 사용합니다. 여기에는 각각 show system internal fabric connectivity stats module {x} 명령, show hardware internal errors module {x} 명령 및 show system internal fabric link-state module {x} 명령을 사용하여 이의 예를 보여 줍니다.
Nexus9500# show system internal fabric connectivity stats module 22
Internal Link-info Stats Fabriccard slot:22
-------------------------------------------------------------------------------------
FM-Slot FM-Unit FM-iEthLink LC-Slot LC-Unit LC-EthLink MUX CRC
22 1 iEth56 7 3 iEth26 - 1171851894
Nexus9500# show hardware internal errors module 22 | i CRC|Stomp|Inst
Instance:1
196635 Interface Inbound Errors (CRC,len,Algn Err) 0000054593935847 27:0
1048603 Interface Inbound CRC Error Stomped 0000054593935846 27:0
Nexus9500# show system internal fabric link-state module 22 | i MAC|iEth56
[FM] [ INST:SLI:MAC:GLSRC] [IETH] [ST] <========> [LC] [ INST:SLI:MAC:GLSRC] [IETH] [ST]
[22] [ 1 : 4 : 27 : 0x18] [iEth56] [UP] <========> [ 7] [ 3 : 1 : 9 : 0x0] [iEth26] [UP]
3단계. 인그레스 모듈에서 잘못된 CRC가 있는 프레임의 소스 추적
인그레스 라인 카드(이 시나리오에서는 슬롯 22에 삽입된 패브릭 모듈의 iEth26에 의해 연결된 슬롯 7에 삽입된 라인 카드)를 확인한 후, 어떤 인그레스 포트를 통해 손상된 프레임이 스위치에 진입하는지 확인합니다. 이 작업은 show interface counters errors module {x} non-zero 명령으로 수행됩니다. show hardware internal errors module {x} 명령 및 show interface hardware-mappings 명령의 출력에서는 수신된 프레임이 잘못되었거나 스탬핑된 CRC인지 확인할 수 있습니다.
여기에 표시된 예를 통해 손상된 프레임이 전면 패널 인터페이스 Ethernet7/32를 통해 스위치에 진입합니다.
Nexus9500# show interface counters errors module 7 non-zero
<snip>
--------------------------------------------------------------------------------
Port Align-Err FCS-Err Xmit-Err Rcv-Err UnderSize OutDiscards
--------------------------------------------------------------------------------
Eth7/32 0 0 0 4128770335 0 0
--------------------------------------------------------------------------------
Port Stomped-CRC
--------------------------------------------------------------------------------
Eth7/32 4129998971
Nexus9500# show hardware internal errors module 7 | i i CRC|Stomp|Inst
<snip>
Instance:3
196619 Interface Inbound Errors (CRC,len,Algn Err) 0000054901402307 11:0
1048587 Interface Inbound CRC Error Stomped 0000054901402308 11:0
Nexus9500# show interface hardware-mappings | i Name|Eth7
<snip>
Name Ifindex Smod Unit HPort FPort NPort VPort Slice SPort SrcId MacId MacSP VIF Block BlkSrcID
...
Eth7/32 1a303e00 28 3 48 255 124 -1 1 8 16 11 0 125 0 16
결론
Nexus 9500이 물리적 인터페이스 Ethernet7/32에서 압축 CRC가 있는 프레임을 수신한다는 것을 확인했습니다. 즉, Ethernet7/32 링크의 원격에 있는 디바이스가 이러한 프레임의 CRC를 누르고 있습니다. 잘못된 프레임의 근본 원인은 Ethernet7/32에 직접 연결된 링크가 아니라 더 다운스트림입니다.
다운스트림 네트워크 디바이스에서 추가적인 트러블슈팅을 수행하여 이러한 형식이 잘못된 프레임의 소스를 확인할 수 있습니다.
관련 정보
개정 이력
| 개정 | 게시 날짜 | 의견 |
|---|---|---|
3.0 |
08-Nov-2023 |
업데이트된 제목, 소개, 기술 콘텐츠 용어, SEO, 스타일 요구 사항, 기계 번역 및 서식. |
2.0 |
03-Oct-2021 |
새 하드웨어를 포함하도록 해당 하드웨어 섹션을 업데이트합니다. |
1.0 |
13-Nov-2020 |
최초 릴리스 |
피드백