Identification et suivi du CRC ASIC évolutif sur le cloud Nexus 9000
Table des matières
Introduction
Ce document décrit les étapes utilisées pour tracer la source des erreurs CRC observées sur les modules ASIC d'échelle de cloud Cisco Nexus 9000.
Conditions préalables
Exigences
Cisco vous recommande de comprendre les notions de base de la commutation cut-through et store-and-forward. Cisco vous recommande également de comprendre les bases du champ Ethernet Frame Check Sequence (FCS) et l'algorithme Cyclic Redundancy Check (CRC) utilisé par le champ FCS. Consultez le document suivant pour en savoir plus :
Composants utilisés
Les informations contenues dans ce document sont basées sur les commutateurs de la gamme Cisco Nexus 9000 avec l'ASIC Cloud Scale exécutant le logiciel NX-OS version 7.0(3)I7(8).
The information in this document was created from the devices in a specific lab environment. All of the devices used in this document started with a cleared (default) configuration. Si votre réseau est en ligne, assurez-vous de bien comprendre l’incidence possible des commandes.
Informations générales
Ce document décrit également la procédure utilisée pour différencier les erreurs CRC abruptes et non abruptes observées sur les interfaces physiques et les liaisons de fabric internes des commutateurs Nexus modulaires.
Les commutateurs Cisco Nexus 9000 utilisent la commutation cut-through par défaut. La commutation cut-through est l’étape au cours de laquelle un commutateur prend une décision de transfert sur une trame et commence à transférer la trame à partir d’une interface de sortie dès que le commutateur a traité suffisamment d’en-tête de la trame pour prendre une décision de transfert valide. Cela diffère de la commutation Store and Forward, où un commutateur met en mémoire tampon la trame entière avant de la transférer à partir d’une interface de sortie.
Le champ FCS d’une trame Ethernet valide l’intégrité de la trame et s’assure que la trame n’a pas été corrompue lors du transit. Le champ FCS d’une trame Ethernet est situé à l’extrémité de la trame Ethernet derrière la charge utile de la trame. Un commutateur fonctionnant en mode de commutation Store and Forward est capable de vérifier l’intégrité d’une trame Ethernet avec le champ FCS avant de transférer la trame à partir d’une interface de sortie (ou de supprimer la trame si le champ FCS a un contenu non valide). Cependant, un commutateur fonctionnant en mode de commutation cut-through ne peut pas vérifier l’intégrité d’une trame Ethernet avec le champ FCS avant de transférer la trame à partir d’une interface de sortie ; en d’autres termes, au moment où un commutateur cut-through est en mesure de vérifier l’intégrité d’une trame Ethernet, la majorité de la trame Ethernet a déjà été transférée à partir d’une interface de sortie.
Si un commutateur fonctionnant en mode de commutation cut-through reçoit une trame Ethernet avec un champ FCS non valide, il peut effectuer les actions suivantes :
- Calculez la valeur CRC de la trame corrompue entrante, puis réécrivez le champ FCS de la trame Ethernet avec l’inverse binaire de la valeur CRC calculée. Si la trame doit être routée, la valeur CRC de la trame endommagée est calculée et inversée au niveau du bit après la réécriture de l’en-tête Ethernet de la trame. Cette action est connue sous le nom de « stomping » du CRC.
- Transférez le reste de la trame Ethernet (ainsi que le CRC abrégé) hors de l’interface de sortie en fonction de la décision de transmission prise sur la trame.
- Incrémentez le compteur d'erreurs d'entrée et/ou le compteur d'erreurs CRC sur l'interface d'entrée.
Ce document décrit les étapes pour vérifier si les compteurs CRC associés à une interface d'entrée sont des CRC normaux (qui indiquent généralement des problèmes de couche physique sur la liaison connectée à l'interface d'entrée) ou des CRC abrupts (qui indiquent que le périphérique connecté à l'interface d'entrée fonctionne également en mode de commutation cut-through et a reçu une trame Ethernet mal formée).
Matériel applicable
La procédure décrite dans ce document s'applique uniquement à ce matériel :
Commutateurs fixes Nexus 9200/9300
- N9K-C92160YC-X
- N9K-C92300YC
- N9K-C92304QC
- N9K-C92348GC-X
- N9K-C9236C
- N9K-C9272Q
- N9K-C932C
- N9K-C9364C
- N9K-C93108TC-EX
- N9K-C93108TC-EX-24
- N9K-C93180LC-EX
- N9K-C93180YC-EX
- N9K-C93180YC-EX-24
- N9K-C93108TC-FX
- N9K-C93108TC-FX-24
- N9K-C93180YC-FX
- N9K-C93180YC-FX-24
- N9K-C9348GC-FXP
- N9K-C93240YC-FX2
- N9K-C93216TC-FX2
- N9K-C9336C-FX2
- N9K-C9336C-FX2-E
- N9K-C93360YC-FX2
- N9K-C93180YC-FX3
- N9K-C93108TC-FX3P
- N9K-C93180YC-FX3S
- N9K-C9316D-GX
- N9K-C93600CD-GX
- N9K-C9364C-GX
- N9K-C9364D-GX2A
- N9K-C932D-GX2B
Cartes de ligne de commutation modulaires Nexus 9500
- N9K-X97160YC-EX
- N9K-X9732C-EX
- N9K-X9736C-EX
- N9K-X97284YC-FX
- N9K-X9732C-FX
- N9K-X9788TC-FX
- N9K-X9716D-GX
Procédure d'identification et de suivi CRC pour l'évolutivité du cloud des Cisco Nexus 9200 et 9300
Cette section du document décrit les instructions détaillées permettant d'identifier la source des erreurs CRC observées sur une interface physique spécifique Ethernet1/1 sur les commutateurs Cisco Nexus 9200 et 9300.
Logiciel NX-OS versions 10.2(1) et ultérieures
À partir de la version 10.2(1) du logiciel NX-OS, les commutateurs Nexus équipés de l'ASIC Cloud Scale disposent d'un nouveau compteur d'interface pour les paquets avec un CRC abrégé dans le champ FCS des trames Ethernet qui traversent le commutateur. Vous pouvez utiliser la commande show interface pour identifier les interfaces physiques avec incrémentation des compteurs CRC non nuls et des compteurs CRC abrégés. Un exemple de ceci est montré ici, où l'interface physique Ethernet1/1 a un compteur CRC nul et un compteur CRC abrégé non nul, ce qui indique que des trames avec un CRC non valide et abrégé ont été reçues sur cette interface.
switch# show interface
<snip>
Ethernet1/1 is up
admin state is up, Dedicated Interface
Hardware: 100/1000/10000/25000 Ethernet, address: 00d7.8f86.2bbe (bia 00d7.8f86.2bbe)
MTU 1500 bytes, BW 10000000 Kbit, DLY 10 usec
reliability 255/255, txload 1/255, rxload 1/255
Encapsulation ARPA, medium is broadcast
Port mode is trunk
full-duplex, 10 Gb/s, media type is 10G
Beacon is turned off
Auto-Negotiation is turned on FEC mode is Auto
Input flow-control is off, output flow-control is off
Auto-mdix is turned off
Rate mode is dedicated
Switchport monitor is off
EtherType is 0x8100
EEE (efficient-ethernet) : n/a
admin fec state is auto, oper fec state is off
Last link flapped 04:09:21
Last clearing of "show interface" counters 00:50:37
0 interface resets
RX
8 unicast packets 253 multicast packets 2 broadcast packets
1832838280 input packets 2199405650587 bytes
0 jumbo packets 0 storm suppression bytes
0 runts 0 giants 1832838019 CRC 0 no buffer
1832838019 input error 0 short frame 0 overrun 0 underrun 0 ignored
0 watchdog 0 bad etype drop 0 bad proto drop 0 if down drop
0 input with dribble 0 input discard
0 Rx pause
1832838019 Stomped CRC
TX
908 unicast packets 323 multicast packets 3 broadcast packets
1234 output packets 113342 bytes
0 jumbo packets
0 output error 0 collision 0 deferred 0 late collision
0 lost carrier 0 no carrier 0 babble 0 output discard
0 Tx pause
Remarque : un compteur CRC incrémenté indique qu'une trame a été reçue avec un CRC abrégé ou un CRC non valide, mais non abrégé. Une augmentation incrémentielle du compteur CRC aboutée indique qu'une trame avec un CRC aboutée a été reçue.
Vous pouvez également utiliser la commande show interface counters errors non-zero pour afficher les compteurs d'erreurs d'interface. Un exemple de ce processus est montré ici .
switch# show interface counters errors non-zero
--------------------------------------------------------------------------------
Port Align-Err FCS-Err Xmit-Err Rcv-Err UnderSize OutDiscards
--------------------------------------------------------------------------------
Eth1/1 1790348828 1790348828 0 1790348828 0 0
--------------------------------------------------------------------------------
Port Single-Col Multi-Col Late-Col Exces-Col Carri-Sen Runts
--------------------------------------------------------------------------------
--------------------------------------------------------------------------------
Port Giants SQETest-Err Deferred-Tx IntMacTx-Er IntMacRx-Er Symbol-Err
--------------------------------------------------------------------------------
--------------------------------------------------------------------------------
Port InDiscards
--------------------------------------------------------------------------------
--------------------------------------------------------------------------------
Port Stomped-CRC
--------------------------------------------------------------------------------
Eth1/1 1790348828
Vous pouvez diriger la commande show interface vers les commandes json ou json-nice pour obtenir des statistiques de compteur CRC et CRC abrégé dans un format structuré. Un exemple de ce processus est montré ici .
switch# show interface Ethernet1/1 | json-pretty | include ignore-case crc
"eth_crc": "828640831",
"eth_stomped_crc": "828640831",
L'API REST NX-API peut être utilisée pour récupérer ces mêmes statistiques à l'aide du modèle objet sys/intf/phys-[intf-id]/dbgEtherStats.json. Un exemple de ce processus est montré ici .
/api/node/mo/sys/intf/phys-[eth1/1]/dbgEtherStats.json
{
"totalCount": "1",
"imdata": [
{
"rmonEtherStats": {
"attributes": {
"cRCAlignErrors": "26874272810",
"dn": "sys/intf/phys-[eth1/1]/dbgEtherStats",
"dropEvents": "0",
"rXNoErrors": "26874276337",
"stompedCRCAlignErrors": "26874272810",
...
}
}
}
]
}
Logiciel NX-OS versions 10.1(2) et antérieures
Pour les versions du logiciel NX-OS antérieures à 10.2(1), le compteur CRC abrégé n'est pas disponible sur les interfaces. Plusieurs étapes sont nécessaires pour déterminer l'interface d'entrée où des CRC non valides sont observés et valider si les CRC sont non valides ou piétinés.
Étape 1. Identifier les compteurs CRC incrémentiels sur les interfaces physiques
Utilisez la commande show interface pour identifier les interfaces physiques avec des compteurs CRC non nuls incrémentants. Un exemple de ceci est montré ici, où l'interface physique Ethernet1/1 a un compteur CRC non nul.
switch# show interface
<snip> Ethernet1/1 is up admin state is up, Dedicated Interface Hardware: 100/1000/10000/25000 Ethernet, address: 00d7.8f86.2bbe (bia 00d7.8f86.2bbe) MTU 1500 bytes, BW 10000000 Kbit, DLY 10 usec reliability 255/255, txload 1/255, rxload 1/255 Encapsulation ARPA, medium is broadcast Port mode is trunk full-duplex, 10 Gb/s, media type is 10G Beacon is turned off Auto-Negotiation is turned on FEC mode is Auto Input flow-control is off, output flow-control is off Auto-mdix is turned off Rate mode is dedicated Switchport monitor is off EtherType is 0x8100 EEE (efficient-ethernet) : n/a admin fec state is auto, oper fec state is off Last link flapped 04:09:21 Last clearing of "show interface" counters 00:50:37 0 interface resets RX 3 unicast packets 3087 multicast packets 0 broadcast packets 3097 input packets 244636 bytes 7 jumbo packets 0 storm suppression bytes 0 runts 7 giants 7 CRC 0 no buffer 7 input error 0 short frame 0 overrun 0 underrun 0 ignored 0 watchdog 0 bad etype drop 0 bad proto drop 0 if down drop 0 input with dribble 0 input discard 0 Rx pause
Vous pouvez également utiliser la commande show interface counters errors non-zero pour afficher toutes les interfaces avec des compteurs d'erreurs non nuls (qui incluent des compteurs CRC non nuls). Un exemple de ceci est montré ici, où l'interface physique Ethernet1/1 a un compteur CRC non nul affiché par la colonne FCS-Err.
switch# show interface counters errors non-zero <snip> -------------------------------------------------------------------------------- Port Align-Err FCS-Err Xmit-Err Rcv-Err UnderSize OutDiscards -------------------------------------------------------------------------------- Eth1/1 7 7 0 7 0 0
Étape 2. Mappez l'interface physique au sous-port ASIC, MAC Block et Mac Block
Utilisez la commande show interface hardware-mappings pour identifier trois caractéristiques clés :
- Unit : identifiant de l'ASIC Cloud Scale auquel l'interface physique se connecte. Cela utilise un système de numérotation basé sur zéro (par exemple, le premier ASIC est 0, le second ASIC est 1, et ainsi de suite)
- MacId : identifiant du bloc MAC auquel l'interface physique se connecte. Cette méthode utilise un système de numérotation à base zéro (par exemple, le premier bloc MAC est 0, le second est 1, etc.)
- MacSP : identifiant du sous-port de bloc MAC auquel l'interface physique se connecte. Chaque bloc MAC est associé à quatre sous-ports, qui utilisent un système de numérotation basé sur zéro et incrémentent d'une valeur de 2. Par conséquent, le premier sous-port a un indice de 0, le deuxième sous-port a un indice de 2, le troisième sous-port a un indice de 4, et le quatrième sous-port a un indice de 6.
Ceci est démontré dans l'exemple ici, où l'interface physique Ethernet1/1 est associée à Cloud Scale ASIC 0, MAC block 4 et MAC block sub-port 0.
switch# show interface hardware-mappings
<snip>
-------------------------------------------------------------------------------------------------------
Name Ifindex Smod Unit HPort FPort NPort VPort Slice SPort SrcId MacId MacSP VIF Block BlkSrcID
-------------------------------------------------------------------------------------------------------
Eth1/1 1a000000 1 0 16 255 0 -1 0 16 32 4 0 1 0 32
Eth1/2 1a000200 1 0 17 255 4 -1 0 17 34 4 2 5 0 34
Eth1/3 1a000400 1 0 18 255 8 -1 0 18 36 4 4 9 0 36
Eth1/4 1a000600 1 0 19 255 12 -1 0 19 38 4 6 13 0 38
Eth1/5 1a000800 1 0 12 255 16 -1 0 12 24 3 0 17 0 24
Étape 3. Vérifier les registres ASIC d'évolutivité du cloud pour les compteurs associés au CRC
Utilisez la commande slot {x} show hardware internal tah counters asic {y} pour afficher les compteurs de registre pour l'ASIC Cloud Scale. Cette commande contient deux variables :
- {x} - Remplacez cette valeur par le numéro de logement de la carte de ligne. Pour les commutateurs haut de rack, la valeur est toujours 1. Pour les commutateurs modulaires de fin de ligne, le numéro de logement de la carte de ligne est le premier numéro du nom de l'interface physique. Par exemple, l'interface physique Ethernet1/1 aurait un numéro de logement de carte de ligne de 1, tandis que l'interface physique Ethernet4/24 aurait un numéro de logement de carte de ligne de 4.
- {y} - Remplacez cette valeur par l'identificateur ASIC Cloud Scale identifié à l'étape 2. Par exemple, si la colonne Unit de l'interface physique Ethernet1/1 avait la valeur 0, la valeur de cette variable serait 0. Si la colonne Unit de l'interface physique Ethernet4/24 avait la valeur 3, la valeur de cette variable serait 3.
Cette sortie peut afficher un tableau. Chaque ligne de la table est un registre ASIC différent. Chaque colonne de la table correspond à une interface physique sur le commutateur. Le nom utilisé pour chaque colonne n'est pas le nom de l'interface physique, mais est une combinaison du bloc MAC et du sous-port du bloc MAC. Le format utilisé pour l'en-tête de colonne est le suivant :
M{A},{B}-{InterfaceSpeed}
Il existe trois variables dans ce format, qui sont :
- {A} - Remplacez cette valeur par le numéro de bloc MAC.
- {B} - Remplacez cette valeur par le numéro de sous-port du bloc MAC.
- {InterfaceSpeed} - Cette valeur peut correspondre à la vitesse physique de l'interface (par exemple, 10G, 25G, 40Gx4, etc.)
Ceci est démontré dans l'exemple ici. Rappelez-vous que l'interface physique Ethernet1/1 est associée au logement de carte de ligne numéro 1 et à l'ASIC 0 Cloud Scale, ce qui signifie que la commande que vous devez exécuter est slot 1 show hardware internal tah counters asic 0. Le bloc MAC associé à l'interface physique Ethernet1/1 est 4, le sous-port de bloc MAC associé à l'interface physique Ethernet1/1 est 0 et l'interface physique Ethernet1/1 est une interface 10G. Par conséquent, l'en-tête de colonne que nous recherchons est M4,0-10G.
switch# slot 1 show hardware internal tah counters asic 0 <snip> *************** PER MAC/CH SRAM COUNTERS **************** REG_NAME M4,0-10G M4,2-10G M4,4-10G M4,6-10G M5,0-40Gx4 M6,0-40Gx4 M7,0-40Gx4 M8,0-10G ---------------------------------------------------------------------------------------------------------------------------- 02-RX Frm with FCS Err .... .... .... .... .... .... .... .... 16-RX Frm CRC Err(Stomp) c .... .... .... .... .... .... ....
La sortie de cette commande contient plusieurs dizaines de compteurs de registre. Il existe deux compteurs de registre clés qui sont liés à la différenciation des erreurs CRC naturelles des CRC estompées :
- 02-RX Form with FCS Err - Indique une trame avec un CRC non valide, mais non abrégé.
- 16-RX From CRC Err(Stomp) - Indique qu'une trame avec un CRC estompé a été reçue.
La valeur de ces compteurs est au format hexadécimal. La commande dec NX-OS peut convertir une valeur hexadécimale en valeur décimale, comme illustré ici.
N9K-C93180YC-EX-2# dec 0xc
12
Les valeurs combinées des deux compteurs de registre sont équivalentes au nombre de CRC observés sur l'interface physique par le biais de la sortie de show interface ou de show interface counters errors non-zero.
Évolutivité du cloud Cisco Nexus 9500 - Procédure d'identification et de suivi CRC sur les commutateurs modulaires
Cette section du document décrit les instructions détaillées permettant d'identifier la source des erreurs CRC observées sur une interface physique spécifique Ethernet1/1 sur les commutateurs Cisco Nexus 9500.
Chaque carte de ligne d'un commutateur de la gamme Nexus 9500 est connectée via une liaison interne (Ether) aux modules de fabric. Chaque ASIC de chaque carte de ligne dispose d'une connectivité à maillage global à tous les modules de fabric. L'exemple ci-dessous présente une carte de ligne avec quatre ASIC Sugarbowl avec des liaisons internes connectées à quatre modules de fabric au sein d'un commutateur Nexus 9500 modulaire.
Lorsque le trafic reçu par un ASIC doit sortir d'un autre ASIC ou d'une autre carte de ligne, ce trafic doit être envoyé au fabric via un module de fabric. L'ASIC d'entrée sélectionne l'une des liaisons Eth vers les modules de fabric en fonction d'un hachage des en-têtes du paquet et du nombre de liaisons Eth disponibles pour l'ASIC.
Étape 1. Mappez les liaisons internes entre les cartes de ligne et les modules de fabric.
Utilisez la commande show system internal fabric connectivity module {x} (où {x} est le numéro de logement de la carte de ligne ou du module de fabric) pour afficher les liaisons internes entre la carte de ligne spécifiée et tous les modules de fabric. Cette sortie affiche un tableau dans lequel chaque ligne présente un mappage un à un entre les liaisons internes des cartes de ligne (sous la colonne LC-EthLink) et les liaisons internes de chaque module de fabric (sous la colonne FM-EthLink). Un exemple de ceci est illustré ici, pris d'un commutateur Nexus 9508 avec 8 cartes de ligne et 4 modules de fabric insérés. La sortie montre ici que chaque instance ASIC de la carte de ligne insérée dans le logement 8 du commutateur est connectée à chacun des 4 modules de matrice installés (insérés dans les logements 22, 23, 24 et 26) par l'intermédiaire de 2 liaisons internes.
Nexus9500# show system internal fabric connectivity module 8
Internal Link-info Linecard slot:8
------------------------------------------------------------------------
LC-Slot LC-Unit LC-iEthLink MUX FM-Slot FM-Unit FM-iEthLink
------------------------------------------------------------------------
8 0 iEth01 - 22 0 iEth18
8 0 iEth02 - 22 1 iEth50
8 0 iEth03 - 23 0 iEth18
8 0 iEth04 - 23 1 iEth50
8 0 iEth05 - 24 0 iEth18
8 0 iEth06 - 24 1 iEth50
8 0 iEth07 - 26 0 iEth18
8 0 iEth08 - 26 1 iEth50
8 1 iEth09 - 22 0 iEth03
8 1 iEth10 - 22 1 iEth35
8 1 iEth11 - 23 0 iEth03
8 1 iEth12 - 23 1 iEth35
8 1 iEth13 - 24 0 iEth03
8 1 iEth14 - 24 1 iEth35
8 1 iEth15 - 26 0 iEth03
8 1 iEth16 - 26 1 iEth35
8 2 iEth17 - 22 0 iEth32
8 2 iEth18 - 22 1 iEth53
8 2 iEth19 - 23 0 iEth32
8 2 iEth20 - 23 1 iEth53
8 2 iEth21 - 24 0 iEth32
8 2 iEth22 - 24 1 iEth53
8 2 iEth23 - 26 0 iEth32
8 2 iEth24 - 26 1 iEth53
8 3 iEth25 - 22 0 iEth31
8 3 iEth26 - 22 1 iEth54
8 3 iEth27 - 23 0 iEth31
8 3 iEth28 - 23 1 iEth54
8 3 iEth29 - 24 0 iEth31
8 3 iEth30 - 24 1 iEth54
8 3 iEth31 - 26 0 iEth31
8 3 iEth32 - 26 1 iEth54
De même, le mappage de liaison Eth peut être vérifié du point de vue d'un module de fabric. Un exemple de ceci est montré ici, où les liaisons internes entre le module de matrice inséré dans le logement 22 et chacune des 8 cartes de ligne installées dans le châssis Nexus 9508 sont affichées.
Nexus9500# show system internal fabric connectivity module 22
Internal Link-info Fabriccard slot:22
------------------------------------------------------------------------
FM-Slot FM-Unit FM-iEthLink LC-Slot LC-Unit LC-EthLink MUX
------------------------------------------------------------------------
22 0 iEth09 1 0 iEth01 -
22 0 iEth06 1 1 iEth11 -
22 0 iEth25 1 2 iEth21 -
22 0 iEth26 1 3 iEth31 -
22 0 iEth10 2 0 iEth01 -
22 0 iEth05 2 1 iEth11 -
22 0 iEth23 2 2 iEth21 -
22 0 iEth24 2 3 iEth31 -
22 0 iEth12 3 0 iEth01 -
22 0 iEth11 3 1 iEth11 -
22 0 iEth21 3 2 iEth21 -
22 0 iEth22 3 3 iEth31 -
22 0 iEth14 4 0 iEth01 -
22 0 iEth13 4 1 iEth11 -
22 0 iEth07 4 2 iEth21 -
22 0 iEth08 4 3 iEth31 -
22 0 iEth16 5 0 iEth01 -
22 0 iEth15 5 1 iEth11 -
22 0 iEth01 5 2 iEth21 -
22 0 iEth04 5 3 iEth31 -
22 0 iEth20 6 0 iEth01 -
22 0 iEth17 6 1 iEth11 -
22 0 iEth28 6 2 iEth21 -
22 0 iEth27 6 3 iEth31 -
22 0 iEth19 7 0 iEth01 -
22 0 iEth02 7 1 iEth09 -
22 0 iEth30 7 2 iEth17 -
22 0 iEth29 7 3 iEth25 -
22 0 iEth18 8 0 iEth01 -
22 0 iEth03 8 1 iEth09 -
22 0 iEth32 8 2 iEth17 -
22 0 iEth31 8 3 iEth25 -
22 1 iEth41 1 0 iEth02 -
22 1 iEth38 1 1 iEth12 -
22 1 iEth59 1 2 iEth22 -
22 1 iEth60 1 3 iEth32 -
22 1 iEth42 2 0 iEth02 -
22 1 iEth37 2 1 iEth12 -
22 1 iEth62 2 2 iEth22 -
22 1 iEth61 2 3 iEth32 -
22 1 iEth44 3 0 iEth02 -
22 1 iEth43 3 1 iEth12 -
22 1 iEth64 3 2 iEth22 -
22 1 iEth63 3 3 iEth32 -
22 1 iEth46 4 0 iEth02 -
22 1 iEth45 4 1 iEth12 -
22 1 iEth39 4 2 iEth22 -
22 1 iEth40 4 3 iEth32 -
22 1 iEth48 5 0 iEth02 -
22 1 iEth47 5 1 iEth12 -
22 1 iEth36 5 2 iEth22 -
22 1 iEth33 5 3 iEth32 -
22 1 iEth52 6 0 iEth02 -
22 1 iEth49 6 1 iEth12 -
22 1 iEth57 6 2 iEth22 -
22 1 iEth58 6 3 iEth32 -
22 1 iEth34 7 0 iEth02 -
22 1 iEth51 7 1 iEth10 -
22 1 iEth55 7 2 iEth18 -
22 1 iEth56 7 3 iEth26 -
22 1 iEth50 8 0 iEth02 -
22 1 iEth35 8 1 iEth10 -
22 1 iEth53 8 2 iEth18 -
22 1 iEth54 8 3 iEth26 -
Utilisez la commande show system internal fabric link-state module {x} pour vérifier si le port interne est actif ou non (sous les colonnes ST), et quels sont la tranche ASIC correspondante et l'identificateur MAC d'une liaison interne particulière (sous la colonne MAC). Un exemple de ce processus est montré ici .
Nexus9500# show system internal fabric link-state module 8
cli : mod = 8
module number = 8
========================================================================================================================
Module number = 8
========================================================================================================================
[LC] [ INST:SLI:MAC:GLSRC] [IETH] [ST] <========> [FM] [ INST:SLI:MAC:GLSRC] [IETH] [ST]
========================================================================================================================
[ 8] [ 0 : 0 : 7 : 0x38] [iEth01] [UP] <========> [22] [ 0 : 3 : 21 : 0x18] [iEth18] [UP]
[ 8] [ 0 : 1 : 9 : 0x0] [iEth02] [UP] <========> [22] [ 1 : 3 : 21 : 0x18] [iEth50] [UP]
[ 8] [ 0 : 0 : 6 : 0x30] [iEth03] [UP] <========> [23] [ 0 : 3 : 21 : 0x18] [iEth18] [UP]
[ 8] [ 0 : 1 : 16 : 0x38] [iEth04] [UP] <========> [23] [ 1 : 3 : 21 : 0x18] [iEth50] [UP]
[ 8] [ 0 : 0 : 8 : 0x40] [iEth05] [UP] <========> [24] [ 0 : 3 : 21 : 0x18] [iEth18] [UP]
[ 8] [ 0 : 1 : 15 : 0x30] [iEth06] [UP] <========> [24] [ 1 : 3 : 21 : 0x18] [iEth50] [UP]
[ 8] [ 0 : 0 : 5 : 0x28] [iEth07] [UP] <========> [26] [ 0 : 3 : 21 : 0x18] [iEth18] [UP]
[ 8] [ 0 : 1 : 17 : 0x40] [iEth08] [UP] <========> [26] [ 1 : 3 : 21 : 0x18] [iEth50] [UP]
[ 8] [ 1 : 0 : 7 : 0x38] [iEth09] [UP] <========> [22] [ 0 : 0 : 4 : 0x20] [iEth03] [UP]
[ 8] [ 1 : 1 : 9 : 0x0] [iEth10] [UP] <========> [22] [ 1 : 0 : 4 : 0x20] [iEth35] [UP]
[ 8] [ 1 : 0 : 6 : 0x30] [iEth11] [UP] <========> [23] [ 0 : 0 : 4 : 0x20] [iEth03] [UP]
[ 8] [ 1 : 1 : 16 : 0x38] [iEth12] [UP] <========> [23] [ 1 : 0 : 4 : 0x20] [iEth35] [UP]
[ 8] [ 1 : 0 : 8 : 0x40] [iEth13] [UP] <========> [24] [ 0 : 0 : 4 : 0x20] [iEth03] [UP]
[ 8] [ 1 : 1 : 15 : 0x30] [iEth14] [UP] <========> [24] [ 1 : 0 : 4 : 0x20] [iEth35] [UP]
[ 8] [ 1 : 0 : 5 : 0x28] [iEth15] [UP] <========> [26] [ 0 : 0 : 4 : 0x20] [iEth03] [UP]
[ 8] [ 1 : 1 : 17 : 0x40] [iEth16] [UP] <========> [26] [ 1 : 0 : 4 : 0x20] [iEth35] [UP]
[ 8] [ 2 : 0 : 7 : 0x38] [iEth17] [UP] <========> [22] [ 0 : 5 : 35 : 0x28] [iEth32] [UP]
[ 8] [ 2 : 1 : 9 : 0x0] [iEth18] [UP] <========> [22] [ 1 : 4 : 24 : 0x0] [iEth53] [UP]
[ 8] [ 2 : 0 : 6 : 0x30] [iEth19] [UP] <========> [23] [ 0 : 5 : 35 : 0x28] [iEth32] [UP]
[ 8] [ 2 : 1 : 16 : 0x38] [iEth20] [UP] <========> [23] [ 1 : 4 : 24 : 0x0] [iEth53] [UP]
[ 8] [ 2 : 0 : 8 : 0x40] [iEth21] [UP] <========> [24] [ 0 : 5 : 35 : 0x28] [iEth32] [UP]
[ 8] [ 2 : 1 : 15 : 0x30] [iEth22] [UP] <========> [24] [ 1 : 4 : 24 : 0x0] [iEth53] [UP]
[ 8] [ 2 : 0 : 5 : 0x28] [iEth23] [UP] <========> [26] [ 0 : 5 : 35 : 0x28] [iEth32] [UP]
[ 8] [ 2 : 1 : 17 : 0x40] [iEth24] [UP] <========> [26] [ 1 : 4 : 24 : 0x0] [iEth53] [UP]
[ 8] [ 3 : 0 : 7 : 0x38] [iEth25] [UP] <========> [22] [ 0 : 5 : 34 : 0x20] [iEth31] [UP]
[ 8] [ 3 : 1 : 9 : 0x0] [iEth26] [UP] <========> [22] [ 1 : 4 : 25 : 0x8] [iEth54] [UP]
[ 8] [ 3 : 0 : 6 : 0x30] [iEth27] [UP] <========> [23] [ 0 : 5 : 34 : 0x20] [iEth31] [UP]
[ 8] [ 3 : 1 : 16 : 0x38] [iEth28] [UP] <========> [23] [ 1 : 4 : 25 : 0x8] [iEth54] [UP]
[ 8] [ 3 : 0 : 8 : 0x40] [iEth29] [UP] <========> [24] [ 0 : 5 : 34 : 0x20] [iEth31] [UP]
[ 8] [ 3 : 1 : 15 : 0x30] [iEth30] [UP] <========> [24] [ 1 : 4 : 25 : 0x8] [iEth54] [UP]
[ 8] [ 3 : 0 : 5 : 0x28] [iEth31] [UP] <========> [26] [ 0 : 5 : 34 : 0x20] [iEth31] [UP]
[ 8] [ 3 : 1 : 17 : 0x40] [iEth32] [UP] <========> [26] [ 1 : 4 : 25 : 0x8] [iEth54] [UP]
Étape 2. Vérifiez les compteurs CRC sur les liaisons Ethernet et suivez la source des trames endommagées
Sur un commutateur Nexus 9500 modulaire, vous pouvez voir des erreurs CRC sur une ou plusieurs liaisons Ether dans les scénarios suivants :
- Lorsque le commutateur fonctionne en mode de commutation cut-through, une carte de ligne qui reçoit une trame Ethernet corrompue avec une valeur CRC incorrecte dans le champ FCS ne supprime pas la trame localement. Au lieu de cela, la carte de ligne transfère le paquet normalement. Si l'interface de sortie du paquet appartient à un autre ASIC ou à une autre carte de ligne, la carte de ligne d'entrée transfère le paquet vers un module de fabric. Les modules de fabric fonctionnent également en mode de commutation cut-through, de sorte que le module de fabric transfère le paquet à la carte de ligne de sortie. La carte de ligne de sortie transfère le paquet vers le tronçon suivant et incrémente le compteur d'erreurs de sortie sur l'interface de sortie.
- Si une liaison interne est défaillante en raison d'un matériel défectueux, les paquets qui traversent la liaison interne peuvent être corrompus entre une carte de ligne et le module de fabric.
Utilisez la commande show system internal fabric connectivity stats module {x} pour vérifier le compteur CRC des liaisons internes correspondantes. Un exemple de ceci est montré ici, où le module de matrice inséré dans le logement 22 reçoit des paquets avec un CRC non valide sur l'Eth56 connecté à l'Eth26 de la carte de ligne insérée dans le logement 7 du commutateur. Cela indique que des trames Ethernet corrompues sont reçues par le module de fabric à partir de la carte de ligne insérée dans le logement 7 du commutateur.
Nexus9500# show system internal fabric connectivity stats module 22
Internal Link-info Stats Fabriccard slot:22
-------------------------------------------------------------------------------------
FM-Slot FM-Unit FM-iEthLink LC-Slot LC-Unit LC-EthLink MUX CRC
-------------------------------------------------------------------------------------
22 0 iEth09 1 0 iEth01 - 0
22 0 iEth06 1 1 iEth11 - 0
22 0 iEth25 1 2 iEth21 - 0
22 0 iEth26 1 3 iEth31 - 0
22 0 iEth10 2 0 iEth01 - 0
22 0 iEth05 2 1 iEth11 - 0
22 0 iEth23 2 2 iEth21 - 0
22 0 iEth24 2 3 iEth31 - 0
22 0 iEth12 3 0 iEth01 - 0
22 0 iEth11 3 1 iEth11 - 0
22 0 iEth21 3 2 iEth21 - 0
22 0 iEth22 3 3 iEth31 - 0
22 0 iEth14 4 0 iEth01 - 0
22 0 iEth13 4 1 iEth11 - 0
22 0 iEth07 4 2 iEth21 - 0
22 0 iEth08 4 3 iEth31 - 0
22 0 iEth16 5 0 iEth01 - 0
22 0 iEth15 5 1 iEth11 - 0
22 0 iEth01 5 2 iEth21 - 0
22 0 iEth04 5 3 iEth31 - 0
22 0 iEth20 6 0 iEth01 - 0
22 0 iEth17 6 1 iEth11 - 0
22 0 iEth28 6 2 iEth21 - 0
22 0 iEth27 6 3 iEth31 - 0
22 0 iEth19 7 0 iEth01 - 0
22 0 iEth02 7 1 iEth09 - 0
22 0 iEth30 7 2 iEth17 - 0
22 0 iEth29 7 3 iEth25 - 0
22 0 iEth18 8 0 iEth01 - 0
22 0 iEth03 8 1 iEth09 - 0
22 0 iEth32 8 2 iEth17 - 0
22 0 iEth31 8 3 iEth25 - 0
22 1 iEth41 1 0 iEth02 - 0
22 1 iEth38 1 1 iEth12 - 0
22 1 iEth59 1 2 iEth22 - 0
22 1 iEth60 1 3 iEth32 - 0
22 1 iEth42 2 0 iEth02 - 0
22 1 iEth37 2 1 iEth12 - 0
22 1 iEth62 2 2 iEth22 - 0
22 1 iEth61 2 3 iEth32 - 0
22 1 iEth44 3 0 iEth02 - 0
22 1 iEth43 3 1 iEth12 - 0
22 1 iEth64 3 2 iEth22 - 0
22 1 iEth63 3 3 iEth32 - 0
22 1 iEth46 4 0 iEth02 - 0
22 1 iEth45 4 1 iEth12 - 0
22 1 iEth39 4 2 iEth22 - 0
22 1 iEth40 4 3 iEth32 - 0
22 1 iEth48 5 0 iEth02 - 0
22 1 iEth47 5 1 iEth12 - 0
22 1 iEth36 5 2 iEth22 - 0
22 1 iEth33 5 3 iEth32 - 0
22 1 iEth52 6 0 iEth02 - 0
22 1 iEth49 6 1 iEth12 - 0
22 1 iEth57 6 2 iEth22 - 0
22 1 iEth58 6 3 iEth32 - 0
22 1 iEth34 7 0 iEth02 - 0
22 1 iEth51 7 1 iEth10 - 0
22 1 iEth55 7 2 iEth18 - 0
22 1 iEth56 7 3 iEth26 - 1665601166
22 1 iEth50 8 0 iEth02 - 0
22 1 iEth35 8 1 iEth10 - 0
22 1 iEth53 8 2 iEth18 - 0
22 1 iEth54 8 3 iEth26 - 0
Utilisez la commande slot {x} show hardware internal tah counters asic {y} sur une carte de ligne ou un module de fabric pour déterminer si les erreurs CRC ne sont pas valides ou si des CRC ont été bloqués. Les deux compteurs de registre qui différencient les erreurs CRC non valides des erreurs CRC aboutées sont :
- 02-RX Form with FCS Err : indique qu'une trame avec un CRC non valide, mais non abrégé, a été reçue.
- 16-RX From CRC Err(Stomp) : indique qu'une trame avec un CRC estompé a été reçue.
Un exemple de ceci est montré ici, où les trames corrompues sont reçues sur le module de matrice inséré dans le logement 22 du châssis par la liaison interne Eth54 se connectent à la carte de ligne insérée dans le logement 8 du châssis sont reçues avec le CRC estampé :
Nexus9500# slot 22 show hardware internal tah counters asic 1
REG_NAME M24,0-100Gx4 M25,0-100Gx4
--------------------------------------------------------------------------------------------------------------------------
02-RX Frm with FCS Err .... ....
03-RX Frm with any Err .... 144912733e
16-RX Frm CRC Err(Stomp) .... 14491277d7
Vous pouvez également utiliser la commande show hardware internal errors module {x} pour afficher les compteurs d'erreurs ASIC pour un module spécifique. Un exemple de ce processus est montré ici .
Remarque : dans ce résultat, le compteur d'erreurs entrantes d'interface (CRC, len, Algn Err) s'incrémente pour les CRC non valides et les CRC bloqués, tandis que le compteur d'erreurs CRC entrantes bloquées s'incrémente uniquement pour les CRC bloqués.
Nexus9500# show hardware internal errors module 22
|------------------------------------------------------------------------|
| Device:Lacrosse Role:MAC Mod:22 |
| Last cleared @ Tue Jul 6 04:10:45 2021
| Device Statistics Category :: ERROR
|------------------------------------------------------------------------|
Instance:0
ID Name Value Ports
-- ---- ----- -----
Instance:1
ID Name Value Ports
-- ---- ----- -----
196635 Interface Inbound Errors (CRC,len,Algn Err) 0000053053264536 27:0
1048603 Interface Inbound CRC Error Stomped 0000053053264535 27:0
Après avoir identifié la carte de ligne d'entrée à partir de laquelle les trames corrompues sont reçues, utilisez les commandes slot {x} show hardware internal tah counters asic {y} ou show hardware internal errors module {x} de la même manière pour identifier l'interface d'entrée sur laquelle les erreurs sont reçues, ainsi que si les erreurs sont reçues en tant que CRC non valides ou CRC abrégés.
Un scénario rare est possible lorsqu'un module de fabric ou une carte de ligne de sortie présente des erreurs CRC sur une liaison Ether, mais que la carte de ligne connectée ne présente aucun signe de CRC d'entrée. La cause principale de ce problème est généralement une défaillance matérielle du module de fabric. Cisco recommande d'ouvrir un dossier d'assistance auprès du TAC Cisco pour résoudre ce problème et remplacer le module de fabric si nécessaire.
Exemples
Cette section du document passe en revue la procédure précédente avec quelques exemples.
Scénario 1. Interface physique recevant des CRC bloqués
Cet exemple montre comment identifier que les erreurs CRC sur une interface physique sont des CRC aboutés.
Considérez cette topologie :
Dans cet exemple, des erreurs CRC délibérément estompées sont générées sur le commutateur N9K-1 via des paquets ICMP de 8 000 octets de taille jumbo provenant de l'interface SVI 10 (qui possède l'adresse IP 192.0.2.1) destinée à l'interface SVI 10 de N9K-3 (qui possède l'adresse IP 192.0.2.3), qui a une MTU de 1 500 octets. Les commutateurs N9K-1, N9K-2 et N9K-3 sont tous des modèles Nexus 93180YC-EX.
N9K-1# ping 192.0.2.3 count 5 packet-size 8000 PING 192.0.2.3 (192.0.2.3): 8000 data bytes Request 0 timed out Request 1 timed out Request 2 timed out Request 3 timed out Request 4 timed out Request 5 timed out --- 192.0.2.3 ping statistics --- 5 packets transmitted, 0 packets received, 100.00% packet loss
Dans cet exemple, des erreurs CRC d’incrémentation sont observées sur l’interface physique Ethernet1/1 du commutateur N9K-3.
N9K-3# show interface Ethernet1/1
<snip>
Ethernet1/1 is up
admin state is up, Dedicated Interface
Hardware: 100/1000/10000/25000 Ethernet, address: 00d7.8f86.2bbe (bia 00d7.8f86.2bbe)
MTU 1500 bytes, BW 10000000 Kbit, DLY 10 usec
reliability 255/255, txload 1/255, rxload 1/255
Encapsulation ARPA, medium is broadcast
Port mode is trunk
full-duplex, 10 Gb/s, media type is 10G
Beacon is turned off
Auto-Negotiation is turned on FEC mode is Auto
Input flow-control is off, output flow-control is off
Auto-mdix is turned off
Rate mode is dedicated
Switchport monitor is off
EtherType is 0x8100
EEE (efficient-ethernet) : n/a
admin fec state is auto, oper fec state is off
Last link flapped 06:13:44
Last clearing of "show interface" counters 02:55:00
0 interface resets
RX
9 unicast packets 10675 multicast packets 0 broadcast packets
10691 input packets 816924 bytes
7 jumbo packets 0 storm suppression bytes
0 runts 7 giants 7 CRC 0 no buffer
7 input error 0 short frame 0 overrun 0 underrun 0 ignored
0 watchdog 0 bad etype drop 0 bad proto drop 0 if down drop
0 input with dribble 0 input discard
0 Rx pause
Étape 1. Confirmer l'incrémentation des CRC
Vérifiez que les CRC s'incrémentent sur l'interface physique Ethernet1/1 en générant des paquets ICMP de 8 000 octets de taille jumbo provenant de l'interface SVI 10 de N9K-1 (qui possède l'adresse IP 192.0.2.1) destinée à l'interface SVI 10 de N9K-3 (qui possède l'adresse IP 192.0.2.3).
N9K-1# ping 192.0.2.3 count 5 packet-size 8000
PING 192.0.2.3 (192.0.2.3): 8000 data bytes
Request 0 timed out
Request 1 timed out
Request 2 timed out
Request 3 timed out
Request 4 timed out
Request 5 timed out
--- 192.0.2.3 ping statistics ---
5 packets transmitted, 0 packets received, 100.00% packet loss
N9K-3# show interface Ethernet1/1
Ethernet1/1 is up
admin state is up, Dedicated Interface
Hardware: 100/1000/10000/25000 Ethernet, address: 00d7.8f86.2bbe (bia 00d7.8f86.2bbe)
MTU 1500 bytes, BW 10000000 Kbit, DLY 10 usec
reliability 255/255, txload 1/255, rxload 1/255
Encapsulation ARPA, medium is broadcast
Port mode is trunk
full-duplex, 10 Gb/s, media type is 10G
Beacon is turned off
Auto-Negotiation is turned on FEC mode is Auto
Input flow-control is off, output flow-control is off
Auto-mdix is turned off
Rate mode is dedicated
Switchport monitor is off
EtherType is 0x8100
EEE (efficient-ethernet) : n/a
admin fec state is auto, oper fec state is off
Last link flapped 06:52:57
Last clearing of "show interface" counters 03:34:13
0 interface resets
RX
11 unicast packets 13066 multicast packets 0 broadcast packets
13089 input packets 1005576 bytes
12 jumbo packets 0 storm suppression bytes
0 runts 12 giants 12 CRC 0 no buffer
12 input error 0 short frame 0 overrun 0 underrun 0 ignored
0 watchdog 0 bad etype drop 0 bad proto drop 0 if down drop
0 input with dribble 0 input discard
0 Rx pause
Étape 2. Mappage de l'interface physique sur le sous-port ASIC, MAC Block et MAC Block
Utilisez la commande show interface hardware-mappings sur N9K-3 pour mapper l'interface physique Ethernet1/1 au numéro ASIC 0, au bloc MAC 4 et au sous-port de bloc MAC 0.
N9K-3# show interface hardware-mappings
<snip>
-------------------------------------------------------------------------------------------------------
Name Ifindex Smod Unit HPort FPort NPort VPort Slice SPort SrcId MacId MacSP VIF Block BlkSrcID
-------------------------------------------------------------------------------------------------------
Eth1/1 1a000000 1 0 16 255 0 -1 0 16 32 4 0 1 0 32
Eth1/2 1a000200 1 0 17 255 4 -1 0 17 34 4 2 5 0 34
Eth1/3 1a000400 1 0 18 255 8 -1 0 18 36 4 4 9 0 36
Eth1/4 1a000600 1 0 19 255 12 -1 0 19 38 4 6 13 0 38
Eth1/5 1a000800 1 0 12 255 16 -1 0 12 24 3 0 17 0 24
Étape 3. Vérifier les registres ASIC d'évolutivité du cloud pour les compteurs associés au CRC
D'après les informations de l'étape 2, vous connaissez les faits suivants :
- L’interface physique Ethernet1/1 est mappée au numéro ASIC 0.
- L’interface physique Ethernet1/1 est mappée au sous-port 0 du bloc MAC 4
- N9K-3 étant un commutateur Nexus 93180YC-EX haut de rack, vous savez que le seul numéro de logement de carte de ligne possible est 1
- D’après le résultat de la commande show interface rassemblé à l’étape 1, vous savez que la vitesse de l’interface physique Ethernet1/1 est de 10 G.
À l'aide de ces informations, vous pouvez utiliser la commande slot 1 show hardware internal tah counters asic 0 pour afficher les compteurs de registre ASIC pour toutes les interfaces physiques. Plus précisément, vous recherchez des compteurs de registre ASIC associés à M4,0-10G.
N9K-3# slot 1 show hardware internal tah counters asic 0 <snip> *************** PER MAC/CH SRAM COUNTERS **************** REG_NAME M4,0-10G M4,2-10G M4,4-10G M4,6-10G M5,0-40Gx4 M6,0-40Gx4 M7,0-40Gx4 M8,0-10G ---------------------------------------------------------------------------------------------------------------------------------- 02-RX Frm with FCS Err .... .... .... .... .... .... .... .... 16-RX Frm CRC Err(Stomp) c .... .... .... .... .... .... ....
Vous pouvez voir une valeur hexadécimale non nulle de 0xc pour le registre 16, qui indique que des trames avec un CRC abrégé ont été reçues sur cette interface physique. Vous pouvez utiliser la commande dec 0xc pour traduire ceci en une valeur décimale de 12, qui correspond au nombre d'erreurs CRC sur l'interface physique Ethernet1/1.
N9K-3# dec 0xc
12
Conclusion
Vous avez confirmé que N9K-3 reçoit des trames avec un CRC piétiné sur l’interface physique Ethernet1/1. Cela signifie que le périphérique du côté distant de la liaison Ethernet1/1 (dans ce cas, N9K-2) écrase le CRC de ces trames ; la cause principale des trames mal formées n’est pas la liaison directement connectée à Ethernet1/1, mais est plus en aval. Un dépannage supplémentaire peut être effectué sur le périphérique réseau en aval pour déterminer la source de ces trames mal formées.
Scénario 2. L'interface physique a reçu des trames incorrectes avec CRC non valide
Cet exemple montre comment identifier que les erreurs CRC sur une interface physique s’incrémentent en raison de trames mal formées causées par un problème de couche physique sur une liaison connectée directement.
Considérez cette topologie :
Dans cet exemple, un générateur de trafic connecté à l'interface physique Ethernet1/40 du commutateur N9K-1 génère délibérément des trames avec un CRC incorrect. Cela simule un problème de couche physique sur la liaison connectée à Ethernet1/40, tel qu’un émetteur-récepteur défectueux ou un câble endommagé. N9K-1 reçoit ces trames, reconnaît que le CRC n’est pas valide et incrémente le compteur d’erreurs CRC sur l’interface physique Ethernet1/40. N9K-1 est un commutateur Nexus 93180YC-EX.
N9K-1# show interface Ethernet1/40
Ethernet1/40 is up
admin state is up, Dedicated Interface
Hardware: 100/1000/10000/25000 Ethernet, address: 00d7.8f86.2bbe (bia 00d7.8f86.2c02)
MTU 1500 bytes, BW 10000000 Kbit, DLY 10 usec
reliability 255/255, txload 1/255, rxload 1/255
Encapsulation ARPA, medium is broadcast
Port mode is trunk
full-duplex, 10 Gb/s, media type is 10G
Beacon is turned off
Auto-Negotiation is turned on FEC mode is Auto
Input flow-control is off, output flow-control is off
Auto-mdix is turned off
Rate mode is dedicated
Switchport monitor is off
EtherType is 0x8100
EEE (efficient-ethernet) : n/a
admin fec state is auto, oper fec state is off
Last link flapped 06:13:44
Last clearing of "show interface" counters 02:55:00
0 interface resets
RX
1710 unicast packets 9873 multicast packets 0 broadcast packets
11583 input packets 886321 bytes
0 jumbo packets 0 storm suppression bytes
0 runts 0 giants 1683 CRC 0 no buffer
1683 input error 0 short frame 0 overrun 0 underrun 0 ignored
0 watchdog 0 bad etype drop 0 bad proto drop 0 if down drop
0 input with dribble 0 input discard
0 Rx pause
Étape 1. Confirmer l'incrémentation des CRC
Vérifiez que les CRC sont incrémentés sur l'interface physique Ethernet1/40 de N9K-1 par les commandes show interface ou show interface counters non-zero.
N9K-1# show interface Ethernet1/40
<snip>
Ethernet1/40 is up
admin state is up, Dedicated Interface
Hardware: 100/1000/10000/25000 Ethernet, address: 00d7.8f86.2bbe (bia 00d7.8f86.2c02)
MTU 1500 bytes, BW 10000000 Kbit, DLY 10 usec
reliability 255/255, txload 1/255, rxload 1/255
Encapsulation ARPA, medium is broadcast
Port mode is trunk
full-duplex, 10 Gb/s, media type is 10G
Beacon is turned off
Auto-Negotiation is turned on FEC mode is Auto
Input flow-control is off, output flow-control is off
Auto-mdix is turned off
Rate mode is dedicated
Switchport monitor is off
EtherType is 0x8100
EEE (efficient-ethernet) : n/a
admin fec state is auto, oper fec state is off
Last link flapped 06:13:44
Last clearing of "show interface" counters 02:55:00
0 interface resets
RX
14055 unicast packets 9873 multicast packets 0 broadcast packets
23928 input packets 1676401 bytes
0 jumbo packets 0 storm suppression bytes
0 runts 0 giants 14028 CRC 0 no buffer
14028 input error 0 short frame 0 overrun 0 underrun 0 ignored
0 watchdog 0 bad etype drop 0 bad proto drop 0 if down drop
0 input with dribble 0 input discard
0 Rx pause
N9K-1# show interface counters errors non-zero
<snip>
--------------------------------------------------------------------------------
Port Align-Err FCS-Err Xmit-Err Rcv-Err UnderSize OutDiscards
--------------------------------------------------------------------------------
Eth1/40 26373 26373 0 26373 0 0
Étape 2. Mappage de l'interface physique sur le sous-port ASIC, MAC Block et MAC Block
Utilisez la commande show interface hardware-mappings sur N9K-1 pour mapper l'interface physique Ethernet1/40 au numéro ASIC 0, au bloc MAC 10, au sous-port de bloc MAC 6.
N9K-1# show interface hardware-mappings <snip> --------------------------------------------------------------------------------------------- Name Ifindex Smod Unit HPort FPort NPort VPort Slice SPort SrcId MacId MacSP VIF Block BlkSrcID --------------------------------------------------------------------------------------------- Eth1/38 1a004a00 1 0 45 255 148 -1 1 5 10 10 2 149 0 10 Eth1/39 1a004c00 1 0 46 255 152 -1 1 6 12 10 4 153 0 12 Eth1/40 1a004e00 1 0 47 255 156 -1 1 7 14 10 6 157 0 14 Eth1/41 1a005000 1 0 76 255 160 -1 1 36 64 17 0 161 0 64 Eth1/42 1a005200 1 0 77 255 164 -1 1 37 66 17 2 165 0 66
Étape 3. Vérifier les registres ASIC d'évolutivité du cloud pour les compteurs associés au CRC
D'après les informations de l'étape 2, vous connaissez les faits suivants :
- L’interface physique Ethernet1/40 est mappée au numéro ASIC 0.
- L’interface physique Ethernet1/40 est mappée au sous-port 6 du bloc MAC 10.
- N9K-1 étant un commutateur Nexus 93180YC-EX haut de rack, vous savez que le seul numéro de logement de carte de ligne possible est 1.
- D'après le résultat de show interface recueilli à l'étape 1, vous savez que la vitesse de l'interface physique Ethernet1/40 est de 10G.
À l'aide de ces informations, vous pouvez utiliser la commande slot 1 show hardware internal tah counters asic 0 pour afficher les compteurs de registre ASIC pour toutes les interfaces physiques. Plus précisément, vous recherchez des compteurs de registre ASIC associés à M10,6-10G.
N9K-1# slot 1 show hardware internal tah counters asic 0 *************** PER MAC/CH SRAM COUNTERS **************** REG_NAME M8,2-10G M8,4-10G M8,6-10G M9,0-40Gx4 M10,0-10G M10,2-10G M10,4-10G M10,6-10G ------------------------------------------------------------------------------------------------------------------------------------- 02-RX Frm with FCS Err .... .... .... .... .... .... .... 973e 16-RX Frm CRC Err(Stomp) .... .... .... .... .... .... .... ....
Vous pouvez voir une valeur hexadécimale non nulle de 0x973e pour le registre 2, qui indique que des trames avec un CRC non valide, mais non abrégé ont été reçues sur cette interface physique.
Vous pouvez utiliser la commande dec 0x973e pour traduire cette valeur en une valeur décimale de 38 718, ce qui correspond (ou est inférieur à, puisque les CRC augmentent constamment) au nombre d’erreurs CRC sur l’interface physique Ethernet1/40.
N9K-1# dec 0x973e
38718
Conclusion
Vous avez confirmé que N9K-1 reçoit des trames avec un CRC non valide, mais non abrégé, sur l’interface physique Ethernet1/40. Cela signifie que la liaison directement connectée à Ethernet1/40 (ou le périphérique à l’extrémité distante de la liaison) est la source la plus probable des trames mal formées. D’autres opérations de dépannage peuvent être effectuées sur la couche physique de cette liaison afin d’isoler la cause première des trames mal formées (par exemple, la vérification de la présence d’un câblage endommagé, le remplacement des émetteurs-récepteurs actuels par des émetteurs-récepteurs en bon état, etc.).
Scénario 3. Erreurs CRC Ether Nexus 9500 Syslog
Cet exemple montre comment identifier la source des erreurs CRC sur une liaison interne Ether lorsqu'un Syslog signalant des erreurs sur une interface interne est généré par un commutateur de la gamme Nexus 9500. Un exemple de ce syslog est montré ici.
Nexus9500# show logging logfile
<snip>
2021 Jul 9 05:51:19 Nexus9500 %DEVICE_TEST-SLOT22-3-INTERNAL_PORT_MONITOR_CRC_ERRORS_DETECTED: Module 22 received tx errors on internal interface ii22/1/56 since last run TXErr=36836897 TotalTXErr=50781987904
Ce syslog indique que des erreurs ont été détectées sur la liaison interne Eth56 du module de fabric inséré dans le logement 22 du commutateur.
Étape 1. Mappage de la liaison Eth sur le module de matrice à la carte de ligne connectée
Utilisez la commande show system internal fabric connectivity stats module {x} pour identifier à quelle carte de ligne la liaison interne Ether affectée se connecte. Dans cet exemple, Eth56 du module de matrice inséré dans le logement 22 du commutateur présente des erreurs. Un exemple de ceci est représenté ici, où l'Eth56 du module de matrice inséré dans le logement 22 est connecté à l'Eth26 de la carte de ligne insérée dans le logement 7 du commutateur.
Nexus9500# show system internal fabric connectivity stats module 22 | include Eth56|FM-Slot
FM-Slot FM-Unit FM-iEthLink LC-Slot LC-Unit LC-EthLink MUX CRC
22 1 iEth56 7 3 iEth26 - 603816174
Utilisez la commande show system internal fabric link-state module {x} pour localiser l'instance ASIC et l'identificateur MAC associés à la liaison interne Eth56 du module de fabric. Un exemple de ceci est montré ici, où l'instance ASIC est 1 et l'identifiant MAC est 27.
Nexus9500# show system internal fabric link-state module 22 | include MAC|iEth56
[FM] [ INST:SLI:MAC:GLSRC] [IETH] [ST] <========> [LC] [ INST:SLI:MAC:GLSRC] [IETH] [ST]
[22] [ 1 : 4 : 27 : 0x18] [iEth56] [UP] <========> [ 7] [ 3 : 1 : 9 : 0x0] [iEth26] [UP]
Étape 2. Vérifier si les CRC reçus sur la liaison Ethernet sont incorrects ou bloqués
L'étape précédente montre que notre identifiant d'instance ASIC est 1 et notre identifiant MAC est 27 pour Eth56 connecté au module de fabric inséré dans le logement 22. Utilisez la commande slot {x} show hardware internal tah counters asic {y} pour identifier si les CRC signalés par le syslog sont des CRC non valides ou des CRC abrégés. Un exemple de ceci est montré ici, où la colonne M27,0-100Gx4 est associée à notre identifiant MAC de 27 et indique que les CRC sont piétinés.
Nexus9500# slot 22 show hardware internal tah counters asic 1
REG_NAME M27,0-100Gx4
-----------------------------------------
02-RX Frm with FCS Err ....
16-RX Frm CRC Err(Stomp) be9cb9bd6
Vous pouvez également utiliser la commande show hardware internal errors module {x} pour glaner ces mêmes informations. Un exemple de ce processus est montré ici .
Nexus9500# show hardware internal errors module 22 | include CRC|Stomp|Inst
Instance:1
196635 Interface Inbound Errors (CRC,len,Algn Err) 0000051587084851 27:0
1048603 Interface Inbound CRC Error Stomped 0000051587084850 27:0
Souvenez-vous que dans ce résultat, le compteur d'erreurs entrantes d'interface (CRC, len, Algn Err) s'incrémente pour les CRC non valides et les CRC abrégés, tandis que le compteur d'erreurs d'erreurs CRC entrantes d'interface s'incrémente uniquement pour les CRC abrégés.
Étape 3. Suivre la source des trames avec des CRC non valides sur la carte de ligne d'entrée
Vous savez maintenant que les CRC qui entrent dans le module de fabric inséré dans le logement 22 du commutateur entrent dans le commutateur à partir de la carte de ligne insérée dans le logement 7. Avec ces informations, vous pouvez utiliser la commande show interface counters errors module {x} non-zero pour identifier les compteurs CRC non-zéro sur les interfaces appartenant à la carte de ligne concernée. Un exemple de ce processus est montré ici .
Nexus9500# show interface counters errors module 7 non-zero
<snip>
--------------------------------------------------------------------------------
Port Align-Err FCS-Err Xmit-Err Rcv-Err UnderSize OutDiscards
--------------------------------------------------------------------------------
Eth7/32 0 0 0 1195309745 0 0
Vous pouvez répéter l'étape #2 de ce scénario sur la carte de ligne concernée pour vérifier si la carte de ligne reçoit des CRC non valides ou des CRC abrégés.
Nexus9500# show hardware internal errors module 7 | include ignore-case CRC|Stomp|Inst
Instance:3
196619 Interface Inbound Errors (CRC,len,Algn Err) 0000051801011139 11:0
1048587 Interface Inbound CRC Error Stomped 0000051801011140 11:0
Utilisez la commande show interface hardware-mappings pour identifier le port de façade auquel la valeur MacId : MacSP de 11:0 dans la sortie précédente est mappée. Un exemple de ceci est montré ici, où 11:0 correspond au port de façade Eth7/32.
Nexus9500# show interface hardware-mappings | include Name|Eth7
<snip>
Name Ifindex Smod Unit HPort FPort NPort VPort Slice SPort SrcId MacId MacSP VIF Block BlkSrcID
Eth7/1 1a300000 25 0 16 255 0 -1 0 16 32 4 0 1 0 32
Eth7/2 1a300200 25 0 12 255 4 -1 0 12 24 3 0 5 0 24
Eth7/3 1a300400 25 0 8 255 8 -1 0 8 16 2 0 9 0 16
Eth7/4 1a300600 25 0 4 255 12 -1 0 4 8 1 0 13 0 8
Eth7/5 1a300800 25 0 60 255 16 -1 1 20 40 14 0 17 0 40
Eth7/6 1a300a00 25 0 56 255 20 -1 1 16 32 13 0 21 0 32
Eth7/7 1a300c00 25 0 52 255 24 -1 1 12 24 12 0 25 0 24
Eth7/8 1a300e00 25 0 48 255 28 -1 1 8 16 11 0 29 0 16
Eth7/9 1a301000 26 1 12 255 32 -1 0 12 24 3 0 33 0 24
Eth7/10 1a301200 26 1 8 255 36 -1 0 8 16 2 0 37 0 16
Eth7/11 1a301400 26 1 4 255 40 -1 0 4 8 1 0 41 0 8
Eth7/12 1a301600 26 1 0 255 44 -1 0 0 0 0 0 45 0 0
Eth7/13 1a301800 26 1 60 255 48 -1 1 20 40 14 0 49 0 40
Eth7/14 1a301a00 26 1 56 255 52 -1 1 16 32 13 0 53 0 32
Eth7/15 1a301c00 26 1 52 255 56 -1 1 12 24 12 0 57 0 24
Eth7/16 1a301e00 26 1 48 255 60 -1 1 8 16 11 0 61 0 16
Eth7/17 1a302000 27 2 16 255 64 -1 0 16 32 4 0 65 0 32
Eth7/18 1a302200 27 2 12 255 68 -1 0 12 24 3 0 69 0 24
Eth7/19 1a302400 27 2 8 255 72 -1 0 8 16 2 0 73 0 16
Eth7/20 1a302600 27 2 4 255 76 -1 0 4 8 1 0 77 0 8
Eth7/21 1a302800 27 2 60 255 80 -1 1 20 40 14 0 81 0 40
Eth7/22 1a302a00 27 2 56 255 84 -1 1 16 32 13 0 85 0 32
Eth7/23 1a302c00 27 2 52 255 88 -1 1 12 24 12 0 89 0 24
Eth7/24 1a302e00 27 2 48 255 92 -1 1 8 16 11 0 93 0 16
Eth7/25 1a303000 28 3 12 255 96 -1 0 12 24 3 0 97 0 24
Eth7/26 1a303200 28 3 8 255 100 -1 0 8 16 2 0 101 0 16
Eth7/27 1a303400 28 3 4 255 104 -1 0 4 8 1 0 105 0 8
Eth7/28 1a303600 28 3 0 255 108 -1 0 0 0 0 0 109 0 0
Eth7/29 1a303800 28 3 60 255 112 -1 1 20 40 14 0 113 0 40
Eth7/30 1a303a00 28 3 56 255 116 -1 1 16 32 13 0 117 0 32
Eth7/31 1a303c00 28 3 52 255 120 -1 1 12 24 12 0 121 0 24
Eth7/32 1a303e00 28 3 48 255 124 -1 1 8 16 11 0 125 0 16
Conclusion
Vous avez confirmé que le Nexus 9500 reçoit des trames avec un CRC abrégé sur l'interface physique Ethernet7/32. Cela signifie que le périphérique du côté distant de la liaison Ethernet7/32 écrase le CRC de ces trames ; la cause première des trames mal formées n’est pas la liaison directement connectée à Ethernet7/32, mais est plus en aval. Un dépannage supplémentaire peut être effectué sur le périphérique réseau en aval pour déterminer la source de ces trames mal formées.
Scénario 4 . Source de suivi des trames CRC non valides avec interface de sortie
Cet exemple montre comment suivre la source des trames avec des CRC non valides sur un commutateur Nexus 9500 lorsqu'un commutateur en amont signale que le Nexus 9500 génère des trames avec des CRC aboutés. Dans ce scénario, le commutateur en amont est connecté via le port de façade Ethernet8/9.
Étape 1. Identifier le module de fabric envoyant des trames CRC non valides à la carte de ligne de sortie
Vous savez que l’interface de sortie qui envoie des trames avec des CRC piétinés vers le commutateur en amont est Ethernet8/9. Tout d'abord, vous devez déterminer le module de fabric qui envoie les trames avec des CRC abrupts à la carte de ligne insérée dans le logement 8 du châssis. Vous démarrez ce processus avec la commande show hardware internal errors module {x}. Un exemple de ce processus est montré ici .
Nexus9500# show hardware internal errors module 8 | i CRC|Inst
<snip>
Instance:1
196617 Interface Inbound Errors (CRC,len,Algn Err) 0000091499464650 9:0
1048585 Interface Inbound CRC Error Stomped 0000091499464651 9:0
MacID : MacSP 9:0 dans la sortie précédente peut être mappé au module de fabric source avec la commande show system internal fabric link-state module 8. Un exemple de ce processus est montré ici .
Nexus9500# show system internal fabric link-state module 8
cli : mod = 8
module number = 8
========================================================================================================================
Module number = 8
========================================================================================================================
[LC] [ INST:SLI:MAC:GLSRC] [IETH] [ST] <========> [FM] [ INST:SLI:MAC:GLSRC] [IETH] [ST]
========================================================================================================================
...
[ 8] [ 1 : 1 : 9 : 0x0] [iEth10] [UP] <========> [22] [ 1 : 0 : 4 : 0x20] [iEth35] [UP]
Vous voyez que l'identificateur MAC 9 de la carte de ligne insérée dans le logement 8 est mappé au module de structure inséré dans le logement 22 du châssis. Vous vous attendez à voir des erreurs CRC sur la liaison interne Eth10. Vous pouvez valider ceci avec la commande show system internal fabric connectivity stats module 8. Un exemple de ce processus est montré ici .
Nexus9500# show system internal fabric connectivity stats module 8
Internal Link-info Stats Linecard slot:8
-------------------------------------------------------------------------------------
LC-Slot LC-Unit LC-iEthLink MUX FM-Slot FM-Unit FM-iEthLink CRC
-------------------------------------------------------------------------------------
8 0 iEth01 - 22 0 iEth18 0
8 0 iEth02 - 22 1 iEth50 0
8 0 iEth03 - 23 0 iEth18 0
8 0 iEth04 - 23 1 iEth50 0
8 0 iEth05 - 24 0 iEth18 0
8 0 iEth06 - 24 1 iEth50 0
8 0 iEth07 - 26 0 iEth18 0
8 0 iEth08 - 26 1 iEth50 0
8 1 iEth09 - 22 0 iEth03 0
8 1 iEth10 - 22 1 iEth35 1784603561
Étape 2. Associez la liaison Ethernet du module de fabric à la carte de ligne connectée et recherchez les CRC bloqués
Ensuite, vous utilisez le même processus que dans le scénario 3 en vérifiant les liaisons internes Eth qui reçoivent des CRC, si ces CRC sont estampés ou non selon l'ASIC du module de fabric, et quelle carte de ligne est connectée à la liaison interne Eth du module de fabric. Un exemple de ceci est montré ici en utilisant la commande show system internal fabric connectivity stats module {x}, la commande show hardware internal errors module {x} et la commande show system internal fabric link-state module {x}, respectivement.
Nexus9500# show system internal fabric connectivity stats module 22
Internal Link-info Stats Fabriccard slot:22
-------------------------------------------------------------------------------------
FM-Slot FM-Unit FM-iEthLink LC-Slot LC-Unit LC-EthLink MUX CRC
22 1 iEth56 7 3 iEth26 - 1171851894
Nexus9500# show hardware internal errors module 22 | i CRC|Stomp|Inst
Instance:1
196635 Interface Inbound Errors (CRC,len,Algn Err) 0000054593935847 27:0
1048603 Interface Inbound CRC Error Stomped 0000054593935846 27:0
Nexus9500# show system internal fabric link-state module 22 | i MAC|iEth56
[FM] [ INST:SLI:MAC:GLSRC] [IETH] [ST] <========> [LC] [ INST:SLI:MAC:GLSRC] [IETH] [ST]
[22] [ 1 : 4 : 27 : 0x18] [iEth56] [UP] <========> [ 7] [ 3 : 1 : 9 : 0x0] [iEth26] [UP]
Étape 3. Suivre la source des trames avec des CRC non valides sur le module d'entrée
Après avoir déterminé la carte de ligne d'entrée (dans ce scénario, la carte de ligne insérée dans le logement 7 connecté par Eth26 à Eth56 du module de fabric inséré dans le logement 22), vous identifiez le port d'entrée où les trames endommagées entrent dans le commutateur. Ceci est fait avec la commande show interface counters errors module {x} non-zero. Le résultat des commandes show hardware internal errors module {x} et show interface hardware-mappings peut confirmer si les trames reçues sont des CRC non valides ou abrégés.
Un exemple de ceci est montré ici, où des trames corrompues entrent dans le commutateur par l'interface de panneau avant Ethernet7/32.
Nexus9500# show interface counters errors module 7 non-zero
<snip>
--------------------------------------------------------------------------------
Port Align-Err FCS-Err Xmit-Err Rcv-Err UnderSize OutDiscards
--------------------------------------------------------------------------------
Eth7/32 0 0 0 4128770335 0 0
--------------------------------------------------------------------------------
Port Stomped-CRC
--------------------------------------------------------------------------------
Eth7/32 4129998971
Nexus9500# show hardware internal errors module 7 | i i CRC|Stomp|Inst
<snip>
Instance:3
196619 Interface Inbound Errors (CRC,len,Algn Err) 0000054901402307 11:0
1048587 Interface Inbound CRC Error Stomped 0000054901402308 11:0
Nexus9500# show interface hardware-mappings | i Name|Eth7
<snip>
Name Ifindex Smod Unit HPort FPort NPort VPort Slice SPort SrcId MacId MacSP VIF Block BlkSrcID
...
Eth7/32 1a303e00 28 3 48 255 124 -1 1 8 16 11 0 125 0 16
Conclusion
Vous avez confirmé que le Nexus 9500 reçoit des trames avec un CRC abrégé sur l'interface physique Ethernet7/32. Cela signifie que le périphérique du côté distant de la liaison Ethernet7/32 écrase le CRC de ces trames ; la cause première des trames mal formées n’est pas la liaison directement connectée à Ethernet7/32, mais est plus en aval.
Un dépannage supplémentaire peut être effectué sur le périphérique réseau en aval pour déterminer la source de ces trames mal formées.
Informations connexes
Historique de révision
| Révision | Date de publication | Commentaires |
|---|---|---|
3.0 |
08-Nov-2023 |
Titre mis à jour, Introduction, Tech Content Terminology, SEO, Style Requirements, Machine Translation and Formatting. |
2.0 |
03-Oct-2021 |
Mettre à jour la section Matériel applicable pour inclure le nouveau matériel. |
1.0 |
13-Nov-2020 |
Première publication |
CommentairesContacter Cisco
- Ouvrir un dossier d’assistance
- (Un contrat de service de Cisco est requis)