Tekortkomingen gerelateerd aan CRC-fouten op UCS identificeren en verminderen

Inleiding

In dit document worden belangrijke softwaretekortkomingen beschreven die kunnen zorgen dat corrupte gegevensframes worden geïnjecteerd in een UCS (Unified Computing System) Fabric zoals geïdentificeerd door de foutentellers van de Interface Cyclic Redundancy Check (CRC) of Frame Control Sequence (FCS).

Opmerking: In dit document wordt niet beschreven hoe het punt van de CRC-injectie moet worden geïsoleerd.

Achtergrondinformatie

In een UCS-omgeving kunnen CRC-fouten een grote impact hebben. Het isoleren en beperken van de oorzaak van dergelijke fouten moet met hoge prioriteit worden behandeld.

Het effect hangt af van het punt waar het probleem zich voordoet, dat zich tot meerdere chassis kan uitbreiden en zowel Ethernet als Storage connectiviteit kan beïnvloeden.

Hoewel fysieke onderdeeldefecten (met name kabel en Small Form-Factor Pluggable (SFP)) de meest voorkomende oorzaak zijn, zijn er bekende softwaredefecten die ook CRC-fouten kunnen veroorzaken.

Deze tekortkomingen veroorzaken een lage signaalsterkte tussen de verschillende onderdelen, wat leidt tot beschadigde frames.

Een belangrijk concept waarnaar u kunt verwijzen is Ooghoogte, wat een maat is voor de signaalintegriteit tussen fysieke laagcomponenten. Als het signaalniveau onder een bepaald niveau zakt (verschilt tussen onderdelen), kunnen verzonden of ontvangen frames gecorrumpeerd worden.

Cisco raadt u aan FlexPod-problemen met gemeenschappelijke prestaties te hebben beoordeeld, met name Frame Relay en Packet Loss om de bron van onstompte CRC-fouten in de UCS Fabric-switches en/of upstream-switches te identificeren.

Terwijl het document is bedoeld voor FlexPod-implementaties, is de sectie die hierboven wordt genoemd van toepassing op niet-FlexPod UCS-omgevingen.

Indicaties voor CRC-gerelateerde defecten

Als u Twinax-bekabeling in uw UCS-omgeving hebt, is het waarschijnlijker dat een of meer van deze defecten van invloed zijn, omdat de meeste defecten betrekking hebben op de bekabeling met Twinax.

Omgevingen die alleen over optische bekabeling beschikken, kunnen nog steeds problemen ondervinden, omdat CRC-fouten kunnen worden geïnjecteerd tussen adapter en UCS I/O-module (IOM). Dit is echter beperkt tot specifieke servers en heeft geen invloed op meerdere servers of chassis in het geval van een probleem met een uplink- of serverpoort.

Als uit- of uitschakelen van een poort in UCS Manager lijkt te leiden tot het stoppen van interfacefouten zonder verdere actie zoals kabelruilen of herhalen, moeten verdere controles worden uitgevoerd om te controleren of een softwaredefect de oorzaak van de kwestie is.

Als er CRC-fouten zijn waargenomen na plotselinge poortflaps/herstart-ups, kunnen deze defecten een mogelijke oorzaak zijn.

  

Opdrachten om ooghoogte te controleren

Een belangrijke indicatie van een met CRC verband houdende softwaredefect is een lage ooghoogte voor een of meer poorten.

De veelgebruikte opdrachten om dit te controleren zijn:

Nexus 5500 gebaseerde switches:

show hardware internal carmel eye

UCS 6200 fabric interconnects:

connect nxos a

show hardware internal carmel eye

exit

connect nxos b

show hardware internal carmel eye

exit

uitvoer van een monster met een goede ooghoogte (200 mv):

UCSB-5-A(nxos)# show hardware internal carmel eye
+-------+------------+-------------+------------+----------------------------+--+--+--+--+--+--+--+--+--+--+
| Port  | Eye Height | Eye Width   | Raw values | Time measured              |St|20|21|22|23|24|25|26|2E|2F|
+-------+------------+-------------+------------+----------------------------+--+--+--+--+--+--+--+--+--+--+
Eth 1/1 | 200 mv     | 796 mUI     | 40/ 33     | 08/31/2016 16:48:52.345248 |a9|ee|82|00|00|6e|82|00|88|00|
    fi0 | 200 mv     | 843 mUI     | 40/ 36     | 08/31/2016 16:48:52.350360 |00|00|00|00|00|00|00|00|00|00|
    fi1 | 200 mv     | 859 mUI     | 40/ 37     | 08/31/2016 16:48:52.355470 |00|00|00|00|00|00|00|00|00|00|

Op deze platforms, als de waarde is:

• Onder 50mV is vastgesteld dat het CRC-fouten veroorzaakt
• 50-100mV, kan CRC-fouten veroorzaken en voorzichtigheid is aangeraden
• > 100 mV, het mag geen CRC-fouten veroorzaken

De bovenstaande opdrachten zijn niet van toepassing op 6332, 6454 of 6324 fabric interconnects

UCS 2200 IOM-modules:

connect local-mgmt a or connect local-mgmt b

connect iom x

show platform software woodside sts (Note: The HI number/s for the servers that you need to check)

dbgexec woo
kr_geteye HIxx

Ctrl-C to exit dbgexec mode

uitvoer van een monster met een goede ooghoogte (125 mV):

woo> kr_geteye HI31
[serdes] reg: 64/40h = 42ch
check_kr_status: HI31: up (kr_retries=0)
sent SPICO interrupt(20, 0, 49)
Vertical eye result 0x14
sent SPICO interrupt(20, 0, 49)
Horizontal eye result 0x28
HI31: 125.0 mV, 0.6250 UI (NORM)

UCS 2300 IOM-modules:

connect local-mgmt a or connect local-mgmt b

connect iom x

show platform software tiburon sts (Note the HI number/s for the servers you need to check)

dbgexec tib
kr_geteye 0 HIxx

Ctrl-C to exit dbgexec mode

uitvoer van een monster met een goede ooghoogte (156 mv):

tib> kr_geteye 0 HI31
Start eye measurement HI31...
bottom: -73.5 (mV), top: 82.7 (mV), height: 156.2 (mV)
left: -0.34 (UI), right: 0.33 (UI), width: 0.69 (UI)
total time = 0.119456 sec

Op deze platforms, als de hoogtewaarde is:

• Onder 90 mV is vastgesteld dat het CRC-fouten veroorzaakt
• > 90 mV, mag geen CRC-fouten veroorzaken

Defecten

Fabric Interconnect

• CSCuo76425 WAARNEMING CRC-fout bij koperkabel

Dit gebrek wordt gezien op Fabric Interconnect-poorten, zoals Uplink en Server-poorten.

Het is vastgelegd in UCS-infrastructuur 2.2(3a), raadpleeg de zoekfunctie voor bugs voor andere vaste releases.

• Dicht identieke bug die later de firmware van UCS beïnvloedt:

CSCuw36398 Houd CRC-fouten in acht op koperkabel

Dit gebrek wordt gezien op Fabric Interconnect-poorten, zoals Uplink- en serverpoorten

Het is vastgelegd in UCS-infrastructuur 2.2(7b). Raadpleeg het Zoekprogramma voor bugs voor andere vaste releases.

IOS-adapter

• CSCuz78417 Diaals ooghoogte tussen IOM en VIC lager dan 90 mV
  

Dit defect wordt waargenomen tussen IOM Host Interfaces (HIF) en Adapters backplane interfaces.

Sindsdien is vastgesteld dat dit kan worden veroorzaakt door problemen met de backplane van het chassis. Als u deze kwestie waarneemt, opent u een serviceaanvraag bij Cisco TAC.

• CSCva47085 VIC1340+2304 IOM-netwerkmodule met 40g training voor link veroorzaakt connectiviteitsverlies

Dit defect wordt gezien tussen IOM HIF en Adapters, wat de afzonderlijke servers beïnvloedt.

Momenteel onderzocht.

C-Series

• CSCux31002 VIC 1227 toont CRCs wanneer u een actieve twinax-kabel gebruikt.

Vast in standalone C Series firmware 2.0(9c) Raadpleeg het Zoekprogramma voor bugs voor andere vaste releases.

De trigger conditie van dit beestje is het omgekeerde van de algemeen gangbare wijsheid dat actieve Twinax door zijn actieve energieoverdracht minder waarschijnlijk CRC-problemen veroorzaakt.

Nexus 5500 switch

• CSCuj86736 moet de DFE-afstemming optimaliseren in 55xxUP-switches - RX CRC-fouten

Hoewel het niet uitsluitend om een UCS-bug gaat, komt het nog steeds vaak voor in UCS-instellingen door de prevalentie van Nexus 55xx in de upstream. Raadpleeg de Zoekfunctie voor bugs voor meer informatie over vaste versies.

Zorgwekkende maatregelen/beperking

Raadpleeg de releaseopmerking voor elk bug voor specifieke informatie, maar als u bewijs van lage ooghoogte hebt gevonden, is het redelijk om de poort niet te sluiten of af te sluiten.

Als de OCR-functie/Adapter is defect, kan de DCE in de interface worden hersteld. Navigeer naar server > adapter > DCE interface > Reset Connectiviteit wanneer deze juist is.

De uitgangen moeten vervolgens worden gecontroleerd om te zien of de ooghoogte is verhoogd tot goede waarden en of de CRC-tellers niet langer zijn verhoogd.

Er kunnen meerdere flaps (gewoonlijk tot 5) nodig zijn om de ooghoogte voldoende te verhogen.

Als de Ooghoogte niet na meerdere verbindingsflaps hersteld is, kan er een hardwarestoring van de component optreden.

Wanneer u havens opflakkert, let er dan op dat dit een oppervlakkige ontdekking door UCS Manager kan veroorzaken.

Een oppervlakkige ontdekking onder normale omstandigheden is geen datalevlak dat een invloed heeft op de ziekte, maar er zijn bekende defecten die B200-M4-blades aantasten (zie CSCut61527 voor het meest voorkomende defect). Een geringe ontdekking kan een diepe ontdekking worden, die de herstart van Host OS kan veroorzaken.

Cisco raadt u aan de release Notes voor uw UCS Manager-versie te bekijken voor andere toepasbare tekortkomingen.

Naast het handmatig opflakkeren van poorten als een reactieve herstelstap kan UCS Policy-Based Port Error Handling in UCS Manager 2.2(4) en later worden gebruikt om NIF-poorten uit te schakelen wanneer CRC-fouten worden gezien. Hoewel een dergelijke actie het effect van CRC-fouten snel kan beperken, kan deze de doorstroming verstoren. Daarom is deze actie standaard niet ingeschakeld en moet er voorzichtig mee worden omgegaan als u het doorvoert.

UCS Manager genereert fouten voor CRC-fouten en dergelijke fouten kunnen worden gemonitord via XML API of Simple Network Management Protocol (SNMP).