Identificación y mitigación de defectos relacionados con errores CRC en UCS

Introducción

Este documento describe defectos de software clave que pueden provocar que las tramas de datos dañadas se inserten en un Unified Computing System (UCS) Fabric identificado por los contadores de errores de verificación de redundancia cíclica (CRC) o secuencia de verificación de tramas (FCS) de la interfaz.

Nota: Este documento no describe cómo aislar el punto de inyección de CRC.

Antecedentes

En un entorno UCS, los errores CRC pueden tener un gran impacto. El aislamiento y la mitigación de la causa de esos errores deben tratarse con gran prioridad.

El impacto depende del punto en el que se produce el problema, que puede extenderse a varios chasis y afectar tanto a la conectividad Ethernet como al de almacenamiento.

Si bien la causa más frecuente es la falla del componente físico (especialmente el cable y el Small Form-Factor Pluggable (SFP)), existen defectos conocidos del software que también pueden causar errores CRC.

Estos defectos causan una baja potencia de la señal entre varios componentes, lo que provoca tramas dañadas.

Un concepto clave al que se puede hacer referencia es la Altura ocular, que es una medida de la integridad de la señal entre los componentes de la capa física. Si el nivel de señal cae por debajo de un nivel determinado (diferencia entre componentes), las tramas enviadas o recibidas pueden dañarse.

Cisco recomienda que haya revisado los Problemas Comunes de Rendimiento de FlexPod, especialmente laPérdida de Tramas y Paquetes para identificar el origen de los errores CRC no estomatizados dentro de los switches UCS Fabric y/o ascendentes.

Aunque el documento está destinado a implementaciones de FlexPod, la sección mencionada se aplica a entornos que no son de FlexPod UCS.

Indicaciones del defecto relacionado con CRC

Si tiene cableado twinaxial en su entorno UCS, es más probable que se vea afectado por uno o más de estos defectos, ya que la mayoría de los defectos son para el cableado basado en Twinax.

Los entornos que sólo tienen cableado óptico todavía pueden experimentar problemas, ya que se pueden inyectar errores CRC entre el adaptador y el módulo de E/S (IOM) UCS. Sin embargo, esto se limita a servidores específicos y no afecta a varios servidores o chasis en el caso de un problema de puerto de uplink o de servidor.

Si inhabilitar/habilitar un puerto en UCS Manager parece detener los errores de la interfaz sin ninguna otra acción, como el intercambio o el restablecimiento de cables, se deben realizar más comprobaciones para verificar si un defecto de software es la causa raíz del problema.

Si se han observado errores CRC después de que el puerto se inestabiliza o se reinicia repentinamente, estos defectos pueden ser una causa posible.

  

Comandos Para Verificar La Altura Ocular

Una indicación clave de los defectos de software relacionados con CRC es un valor de altura visual bajo para uno o más puertos.

Los comandos comunes utilizados para verificar esto son:

Switches basados en Nexus 5500:

show hardware internal carmel eye

Fabric Interconnects UCS 6200:

connect nxos a

show hardware internal carmel eye

exit

connect nxos b

show hardware internal carmel eye

exit

Ejemplo de salida que muestra una altura visual buena (200 mv):

UCSB-5-A(nxos)# show hardware internal carmel eye
+-------+------------+-------------+------------+----------------------------+--+--+--+--+--+--+--+--+--+--+
| Port  | Eye Height | Eye Width   | Raw values | Time measured              |St|20|21|22|23|24|25|26|2E|2F|
+-------+------------+-------------+------------+----------------------------+--+--+--+--+--+--+--+--+--+--+
Eth 1/1 | 200 mv     | 796 mUI     | 40/ 33     | 08/31/2016 16:48:52.345248 |a9|ee|82|00|00|6e|82|00|88|00|
    fi0 | 200 mv     | 843 mUI     | 40/ 36     | 08/31/2016 16:48:52.350360 |00|00|00|00|00|00|00|00|00|00|
    fi1 | 200 mv     | 859 mUI     | 40/ 37     | 08/31/2016 16:48:52.355470 |00|00|00|00|00|00|00|00|00|00|

En estas plataformas, si el valor es:

• Por debajo de 50 mV, se ha encontrado que activa errores CRC
• 50 - 100 mV, puede causar errores CRC y se aconseja la mitigación
• > 100 mV, no debe causar errores CRC

Los comandos anteriores no son aplicables a las Fabric Interconnects 6332, 6454 o 6324

Módulos IOM UCS 2200:

connect local-mgmt a or connect local-mgmt b

connect iom x

show platform software woodside sts (Note: The HI number/s for the servers that you need to check)

dbgexec woo
kr_geteye HIxx

Ctrl-C to exit dbgexec mode

Ejemplo de salida que muestra una altura visual buena (125 mV):

woo> kr_geteye HI31
[serdes] reg: 64/40h = 42ch
check_kr_status: HI31: up (kr_retries=0)
sent SPICO interrupt(20, 0, 49)
Vertical eye result 0x14
sent SPICO interrupt(20, 0, 49)
Horizontal eye result 0x28
HI31: 125.0 mV, 0.6250 UI (NORM)

Módulos IOM UCS 2300:

connect local-mgmt a or connect local-mgmt b

connect iom x

show platform software tiburon sts (Note the HI number/s for the servers you need to check)

dbgexec tib
kr_geteye 0 HIxx

Ctrl-C to exit dbgexec mode

Ejemplo de salida que muestra una altura visual buena (156 mv):

tib> kr_geteye 0 HI31
Start eye measurement HI31...
bottom: -73.5 (mV), top: 82.7 (mV), height: 156.2 (mV)
left: -0.34 (UI), right: 0.33 (UI), width: 0.69 (UI)
total time = 0.119456 sec

En estas plataformas, si el valor de altura es:

• Por debajo de 90 mV, se ha encontrado que activa errores CRC
• > 90 mV, no debe activar errores CRC

Defectos

Fabric Interconnect

• CSCuo76425 Error de CRC de observación en cable de cobre

Este defecto se observa en los puertos Fabric Interconnect, como los puertos Uplink y Server.

Se ha corregido en UCS Infrastructure 2.2(3a), consulte Bug Search Tool para otras versiones fijas.

• bug casi idéntico que afecta posteriormente al firmware de UCS:

CSCuw36398 Observación de errores CRC en cable de cobre

Este defecto se observa en los puertos Fabric Interconnect, como los puertos Uplink y Server

Se fija en UCS Infrastructure 2.2(7b). Consulte Herramienta de búsqueda de errores para ver otras versiones fijas.

IOM Y Adaptador

• CSCuz78417 Presenta altura de ojo entre IOM y VIC inferior a 90 mV
  

Este defecto se observa entre las interfaces de placa base IOM Host Interfaces (HIF) y los adaptadores.

Desde entonces, se ha observado que esto puede deberse a problemas de placa de interconexiones del chasis. Si observa este problema, abra una solicitud de servicio con el TAC de Cisco.

• CSCva47085 VIC1340+2304 IOM nativo de formación de enlaces de 40 g causa pérdida de conectividad

Este defecto se observa entre IOM HIF y los adaptadores, lo que afecta a los servidores individuales.

Actualmente en investigación.

Serie C

• CSCux31002 VIC 1227 muestra los CRC cuando utiliza un cable twinaxial activo.

Fijado en el firmware 2.0 (9c) de la serie C independiente. Consulte Herramienta de búsqueda de errores para ver otras versiones fijas.

La condición del disparador de este bug es el contrario de la sabiduría común de que Twinax activo es menos probable que cause problemas CRC debido a su transmisión de energía activa.

Nexus 5500

• CSCuj86736 Necesita optimizar el ajuste de DFE en los switches de la serie 55xxUP - Errores CRC RX

Aunque no se trata estrictamente de un error de UCS, todavía se suele ver en las configuraciones de UCS debido a la prevalencia de Nexus 55xx ascendente. Consulte Herramienta de búsqueda de errores para obtener más información sobre las versiones fijas.

Soluciones temporales/mitigación

Refiérase a la nota de lanzamiento para cada bug para obtener detalles específicos, pero si ha encontrado evidencia de altura de ojo baja, el cierre/no cierre del puerto es razonable.

En el caso de un defecto de altura visual IOM/adaptador, se puede restablecer el DCE en la interfaz. Vaya a Server > Adapter > DCE Interface > Reset Connectivittal y como corresponda.

A continuación, se deben comprobar los resultados para ver si la altura de ojo ha aumentado a valores correctos y si los contadores CRC ya no han aumentado.

Se pueden necesitar varias solapas (normalmente hasta 5) para aumentar la altura de los ojos lo suficiente.

Si la altura visual no se recupera después de varias inestabilidades de link, podría haber una falla de hardware del componente.

Cuando inestabiliza los puertos, tenga en cuenta que UCS Manager puede activar una detección superficial.

Una detección superficial en circunstancias normales no es un plano de datos que impacta, sin embargo, se conocen defectos que afectan a los blades B200-M4 (consulte CSCut61527 para ver el defecto más común). Una detección superficial puede convertirse en una detección profunda, que puede activar el reinicio del SO host.

Cisco recomienda que revise las notas de la versión de su versión de UCS Manager para ver otros defectos aplicables.

Además de la inestabilidad manual del puerto como paso de recuperación reactiva, UCS Policy-Based Port Error Handling en UCS Manager 2.2(4) y posteriores se puede utilizar para inhabilitar los puertos NIF cuando se observan errores CRC. Aunque esta acción puede limitar rápidamente el impacto de los errores CRC, puede tener el potencial de interrupción del flujo de tráfico, por lo tanto no está habilitada de forma predeterminada y se debe tener cuidado si lo habilita.

UCS Manager genera fallos para los errores CRC y estos errores se pueden supervisar mediante API XML o protocolo simple de administración de red (SNMP).