Informar problemas con CPU/QFP alta en routers al TAC
Contenido
Introducción
Este documento describe la solución general de problemas para informar adecuadamente sobre problemas altos de CPU/QFP al TAC para una resolución de casos más rápida.
Prerequisites
Requirements
Cisco recomienda tener conocimientos básicos sobre estos temas:
- Conocimientos básicos de la arquitectura de reenvío de paquetes Cisco IOS®-XE.
- Experiencia básica con la función de seguimiento de paquetes.
Componentes Utilizados
Este documento no tiene restricciones específicas en cuanto a versiones de software y de hardware. Se aplica a cualquier plataforma de routing Cisco IOS-XE® con QFP físico/virtualizado como ASR1000, ISR4000, ISR1000, Cat8000 o Cat8000v.
La información que contiene este documento se creó a partir de los dispositivos en un ambiente de laboratorio específico. Todos los dispositivos que se utilizan en este documento se pusieron en funcionamiento con una configuración verificada (predeterminada). Si tiene una red en vivo, asegúrese de entender el posible impacto de cualquier comando.
Antecedentes
Este documento describe los comandos que el TAC necesita para el triaje inicial de un problema de CPU/QFP elevado para una gran experiencia del TAC desde el primer contacto.
Además, este documento contiene consejos para la resolución de problemas con el fin de identificar un problema de utilización de la Unidad de procesamiento central (CPU) o un procesador de flujo cuántico (QFP) elevado para que pueda encontrar una solución antes de abrir un caso TAC.
El objetivo de este documento no es explicar exhaustivamente los procedimientos de resolución de problemas. Si está disponible, se proporcionan referencias a más en las guías de resolución de problemas en profundidad.
Al final de este documento, hay diagramas de bloques que sirven para propósitos educativos como una representación visual de los componentes.
La utilización de componentes altos (memoria, TCAM, CPU y QFP) suele ser un indicador de:
- Hay algún problema en el dispositivo (es decir, el proceso no funciona como se esperaba, un posible problema de SW) o en el entorno de red (es decir, tráfico de punt, bucles)
- Alcanzar la limitación de hardware del dispositivo (es decir, que haya demasiado tráfico o funciones ejecutándose en el dispositivo)
Identificar la causa subyacente de la alta utilización de componentes es vital para determinar el curso de acción adecuado para resolver el problema.
Síntomas de un uso elevado de QFP/CPU
Puede validar si hay una condición de CPU o QFP alta a través de las herramientas de monitoreo, o a través de estos comandos:
Plano de control (CPU): IOSd
show process cpu sorted
iosxe_router#show process cpu sorted
CPU utilization for five seconds: 90%/0%; one minute: 0%; five minutes: 0%
PID Runtime(ms) Invoked uSecs 5Sec 1Min 5Min TTY Process
395 78769 1242162 63 89.07% 88.04% 89.02% 0 CDP Protocol
1 8 88 90 0.00% 0.00% 0.00% 0 Chunk Manager
--- snip ---
En la línea "Uso de la CPU durante cinco segundos: 90%/0%; un minuto: 0%; cinco minutos: 0%", debe centrarse en el primer valor después de la cadena de "cinco segundos". En este caso, el 90% indica el uso general de la CPU, mientras que el número a la derecha de la barra-0 en este caso-representa el uso de la CPU debido a interrupciones. La diferencia entre estos dos números representa el uso total de la CPU debido a los procesos. En esta situación, el protocolo CDP consume la mayoría de los recursos de CPU (plano de control).
Plano de control - Núcleo (CPU)
Dado que Cisco IOS-XE tiene un kernel basado en Linux, a veces se encuentran problemas a lo largo de cualquiera de los procesos que se ejecutan en él, puede utilizar la plataforma show processes CPU clasificada para validar si algún proceso está causando problemas (enfoque en la columna 5sec) para mostrar los procesos del sistema operativo subyacente.
iosxe_router#show process cpu platform sorted
-- depending on the architecture, there can be multiple cores, deleting for brevity --
Pid PPid 5Sec 1Min 5Min Status Size Name
--------------------------------------------------------------------------------
18009 18001 323% 325% 328% R 266740 ucode_pkt_PPE0
11168 11160 1% 1% 1% S 914556 linux_iosd-imag
96 2 1% 0% 0% S 0 ksmd
--- snip ---
Nota: Los routers con QFP virtual tienen el proceso ucode_pkt_PPE0, que es el proceso de software que emula el plano de datos. Por lo tanto, ese proceso se puede ignorar de la lista de procesos que contribuyen al uso de la CPU.
Plano de datos (QFP)
QFP es el sistema en un chip responsable de todo el reenvío de paquetes. Puede encontrar información adicional en la sección: Comprensión de High QFP en routers IOS-XE.
iosxe_router #show platform hardware qfp active datapath utilization
CPP 0: Subdev 0 5 secs 1 min 5 min 60 min
--- snip ---
(bps) 21992 13648 13736 13720
Processing: Load (pct) 0 0 0 0
Crypto/IO
RX: Load (pct) 0 0 0 0
TX: Load (pct) 1 1 1 0
Idle (pct) 99 99 99 99
Desde el comando show platform hardware qfp active data path utilization, céntrese en el procesamiento: Load for the 5 seconds column, ya que proporciona el uso general más reciente de QFP. Algunos dispositivos también muestran el uso del módulo Crypto/IO, se centran en Idle, cuanto más cerca esté del 100%, mejor.
Registros potenciales detectados
De forma predeterminada, no hay registros generados por el sistema que muestren una alta utilización de la CPU en IOSd que utilice el número de CPU 0, la primera CPU en los sistemas Cisco IOS-XE.
Este comando se debe configurar primero para que syslog se genere en el primer núcleo.
Este comando debe escribirse según el formato descrito en CPU Thresholding Notification: process cpu threshold type {total | proceso | interrupt} rising percentage interval seconds [caída del intervalo porcentual en segundos]
De este modo, podríamos ver este tipo de notificación:
%SYS-1-CPURISINGTHRESHOLD: Threshold: Total CPU Utilization(Total/Intr): 91%/2%, Top 3 processes(Pid/Util):Otra forma de detectar un uso elevado de la misma es a través de SNMP o mediciones de telemetría.
En algunos casos, verá una alerta de LÍMITE de recursos como esta cuando otros núcleos tienen un impacto de uso alto:
PLATFORM_INFRA-5-IOS_INTR_OVER_LIMIT:Para el plano de datos , veríamos este tipo de alerta QFP en el registro que generalmente indica que se excedió la carga del umbral:
MCPRP-QFP-ALERT: Slot: 0, QFP:0, Load 93% exceeds the setting threshold(80%).Información sobre las necesidades del TAC para el diagnóstico inicial
- Salida de estos comandos cuando se observa el comportamiento elevado de la CPU:
- show clock
- show version
- show running
- show process cpu sorted
- show process cpu history
- show platform resources
- show platform hardware qfp active datapath utilization summary
- show logging
- Topología de red.
- Gráficos del historial de uso de CPU/QFP.
- Proporcione información adicional en detalle, como los cambios recientes en la red o la configuración, la velocidad y el flujo de tráfico esperados.
Si la CPU no está atascada a una constante del 100%, incluya un resultado de show tech. Esto es de gran ayuda para el TAC, y usted puede beneficiarse de las automatizaciones que el TAC ha desarrollado para ayudarle a encontrar problemas más rápidamente.
Nota: La condición de uso elevado de la CPU debe solucionarse mientras el problema está presente, ya que el dispositivo no almacena ningún dato histórico sobre los procesos en tiempo de ejecución.
Nota: Asegúrese de que está ejecutando una versión compatible. Busque el documento de fin de venta y fin del ciclo de vida de la versión. Si es necesario, cambie a una versión que se encuentre actualmente en las versiones de mantenimiento de software. De lo contrario, el TAC está limitado en cuanto a las opciones de resolución y resolución de problemas.
Uso elevado de CPU/QFP
Como regla general, se considera que una CPU/QFP se está ejecutando con un rendimiento alto si está por encima del 80%.
Los routers Cisco IOS-XE se pueden asociar con una alta utilización en el plano de control (CPU) o en el plano de datos (QFP).
Nota: lo ideal sería evaluar un uso elevado de la CPU/QFP en relación con los patrones de uso habituales del dispositivo a lo largo del tiempo. Por ejemplo, si un dispositivo normalmente funciona con un uso de CPU del 10% pero de repente salta al 40%, esto podría indicar un uso de CPU elevado para ese dispositivo. Por otro lado, un dispositivo que se ejecuta de forma coherente al 80% del uso de la CPU no es necesariamente un problema si ese es su nivel de funcionamiento habitual. Los sistemas de supervisión con gráficos de CPU pueden ayudar a recopilar y analizar estos datos para establecer una línea de base para cada dispositivo.
Pasos generales de resolución de problemas
- Identifique si el problema es el plano de control (CPU) o el plano de datos (QFP).
- Identifique el proceso ofendido a través de comandos específicos.
- En función del nombre del proceso, realice una búsqueda web de ese proceso:
- Céntrese en hacer coincidir ese proceso con una función o configuración conocida.
- Compruebe si hay algún defecto de software que coincida con el nombre y el comportamiento del proceso. Si existe, implemente una solución alternativa o actualización de software a una versión fija.
- Con la ayuda de los gráficos CPU/QFP, identifique el momento exacto en que la CPU/QFP comienza a aumentar su uso. Si coincide con un cambio reciente, vuelva a la versión de configuración/software inicial y compruebe los resultados.
- Si la búsqueda en la Web no proporciona resultados útiles o cree que una función está actuando de forma incorrecta, abra un caso TAC con esta información:
- show tech
- Comandos recopilados (consulte la sección Información sobre necesidades del TAC para el triaje inicial).
- Intente hacer coincidir el momento en que el problema comenzó con un cambio de configuración específico e incluya esta información al abrir el caso TAC.
- Si el plano de datos se identifica como el problema: proporcione la topología de red, el número esperado de usuarios y la velocidad de tráfico típica que fluye a través del dispositivo.
- Si está disponible, proporcione el gráfico del historial de uso de CPU/QFP.
Uso elevado de la CPU en routers Cisco IOS-XE
La referencia a CPU en un router Cisco IOS-XE se refiere a la CPU responsable de las operaciones del plano de administración/control del dispositivo. Hay muchos procesos en ejecución en el dispositivo, todos ellos ejecutándose sobre un núcleo basado en Linux. Cada uno de estos procesos se ejecuta en una CPU de uso general.
Cuando existe una condición de CPU alta, normalmente es un indicador de:
- Uno o más procesos que deben completar una tarea de alta intensidad.
- Uno o más procesos no funcionan como se esperaba.
- Plano de control que recibe y procesa los paquetes enviados por el plano de datos.
Algunas plataformas tienen varias CPU de uso general, que cumplen estas reglas:
- Si el router Cisco IOS-XE es modular (es decir, admite varias tarjetas, como el procesador de routing, el procesador de servicios integrados o el procesador de interfaz SPA), hay varias CPU disponibles para las operaciones del plano de control y una CPU de uso general para cada una de las tarjetas.
- Si el router Cisco IOS-XE es uno integrado y sólo acepta módulos de servicio o tarjetas de interfaz, el router tiene una CPU de uso general única (virtual o física) que se considera que está en el procesador de ruta (como se ve en el resultado de show platform resources).
En los dispositivos Cisco IOSXE, por lo general tenemos núcleos dedicados a la CPU para el plano de datos y el plano de control.
Generalmente, si la CPU 0 (la primera CPU) está ligada a IOSd (daemon de IOS) , el núcleo dedicado a la CPU está relacionado con el plano de control. Otras CPU pueden ser una mezcla de CPU de plano de control y de plano de datos.
En el caso de ASR 1000, que es generalmente modular, las salidas de comandos como show platform resources y show platform software status control-processor brief muestran el uso de CPU de plano de control (RP) y plano de datos (ESP).
- En el caso de la serie ISR4000, consulte Implementación de licencia de rendimiento para el router de servicio integrado 4000, que representa los diagramas de las diferentes distribuciones de CPU entre los modelos existentes.
- En el caso de las plataformas virtuales como Cisco CSR1000v y Cisco CSR8000v, se basan en plantillas en las que, de forma predeterminada, la mayoría de las vCPU están dedicadas al plano de datos. Consulte Configuración de la Distribución de vCPU en los Planos de Datos, Control y Servicio y la Guía de Instalación y Configuración del Software de Borde Cisco Catalyst 8000V.
Las CPU del plano de control se dedican a controlar el procesamiento del protocolo, como el procesamiento del protocolo BGP, el protocolo STP, CDP, SSH, etc. Las CPU del plano de control procesan los paquetes destinados al propio router para su procesamiento.
El plano de datos generalmente se refiere a paquetes de tránsito que el router no se consume a sí mismo en el procesador de ruteo (RP), en cambio, el plano de datos procesa paquetes que se procesan solamente en el componente del procesador de flujo cuántico (QFP) que es el procesador de paquetes. Estos paquetes tienen su procesamiento en QFP, donde las búsquedas envían el paquete de tránsito a su destino previsto.
Introducción a High QFP en routers Cisco IOS-XE
El procesador de flujo cuántico (QFP) es el sistema en un chip (SoC) que se encarga de todas las operaciones de reenvío de paquetes del dispositivo.
El QFP ejecuta una pieza especializada de software llamada microcode. Este microcódigo es responsable de ejecutar y aplicar funciones a todos los paquetes que pasan a través del dispositivo en función de la configuración de la interfaz de entrada/salida. También interactúa con el resto del sistema a través de los diferentes procesos.
Cuando una condición QFP alta está presente, es típicamente un indicador de:
- QFP procesa demasiado tráfico de red (paquetes por segundo).
- QFP que tiene que procesar características de alta intensidad.
- La combinación de paquetes por segundo y las funciones de gran intensidad tienen un mayor impacto en la utilización de QFP.
- Microcódigo procesando algo de manera incorrecta.
Para comprender mejor la situación, el TAC debe recopilar el seguimiento de la matriz de invocación de funciones (FIA) para realizar análisis adicionales. Esto se documenta en Troubleshooting con la Función de Seguimiento de Paquetes de Trayectoria de Datos IOS-XE
Uso elevado de CPU/QFP en routers Cisco IOS-XE (ISR4300/4200/4400/4600 Series, Cat8200/8300/8500, CSR1000v, CAT8000v)
Estos son comandos básicos de inicio que deben recopilarse en el momento del problema (la lógica EEM se puede implementar para hacer coincidir la notificación del registro y obtener el resultado):
router_non_modular#show platform resources
**State Acronym: H - Healthy, W - Warning, C - Critical
Resource Usage Max Warning Critical State
----------------------------------------------------------------------------------------------------
RP0 (ok, active) H
Control Processor 10.64% 100% 80% 90% H
DRAM 2143MB(54%) 3913MB 88% 93% H
bootflash 2993MB(97%) 3099MB 70% 90% C
ESP0(ok, active) H
QFP H
DRAM 52844KB(20%) 262144KB 85% 95% H
IRAM 207KB(10%) 2048KB 85% 95% H
CPU Utilization 0.00% 100% 90% 95% H
Router#show platform software status control-processor brief
Load Average
Slot Status 1-Min 5-Min 15-Min
RP0 Healthy 1.75 1.25 1.14
Memory (kB)
Slot Status Total Used (Pct) Free (Pct) Committed (Pct)
RP0 Healthy 4003008 2302524 (58%) 1700484 (42%) 3043872 (76%)
CPU Utilization
Slot CPU User System Nice Idle IRQ SIRQ IOwait
RP0 0 5.60 10.80 0.00 75.00 0.00 0.10 8.50
1 8.10 11.81 0.00 66.66 0.00 0.20 13.21
2 4.69 9.49 0.00 80.81 0.00 0.19 4.79
3 4.80 10.20 0.00 79.30 0.00 0.10 5.60
4 3.70 3.20 0.00 92.90 0.00 0.00 0.20
5 1.09 2.99 0.00 95.00 0.00 0.09 0.79
6 20.00 33.10 0.00 46.90 0.00 0.00 0.00
7 0.00 0.00 0.00 100.00 0.00 0.00 0.00
Router#Uso elevado de la CPU en routers modulares Cisco IOS-XE (serie ASR1k)
Un uso elevado de la CPU en un router modular Cisco IOS-XE puede tener una condición de CPU elevada en la tarjeta del procesador de routing (RP), el procesador de servicios integrados (ESP) o la tarjeta del procesador de interfaz SPA (SIP). Estos comandos ayudan a comprender si la condición de CPU alta está relacionada con una tarjeta diferente dentro del dispositivo:
ios_xe_modular_router#show platform resources
**State Acronym: H - Healthy, W - Warning, C - Critical
Resource Usage Max Warning Critical State
----------------------------------------------------------------------------------------------------
RP0 (ok, active) H
Control Processor 11.62% 100% 90% 95% H
DRAM 1730MB(45%) 3783MB 90% 95% H
ESP0(ok, active) H
Control Processor 19.59% 100% 90% 95% H
DRAM 616MB(65%) 946MB 90% 95% H
QFP H
TCAM 8cells(0%) 65536cells 45% 55% H
DRAM 79212KB(30%) 262144KB 80% 90% H
IRAM 9329KB(7%) 131072KB 80% 90% H
SIP0 H
Control Processor 2.30% 100% 90% 95% H
DRAM 280MB(60%) 460MB 90% 95% H
* Dependiendo de la versión de Cisco IOS, QFP puede contener el uso del procesador; de lo contrario, deberá recopilar el comando show platform hardware qfp datapath utilization
Una buena guía de referencia para ASR1k se puede encontrar en Troubleshooting High CPU on ASR1000 Series Router
Nota: Los comandos varían a veces dependiendo de la plataforma y la versión. En algunos casos, busque la documentación específica de la plataforma.
Historial de revisiones
| Revisión | Fecha de publicación | Comentarios |
|---|---|---|
1.0 |
23-Oct-2024 |
Versión inicial |
ComentariosContacte a Cisco
- Abrir un caso de soporte
- (Requiere un Cisco Service Contract)