Segnalazione di problemi di CPU/QFP elevati sui router per il collegamento a TAC
Sommario
Introduzione
Questo documento descrive le procedure generali di risoluzione dei problemi per la corretta segnalazione di problemi elevati di CPU/QFP a TAC per una più rapida risoluzione dei problemi.
Prerequisiti
Requisiti
Cisco raccomanda la conoscenza di base dei seguenti argomenti:
- Conoscenze base dell'architettura di inoltro pacchetti Cisco IOS®-XE.
- Funzionalità di base di Packet Trace.
Componenti usati
Il documento può essere consultato per tutte le versioni software o hardware. Si applica a qualsiasi piattaforma di routing Cisco IOS-XE® con QFP fisico/virtualizzato come ASR1000, ISR4000, ISR1000, Cat8000 o Cat8000v.
Le informazioni discusse in questo documento fanno riferimento a dispositivi usati in uno specifico ambiente di emulazione. Su tutti i dispositivi menzionati nel documento la configurazione è stata ripristinata ai valori predefiniti. Se la rete è operativa, valutare attentamente eventuali conseguenze derivanti dall'uso dei comandi.
Premesse
Questo documento delinea i comandi che TAC richiede per la valutazione iniziale di un problema di CPU/QFP elevato per ottenere un'esperienza TAC ottimale fin dal primo contatto.
Inoltre, questo documento contiene suggerimenti per la risoluzione dei problemi per identificare una CPU (Central Processing Unit) alta o un problema di utilizzo di QFP (Quantum Flow Processor) alta, in modo da poter trovare una soluzione prima di aprire una richiesta TAC.
Lo scopo di questo documento non è quello di spiegare in modo esaustivo le procedure di risoluzione dei problemi. Se disponibili, sono disponibili riferimenti a ulteriori informazioni nelle guide dettagliate alla risoluzione dei problemi.
Alla fine di questo documento, sono disponibili diagrammi a blocchi che fungono da rappresentazione visiva dei componenti a scopo didattico.
L'utilizzo di componenti ad alto rendimento (memoria, TCAM, CPU, QFP) è in genere un indicatore di:
- Si è verificato un problema nel dispositivo (ovvero il processo non funziona come previsto, un potenziale problema software) o nell'ambiente di rete (ovvero traffico punt, loop)
- Raggiungimento del limite hardware del dispositivo (ovvero troppo traffico/funzionalità in esecuzione sul dispositivo)
Identificare la causa alla base dell'elevato utilizzo dei componenti è di vitale importanza per determinare le azioni da intraprendere per risolvere il problema.
Sintomi per un elevato utilizzo di QFP/CPU
È possibile verificare la presenza di un elevato numero di CPU o QFP tramite gli strumenti di monitoraggio o i seguenti comandi:
Control Plane (CPU) - IOSd
show process cpu sorted
iosxe_router#show process cpu sorted
CPU utilization for five seconds: 90%/0%; one minute: 0%; five minutes: 0%
PID Runtime(ms) Invoked uSecs 5Sec 1Min 5Min TTY Process
395 78769 1242162 63 89.07% 88.04% 89.02% 0 CDP Protocol
1 8 88 90 0.00% 0.00% 0.00% 0 Chunk Manager
--- snip ---
Dalla riga "Utilizzo CPU per cinque secondi: 90%/0%; un minuto: 0%; cinque minuti: 0%", è necessario evidenziare il primo valore dopo la stringa "cinque secondi". In questo caso, il 90% indica l'utilizzo complessivo della CPU, mentre il numero a destra della barra 0 in questo caso rappresenta l'utilizzo della CPU dovuto agli interrupt. La differenza tra questi due numeri rappresenta l'utilizzo totale della CPU dovuto ai processi. In questo scenario, il protocollo CDP utilizza la maggior parte delle risorse della CPU (control plane).
Control Plane - Kernel (CPU)
Poiché Cisco IOS-XE ha un kernel basato su Linux, a volte si riscontrano problemi con uno dei processi in esecuzione su di esso, è possibile utilizzare la piattaforma CPU show PROCESSES ordinata per verificare se uno dei processi sta causando problemi (attenzione alla colonna 5sec) per visualizzare i processi dal sistema operativo sottostante.
iosxe_router#show process cpu platform sorted
-- depending on the architecture, there can be multiple cores, deleting for brevity --
Pid PPid 5Sec 1Min 5Min Status Size Name
--------------------------------------------------------------------------------
18009 18001 323% 325% 328% R 266740 ucode_pkt_PPE0
11168 11160 1% 1% 1% S 914556 linux_iosd-imag
96 2 1% 0% 0% S 0 ksmd
--- snip ---
Nota: i router con QFP virtuale hanno il processo ucode_pkt_PPE0, che è il processo software che emula il piano dati. Tale processo può pertanto essere ignorato dall'elenco dei processi che contribuiscono all'utilizzo della CPU.
Data Plane (QFP)
QFP è il sistema su un chip responsabile dell'inoltro di tutti i pacchetti. Per ulteriori informazioni, consultare la sezione: Informazioni sui QFP elevati sui router IOS-XE.
iosxe_router #show platform hardware qfp active datapath utilization
CPP 0: Subdev 0 5 secs 1 min 5 min 60 min
--- snip ---
(bps) 21992 13648 13736 13720
Processing: Load (pct) 0 0 0 0
Crypto/IO
RX: Load (pct) 0 0 0 0
TX: Load (pct) 1 1 1 0
Idle (pct) 99 99 99 99
Dal comando show platform hardware qfp active data path usage, evidenziare l'elaborazione: caricamento per la colonna 5 secondi, in quanto fornisce l'utilizzo QFP complessivo più recente. Alcuni dispositivi visualizzano anche l'utilizzo del modulo Crypto/IO, si concentrano sull'inattività, più vicino al 100%, meglio è.
Registri potenziali visualizzati
Per impostazione predefinita, non vengono generati registri dal sistema che mostrino un elevato utilizzo della CPU su IOSd che utilizza il numero di CPU 0, la prima CPU su sistemi Cisco IOS-XE.
Questo comando deve essere configurato prima per generare syslog sul primo core.
Questo comando deve essere scritto nel formato descritto in Notifica di soglia CPU: process cpu threshold type {total | processo | interrupt} aumento percentuale intervallo secondi [diminuzione percentuale intervallo secondi]
In questo modo, si potrebbe vedere questo tipo di notifica:
%SYS-1-CPURISINGTHRESHOLD: Threshold: Total CPU Utilization(Total/Intr): 91%/2%, Top 3 processes(Pid/Util):Un altro modo per intercettare l'uso elevato su di esso è tramite le misurazioni SNMP o di telemetria.
In alcuni casi viene visualizzato un avviso di limite delle risorse simile a questo quando altri core hanno un utilizzo elevato:
PLATFORM_INFRA-5-IOS_INTR_OVER_LIMIT:Per il data plane, questo tipo di avviso QFP viene in genere visualizzato nel registro per indicare che il carico di soglia è stato superato:
MCPRP-QFP-ALERT: Slot: 0, QFP:0, Load 93% exceeds the setting threshold(80%).Informazioni TAC Richieste per il triage iniziale
- Output di questi comandi quando si osserva un comportamento CPU elevato:
- show clock
- show version
- mostra in esecuzione
- mostra cpu processo ordinata
- mostra cronologia cpu processo
- mostra risorse della piattaforma
- mostra riepilogo utilizzo datapath attivo qfp hardware piattaforma
- show logging (visualizza registri)
- Topologia della rete.
- Grafici della cronologia di utilizzo CPU/QFP.
- Fornire informazioni aggiuntive in dettaglio, ad esempio le recenti modifiche alla rete o alla configurazione, la velocità/il flusso del traffico previsto.
Se la CPU non è bloccata a un valore costante del 100%, includere un output show tech. Si tratta di un'utile soluzione per TAC, che offre i vantaggi delle automatizzazioni sviluppate per velocizzare la ricerca dei problemi.
Nota: quando il problema è presente, è necessario risolvere le condizioni di CPU elevata, in quanto il dispositivo non memorizza dati cronologici sul tempo di esecuzione dei processi.
Nota: verificare di eseguire una versione supportata. Cercare il documento di fine del ciclo di vita utile e di vendita per il rilascio. Se necessario, passare a una versione attualmente in Release di manutenzione software. In caso contrario, TAC è limitato alle opzioni di risoluzione dei problemi.
Utilizzo CPU/QFP elevato
Di norma, un valore di CPU/QFP è considerato alto se supera l'80%.
I router Cisco IOS-XE possono essere associati a un utilizzo elevato sul control plane (CPU) o nel data plane (QFP).
Nota: se possibile, è necessario valutare un utilizzo elevato di CPU/QFP in relazione ai modelli di utilizzo tipici del dispositivo nel tempo. Ad esempio, se un dispositivo in genere funziona al 10% dell'utilizzo della CPU, ma salta improvvisamente al 40%, ciò potrebbe indicare un elevato utilizzo della CPU per quel dispositivo. D'altra parte, un dispositivo che funziona in modo costante all'80% dell'utilizzo della CPU non è necessariamente un problema se questo è il suo normale livello operativo. I sistemi di monitoraggio dotati di grafici della CPU consentono di raccogliere e analizzare questi dati per stabilire una linea di base per ciascun dispositivo.
Passaggi generali per la risoluzione dei problemi
- Identificare se il problema è il control plane (CPU) o il data plane (QFP).
- Identificare il processo offeso tramite comandi specifici.
- In base al nome del processo, eseguire una ricerca Web per il processo:
- Concentrarsi sulla corrispondenza di tale processo con una funzionalità/configurazione nota.
- Verificare se esistono difetti software corrispondenti al nome e al comportamento del processo. Se disponibile, implementare la soluzione o l'aggiornamento del software a una versione fissa.
- Con l'aiuto di grafici CPU/QFP, identificare l'ora esatta in cui la CPU/QFP inizia ad aumentare il suo utilizzo. Se corrisponde a una modifica recente, ripristinare la versione iniziale della configurazione/del software e controllare i risultati.
- Se la ricerca sul Web non restituisce risultati utili o si ritiene che una funzionalità non funzioni correttamente, aprire una richiesta TAC con le seguenti informazioni:
- show tech
- Comandi raccolti (vedere la sezione Informazioni necessarie a TAC per la selezione iniziale).
- Provare a far corrispondere il momento in cui il problema è iniziato con una modifica alla configurazione specifica e includere queste informazioni quando si apre la richiesta TAC.
- Se il problema è identificato dal piano dati: fornire la topologia di rete, il numero previsto di utenti e la velocità di traffico tipica che passa attraverso il dispositivo.
- Se disponibile, fornire il grafico Cronologia utilizzo CPU/QFP.
Informazioni sulla CPU elevata sui router Cisco IOS-XE
Il riferimento alla CPU su un router Cisco IOS-XE si riferisce alla CPU responsabile delle operazioni del piano di amministrazione/controllo del dispositivo. Sul dispositivo sono in esecuzione molti processi, tutti eseguiti su un kernel basato su Linux. Ognuno di questi processi viene eseguito in una CPU generica.
Quando è presente una condizione di CPU elevata, in genere è un indicatore di:
- Uno o più processi devono completare un'attività ad alta intensità.
- Uno o più processi non funzionano come previsto.
- Il Control Plane che riceve ed elabora i pacchetti inviati dal Data Plane.
Alcune piattaforme dispongono di più CPU per uso generale, che rispettano le seguenti regole:
- Se il router Cisco IOS-XE è modulare (accetta più schede, ad esempio Route Processor, Embedded Service Processor, SPA Interface Processor), sono disponibili più CPU per il control plane e una CPU per uso generale per ciascuna scheda.
- Se il router Cisco IOS-XE è un router incorporato e accetta solo moduli di servizio o schede di interfaccia, ha una singola CPU per scopi generali (virtuali o fisiche) che viene considerata nel processore di routing (come mostrato nell'output show platform resources).
Sui dispositivi Cisco IOSXE, in genere sono presenti core dedicati alla CPU del piano dati e del piano di controllo.
In genere, se la CPU 0 (la prima CPU) è legata a IOSd (daemon IOS), il core dedicato alla CPU è correlato al control plane. Altre CPU possono essere una combinazione di CPU control plane e data plane.
Nel caso di ASR 1000, che in genere è modulare, gli output del comando show platform resources e show platform software status control-processor brief mostrano l'utilizzo delle CPU control plane (RP) e data plane (ESP).
- Nel caso della serie ISR4000, fare riferimento alla licenza di implementazione delle prestazioni per Integrated Service Router 4000, in cui sono illustrati i diagrammi per le diverse distribuzioni della CPU tra i modelli esistenti.
- Se piattaforme virtuali come Cisco CSR1000v e Cisco CSR8000v sono basate su modelli, per impostazione predefinita la maggior parte delle vCPU sono dedicate al piano dati. Fare riferimento alla configurazione della distribuzione vCPU sui piani di dati, controllo e servizio e alla guida di installazione e configurazione del software Cisco Catalyst 8000V Edge.
Le CPU Control Plane sono dedicate al controllo dell'elaborazione dei protocolli, ad esempio elaborazione del protocollo BGP, STP, CDP, SSH e così via. Le CPU del control plane elaborano i pacchetti destinati al router stesso per la relativa elaborazione.
Il Data Plane in genere si riferisce ai pacchetti in transito che il router non consuma in se stesso nel Processore di Routing (RP), ma che elabora i pacchetti che vengono elaborati solo nel componente QFP (Quantum Flow Processor) che è il processore di pacchetti. Questi pacchetti vengono elaborati in QFP dove le ricerche inviano il pacchetto in transito alla destinazione prevista.
Informazioni sul QFP avanzato sui router Cisco IOS-XE
Il Quantum Flow Processor (QFP) è il sistema su chip (SoC) responsabile di tutte le operazioni di inoltro dei pacchetti nel dispositivo.
Il QFP esegue un software specializzato chiamato microcodice. Questo microcodice è responsabile dell'esecuzione e dell'applicazione delle funzionalità a tutti i pacchetti che passano attraverso il dispositivo in base alla configurazione dell'interfaccia di input/output. Interagisce inoltre con il resto del sistema attraverso i diversi processi.
Quando è presente una condizione QFP elevata, in genere è un indicatore di:
- QFP sta elaborando un volume di traffico di rete eccessivo (pacchetti al secondo).
- QFP che deve elaborare funzioni ad alta intensità.
- Una combinazione di pacchetti al secondo + funzioni ad alta intensità hanno un impatto maggiore sull'utilizzo dei QFP.
- Elaborazione del microcodice in modo non corretto.
Per una migliore comprensione della situazione, TAC deve raccogliere la traccia di Feature Invocation Array (FIA) per ulteriori analisi. Questa condizione viene documentata in Risoluzione dei problemi con la funzionalità IOS-XE Datapath Packet Trace
CPU/QFP ad alta velocità su router Cisco IOS-XE (serie ISR4300/4200/4400/4600, Cat8200/8300/8500, CSR1000v, CAT8000v)
Di seguito sono riportati i comandi di base che devono essere raccolti al momento del problema (la logica EEM può essere implementata per far corrispondere la notifica del log e ottenere l'output):
router_non_modular#show platform resources
**State Acronym: H - Healthy, W - Warning, C - Critical
Resource Usage Max Warning Critical State
----------------------------------------------------------------------------------------------------
RP0 (ok, active) H
Control Processor 10.64% 100% 80% 90% H
DRAM 2143MB(54%) 3913MB 88% 93% H
bootflash 2993MB(97%) 3099MB 70% 90% C
ESP0(ok, active) H
QFP H
DRAM 52844KB(20%) 262144KB 85% 95% H
IRAM 207KB(10%) 2048KB 85% 95% H
CPU Utilization 0.00% 100% 90% 95% H
Router#show platform software status control-processor brief
Load Average
Slot Status 1-Min 5-Min 15-Min
RP0 Healthy 1.75 1.25 1.14
Memory (kB)
Slot Status Total Used (Pct) Free (Pct) Committed (Pct)
RP0 Healthy 4003008 2302524 (58%) 1700484 (42%) 3043872 (76%)
CPU Utilization
Slot CPU User System Nice Idle IRQ SIRQ IOwait
RP0 0 5.60 10.80 0.00 75.00 0.00 0.10 8.50
1 8.10 11.81 0.00 66.66 0.00 0.20 13.21
2 4.69 9.49 0.00 80.81 0.00 0.19 4.79
3 4.80 10.20 0.00 79.30 0.00 0.10 5.60
4 3.70 3.20 0.00 92.90 0.00 0.00 0.20
5 1.09 2.99 0.00 95.00 0.00 0.09 0.79
6 20.00 33.10 0.00 46.90 0.00 0.00 0.00
7 0.00 0.00 0.00 100.00 0.00 0.00 0.00
Router#CPU alta su router Cisco IOS-XE modulari (serie ASR1k)
Un elevato utilizzo della CPU in un router Cisco IOS-XE modulare può avere una condizione elevata della CPU nella scheda Route Processor (RP), nel processore di servizio integrato (ESP) o nella scheda SPA Interface Processor (SIP). Questi comandi aiutano a capire se la condizione di CPU elevata è correlata a una scheda diversa all'interno del dispositivo:
ios_xe_modular_router#show platform resources
**State Acronym: H - Healthy, W - Warning, C - Critical
Resource Usage Max Warning Critical State
----------------------------------------------------------------------------------------------------
RP0 (ok, active) H
Control Processor 11.62% 100% 90% 95% H
DRAM 1730MB(45%) 3783MB 90% 95% H
ESP0(ok, active) H
Control Processor 19.59% 100% 90% 95% H
DRAM 616MB(65%) 946MB 90% 95% H
QFP H
TCAM 8cells(0%) 65536cells 45% 55% H
DRAM 79212KB(30%) 262144KB 80% 90% H
IRAM 9329KB(7%) 131072KB 80% 90% H
SIP0 H
Control Processor 2.30% 100% 90% 95% H
DRAM 280MB(60%) 460MB 90% 95% H
* A seconda della versione di Cisco IOS, QFP può contenere l'utilizzo del processore. In caso contrario, è necessario raccogliere il valore show platform hardware qfp datapath usage
Per una guida di riferimento valida per ASR1k, consultare il documento sulla risoluzione dei problemi di CPU alta su ASR serie 1000 Router
Nota: i comandi possono variare a seconda della piattaforma e della versione. In alcuni casi, cercare la documentazione specifica della piattaforma.
Cronologia delle revisioni
| Revisione | Data di pubblicazione | Commenti |
|---|---|---|
1.0 |
23-Oct-2024 |
Versione iniziale |
Feedback