Signaler les problèmes de CPU/QFP élevé sur les routeurs au TAC

Introduction

Ce document décrit le dépannage général permettant de signaler correctement les problèmes de CPU/QFP élevés au TAC pour une résolution de cas plus rapide.

Conditions préalables

Exigences

Cisco vous recommande de prendre connaissance des rubriques suivantes :

• Connaissance de base de l'architecture de transfert de paquets Cisco IOS®-XE.
• Expérience de base avec la fonctionnalité Packet Trace.

Composants utilisés

Ce document n'est pas limité à des versions de matériel et de logiciel spécifiques. Il s'applique à toute plate-forme de routage Cisco IOS-XE® avec QFP physique/virtualisé comme ASR1000, ISR4000, ISR1000, Cat8000 ou Cat8000v.

The information in this document was created from the devices in a specific lab environment. All of the devices used in this document started with a cleared (default) configuration. Si votre réseau est en ligne, assurez-vous de bien comprendre l’incidence possible des commandes.

Informations générales

Ce document décrit les commandes dont le TAC a besoin pour le triage initial d'un problème de CPU/QFP élevé pour une expérience TAC exceptionnelle dès le premier contact.

En outre, ce document contient des conseils de dépannage afin d'identifier un problème d'utilisation d'une unité centrale (CPU) ou d'un processeur à flux quantique (QFP) élevé afin que vous puissiez trouver une solution avant d'ouvrir un dossier TAC.

L'objectif de ce document n'est pas d'expliquer en détail les procédures de dépannage. Le cas échéant, des références à d'autres rubriques des guides de dépannage approfondi sont fournies.

À la fin de ce document, vous trouverez des diagrammes de blocs qui servent à des fins éducatives de représentation visuelle des composants.

L'utilisation de composants élevés (mémoire, TCAM, CPU, QFP) est généralement un indicateur de :

• Problème sur le périphérique (processus ne fonctionnant pas comme prévu, problème logiciel potentiel) ou dans l'environnement réseau (trafic ponctuel, boucles)
• Atteindre la limite matérielle du périphérique (c'est-à-dire un trafic/des fonctionnalités trop nombreux sur le périphérique)

Il est essentiel d'identifier la cause sous-jacente de l'utilisation élevée des composants afin de déterminer la marche à suivre pour résoudre le problème.

Symptômes d'une utilisation élevée du QFP/CPU

Vous pouvez vérifier s'il y a une condition CPU ou QFP élevée via les outils de surveillance, ou via ces commandes :

Plan de contrôle (CPU) - IOSd

show process cpu sorted
iosxe_router#show process cpu sorted
CPU utilization for five seconds: 90%/0%; one minute: 0%; five minutes: 0%
 PID Runtime(ms)     Invoked      uSecs   5Sec   1Min   5Min TTY Process 
 395       78769     1242162         63  89.07%  88.04%  89.02%   0 CDP Protocol     
   1           8          88         90  0.00%  0.00%  0.00%   0 Chunk Manager    
--- snip ---

À partir de la ligne « Utilisation du processeur pendant cinq secondes : 90 %/0 % ; une minute : 0 % ; cinq minutes : 0 % », vous devez vous concentrer sur la première valeur après la chaîne « cinq secondes ». Dans ce cas, les 90 % indiquent l'utilisation totale du CPU, tandis que le nombre à droite de la barre oblique - 0 dans ce cas - représente l'utilisation du CPU due aux interruptions. La différence entre ces deux nombres représente l'utilisation totale du CPU due aux processus. Dans ce scénario, le protocole CDP utilise la plupart des ressources du processeur (plan de contrôle).

Plan de contrôle - Noyau (CPU)

Puisque Cisco IOS-XE a un noyau Linux, parfois vous trouvez des problèmes le long de l'un des processus s'exécutant sur lui, vous pouvez utiliser la plate-forme de CPU show processes triée pour valider si un processus cause des problèmes (concentrez-vous sur la colonne 5sec) pour afficher les processus du système d'exploitation sous-jacent.

iosxe_router#show process cpu platform sorted
-- depending on the architecture, there can be multiple cores, deleting for brevity --
   Pid    PPid    5Sec    1Min    5Min  Status        Size  Name                  
--------------------------------------------------------------------------------
 18009   18001    323%    325%    328%  R           266740  ucode_pkt_PPE0        
 11168   11160      1%      1%      1%  S           914556  linux_iosd-imag       
    96       2      1%      0%      0%  S                0  ksmd                  
--- snip ---

Plan de données (QFP)

QFP est le système sur une puce responsable de la transmission de tous les paquets. Des informations supplémentaires sont disponibles dans la section : Présentation du QFP élevé sur les routeurs IOS-XE.

iosxe_router #show platform hardware qfp active datapath utilization 
  CPP 0: Subdev 0            5 secs        1 min        5 min       60 min
--- snip ---
                 (bps)        21992        13648        13736        13720
Processing: Load (pct)            0            0            0            0

Crypto/IO
        RX: Load (pct)            0            0            0            0
        TX: Load (pct)            1            1            1            0
            Idle (pct)           99           99           99           99

À partir de la commande show platform hardware qfp active data path usage, concentrez-vous sur le traitement : chargez la colonne 5 secondes, car elle indique l'utilisation QFP globale la plus récente. Certains périphériques affichent également l'utilisation du module Crypto/E/S, en se concentrant sur l'inactivité, plus le pourcentage est proche de 100 %, mieux c'est.

Journaux potentiels vus

Par défaut, aucun journal généré par le système n'indique une utilisation élevée du CPU sur IOSd qui utilise le CPU numéro 0, le premier CPU sur les systèmes Cisco IOS-XE.

Cette commande doit d'abord être configurée pour que syslog soit généré sur le premier noyau.

Cette commande doit être écrite selon le format décrit dans CPU Thresholding Notification : process cpu threshold type {total | process | interrupt} intervalle de pourcentage croissant secondes [intervalle de pourcentage décroissant secondes]

De cette façon, nous pourrions voir ce type de notification :

%SYS-1-CPURISINGTHRESHOLD: Threshold: Total CPU Utilization(Total/Intr): 91%/2%, Top 3 processes(Pid/Util):

Une autre façon de détecter une utilisation élevée sur elle est via SNMP ou des mesures de télémétrie.

Dans certains cas, une alerte LIMIT de ressource telle que celle-ci s'affiche lorsque d'autres coeurs ont un taux d'utilisation élevé :

PLATFORM_INFRA-5-IOS_INTR_OVER_LIMIT:

Pour le plan de données , ce type d'alerte QFP dans le journal indique généralement que la charge seuil a été dépassée :

MCPRP-QFP-ALERT: Slot: 0, QFP:0, Load 93% exceeds the setting threshold(80%).

Information Besoins du TAC pour le triage initial

• Résultat de ces commandes lorsque le comportement élevé du CPU est observé :
  • show clock
  • show version
  • show running
  • show process cpu sorted
  • show process cpu history
  • show platform resources
  • show platform hardware qfp active datapath usage summary
  • show logging
• Topologie du réseau.
• Graphiques d'utilisation CPU/QFP.
• Fournir des informations supplémentaires détaillées telles que les modifications récentes du réseau ou de la configuration, le débit/flux de trafic attendu.

Si le processeur n'est pas bloqué à 100 %, incluez une sortie show tech. Cela est d'une grande aide pour le TAC, et vous pouvez bénéficier des automatisations que le TAC a développées pour vous aider à trouver les problèmes plus rapidement.

Comprendre l'utilisation élevée du CPU/QFP

En règle générale, un processeur/QFP est considéré comme tournant à un niveau élevé s'il tourne au-dessus de 80 %.

Les routeurs Cisco IOS-XE peuvent être associés à une utilisation élevée sur le plan de contrôle (CPU) ou dans le plan de données (QFP).

Étapes générales de dépannage

1. Déterminez si le problème provient du plan de contrôle (CPU) ou du plan de données (QFP).
2. Identifiez le processus offensé à l'aide de commandes spécifiques.
3. En fonction du nom du processus, effectuez une recherche Web pour ce processus :
   • Concentrez-vous sur la mise en correspondance de ce processus avec une fonctionnalité/configuration connue.
   • Vérifiez s'il existe un défaut logiciel correspondant au nom et au comportement du processus. Le cas échéant, implémentez une solution de contournement ou une mise à niveau logicielle vers une version fixe.
4. À l'aide de graphiques CPU/QFP, identifiez l'heure exacte à laquelle le CPU/QFP commence à augmenter son utilisation. S'il correspond à une modification récente, revenez à la configuration initiale/version du logiciel et vérifiez les résultats.
5.  Si la recherche sur le Web ne fournit pas de résultats utiles ou si vous pensez qu'une fonctionnalité ne fonctionne pas correctement, ouvrez un dossier TAC avec ces informations :
   • show tech
   • Commandes collectées (consultez la section Informations requises par le TAC pour le triage initial).
   • Essayez de faire correspondre l'heure à laquelle le problème a commencé avec une modification de configuration spécifique et incluez ces informations lors de l'ouverture du dossier TAC.
   • Si le plan de données est identifié comme étant le problème, indiquez la topologie du réseau, le nombre d'utilisateurs prévu et le débit de trafic type traversant le périphérique.
   • S'il est disponible, fournissez le graphique d'historique d'utilisation CPU/QFP.

Présentation du processeur élevé sur les routeurs Cisco IOS-XE

Le terme CPU sur un routeur Cisco IOS-XE fait référence au CPU responsable des opérations du plan d'administration/de contrôle du périphérique. Il y a beaucoup de processus en cours d'exécution sur le périphérique, tous en cours d'exécution sur un noyau basé sur Linux. Chacun de ces processus s'exécute dans un processeur à usage général.

Lorsqu'une condition de CPU élevée est présente, il s'agit généralement d'un indicateur de :

• Un ou plusieurs processus devant effectuer une tâche de haute intensité.
• Un ou plusieurs processus ne fonctionnent pas comme prévu.
• Plan de contrôle recevant et traitant les paquets envoyés par le plan de données.

Certaines plates-formes disposent de plusieurs processeurs à usage général, qui respectent les règles suivantes :

• Si le routeur Cisco IOS-XE est modulaire (c'est-à-dire qu'il accepte plusieurs cartes, telles que le processeur de routage, le processeur de service intégré et le processeur d'interface SPA), plusieurs processeurs sont disponibles pour les opérations du plan de contrôle et un processeur à usage général est disponible pour chacune des cartes.
• Si le routeur Cisco IOS-XE est intégré et qu'il n'accepte que des modules de service ou des cartes d'interface, le routeur dispose d'un processeur à usage général unique (virtuel ou physique) qui est considéré comme faisant partie du processeur de routage (comme indiqué dans le résultat de la commande show platform resources).

Sur les périphériques Cisco IOSXE, nous avons généralement des coeurs dédiés au CPU pour le plan de données et le plan de contrôle. 

Généralement, si le CPU 0 (le premier CPU) est lié à IOSd (démon IOS) , le coeur dédié au CPU est lié au plan de contrôle. Les autres processeurs peuvent être un mélange de processeurs de plan de contrôle et de plan de données.

Dans le cas de l'ASR 1000, qui est généralement modulaire, les sorties de commande comme show platform resources et show platform software status control-processor brief montrent l'utilisation des CPU du plan de contrôle (RP) et du plan de données (ESP).

• Dans le cas de la gamme ISR4000, référez-vous à Implémenter une licence de performance pour le routeur à services intégrés 4000 qui décrit les diagrammes pour les différentes distributions de CPU parmi les modèles existants.
• Dans le cas où les plates-formes virtuelles telles que Cisco CSR1000v et Cisco CSR8000v sont basées sur des modèles, où par défaut, la plupart des processeurs virtuels sont dédiés au plan de données. Reportez-vous à Configuration de la distribution vCPU sur les plans de données, de contrôle et de service et au Guide d'installation et de configuration du logiciel Cisco Catalyst 8000V Edge.

Les CPU du plan de contrôle sont dédiés au contrôle du traitement des protocoles comme le traitement des protocoles BGP, STP, CDP, SSH, etc. Les processeurs du plan de contrôle traitent les paquets destinés au routeur lui-même pour son traitement.

Le plan de données fait généralement référence aux paquets de transit que le routeur ne consomme pas lui-même dans le processeur de routage (RP). Au lieu de cela, le plan de données traite les paquets qui sont traités uniquement dans le composant QFP (Quantum Flow Processor) qui est le processeur de paquets. Ces paquets sont traités dans QFP où les recherches se produisent pour envoyer le paquet de transit à sa destination prévue.

Présentation du QFP élevé sur les routeurs Cisco IOS-XE

Le processeur de flux quantique (QFP) est le système sur puce (SoC) chargé de toutes les opérations de transfert de paquets dans le périphérique.

Le QFP exécute un logiciel spécialisé appelé microcode. Ce microcode est responsable de l'exécution et de l'application de fonctions à tous les paquets passant par le périphérique en fonction de la configuration de l'interface d'entrée/sortie. Il interagit également avec le reste du système à travers les différents processus.

Lorsqu'une condition QFP élevée est présente, elle est généralement un indicateur de :

• QFP traite trop de trafic réseau (paquets par seconde).
• QFP devant traiter des caractéristiques de haute intensité.
• Une combinaison de paquets par seconde et de fonctionnalités à forte intensité a un impact plus important sur l'utilisation du QFP.
• Le microcode traite quelque chose de la mauvaise façon.

Pour une meilleure compréhension de la situation, le TAC doit collecter la trace FIA (Feature Invocation Array) pour une analyse supplémentaire. Pour plus d'informations, consultez la section Dépannage avec la fonctionnalité IOS-XE Datapath Packet Trace

Processeur/QFP élevé sur les routeurs Cisco IOS-XE (ISR4300/4200/4400/4600, Cat8200/8300/8500, CSR1000v, CAT8000v)

Il s'agit de commandes de base de démarrage qui doivent être collectées au moment du problème (la logique EEM peut être implémentée pour faire correspondre la notification du journal et obtenir le résultat) :

router_non_modular#show platform resources
**State Acronym: H - Healthy, W - Warning, C - Critical                                             
Resource                 Usage                 Max             Warning         Critical        State
----------------------------------------------------------------------------------------------------
RP0 (ok, active)                                                                               H    
 Control Processor       10.64%                100%            80%             90%             H    
  DRAM                   2143MB(54%)           3913MB          88%             93%             H    
  bootflash              2993MB(97%)           3099MB          70%             90%             C    
ESP0(ok, active)                                                                               H    
 QFP                                                                                           H    
  DRAM                   52844KB(20%)          262144KB        85%             95%             H    
  IRAM                   207KB(10%)            2048KB          85%             95%             H    
  CPU Utilization        0.00%                 100%            90%             95%             H    

Router#show platform software status control-processor brief 
Load Average
 Slot  Status  1-Min  5-Min 15-Min
  RP0 Healthy   1.75   1.25   1.14

Memory (kB)
 Slot  Status    Total     Used (Pct)     Free (Pct) Committed (Pct)
  RP0 Healthy  4003008  2302524 (58%)  1700484 (42%)   3043872 (76%)

CPU Utilization
 Slot  CPU   User System   Nice   Idle    IRQ   SIRQ IOwait
  RP0    0   5.60  10.80   0.00  75.00   0.00   0.10   8.50
         1   8.10  11.81   0.00  66.66   0.00   0.20  13.21
         2   4.69   9.49   0.00  80.81   0.00   0.19   4.79
         3   4.80  10.20   0.00  79.30   0.00   0.10   5.60
         4   3.70   3.20   0.00  92.90   0.00   0.00   0.20
         5   1.09   2.99   0.00  95.00   0.00   0.09   0.79
         6  20.00  33.10   0.00  46.90   0.00   0.00   0.00
         7   0.00   0.00   0.00 100.00   0.00   0.00   0.00

Router#

CPU élevé sur les routeurs modulaires Cisco IOS-XE (gamme ASR1k)

Une utilisation CPU élevée dans un routeur modulaire Cisco IOS-XE peut présenter une condition CPU élevée dans la carte processeur de routage (RP), le processeur de service intégré (ESP) ou la carte processeur d'interface SPA (SIP). Ces commandes aident à comprendre si la condition élevée du CPU est liée à une carte différente dans le périphérique :

ios_xe_modular_router#show platform resources
**State Acronym: H - Healthy, W - Warning, C - Critical                                             
Resource                 Usage                 Max             Warning         Critical        State
----------------------------------------------------------------------------------------------------
RP0 (ok, active)                                                                               H    
 Control Processor       11.62%                100%            90%             95%             H    
  DRAM                   1730MB(45%)           3783MB          90%             95%             H    
ESP0(ok, active)                                                                               H    
 Control Processor       19.59%                100%            90%             95%             H    
  DRAM                   616MB(65%)            946MB           90%             95%             H    
 QFP                                                                                           H    
  TCAM                   8cells(0%)            65536cells      45%             55%             H    
  DRAM                   79212KB(30%)          262144KB        80%             90%             H    
  IRAM                   9329KB(7%)            131072KB        80%             90%             H    
SIP0                                                                                           H    
 Control Processor       2.30%                 100%            90%             95%             H    
  DRAM                   280MB(60%)            460MB           90%             95%             H     

* Selon la version de Cisco IOS, QFP peut contenir l'utilisation du processeur, sinon vous devez collecter l'utilisation du chemin de données qfp matériel show platform

Un guide de référence pour ASR1k est disponible à l'adresse Troubleshoot High CPU on ASR1000 Series Router