Relatar problemas com alta CPU/QFP em roteadores para o TAC

Introdução

Este documento descreve a solução geral de problemas para relatar corretamente problemas de alta CPU/QFP ao TAC para uma resolução de caso mais rápida.

Pré-requisitos

Requisitos

A Cisco recomenda que você tenha conhecimento básico destes tópicos:

• Conhecimento básico da arquitetura de encaminhamento de pacotes do Cisco IOS®-XE.
• Experiência básica com o recurso Packet Trace.

Componentes Utilizados

Este documento não se restringe a versões de software e hardware específicas. Ele se aplica a qualquer plataforma de roteamento Cisco IOS-XE® com QFP físico/virtualizado como ASR1000, ISR4000, ISR1000, Cat8000 ou Cat8000v.

As informações neste documento foram criadas a partir de dispositivos em um ambiente de laboratório específico. Todos os dispositivos utilizados neste documento foram iniciados com uma configuração (padrão) inicial. Se a rede estiver ativa, certifique-se de que você entenda o impacto potencial de qualquer comando.

Informações de Apoio

Este documento descreve os comandos que o TAC precisa para a triagem inicial de um problema alto de CPU/QFP para obter uma excelente experiência no TAC desde o primeiro contato.

Além disso, este documento contém dicas de Troubleshooting para identificar uma unidade de processamento central (CPU) alta ou um problema de utilização do processador de fluxo quântico (QFP) alto para que você possa encontrar uma solução antes de abrir um caso de TAC.

A finalidade deste documento não é explicar detalhadamente nenhum procedimento de identificação e solução de problemas. Se disponíveis, serão fornecidas referências a mais guias de troubleshooting mais aprofundados.

No final deste documento, há diagramas de blocos que servem para fins educacionais como uma representação visual dos componentes.

Componentes altos - memória, TCAM, CPU, QFP - a utilização normalmente é um indicador de:

• Algo está errado no dispositivo (ou seja, o processo não está funcionando conforme esperado, problema de software em potencial) ou no ambiente de rede (ou seja, tráfego de punt, loops)
• Atingir a limitação de hardware do dispositivo (ou seja, excesso de tráfego/recursos em execução no dispositivo)

Identificar a causa subjacente da alta utilização de componentes é vital para determinar o curso apropriado de ação para resolver o problema.

Sintomas de alta utilização de QFP/CPU

Você pode validar se há uma condição alta de CPU ou QFP através das ferramentas de monitoramento ou através destes comandos:

Plano de controle (CPU) - IOSd

show process cpu sorted
iosxe_router#show process cpu sorted
CPU utilization for five seconds: 90%/0%; one minute: 0%; five minutes: 0%
 PID Runtime(ms)     Invoked      uSecs   5Sec   1Min   5Min TTY Process 
 395       78769     1242162         63  89.07%  88.04%  89.02%   0 CDP Protocol     
   1           8          88         90  0.00%  0.00%  0.00%   0 Chunk Manager    
--- snip ---

Na linha "Utilização da CPU por cinco segundos: 90%/0%; um minuto: 0%; cinco minutos: 0%", é necessário focalizar no primeiro valor após a sequência de "cinco segundos". Nesse caso, os 90% indicam a utilização geral da CPU, enquanto o número à direita de slash-0, nesse caso, representa o uso da CPU devido a interrupções. A diferença entre esses dois números representa a utilização total da CPU devido a processos. Neste cenário, o protocolo CDP está consumindo a maior parte dos recursos da CPU (plano de controle).

Plano de controle - Kernel (CPU)

Como o Cisco IOS-XE tem um kernel baseado em Linux, às vezes você encontra problemas ao longo de qualquer um dos processos em execução sobre ele, você pode usar a plataforma show processes CPU classificada para validar se algum processo está causando problemas (foco na coluna de 5 seg) para mostrar processos do sistema operacional subjacente.

iosxe_router#show process cpu platform sorted
-- depending on the architecture, there can be multiple cores, deleting for brevity --
   Pid    PPid    5Sec    1Min    5Min  Status        Size  Name                  
--------------------------------------------------------------------------------
 18009   18001    323%    325%    328%  R           266740  ucode_pkt_PPE0        
 11168   11160      1%      1%      1%  S           914556  linux_iosd-imag       
    96       2      1%      0%      0%  S                0  ksmd                  
--- snip ---

Plano de dados (QFP)

QFP é o sistema em um chip responsável por todo o encaminhamento de pacotes. Informações adicionais podem ser encontradas na seção: Compreendendo o High QFP em roteadores IOS-XE.

iosxe_router #show platform hardware qfp active datapath utilization 
  CPP 0: Subdev 0            5 secs        1 min        5 min       60 min
--- snip ---
                 (bps)        21992        13648        13736        13720
Processing: Load (pct)            0            0            0            0

Crypto/IO
        RX: Load (pct)            0            0            0            0
        TX: Load (pct)            1            1            1            0
            Idle (pct)           99           99           99           99

A partir do comando show platform hardware qfp ative data path usage, concentre-se no processamento: Carga para a coluna de 5 segundos, pois isso fornece o uso geral de QFP mais recente. Alguns dispositivos também exibem o uso do módulo Crypto/IO, com foco em Ocioso, quanto mais próximo de 100%, melhor.

Possíveis logs vistos

Por padrão, não há registros gerados pelo sistema que mostra uma alta utilização da CPU no IOSd, que usa o número de CPU 0, a primeira CPU nos sistemas Cisco IOS-XE.

Esse comando deve ser configurado primeiro para que o syslog seja gerado no primeiro núcleo.

Este comando deve ser escrito de acordo com o formato descrito em Notificação de Limite de CPU: process cpu threshold type {total | processo | interrupção} aumento percentual intervalo segundos [queda percentual intervalo segundos]

Dessa forma, poderemos ver este tipo de notificação:

%SYS-1-CPURISINGTHRESHOLD: Threshold: Total CPU Utilization(Total/Intr): 91%/2%, Top 3 processes(Pid/Util):

Outra maneira de capturar o alto uso dele é por meio de medições de SNMP ou telemetria.

Em alguns casos, você verá um alerta de LIMITE de recurso como este quando outros núcleos tiverem um acerto de uso alto:

PLATFORM_INFRA-5-IOS_INTR_OVER_LIMIT:

Para o plano de dados , veríamos esse tipo de alerta QFP em log, geralmente indicando que a carga de limite foi excedida:

MCPRP-QFP-ALERT: Slot: 0, QFP:0, Load 93% exceeds the setting threshold(80%).

Informações de que o TAC precisa para a triagem inicial

• Resultado desses comandos quando o comportamento alto da CPU é observado:
  • show clock
  • show version
  • show running
  • show process cpu sorted
  • show process cpu history
  • show platform resources
  • show platform hardware qfp ative datapath usage summary
  • show logging
• Topologia de rede.
• Gráficos de histórico de utilização de CPU/QFP.
• Forneça informações adicionais detalhadas, como alterações recentes na rede ou na configuração, taxa/fluxo de tráfego esperado.

Se a CPU não ficar presa a uma constante de 100%, inclua uma saída show tech. Isso é de grande ajuda para o TAC, e você pode se beneficiar das automatizações que o TAC desenvolveu para ajudá-lo a encontrar problemas mais rapidamente.

Entendendo o alto uso de CPU/QFP

Como regra, considera-se que uma CPU/QFP está executando acima de 80%.

Os roteadores Cisco IOS-XE podem ser associados à alta utilização no plano de controle (CPU) ou no plano de dados (QFP).

Etapas gerais de solução de problemas

1. Identifique se o problema é plano de controle (CPU) ou plano de dados (QFP).
2. Identificar o processo ofendido por meio de comandos específicos.
3. Com base no nome do processo, faça uma pesquisa na Web para esse processo:
   • Concentre-se em combinar esse processo com um recurso/configuração conhecido.
   • Verifique se há algum defeito de software que corresponda ao nome do processo e ao comportamento. Se houver, implemente uma solução alternativa ou upgrade de software para uma versão fixa.
4. Com a ajuda dos gráficos de CPU/QFP, identifique a hora exata em que a CPU/QFP começa a aumentar seu uso. Se ele corresponder a uma alteração recente, reverta para a configuração inicial/versão do software e verifique os resultados.
5.  Se a pesquisa na Web não fornecer resultados úteis ou se você acreditar que um recurso está agindo de forma errada, abra um caso de TAC com estas informações:
   • show tech
   • Comandos coletados (consulte a seção Informações que o TAC precisa para a triagem inicial).
   • Tente corresponder a hora em que o problema começou com uma alteração de configuração específica e inclua essas informações ao abrir o caso do TAC.
   • Se o plano de dados for identificado como o problema: forneça a topologia de rede, o número esperado de usuários e a taxa de tráfego típica que flui pelo dispositivo.
   • Se disponível, forneça o gráfico de histórico de utilização de CPU/QFP.

Entendendo a alta utilização da CPU em roteadores Cisco IOS-XE

Fazer referência à CPU em um roteador Cisco IOS-XE é fazer referência à CPU responsável pelas operações do plano administrativo/de controle do dispositivo. Há muitos processos em execução no dispositivo, todos sendo executados sobre um kernel baseado em Linux. Cada um desses processos é executado em uma CPU de uso geral.

Quando uma condição de alta utilização da CPU está presente, geralmente ela é um indicador de:

• Um ou mais processos que precisam concluir uma tarefa de alta intensidade.
• Um ou mais processos não estão funcionando conforme esperado.
• Plano de controle que recebe e processa pacotes enviados pelo plano de dados.

Algumas plataformas têm várias CPUs de uso geral, que obedecem a estas regras:

• Se o roteador Cisco IOS-XE for modular (ou seja, aceitar várias placas, como Route Processor, Embedded Service Processor, SPA Interface Processor), haverá várias CPUs disponíveis para operações do plano de controle e uma CPU de uso geral para cada uma das placas.
• Se o roteador Cisco IOS-XE for um roteador incorporado e aceitar apenas módulos de serviço ou placas de interface, o roteador terá uma única CPU de uso geral (seja virtual ou física) que é considerada como sendo do processador de roteamento (conforme visto na saída do comando show platform resources).

Em dispositivos Cisco IOSXE, geralmente temos planos de dados e planos de controle de núcleos dedicados à CPU. 

Geralmente, se a CPU 0 (a primeira CPU) estiver ligada ao IOSd (daemon do IOS) , o núcleo dedicado à CPU será relacionado ao plano de controle. Outras CPUs podem ser uma combinação de CPUs de plano de controle e plano de dados.

No caso do ASR 1000, que geralmente é modular, as saídas de comando como show platform resources e show platform software status control-processor brief mostram o uso para CPUs de plano de controle (RP) e plano de dados (ESP).

• No caso do ISR4000 Series, consulte Implementar licença de desempenho para Integrated Service Router 4000, que descreve os diagramas para as diferentes distribuições de CPUs entre os modelos existentes.
• No caso de plataformas virtuais como o Cisco CSR1000v e o Cisco CSR8000v, elas são baseadas em modelo, onde, por padrão, a maioria das vCPUs é dedicada ao plano de dados. Consulte Configuração da Distribuição do vCPU nos Planos de Dados, Controle e Serviços e o Guia de Instalação e Configuração do Software Cisco Catalyst 8000V Edge.

As CPUs do plano de controle são dedicadas a controlar o processamento do protocolo, como o processamento do protocolo BGP, protocolo STP, CDP, SSH e assim por diante. As CPUs do plano de controle processam pacotes destinados ao próprio roteador para seu processamento.

O plano de dados geralmente se refere aos pacotes de trânsito que o roteador não consome em si no Processador de Roteamento (RP), em vez disso, os pacotes de processo de plano de dados que são processados somente no componente do Processador de Fluxo Quântico (QFP) que é o processador de pacotes. Esses pacotes têm seu processamento em QFP, onde as pesquisas acontecem para enviar o pacote de trânsito ao destino pretendido.

Entendendo o alto QFP em roteadores Cisco IOS-XE

O Quantum Flow Processor (QFP) é o sistema em um chip (SoC) responsável por todas as operações de encaminhamento de pacotes no dispositivo.

O QFP executa um software especializado chamado microcódigo. Esse microcódigo é responsável por executar e aplicar recursos a todos os pacotes que passam pelo dispositivo com base na configuração da interface de entrada/saída. Ele também interage com o resto do sistema através de diferentes processos.

Quando uma condição QFP alta está presente, ela é geralmente um indicador de:

• O QFP processa muito tráfego de rede (pacotes por segundo).
• QFP que precisa processar recursos de alta intensidade.
• Uma combinação de pacotes por segundo + recursos de uso intensivo tem maior impacto na utilização do QFP.
• Microcódigo processando algo de maneira errada.

Para um melhor entendimento da situação, o TAC deve coletar o rastreamento de Feature Invocation Array (FIA) para análise adicional. Isso está documentado em Troubleshooting com o Recurso de Rastreamento de Pacotes do Datapath do IOS-XE

Alta CPU/QFP em roteadores Cisco IOS-XE (ISR4300/4200/4400/4600 Series, Cat8200/8300/8500, CSR1000v, CAT8000v)

Estes são comandos básicos iniciais que devem ser reunidos no momento do problema (a lógica EEM pode ser implementada para corresponder à notificação de registro e obter a saída):

router_non_modular#show platform resources
**State Acronym: H - Healthy, W - Warning, C - Critical                                             
Resource                 Usage                 Max             Warning         Critical        State
----------------------------------------------------------------------------------------------------
RP0 (ok, active)                                                                               H    
 Control Processor       10.64%                100%            80%             90%             H    
  DRAM                   2143MB(54%)           3913MB          88%             93%             H    
  bootflash              2993MB(97%)           3099MB          70%             90%             C    
ESP0(ok, active)                                                                               H    
 QFP                                                                                           H    
  DRAM                   52844KB(20%)          262144KB        85%             95%             H    
  IRAM                   207KB(10%)            2048KB          85%             95%             H    
  CPU Utilization        0.00%                 100%            90%             95%             H    

Router#show platform software status control-processor brief 
Load Average
 Slot  Status  1-Min  5-Min 15-Min
  RP0 Healthy   1.75   1.25   1.14

Memory (kB)
 Slot  Status    Total     Used (Pct)     Free (Pct) Committed (Pct)
  RP0 Healthy  4003008  2302524 (58%)  1700484 (42%)   3043872 (76%)

CPU Utilization
 Slot  CPU   User System   Nice   Idle    IRQ   SIRQ IOwait
  RP0    0   5.60  10.80   0.00  75.00   0.00   0.10   8.50
         1   8.10  11.81   0.00  66.66   0.00   0.20  13.21
         2   4.69   9.49   0.00  80.81   0.00   0.19   4.79
         3   4.80  10.20   0.00  79.30   0.00   0.10   5.60
         4   3.70   3.20   0.00  92.90   0.00   0.00   0.20
         5   1.09   2.99   0.00  95.00   0.00   0.09   0.79
         6  20.00  33.10   0.00  46.90   0.00   0.00   0.00
         7   0.00   0.00   0.00 100.00   0.00   0.00   0.00

Router#

Alta utilização da CPU em roteadores modulares Cisco IOS-XE (série ASR1k)

O alto uso da CPU em um roteador Cisco IOS-XE modular pode ter uma condição de alta CPU na placa do Processador de Rotas (RP), no Processador de Serviços Embutido (ESP) ou na placa do Processador de Interface SPA (SIP). Esses comandos ajudam a entender se a condição de CPU alta está relacionada a uma placa diferente dentro do dispositivo:

ios_xe_modular_router#show platform resources
**State Acronym: H - Healthy, W - Warning, C - Critical                                             
Resource                 Usage                 Max             Warning         Critical        State
----------------------------------------------------------------------------------------------------
RP0 (ok, active)                                                                               H    
 Control Processor       11.62%                100%            90%             95%             H    
  DRAM                   1730MB(45%)           3783MB          90%             95%             H    
ESP0(ok, active)                                                                               H    
 Control Processor       19.59%                100%            90%             95%             H    
  DRAM                   616MB(65%)            946MB           90%             95%             H    
 QFP                                                                                           H    
  TCAM                   8cells(0%)            65536cells      45%             55%             H    
  DRAM                   79212KB(30%)          262144KB        80%             90%             H    
  IRAM                   9329KB(7%)            131072KB        80%             90%             H    
SIP0                                                                                           H    
 Control Processor       2.30%                 100%            90%             95%             H    
  DRAM                   280MB(60%)            460MB           90%             95%             H     

* Dependendo da versão do Cisco IOS, o QFP pode conter o uso do processador, caso contrário, você precisará coletar a utilização do caminho de dados qfp show platform hardware

Um bom guia de referência para o ASR1k pode ser encontrado em Troubleshoot High CPU on ASR1000 Series Router