Solucionar problemas de recarregamento inesperado em switches Catalyst 9000

Introdução

Este documento descreve como solucionar problemas de recarregamentos inesperados e que informações específicas coletar pós-evento nos switches Catalyst 9000.

Requisitos

Não existem requisitos específicos para este documento.

Componentes Utilizados

Este documento não se restringe a versões de software e hardware específicas.

As informações neste documento foram criadas a partir de dispositivos em um ambiente de laboratório específico. Todos os dispositivos utilizados neste documento foram iniciados com uma configuração (padrão) inicial. Se a rede estiver ativa, certifique-se de que você entenda o impacto potencial de qualquer comando.

Informações de Apoio

Pode haver vários motivos para a ocorrência de um evento de recarregamento inesperado ou silencioso. Para solucionar problemas e encontrar a causa raiz, é essencial saber a data/hora do evento e coletar todas as informações possíveis do dispositivo imediatamente. Isso garante que toda a coleta de logs seja precisa e completa (não substituída pelo dispositivo conforme o tempo passa).

Motivos comuns de recarregamento

MotivodaRecarga	Explicação	Recomendação
Ligar	A fonte de alimentação ou o circuito de entrada foi desligado e ligado manualmente.	Se o evento de alimentação for inesperado, confirme a integridade da alimentação física, backups de bateria, no-break e assim por diante.
Mesclagem de Pilhas devido à Incompatibilidade	O switch em standby da pilha perdeu a comunicação com o Ative e acionou uma mesclagem para reeleger um novo switch Ative.	Verifique os cabos de dados de empilhamento e certifique-se de que estejam assentados corretamente. Substitua os cabos de empilhamento.
Comando Recarregar	O comandoreloadfoi executado na CLI do switch para instruir uma recarga manual do software.	O comando reload foi emitido (se isso não era esperado, você pode confirmar quando essa ação foi executada via rastreamentos do analisador iosrp)
LocalSoft ou erro catastrófico de CPU	Uma condição de erro foi encontrada no software ou na CPU e o dispositivo foi forçado a ser redefinido.	Colete dados e abra um caso no TAC.
Falha de energia ou Desconhecido	A fonte de alimentação do dispositivo ou circuito de entrada deve ter falhado repentinamente, interrompendo momentaneamente a fonte de alimentação do switch.	Verifique se as fontes de alimentação estão em boas condições, a cor dos LEDs e verifique o circuito de entrada de dados.
Redundancy force-switchover	O comando redundancy force-switchover  foi executado, fazendo com que o Standby assumisse a função Ative (Ativo) e o AtiveX anterior procurasse uma redefinição de software.	Nenhum.
Instalação da imagem	O dispositivo foi recarregado como resultado de uma nova instalação de imagem do Cisco IOS® XE.	Nenhum.

Coletar dados relevantes

• Data/hora exata da ocorrência.
• O que estava acontecendo antes do evento de recarregamento inesperado? Talvez uma alteração de configuração, login no dispositivo ou o dispositivo não tenha sido tocado.
• Há alguma mensagem Syslog de erros relatada antes do evento? Se houver algum servidor Syslog externo, verifique se há logs de erro relacionados.
• Colete o show tech-support comando do dispositivo.
• Quaisquer outras informações ou observações que possam ajudar a entender o que precedeu o evento (falhas de energia, etc.)

Caution: É realmente importante coletar as informações logo após a ocorrência do evento. Não há garantias de fornecer uma causa raiz adequada se a coleta de log ocorrer dias ou semanas após o evento de recarregamento.

Quando o dispositivo estiver ativo e estável, colete essas informações adicionais para ajudar a determinar a causa do evento de recarregamento.

Motivo da Última Recarga

Verifique qual foi o último motivo de recarregamento registrado pelo sistema.

 Switch#show version | include uptime|returned|reload|Version 
Cisco IOS XE Software, Version 16.12.08
Cisco IOS Software [Gibraltar], Catalyst L3 Switch Software (CAT9K_IOSXE), Version 16.12.8, RELEASE SOFTWARE (fc1)
licensed under the GNU General Public License ("GPL") Version 2.0. The
software code licensed under GPL Version 2.0 is free software that comes
GPL code under the terms of GPL Version 2.0. For more details, see the
BOOTLDR: System Bootstrap, Version 17.10.1r, RELEASE SOFTWARE (P)
Switch uptime is 3 hours, 14 minutes
System returned to ROM by Reload Command
Last reload reason: Reload Command
Next reload AIR license Level: AIR DNA Advantage
Switch Ports Model SW Version SW Image Mode
Configuration register is 0x102 (will be 0x2102 at next reload)

O dispositivo armazena dados históricos sobre os mais recentes eventos de recarregamento ocorridos. Essas informações são importantes para verificar se os recarregamentos foram recorrentes e qual foi o motivo registrado pelo switch. O comando usado para ver esses dados é show logging onboard switch uptime detail.

Switch#show logging onboard switch active uptime detail
--------------------------------------------------------------------------------
UPTIME SUMMARY INFORMATION
--------------------------------------------------------------------------------
First customer power on : 04/28/2022 01:24:40
Total uptime : 0 years 41 weeks 2 days 9 hours 55 minutes
Total downtime : 0 years 22 weeks 4 days 7 hours 3 minutes
Number of resets : 326
Number of slot changes : 2
Current reset reason : Reload Command
Current reset timestamp : 07/19/2023 15:23:33
Current slot : 1
Chassis type : 215
Current uptime : 0 years 0 weeks 0 days 3 hours 0 minutes
--------------------------------------------------------------------------------

--------------------------------------------------------------------------------
UPTIME CONTINUOUS INFORMATION
--------------------------------------------------------------------------------
Time Stamp | Reset | Uptime
MM/DD/YYYY HH:MM:SS | Reason | years weeks days hours minutes
--------------------------------------------------------------------------------
07/13/2023 17:57:49 Image Install 0 0 0 0 0
07/13/2023 18:48:58 Reload Command 0 0 0 0 40
07/14/2023 00:55:30 Reload Command 0 0 0 6 0
07/14/2023 11:15:44 Reload Command 0 0 0 10 0
07/14/2023 20:02:26 Reload Command 0 0 0 8 0
07/17/2023 11:32:29 Reload Command 0 0 2 15 0
07/17/2023 21:00:59 Reload Command 0 0 0 9 0
07/18/2023 08:36:20 Reload Command 0 0 0 11 0
07/18/2023 11:00:28 Reload Command 0 0 0 2 0
07/19/2023 07:02:14 Reload Command 0 0 0 19 0 07/19/2023 15:23:33 Reload Command 0 0 0 8 0
--------------------------------------------------------------------------------

Comando de suporte técnico

Esse comando coleta informações gerais do sistema e seu status atual. Os comandos descritos anteriormente estão incluídos neste pacote de suporte. Esse arquivo de saída é solicitado pelo TAC ao abrir um caso.

Há diferentes maneiras de coletá-lo:

• Sessão de Terminal Registrada: Use um programa de terminal e grave a sessão em um arquivo de texto. Em seguida, no CLI, execute o comando  show tech-support   e aguarde a conclusão da coleta. Forneça o arquivo de texto para o caso do TAC.
• Redirecionado para um arquivo: Na CLI, execute o comando show tech-support | redirect flash: ShowTech.txt. Isso cria um arquivo de texto na memória flash do dispositivo com os resultados do comando tech-support. Posteriormente, será necessário extrair o arquivo do dispositivo usando qualquer protocolo de transferência disponível na rede. (TFTP, FTP, SCP, etc.).

Switch#show tech-support | redirect flash:ShowTech.txt

Switch#dir flash: | include .txt
499721 -rw- 16090 Jul 19 2023 15:24:02 +00:00 rdope_out.txt
499728 -rw- 1328023 Jul 19 2023 19:12:57 +00:00 ShowTech.txt

Switch#copy flash:ShowTech.txt tftp:
Address or name of remote host []? 192.168.1.1
Destination filename [ShowTech.txt]?
!!!

Comandos a serem coletados para TAC

O switch armazena informações de log do sistema que podem ser usadas para analisar em profundidade o que estava acontecendo antes e depois da ocorrência do evento de recarregamento inesperado. Se houve um travamento, o switch também armazena os dados do travamento em um arquivo criptografado que pode ser analisado pelos especialistas do TAC.

Tracelogs

Os registros de rastreamento são registros internos de cada processo no Cisco IOS® XE. O diretório tracelogs é criado por padrão e seu conteúdo é substituído periodicamente. Essa pasta pode ser encontrada no bootflash ou flash do dispositivo Catalyst.

Gerar os Tracelogs

Switch#request platform software trace archive
Creating archive file [flash:Switch_1_RP_0_trace_archive-20230719-192115.tar.gz]
Done with creation of the archive file: [flash:Switch_1_RP_0_trace_archive-20230719-192115.tar.gz]

Switch#dir flash: | include .gz
499729 -rw- 29573907 Jul 19 2023 19:21:22 +00:00 Switch_1_RP_0_trace_archive-20230719-192115.tar.gz

Relatórios do sistema

Um relatório do sistema é um arquivo compactado que coleta a maioria das informações disponíveis na execução do software quando ocorre um recarregamento inesperado. O relatório do sistema contém logs de rastreamento, informações de travamento e arquivos principais. Esse arquivo é criado automaticamente no caso de uma recarga inesperada nos switches Cisco IOS® XE causada por um travamento ou erro de software. O arquivo pode ser encontrado no diretóriocrashinfo. Esse arquivo é criptografado e requer suporte do TAC para decodificação e análise.

Switch#dir crashinfo: | include .gz

Directory of crashinfo:/
19 -rwx 655080 Aug 7 2013 16:31:31 +00:00 system-report_1_20130807-163050-UTC.gz

Note: Esses arquivos que terminam na extensão .gz precisam ser extraídos do dispositivo usando qualquer protocolo de transferência disponível em sua rede. (TFTP, FTP, SCP, etc.).

Troubleshooting

Ligar

Explicação

A fonte de alimentação foi desligada e ligada manualmente. Isso também pode estar relacionado a uma longa interrupção de energia. Neste cenário, nenhum travamento ou arquivos de núcleo são gerados.

Correção

1. Verifique se as fontes de alimentação foram desligadas manualmente. Caso contrário, prossiga com as verificações.

2. Verifique os cabos de alimentação das fontes de alimentação; eles não devem estar soltos nem ser desconectados facilmente.

3. Verifique se outros dispositivos que compartilham o mesmo circuito de entrada também tiveram uma interrupção ou não. Se apenas o switch teve a interrupção, continue com as verificações.

4. Verifique se o circuito de entrada do qual o switch está recebendo energia sofreu alguma interrupção longa que cortou a energia do switch.

5. Se todas as condições anteriores tiverem sido verificadas e nenhum problema for encontrado com a alimentação no local, abra um caso no TAC.

Mesclagem de Pilhas devido à Incompatibilidade

Explicação

O switch em standby da pilha perdeu a comunicação com o switch ativo e acionou uma mesclagem entre todos os switches da pilha para reeleger um novo switch ativo. As mensagens de keepalive são enviadas e recebidas continuamente pelos cabos de dados da pilha; quando essas mensagens não são enviadas/recebidas no prazo, os switches declaram a perda de comunicação e ocorre uma mesclagem da pilha.

Correção

1. Verifique se os cabos de dados de empilhamento estão íntegros e não foram inseridos frouxamente nos slots de dados da pilha.

2. Verifique se os cabos de dados da pilha estão assentados corretamente e se os parafusos não estão muito apertados.

3. Se o switch tiver módulos de empilhamento, verifique se os parafusos não estão muito apertados e se não estão frouxamente inseridos nos compartimentos de pilha.

4. Se o recarregamento devido à mesclagem de pilhas continuar, continue substituindo os cabos de dados de empilhamento e os módulos de dados de empilhamento (se o switch tiver módulos de empilhamento).

5. Se após a substituição dos cabos de dados, a fusão da pilha continuar, abra um caso no TAC.

Comando Recarregar

Explicação

O comandoreloadfoi executado na CLI do switch para instruir uma recarga manual do software.

Correção

Nenhuma ação de correção disponível, pois o recarregamento é esperado devido ao uso do comando especificado.

LocalSoft ou erro catastrófico de CPU

Explicação

Uma condição de erro foi encontrada no software ou na CPU e o dispositivo foi forçado a ser redefinido. Este é um recarregamento gerado por software e pode ser relacionado à ID de bug da Cisco CSCvr7861. Nenhum arquivo de núcleo ou travamento gerado devido a esta condição de erro.

Correção

1. Verifique os detalhes do bug e atualize o switch para a versão fixa mais recente.

2. Se o problema ocorrer novamente, colete os registros de rastreamento e quaisquer dados de registro adicionais antes e depois do problema.

3. Abra um caso de TAC.

Falha de energia ou Desconhecido

Explicação

A fonte de alimentação do dispositivo ou circuito de entrada deve ter falhado repentinamente, parando momentaneamente a alimentação do comutador. Isso também pode estar relacionado a uma interrupção muito curta de energia do no-break (se houver) conectado ao comutador. Neste cenário, nenhum travamento ou arquivos de núcleo são gerados.

Correção

1. Verifique os LEDs das fontes de alimentação; eles devem estar verdes. Se nenhum LED estiver aceso ou se eles estiverem exibindo uma cor vermelha, substitua a fonte de alimentação por uma que esteja funcionando bem.

2. Verifique os cabos de alimentação das fontes de alimentação; eles não devem estar soltos nem ser desconectados facilmente.

3. Se o switch estiver conectado a um no-break, verifique se ele não apresentou nenhuma interrupção que pudesse ter cortado a alimentação do switch.

4. Verifique se outros dispositivos que compartilham o mesmo circuito de entrada também tiveram uma interrupção ou não. Se apenas o switch teve a interrupção, continue com as verificações.

5. Verifique se o circuito de entrada do qual o switch está recebendo energia tem alguma pequena aba ou variação nos níveis de voltagem/corrente.

6. Se todas as condições anteriores tiverem sido verificadas e nenhum problema com variações de energia no local, abra um caso de TAC.

Redundancy Force-Switchover

Explicação

O comando redundancy force-switchover  foi executado, fazendo com que o Standby assumisse a função Ative (Ativo) e o AtiveX anterior procurasse uma redefinição de software.

Correção

Não há ações de correção disponíveis porque o recarregamento do switch ativo devido ao comando especificado é esperado.

Instalação da imagem

Explicação

O dispositivo foi recarregado como resultado de uma nova instalação de imagem do Cisco IOS® XE.

Correção

Nenhuma ação de correção disponível, pois o recarregamento da pilha foi devido ao processo de instalação e é esperado.

Arquivo principal presente ou travamento

Explicação

O switch travou e gerou um travamento ou arquivo de núcleo. Verifique se há um destes arquivos na memória flash: ou crashinfo: diretórios

Esse comando pode ser executado no switch para procurar em todos os diretórios por arquivos principais, relatórios do sistema e arquivos de limite de memória baixa:

• Se nenhum arquivo for visto nas saídas e somente os diretórios forem vistos, então nenhum travamento ocorreu devido a esses motivos.
• Se os arquivos forem vistos, mas não corresponderem à data e à hora do evento de interesse ou preocupação

cats-c9300#dir /recur all-filesystems | inc Directory of|crashinfo_|core.gz|fullcore|system-report|kernel.rp|threshold_lowmem_info
Directory of system:/*
Directory of system:/
Directory of system:/memory/
Directory of system:/
Directory of tmpsys:/*
Directory of crashinfo:/*
Directory of crashinfo:/tracelogs/
Directory of crashinfo:/
Directory of crashinfo:/license_evlog/
Directory of crashinfo:/ 												<-Inside crashinfo:/ directory
   12  -rw-      483563  Jun 27 2023 17:15:52 +00:00  cats-c9300_crashinfo_1_RP_00_00_20230627-171547-UTC
   13  -rw-   139205443  Jun 27 2023 17:16:49 +00:00  cats-c9300_1_RP_0-system-report_1_20230627-171626-UTC.tar.gz      <-System Report (May also contain a core.gz file)
   16  -rw-      223501  Jul 30 2023 13:49:41 +00:00  cats-c9300_crashinfo_1_RP_00_00_20230730-134940-UTC
   28  -rw-      420518  Aug 29 2023 15:56:18 +00:00  cats-c9300_crashinfo_1_RP_00_00_20230829-155613-UTC
   21  -rw-    53900932  Aug 29 2023 15:56:53 +00:00  cats-c9300_1_RP_0-system-report_1_20230829-155647-UTC.tar.gz      <-System Report (May also contain a core.gz file)
Directory of flash:/*
Directory of flash:/
Directory of flash:/pcap/
Directory of flash:/
Directory of flash:/.images/
Directory of flash:/.images/17.09.02.0.3040.1667428055/
Directory of flash:/
Directory of flash:/cflow/
Directory of flash:/cflow/ctc_pids/
Directory of flash:/.product_analytics/
Directory of flash:/.product_analytics/
Directory of flash:/.product_analytics/policies/
Directory of flash:/.product_analytics/
Directory of flash:/.product_analytics/databases/
Directory of flash:/
Directory of flash:/.installer/
Directory of flash:/.installer/issu_crash/
Directory of flash:/.installer/
Directory of flash:/
Directory of flash:/core/
Directory of flash:/core/modules/
Directory of flash:/core/																 <-Inside flash:/core/
262146  -rw-    41575076  Jul 30 2023 13:50:06 +00:00  cats-c9300_1_RP_0_x86_64_crb_linux_iosd_ngwc-universalk9-ms_27272_20230730-134942-UTC.core.gz     <-Core File
262147  -rw-    44973003  Aug 28 2023 12:49:07 +00:00  cats-c9300_1_RP_0_x86_64_crb_linux_iosd_ngwc-universalk9-ms_18507_20230828-124841-UTC.core.gz	 <-Core File
262148  -rw-    44997000  Aug 29 2023 11:22:30 +00:00  cats-c9300_1_RP_0_x86_64_crb_linux_iosd_ngwc-universalk9-ms_1466_20230829-112204-UTC.core.gz	 <-Core File
376833  -rw-    13189075   Sep 7 2023 18:42:13 +00:00  cats-c9300_1_RP_0_fed_2564_20230907-184202-UTC.core.gz                                            <-Core File
Directory of flash:/.prst_sync/
Directory of flash:/.rollback_timer/
Directory of flash:/
Directory of flash:/dc_profile_dir/
Directory of flash:/
Directory of flash:/pnp-info/
Directory of flash:/
Directory of flash:/ss_disc/
Directory of flash:/tech_support/
Directory of flash:/sys_report/
Directory of flash:/
Directory of flash:/Tbot/
Directory of flash:/.dbpersist/
Directory of flash:/.dbpersist/history/
Directory of flash:/.dbpersist/
Directory of flash:/.dbpersist/DMI_STATE_DB/
Directory of flash:/.dbpersist/
Directory of flash:/onep/
Directory of flash:/onep/apps-cli/
Directory of flash:/
Directory of flash:/guest-share/
Directory of flash:/
Directory of flash:/fp_cc_crash/
Directory of flash:/.rommon_sync/
Directory of flash:/
Directory of flash:/EDScisco/
Directory of flash:/
Directory of flash:/SHARED-IOX/
Directory of flash:/
Directory of flash:/confd_debugged_dumps/
Directory of flash:/
Directory of flash:/.PATCH-backup/
Directory of flash:/                                                                                                                    <-Inside flash:/ directory
114756  -rw-      474448  Mar 30 2023 19:50:53 +00:00  threshold_lowmem_info_20230330-195051-UTC                                        <-May indicate memory leak
Directory of webui:/*
Directory of webui:/
Directory of nvram:/*
Directory of nvram:/

Correção

Um caso de TAC é necessário para determinar a RCA:

• Esse arquivo precisa ser analisado pela equipe de arquitetura.
• Ao abrir a solicitação de serviço, escolha Produto > Reinicialização inesperada > Falha de software para abrir o caso com a equipe certa 

IDs de bug da Cisco

Alguns dos defeitos podem causar uma recarga inesperada nos switches Catalyst 9000 Series.

Note: Somente usuários registrados da Cisco podem acessar informações de bug internas.

ID de bug da Cisco CSCvp56289	Recarga silenciosa do switch 9300 com fonte de alimentação platinum (PWR-C1-350WAC-P)
ID de bug da Cisco CSCvv27849	Cat 9K e 3K: Recarga inesperada causada pelo processo FED.
ID de bug da Cisco CSCvr77861	Os switches Cat9300/C9500/C9500H são recarregados may com o motivo da última recarga como LocalSoft ou CpuCatastrophicErr
ID de bug da Cisco CSCvu97189	Show platform forward (SPF) faz com que o dispositivo congele ou recarregue
ID de bug da Cisco CSCwe11818	A mesclagem da pilha do C9300L acontece após o switchover

Informações Relacionadas

• Suporte técnico e downloads da Cisco