Melhores práticas de atualização da ACI e solução de problemas

Introduction

Este documento descreve as etapas para solucionar problemas de atualização da Application Centric Infrastructure (ACI) e as práticas recomendadas a serem seguidas antes e durante o processo de atualização.

Uma atualização da ACI envolve a atualização do software e dos switches do Application Policy Infrastructure Controller (APIC) (leaf e spine). Uma atualização de switch é geralmente muito simples, mas uma atualização de APIC pode envolver alguns problemas de cluster. Aqui estão alguns pré-cheques que a Cisco recomenda preparar antes de iniciar uma atualização.

Antes da atualização

Antes de iniciar a atualização da ACI, certifique-se de executar algumas verificações prévias para evitar comportamentos inesperados.

Coisas a fazer antes da atualização do APIC

1. Limpe todas as falhas
   
   

   Muitas falhas na estrutura da ACI afirmam que há políticas inválidas ou de conflito ou mesmo interfaces desconectadas e assim por diante. Entenda o gatilho e limpe-o antes de iniciar a atualização. Esteja ciente das falhas, como encap already been used or Routed port is in L2 mode pode resultar em uma interrupção inesperada. Ao atualizar o switch, ele faz o download de todas as políticas do APIC do zero. Como resultado, as políticas inesperadas podem assumir as políticas esperadas que podem causar uma interrupção.
   
   

2. Limpar sobreposição de pool de VLAN
   
   Sobreposição de pool de VLAN significa que o mesmo ID de VLAN faz parte de dois ou mais pools de VLANs. Se o mesmo ID de VLAN for implantado em vários switches leaf que fazem parte de diferentes pools de VLAN, ele terá um ID de VXLAN diferente nesses switches. Como a ACI usa o ID da VXLAN para encaminhamento, o tráfego destinado a uma VLAN específica pode acabar em uma VLAN diferente ou ser descartado. Como o leaf faz o download da configuração do APIC após sua atualização, a ordem na qual a VLAN é implantada tem uma função importante. Isso pode resultar em uma interrupção ou perda intermitente de conectividade para endpoints em algumas VLANs.
   
   É importante verificar a sobreposição de ID de VLAN e corrigi-los antes de iniciar a atualização. Recomenda-se que um ID de VLAN faça parte de um pool de VLAN somente e reutilize o pool de VLAN quando necessário.
   
   
3. Confirmar caminho de atualização suportado
   
   A atualização do APIC envolve a conversão de dados de uma versão para outra, que é feita internamente. Para que a conversão de dados seja bem-sucedida, há alguns problemas de compatibilidade de versão que precisam ser resolvidos. Verifique sempre se a Cisco oferece suporte à atualização direta da versão atual da ACI para a nova versão de destino para a qual você está atualizando. Às vezes, você terá que passar por vários saltos para alcançar a versão desejada. Se você atualizar para uma versão não suportada, isso pode resultar em problemas de cluster e de configuração.
   
   Os caminhos de atualização suportados estão sempre listados no Cisco ACI Upgrade Guide.
   
   
4. Configuração do APIC de backup
   
   Certifique-se de exportar um backup de configuração para um servidor remoto antes de iniciar a atualização. Esse arquivo de backup exportado pode ser usado para recuperar a configuração nos APICs se você perder toda a configuração ou se houver um corrompimento de dados após a atualização.
   

   Note: Se você habilitar a criptografia para o backup, certifique-se de salvar a chave de criptografia. Caso contrário, todas as senhas da conta de usuário, incluindo a senha admin, não serão importadas corretamente.

5. Confirmar acesso ao APIC CIMC
   
   O Cisco Integrated Management Controller (CIMC) é a melhor maneira de obter acesso remoto ao console para o APIC. Se o APIC não voltar a funcionar depois de uma reinicialização ou os processos ficarem presos, talvez você não consiga se conectar ao APIC por meio do gerenciamento fora de banda ou dentro da banda do APIC. Neste estágio, você pode fazer login no CIMC e conectar-se ao console KVM para que o APIC faça algumas verificações e solucione o problema.
   
   
6. Verifique e confirme a compatibilidade da versão do CIMC
   
   Certifique-se sempre de executar a versão CIMC recomendada pela Cisco compatível com a versão da ACI de destino antes de iniciar a atualização da ACI. Consulte a Versão recomendada do APIC e do CIMC.
   
   
7. Confirme se o processo APIC não está bloqueado
   
   O processo chamado Elemento do Dispositivo (AE) executado no APIC é responsável por acionar a atualização no APIC. Há um bug conhecido na Interface de Gerenciamento de Plataforma Inteligente (IPMI - Intelligent Platform Management Interface) do CentOS que pode bloquear o processo AE no APIC. Se o processo AE estiver travado, a atualização do firmware do APIC não será iniciada. Esse processo consulta o IPMI do chassi a cada 10 segundos. Se o processo AE não tiver consultado o IPMI do chassi nos últimos 10 segundos, isso pode significar que o processo AE está bloqueado.
   
   Você pode verificar o status do processo AE para saber a última consulta IPMI. Na CLI do APIC, digite o comando date para verificar a hora atual do sistema. Agora, digite o comando grep "ipmi" /var/log/dme/log/svc_ifc_ae.bin.log | tail -5 e verifique a última vez em que o processo AE consultou o IPMI. Compare a hora com a hora do sistema para verificar se a última consulta estava na janela de 10 segundos da hora do sistema.
   
   Se o processo AE não tiver consultado o IPMI nos últimos 10 segundos da hora do sistema, você poderá reinicializar o APIC para recuperar o processo AE antes de iniciar a atualização.
   

   Note: Não reinicialize dois ou mais APICs ao mesmo tempo para evitar problemas de cluster.

8. Verificar e confirmar a disponibilidade do NTP
   
   A partir de cada APIC, faça ping e confirme a acessibilidade ao servidor NTP para evitar problemas conhecidos devido à incompatibilidade de tempo do APIC. Mais detalhes sobre isso podem ser encontrados na seção de solução de problemas deste artigo.
   
   
9. Verifique o estado de integridade do APIC
   
   Verifique e confirme o status de integridade do APIC no cluster antes de iniciar a atualização. A pontuação de integridade de 255 significa que o APIC é saudável. Insira  o comando acidiag avread | grep id= | cut -d ' ' -f 9,10,20,26,46 de qualquer CLI do APIC para verificar o status de integridade do APIC. Se a pontuação de integridade não for 255 para nenhum APIC, não inicie a atualização.
   
   
10. Avalie o impacto de uma nova versão
    
    Antes de iniciar a atualização, revise as Release Notes para sua versão da ACI de destino e entenda todas as alterações comportamentais aplicáveis à configuração da estrutura para evitar resultados inesperados após a atualização.
    
    
11. Estágio da atualização no laboratório
    
    A Cisco recomenda experimentar a atualização em um laboratório ou em uma estrutura de teste antes da estrutura de produção real para se familiarizar com a atualização e os comportamentos da nova versão. Isso também ajuda a avaliar todos os possíveis problemas em que você pode executar após a atualização.
    
    

Coisas a fazer antes da atualização do switch

1. Coloque o Virtual Port Channel (vPC) e pares de folha redundante em diferentes grupos de manutenção
   
   O APIC da ACI tem um mecanismo para verificar e adiar a atualização de nós leaf de par de vPC de uma determinada versão e posterior. No entanto, é recomendável colocar switches de par vPC em diferentes grupos de manutenção para evitar que os switches vPC sejam reinicializados ao mesmo tempo.
   
   No caso de switches não-vPC que são redundantes, como folha de borda, certifique-se de colocá-los em grupos de portas diferentes para evitar interrupções.

Solucionar problemas de atualização

Sempre comece a solucionar problemas de APIC1 se a atualização ficar presa ou falhar. Se a atualização do APIC1 ainda não estiver concluída, não faça nada em APIC2 e APIC3. O processo de atualização do APIC é incremental e, portanto, o APIC2 só será atualizado depois que o APIC1 concluir a atualização e notificar o APIC2 sobre isso e assim por diante. Portanto, a violação disso pode colocar o cluster em um estado quebrado com banco de dados corrompido e talvez seja necessário reconstruir o cluster.

Cenário: APIC ID 2 ou posterior travada em 75%

Neste cenário, você verá que o APIC1 foi atualizado com êxito, mas o APIC2 ainda está travado em 75%. Esse problema acontece se as informações da versão de atualização do APIC1 não forem propagadas para APIC2 ou posterior. Esteja ciente de que a svc_ifc_appliance_director o processo é responsável pela sincronização de versão entre APICs.

Como solucionar problemas

Passo 1: Certifique-se de que o APIC1 possa fazer ping no restante dos APICs com seu endereço IP de Ponto Final de Túnel (TEP - Tunnel End Point), pois isso determinará se você precisa solucionar problemas do switch leaf ou continuar do APIC propriamente dito. Se o APIC1 não conseguir fazer ping no APIC2, você pode ligar para o Technical Assistance Center (TAC) para solucionar problemas do switch. Se APIC1 puder executar ping para APIC2, continue com a segunda etapa.

Passo 2: Como os APICs podem fazer ping entre si, as informações da versão do APIC1 devem ter sido replicadas para o peer, mas de alguma forma não foram aceitas pelo peer. As informações da versão são identificadas por um timestamp da versão. Você pode confirmar o carimbo de data e hora da versão do APIC1 a partir da CLI do CLI e do APIC2 que está aguardando em 75%.

No APIC1

apic1# acidiag avread | grep id=1 | cut -d ' ' -f20-21
version=2.0(2f) lm(t):1(2018-07-25T18:01:04.907+11:00)

No APIC2

apic2# acidiag avread | grep id=1 | cut -d ' ' -f20-21
version=2.0(1m) lm(t):1(2018-07-25T18:20:04.907+11:00)

Como você pode ver, o timestamp da versão do APIC2 (18:20:04) que executa a Versão 2.0(1m) neste exemplo é maior que o timestamp da versão do APIC1(18:01:04) que executa a Versão 2.0(2f). Assim, o processo do instalador do APIC2 acha que a atualização do APIC1 ainda não está concluída e espera em 75%. A atualização do APIC2 será iniciada quando o carimbo de data e hora da versão do APIC1 exceder o carimbo de data e hora da versão do APIC2. No entanto, isso pode ser muita espera com base na diferença de tempo. Para recuperar a malha desse estado, você pode abrir um caso do TAC para obter assistência para solucionar problemas e corrigir o problema do APIC1.