Solucionar problemas de um plano de controle/falha de hardware N7K intermitente ou não responsivo

Introdução

Este documento descreve como solucionar problemas de um módulo de hardware em um Nexus 7k quando ele não responde ou é intermitente.

Solucionar problemas de um plano de controle N7K intermitente ou não responsivo

1. O problema intermitente ocorre em um determinado ciclo?

Etapa 1. Execute um snmpwalk nas várias IDs de usuário do SNMP V3 e/ou strings de comunidade do SNMP V2 (ou seja, walk the hostname mib).

Faça isso em um loop contínuo.

• Se os snmpwalk responderem consistentemente sem problemas, provavelmente esse não é o seu problema.
• Se os snmpwalk respondem dizer consistentemente por 30 segundos e então de súbito parar e tornar-se intermitente por dizer mais 30 segundos e depois repetir o ciclo - esta é uma indicação séria

Etapa 2. Use ssh para o VDC em questão que tenha snmpwalk intermitentes sem resposta para o nome de host da Etapa 1.

• Durante o mesmo tempo exato em que os snmpwalk não respondem com o nome de host, emita um show running-configuration na janela ssh.
• Se você mostrar que a configuração atual está pausada - esta é uma indicação séria

Com ambas as Etapas 1 e 2 impactadas ao mesmo tempo no ciclo de 60 segundos, isso parece ser uma falha de hardware dentro do plano de controle N7K, pois o N7K executa uma verificação de integridade de diagnóstico de hardware de forma consistente. Quando você vê 30 segundos de resposta e depois 30 segundos de não resposta e o ciclo se repete, essa é uma indicação clara da verificação de integridade do diagnóstico de hardware verificando todos os hardwares. Os 30 segundos da capacidade de resposta são a verificação do hardware em boas condições e, em seguida, os 30 segundos da ausência de resposta são os hardwares com falha.

Etapa 3. Se a Etapa 2 representar claramente uma falha de hardware, execute as próximas etapas:

• show module em todos os VDCs ativos para exibir todos os testes de diagnóstico com falha
• O mais importante e único no VDC-1 do administrador (ou seja, VDC-1), mostrar arquivo de registro e procurar erros EOBC (ou seja, os erros EOBC são registrados somente no VDC-1 do administrador)

Observação: EOBC é o processo de plano de controle interno que o N7K usa para se comunicar entre os módulos de estrutura/SUP/placas de linha. Se esse processo EOBC for afetado de alguma forma, o módulo associado representado no arquivo de registro VDC-1 do administrador será provavelmente o culpado da capacidade de resposta intermitente testemunhada nos testes anteriores, pois o SUP perdeu comunicações 100% consistentes com o módulo associado representado no arquivo de registro VDC-1 do administrador e está tentando se recuperar/comunicar com ele, causando a capacidade de resposta intermitente com outros processos do plano de controle.

Exemplo:

lab-sw01-admin-vdc-1# show logging logfile | inc EOBC
2022 Feb 22 19:46:15 lab-sw01-admin-vdc-1 %MODULE-4-MOD_WARNING: Module 8 (Serial number: JAA00000000) reported warning 8/1-8/0 due to EOBC heartbeat failure on standby sup in device DEV_EOBC_MAC (device error 0xc0a0504f)
2022 Feb 22 19:46:15 lab-sw01-admin-vdc-1 %MODULE-4-MOD_WARNING: Module 8 (Serial number: JAA00000000) reported warning 8/1-8/0 due to EOBC heartbeat failure in device DEV_EOBC_MAC (device error 0xc0a0514d)
2022 Feb 22 19:46:16 lab-sw01-admin-vdc-1 %MODULE-4-MOD_WARNING: Module 8 (Serial number: JAA00000000) reported warning 8/1-8/0 due to EOBC heartbeat failure on standby sup in device DEV_EOBC_MAC (device error 0xc0a0504f)
2022 Feb 22 19:46:16 lab-sw01-admin-vdc-1 %MODULE-4-MOD_WARNING: Module 8 (Serial number: JAA00000000) reported warning 8/1-8/0 due to EOBC heartbeat failure in device DEV_EOBC_MAC (device error 0xc0a0514d)
2022 Feb 22 19:46:21 lab-sw01-admin-vdc-1 %MODULE-4-MOD_WARNING: Module 8 (Serial number: JAA00000000) reported warning 8/1-8/0 due to EOBC heartbeat failure in device DEV_EOBC_MAC (device error 0xc0a0514d)
2022 Feb 22 19:46:21 lab-sw01-admin-vdc-1 %MODULE-4-MOD_WARNING: Module 8 (Serial number: JAA00000000) reported warning 8/1-8/0 due to EOBC heartbeat failure on standby sup in device DEV_EOBC_MAC (device error 0xc0a0504f)
2022 Feb 22 19:46:22 lab-sw01-admin-vdc-1 %MODULE-4-MOD_WARNING: Module 8 (Serial number: JAA00000000) reported warning 8/1-8/0 due to EOBC heartbeat failure in device DEV_EOBC_MAC (device error 0xc0a0514d)
2022 Feb 22 19:46:23 lab-sw01-admin-vdc-1 %MODULE-4-MOD_WARNING: Module 8 (Serial number: JAA00000000) reported warning 8/1-8/0 due to EOBC heartbeat failure on standby sup in device DEV_EOBC_MAC (device error 0xc0a0504f)
2022 Feb 22 19:46:23 lab-sw01-admin-vdc-1 %MODULE-4-MOD_WARNING: Module 8 (Serial number: JAA00000000) reported warning 8/1-8/0 due to EOBC heartbeat failure in device DEV_EOBC_MAC (device error 0xc0a0514d)
2022 Feb 22 19:46:24 lab-sw01-admin-vdc-1 %MODULE-4-MOD_WARNING: Module 8 (Serial number: JAA00000000) reported warning 8/1-8/0 due to EOBC heartbeat failure on standby sup in device DEV_EOBC_MAC (device error 0xc0a0504f)
2022 Feb 22 19:46:24 lab-sw01-admin-vdc-1 %MODULE-4-MOD_WARNING: Module 8 (Serial number: JAA00000000) reported warning 8/1-8/0 due to EOBC heartbeat failure in device DEV_EOBC_MAC (device error 0xc0a0514d)
2022 Feb 22 19:46:26 lab-sw01-admin-vdc-1 %MODULE-4-MOD_WARNING: Module 8 (Serial number: JAA00000000) reported warning 8/1-8/0 due to EOBC heartbeat failure on standby sup in device DEV_EOBC_MAC (device error 0xc0a0504f)
2022 Feb 22 19:46:26 lab-sw01-admin-vdc-1 %MODULE-4-MOD_WARNING: Module 8 (Serial number: JAA00000000) reported warning 8/1-8/0 due to EOBC heartbeat failure in device DEV_EOBC_MAC (device error 0xc0a0514d)

Essa saída de registro mostra claramente que o Módulo 8 apresenta falha de pulsação de EOBC com o SUP em standby e está em um estado não íntegro, exigindo ação imediata.

2. Como resolver esse problema?

Etapa 1. Execute um comando show module e capture os dados para referência:

lab-sw01-admin-vdc-1# show module 
Mod Ports Module-Type Model Status
--- ----- ----------------------------------- ------------------ ----------
1 12 100 Gbps Ethernet Module N77-F312CK-26 ok
2 12 100 Gbps Ethernet Module N77-F312CK-26 ok
3 48 1/10 Gbps Ethernet Module N77-F348XP-23 ok
4 48 1/10 Gbps Ethernet Module N77-F348XP-23 ok
5 0 Supervisor Module-2 N77-SUP2E active *
6 0 Supervisor Module-2 N77-SUP2E ha-standby
7 24 10/40 Gbps Ethernet Module N77-F324FQ-25 ok
8 24 10/40 Gbps Ethernet Module N77-F324FQ-25 ok

Mod Sw Hw
--- --------------- ------
1 8.4(4) 1.5 
2 8.4(4) 1.5 
3 8.4(4) 1.9 
4 8.4(4) 1.9 
5 8.4(4) 1.3 
6 8.4(4) 1.3 
7 8.4(4) 1.2 
8 8.4(4) 1.2

Observação: todos os módulos estão on-line (ou seja, ok) e o módulo 5 é o SUP ativo (ou seja, ativo *) com o módulo 6 como o SUP em standby de alta disponibilidade (ou seja, ha-standby). Embora haja AVISOS EOBC sobre o Módulo 8 no arquivo de log do VDC admin, esta saída descreve o Módulo 8 como OK.

Etapa 2. Realize uma recarga do switch ou um switchover do supervisor (ou seja, ambos no VDC do administrador):

lab-sw01-admin-vdc-1# reload

- system (ie supervisor) switchover - 

NOTE: preferred method as this is a non-impacting procedure to the box with regards to active data flows

lab-sw01-admin-vdc-1# system switchover

Observação: em qualquer um dos casos, antes de executar uma recarga ou um switchover de sistema, certifique-se de estar em ambos os consoles de supervisor para que você possa testemunhar em primeira mão toda a saída do supervisor.

Etapa 3. No caso em que o Módulo 8 é o suspeito culpado, é provável que você veja no console o erro do Módulo 8 na comutação do sistema (ou seja, do supervisor):

lab-sw01-admin-vdc-1(standby) login: 2022 Feb 23 02:09:45 lab-sw01-admin-vdc-1 %$ VDC-1 %$ %KERN-2-SYSTEM_MSG: [12392164.927835] Switchover started by redundancy driver - kernel
2022 Feb 23 02:09:45 lab-sw01-admin-vdc-1 %$ VDC-1 %$ %SYSMGR-2-HASWITCHOVER_PRE_START: This supervisor is becoming active (pre-start phase).
2022 Feb 23 02:09:45 lab-sw01-admin-vdc-1 %$ VDC-1 %$ %SYSMGR-2-HASWITCHOVER_START: Supervisor 6 is becoming active.
2022 Feb 23 02:09:46 lab-sw01-vdc-2 %$ VDC-2 %$ %ELTM-2-ELTM_INTF_TO_LTL: Failed to get LTL for interface lc-eth0/8 return status No card found in slot 
2022 Feb 23 02:09:46 lab-sw01-admin-vdc-1 %$ VDC-1 %$ %SYSMGR-2-SWITCHOVER_OVER: Switchover completed.
2022 Feb 23 02:09:47 lab-sw01-admin-vdc-1 %$ VDC-1 %$ %PLATFORM-1-PFM_ALERT: Disabling ejector based shutdown on sup in slot 6 
2022 Feb 23 02:09:46 lab-sw01-vdc-2 %$ VDC-2 %$ %ELTM-2-ELTM_INTF_TO_LTL: Failed to get LTL for interface lc-eth1/8 return status No card found in slot 
2022 Feb 23 02:09:46 lab-sw01-vdc-2 %$ VDC-2 %$ %ELTM-2-ELTM_INTF_TO_LTL: Failed to get LTL for interface lc-eth2/8 return status No card found in slot 
2022 Feb 23 02:09:46 lab-sw01-vdc-2 %$ VDC-2 %$ %ELTM-2-ELTM_INTF_TO_LTL: Failed to get LTL for interface lc-eth3/8 return status No card found in slot 
2022 Feb 23 02:09:46 lab-sw01-vdc-2 %$ VDC-2 %$ %ELTM-2-ELTM_INTF_TO_LTL: Failed to get LTL for interface lc-eth4/8 return status No card found in slot 
2022 Feb 23 02:09:46 lab-sw01-vdc-2 %$ VDC-2 %$ %ELTM-2-ELTM_INTF_TO_LTL: Failed to get LTL for interface lc-eth5/8 return status No card found in slot 
2022 Feb 23 02:09:46 lab-sw01-vdc-2 %$ VDC-2 %$ %ELTM-2-ELTM_INTF_TO_LTL: Failed to get LTL for interface lc-eth6/8 return status No card found in slot 
2022 Feb 23 02:09:46 lab-sw01-vdc-2 %$ VDC-2 %$ %ELTM-2-ELTM_INTF_TO_LTL: Failed to get LTL for interface lc-eth7/8 return status No card found in slot 
2022 Feb 23 02:09:46 lab-sw01-vdc-2 %$ VDC-2 %$ %ELTM-2-ELTM_INTF_TO_LTL: Failed to get LTL for interface lc-eth8/8 return status No card found in slot 
2022 Feb 23 02:09:46 lab-sw01-vdc-2 %$ VDC-2 %$ %ELTM-2-ELTM_INTF_TO_LTL: Failed to get LTL for interface lc-eth9/8 return status No card found in slot 
2022 Feb 23 02:09:46 lab-sw01-vdc-2 %$ VDC-2 %$ %ELTM-2-ELTM_INTF_TO_LTL: Failed to get LTL for interface lc-eth10/8 return status No card found in slot 
2022 Feb 23 02:09:46 lab-sw01-vdc-2 %$ VDC-2 %$ %ELTM-2-ELTM_INTF_TO_LTL: Failed to get LTL for interface lc-eth11/8 return status No card found in slot

Etapa 4. Execute vários show modules e observe se/quando o Módulo 8 está online novamente:

Module 5 dropped out and is powered-up:
Module 8 dropped out and is powered-up:

lab-sw01-admin-vdc-1# show module 
Mod Ports Module-Type Model Status
--- ----- ----------------------------------- ------------------ ----------
1 12 100 Gbps Ethernet Module N77-F312CK-26 ok
2 12 100 Gbps Ethernet Module N77-F312CK-26 ok
3 48 1/10 Gbps Ethernet Module N77-F348XP-23 ok
4 48 1/10 Gbps Ethernet Module N77-F348XP-23 ok
5 0 Supervisor Module-2 powered-up
6 0 Supervisor Module-2 N77-SUP2E active *
7 24 10/40 Gbps Ethernet Module N77-F324FQ-25 ok
8 24 10/40 Gbps Ethernet Module powered-up

Mod Power-Status Reason 
--- ------------ ---------------------------
8 powered-up Unknown. Issue show system reset mod ...

Mod Sw Hw
--- --------------- ------
1 8.4(4) 1.5 
2 8.4(4) 1.5 
3 8.4(4) 1.9 
4 8.4(4) 1.9 
6 8.4(4) 1.3 
7 8.4(4) 1.2

lab-sw01-admin-vdc-1# 2022 Feb 23 02:11:11 lab-sw01-vdc-2 %$ VDC-2 %$ %PLATFORM-2-MOD_DETECT: Module 8 detected (Serial number JAA00000000) Module-Type 10/40 Gbps Ethernet Module Model N77-F324FQ-25
2022 Feb 23 02:11:11 lab-sw01-vdc-2 %$ VDC-2 %$ %PLATFORM-2-MOD_PWRUP: Module 8 powered up (Serial number JAA00000000)
2022 Feb 23 02:11:11 lab-sw01-admin-vdc-1 %$ VDC-1 %$ %PLATFORM-2-MOD_DETECT: Module 8 detected (Serial number JAA00000000) Module-Type 10/40 Gbps Ethernet Module Model N77-F324FQ-25
2022 Feb 23 02:11:11 lab-sw01-admin-vdc-1 %$ VDC-1 %$ %PLATFORM-2-MOD_PWRUP: Module 8 powered up (Serial number JAA00000000)

Module 8 is pwr-cycled:

lab-sw01-admin-vdc-1# show module 
Mod Ports Module-Type Model Status
--- ----- ----------------------------------- ------------------ ----------
1 12 100 Gbps Ethernet Module N77-F312CK-26 ok
2 12 100 Gbps Ethernet Module N77-F312CK-26 ok
3 48 1/10 Gbps Ethernet Module N77-F348XP-23 ok
4 48 1/10 Gbps Ethernet Module N77-F348XP-23 ok
5 0 Supervisor Module-2 powered-up
6 0 Supervisor Module-2 N77-SUP2E active *
7 24 10/40 Gbps Ethernet Module N77-F324FQ-25 ok
8 24 10/40 Gbps Ethernet Module pwr-cycld

Mod Power-Status Reason 
--- ------------ ---------------------------
8 pwr-cycld Unknown. Issue show system reset mod ...

Mod Sw Hw
--- --------------- ------
1 8.4(4) 1.5 
2 8.4(4) 1.5 
3 8.4(4) 1.9 
4 8.4(4) 1.9 
6 8.4(4) 1.3 
7 8.4(4) 1.2

lab-sw01-admin-vdc-1# show module 
Mod Ports Module-Type Model Status
--- ----- ----------------------------------- ------------------ ----------
1 12 100 Gbps Ethernet Module N77-F312CK-26 ok
2 12 100 Gbps Ethernet Module N77-F312CK-26 ok
3 48 1/10 Gbps Ethernet Module N77-F348XP-23 ok
4 48 1/10 Gbps Ethernet Module N77-F348XP-23 ok
5 0 Supervisor Module-2 powered-up
6 0 Supervisor Module-2 N77-SUP2E active *
7 24 10/40 Gbps Ethernet Module N77-F324FQ-25 ok
8 24 10/40 Gbps Ethernet Module N77-F324FQ-25 powered-up

Mod Sw Hw
--- --------------- ------
1 8.4(4) 1.5 
2 8.4(4) 1.5 
3 8.4(4) 1.9 
4 8.4(4) 1.9 
6 8.4(4) 1.3 
7 8.4(4) 1.2 
8 8.4(4) 1.2

Module 8 is checked by epld auto-upgrade and is good to go:

lab-sw01-admin-vdc-1# 2022 Feb 23 02:13:06 lab-sw01-admin-vdc-1 %$ VDC-1 %$ %USER-2-SYSTEM_MSG: <<%EPLD_AUTO-2-AUTO_UPGRADE_CHECK>> Automatic EPLD upgrade check for module 8: EPLD versions are up to date. - epld_auto

lab-sw01-admin-vdc-1# show module 
Mod Ports Module-Type Model Status
--- ----- ----------------------------------- ------------------ ----------
1 12 100 Gbps Ethernet Module N77-F312CK-26 ok
2 12 100 Gbps Ethernet Module N77-F312CK-26 ok
3 48 1/10 Gbps Ethernet Module N77-F348XP-23 ok
4 48 1/10 Gbps Ethernet Module N77-F348XP-23 ok
5 0 Supervisor Module-2 powered-up
6 0 Supervisor Module-2 N77-SUP2E active *
7 24 10/40 Gbps Ethernet Module N77-F324FQ-25 ok
8 24 10/40 Gbps Ethernet Module N77-F324FQ-25 powered-up

Mod Sw Hw
--- --------------- ------
1 8.4(4) 1.5 
2 8.4(4) 1.5 
3 8.4(4) 1.9 
4 8.4(4) 1.9 
6 8.4(4) 1.3 
7 8.4(4) 1.2 
8 8.4(4) 1.2

Module 8 moves to testing by the hardware diagnostics:

lab-sw01-admin-vdc-1# show module 
Mod Ports Module-Type Model Status
--- ----- ----------------------------------- ------------------ ----------
1 12 100 Gbps Ethernet Module N77-F312CK-26 ok
2 12 100 Gbps Ethernet Module N77-F312CK-26 ok
3 48 1/10 Gbps Ethernet Module N77-F348XP-23 ok
4 48 1/10 Gbps Ethernet Module N77-F348XP-23 ok
5 0 Supervisor Module-2 powered-up
6 0 Supervisor Module-2 N77-SUP2E active *
7 24 10/40 Gbps Ethernet Module N77-F324FQ-25 ok
8 24 10/40 Gbps Ethernet Module N77-F324FQ-25 testing

Mod Sw Hw
--- --------------- ------
1 8.4(4) 1.5 
2 8.4(4) 1.5 
3 8.4(4) 1.9 
4 8.4(4) 1.9 
6 8.4(4) 1.3 
7 8.4(4) 1.2 
8 8.4(4) 1.2

Module 8 moves to initializing after passing hardware diagnostics:

lab-sw01-admin-vdc-1# show module 
Mod Ports Module-Type Model Status
--- ----- ----------------------------------- ------------------ ----------
1 12 100 Gbps Ethernet Module N77-F312CK-26 ok
2 12 100 Gbps Ethernet Module N77-F312CK-26 ok
3 48 1/10 Gbps Ethernet Module N77-F348XP-23 ok
4 48 1/10 Gbps Ethernet Module N77-F348XP-23 ok
5 0 Supervisor Module-2 powered-up
6 0 Supervisor Module-2 N77-SUP2E active *
7 24 10/40 Gbps Ethernet Module N77-F324FQ-25 ok
8 24 10/40 Gbps Ethernet Module N77-F324FQ-25 initializing

Mod Sw Hw
--- --------------- ------
1 8.4(4) 1.5 
2 8.4(4) 1.5 
3 8.4(4) 1.9 
4 8.4(4) 1.9 
6 8.4(4) 1.3 
7 8.4(4) 1.2 
8 8.4(4) 1.2

Module 8 comes online:

lab-sw01-admin-vdc-1# show module 
Mod Ports Module-Type Model Status
--- ----- ----------------------------------- ------------------ ----------
1 12 100 Gbps Ethernet Module N77-F312CK-26 ok
2 12 100 Gbps Ethernet Module N77-F312CK-26 ok
3 48 1/10 Gbps Ethernet Module N77-F348XP-23 ok
4 48 1/10 Gbps Ethernet Module N77-F348XP-23 ok
5 0 Supervisor Module-2 powered-up
6 0 Supervisor Module-2 N77-SUP2E active *
7 24 10/40 Gbps Ethernet Module N77-F324FQ-25 ok
8 24 10/40 Gbps Ethernet Module N77-F324FQ-25 ok

Mod Sw Hw
--- --------------- ------
1 8.4(4) 1.5 
2 8.4(4) 1.5 
3 8.4(4) 1.9 
4 8.4(4) 1.9 
6 8.4(4) 1.3 
7 8.4(4) 1.2 
8 8.4(4) 1.2

Module 5 SUP going active:

lab-sw01-admin-vdc-1# show module 
Mod Ports Module-Type Model Status
--- ----- ----------------------------------- ------------------ ----------
1 12 100 Gbps Ethernet Module N77-F312CK-26 ok
2 12 100 Gbps Ethernet Module N77-F312CK-26 ok
3 48 1/10 Gbps Ethernet Module N77-F348XP-23 ok
4 48 1/10 Gbps Ethernet Module N77-F348XP-23 ok
5 0 Supervisor Module-2 N77-SUP2E inserted
6 0 Supervisor Module-2 N77-SUP2E active *
7 24 10/40 Gbps Ethernet Module N77-F324FQ-25 ok
8 24 10/40 Gbps Ethernet Module N77-F324FQ-25 ok

Mod Sw Hw
--- --------------- ------
1 8.4(4) 1.5 
2 8.4(4) 1.5 
3 8.4(4) 1.9 
4 8.4(4) 1.9 
5 8.4(4) 1.3 
6 8.4(4) 1.3 
7 8.4(4) 1.2 
8 8.4(4) 1.2

Module 5 SUP becomes ha-standby:

2022 Feb 23 02:16:38 lab-sw01-admin-vdc-1 %$ VDC-1 %$ %PLATFORM-1-PFM_ALERT: Enabling ejector based shutdown on sup in slot 6 
lab-sw01-admin-vdc-1# show module 
Mod Ports Module-Type Model Status
--- ----- ----------------------------------- ------------------ ----------
1 12 100 Gbps Ethernet Module N77-F312CK-26 ok
2 12 100 Gbps Ethernet Module N77-F312CK-26 ok
3 48 1/10 Gbps Ethernet Module N77-F348XP-23 ok
4 48 1/10 Gbps Ethernet Module N77-F348XP-23 ok
5 0 Supervisor Module-2 N77-SUP2E ha-standby
6 0 Supervisor Module-2 N77-SUP2E active *
7 24 10/40 Gbps Ethernet Module N77-F324FQ-25 ok
8 24 10/40 Gbps Ethernet Module N77-F324FQ-25 ok

Mod Sw Hw
--- --------------- ------
1 8.4(4) 1.5 
2 8.4(4) 1.5 
3 8.4(4) 1.9 
4 8.4(4) 1.9 
5 8.4(4) 1.3 
6 8.4(4) 1.3 
7 8.4(4) 1.2 
8 8.4(4) 1.2

2022 Feb 23 02:15:44 lab-sw01-admin-vdc-1 %MODULE-5-MOD_OK: Module 8 is online (Serial number: JAA00000000)
2022 Feb 23 02:15:43 lab-sw01-admin-vdc-1 %SYSMGR-SLOT8-5-MODULE_ONLINE: System Manager has received notification of local module becoming online.
2022 Feb 23 02:15:44 lab-sw01-admin-vdc-1 %PLATFORM-5-MOD_STATUS: Module 8 current-status is MOD_STATUS_ONLINE/OK
2022 Feb 23 02:16:38 lab-sw01-admin-vdc-1 %MODULE-5-STANDBY_SUP_OK: Supervisor 5 is standby

Observação: todos os módulos estão on-line (ou seja, OK) e o módulo 6 é o SUP ativo (ou seja, ativo *) com o módulo 5 como o SUP em standby de alta disponibilidade (ou seja, ha-standby).

Etapa 5. Quando todos os módulos estiverem on-line, repita a Etapa 1. e valide se toda a conectividade está normalizada.