Problemen met CNDP Cluster Manager HA-knooppunt oplossen en opnieuw installeren, force-VM opnieuw implementeren

Inleiding

In dit document wordt de procedure beschreven om Cluster Manager te herstellen vanaf de opstartserver in de CNDP-installatie (Cloud Native Implementation Platform).

Voorwaarden

Vereisten

Cisco raadt kennis van de volgende onderwerpen aan:

• Cisco Subscriber Microservices infrastructuur (SMI)
• 5G CNDP of SMI-Bare-metal (BM) architectuur
• DRBD-apparaat (gedistribueerd gerepliceerd blokapparaat)

Gebruikte componenten

De informatie in dit document is gebaseerd op de volgende software- en hardware-versies:

• 2020.02.2.35
• Kubernetes v1.21.0
  
  

De informatie in dit document is gebaseerd op de apparaten in een specifieke laboratoriumomgeving. Alle apparaten die in dit document worden beschreven, hadden een opgeschoonde (standaard)configuratie. Als uw netwerk live is, moet u zorgen dat u de potentiële impact van elke opdracht begrijpt.

Achtergrondinformatie

Wat is SMI Cluster Manager?

Een clustermanager is een 2-knooppunt keepalived-cluster dat wordt gebruikt als het beginpunt voor zowel besturingsplane als de implementatie van gebruikersvlak. Er wordt een Kubernetes-cluster met één knooppunt en een reeks POD's uitgevoerd die verantwoordelijk zijn voor de gehele clusterconfiguratie. Alleen de primaire clusterbeheerder is actief en de secundaire beheerder neemt alleen het beheer over in geval van een storing of wordt handmatig neergehaald voor onderhoud.

Wat is een Inception Server?

Dit knooppunt voert levenscyclusbeheer uit van de Cluster Manager (CM) die ten grondslag ligt en vanaf hier kunt u Day0 Config.

Deze server wordt doorgaans regionaal of in hetzelfde datacenter geïmplementeerd als de orkestratiefunctie op topniveau (bijvoorbeeld NSO) en wordt doorgaans uitgevoerd als een VM.

Probleem

De clustermanager wordt gehost in een cluster met 2 knooppunten met gedistribueerd gerepliceerd blokapparaat (DRBD) en wordt behouden als Cluster Manager primair en Cluster Manager secundair. In dit geval gaat Cluster Manager secundair automatisch naar de uitschakelstatus tijdens de initialisatie/installatie van het besturingssysteem in UCS, wat aangeeft dat het besturingssysteem beschadigd is.

cloud-user@POD-NAME-cm-primary:~$ drbd-overview status
0:data/0 WFConnection Primary/Unknown UpToDate/DUnknown /mnt/stateful_partition ext4 568G 369G 170G 69% 

Procedure voor het onderhoud

Dit proces helpt om het besturingssysteem opnieuw op de CM-server te installeren.

Identificeer hosts

Aanmelden bij Cluster-Manager en hosts identificeren:

cloud-user@POD-NAME-cm-primary:~$ cat /etc/hosts | grep 'deployer-cm'
127.X.X.X POD-NAME-cm-primary POD-NAME-cm-primary
X.X.X.X POD-NAME-cm-primary
X.X.X.Y POD-NAME-cm-secondary

Identificeer clustergegevens van de opstartserver

Meld u aan bij de Inceptieserver en ga naar de implementator en controleer de clusternaam met hosts-IP van Cluster-Manager.

Na succesvolle aanmelding bij de startserver, logt u in bij het OPS-centrum, zoals hier wordt getoond.

user@inception-server: ~$ ssh -p 2022 admin@localhost

Controleer de naam van de cluster vanaf Cluster Manager SSH-IP (sh-ip = knooppunt van SSH, IP-adres = ucs-server, CIMC, ip-adres).

[inception-server] SMI Cluster Deployer# show running-config clusters * nodes * k8s ssh-ip | select nodes * ssh-ip | select nodes * ucs-server cimc ip-address | tab
                               SSH 
NAME             NAME          IP     SSH IP           IP ADDRESS 
------------------------------------------------------------------------------
POD-NAME-deployer     cm-primary    -      X.X.X.X          10.X.X.X ---> Verify Name and SSH IP if Cluster is part of inception server SMI.
                 cm-secondary  -      X.X.X.Y          10.X.X.Y

Controleer de configuratie voor het doelcluster.

[inception-server] SMI Cluster Deployer# show running-config clusters POD-NAME-deployer

Verwijder de Virtual Drive om het besturingssysteem van de server te wissen

Maak verbinding met de CIMC van de betreffende host en wis het opstartstation en verwijder het virtuele station (VD).

a) CIMC > Storage > Cisco 12G Modular Raid Controller > Storage Log > Clear Boot Drive
b) CIMC > Storage > Cisco 12G Modular Raid Controller > Virtual drive > Select the virtual drive > Delete Virtual Drive

Clustersynchronisatie uitvoeren

Voer standaardclustersync voor Cluster-Manager uit vanaf de opstartserver.

[inception-server] SMI Cluster Deployer# clusters POD-NAME-deployer actions sync run debug true
This will run sync. Are you sure? [no,yes] yes
message accepted
[inception-server] SMI Cluster Deployer#

Als standaardclustersynchronisatie mislukt, voert u clustersynchronisatie uit met force-vm-herimplementatieoptie voor volledige herinstallatie (Cluster-sync-activiteit kan ~45-55 minuten duren om te voltooien. Dit is afhankelijk van het aantal knooppunten dat op het cluster wordt gehost)

[inception-server] SMI Cluster Deployer# clusters POD-NAME-deployer actions sync run debug true force-vm-redeploy true
This will run sync. Are you sure? [no,yes] yes
message accepted
[inception-server] SMI Cluster Deployer#

De Cluster-sync synchronisatielogboeken bewaken

[inception-server] SMI Cluster Deployer# monitor sync-logs POD-NAME-deployer
2023-02-23 10:15:07.548 DEBUG cluster_sync.POD-NAME: Cluster name: POD-NAME 
2023-02-23 10:15:07.548 DEBUG cluster_sync.POD-NAME: Force VM Redeploy: true
2023-02-23 10:15:07.549 DEBUG cluster_sync.POD-NAME: Force partition Redeploy: false 
2023-02-23 10:15:07.549 DEBUG cluster_sync.POD-NAME: reset_k8s_nodes: false 
2023-02-23 10:15:07.549 DEBUG cluster_sync.POD-NAME: purge_data_disks: false 
2023-02-23 10:15:07.549 DEBUG cluster_sync.POD-NAME: upgrade_strategy: auto 
2023-02-23 10:15:07.549 DEBUG cluster_sync.POD-NAME: sync_phase: all 
2023-02-23 10:15:07.549 DEBUG cluster_sync.POD-NAME: debug: true 
...
...
...

De server wordt opnieuw geleverd en geïnstalleerd via succesvolle clustersynchronisatie.

PLAY RECAP *********************************************************************
cm-primary :   ok=535 changed=250 unreachable=0 failed=0 skipped=832 rescued=0 ignored=0 
cm-secondary : ok=299 changed=166 unreachable=0 failed=0 skipped=627 rescued=0 ignored=0 
localhost :    ok=59  changed=8   unreachable=0 failed=0 skipped=18  rescued=0 ignored=0 

Thursday 23 February 2023 13:17:24 +0000 (0:00:00.109) 0:56:20.544 *****. ---> ~56 mins to complete cluster sync

===============================================================================

2023-02-23 13:17:24.539 DEBUG cluster_sync.POD-NAME: Cluster sync successful
2023-02-23 13:17:24.546 DEBUG cluster_sync.POD-NAME: Ansible sync done
2023-02-23 13:17:24.546 INFO cluster_sync.POD-NAME: _sync finished. Opening lock

Verificatie

Controleer of de getroffen Cluster Manager bereikbaar is en het DRBD-overzicht van de primaire en secundaire clustermanagers is in UpToDate-status.

cloud-user@POD-NAME-cm-primary:~$ ping X.X.X.Y
PING X.X.X.Y (X.X.X.Y) 56(84) bytes of data.
64 bytes from X.X.X.Y: icmp_seq=1 ttl=64 time=0.221 ms
64 bytes from X.X.X.Y: icmp_seq=2 ttl=64 time=0.165 ms
64 bytes from X.X.X.Y: icmp_seq=3 ttl=64 time=0.151 ms
64 bytes from X.X.X.Y: icmp_seq=4 ttl=64 time=0.154 ms
64 bytes from X.X.X.Y: icmp_seq=5 ttl=64 time=0.172 ms
64 bytes from X.X.X.Y: icmp_seq=6 ttl=64 time=0.165 ms
64 bytes from X.X.X.Y: icmp_seq=7 ttl=64 time=0.174 ms

--- X.X.X.Y ping statistics ---
7 packets transmitted, 7 received, 0% packet loss, time 6150ms
rtt min/avg/max/mdev = 0.151/0.171/0.221/0.026 ms

cloud-user@POD-NAME-cm-primary:~$ drbd-overview status
0:data/0 Connected Primary/Secondary UpToDate/UpToDate /mnt/stateful_partition ext4 568G 17G 523G 4%

De getroffen clusterbeheerder wordt geïnstalleerd en opnieuw geprovisioneerd naar het netwerk.