Probleemoplossing "JOINING" statusproblemen van CPS-DRA VM's in docker-cluster

Downloadopties

PDF (264.5 KB)
Met Adobe Reader op diverse apparaten bekijken
ePub (91.0 KB)
Bekijken in diverse apps op iPhone, iPad, Android, Sony Reader of Windows Phone
Mobi (Kindle) (81.2 KB)
Op Kindle-apparaat of via Kindle-app op meerdere apparaten bekijken

Bijgewerkt:25 juni 2024

Document-id:222069

Inclusief taalgebruik

De documentatie van dit product is waar mogelijk geschreven met inclusief taalgebruik. Inclusief taalgebruik wordt in deze documentatie gedefinieerd als taal die geen discriminatie op basis van leeftijd, handicap, gender, etniciteit, seksuele oriëntatie, sociaaleconomische status of combinaties hiervan weerspiegelt. In deze documentatie kunnen uitzonderingen voorkomen vanwege bewoordingen die in de gebruikersinterfaces van de productsoftware zijn gecodeerd, die op het taalgebruik in de RFP-documentatie zijn gebaseerd of die worden gebruikt in een product van een externe partij waarnaar wordt verwezen. Lees meer over hoe Cisco gebruikmaakt van inclusief taalgebruik.

Over deze vertaling

Cisco heeft dit document vertaald via een combinatie van machine- en menselijke technologie om onze gebruikers wereldwijd ondersteuningscontent te bieden in hun eigen taal. Houd er rekening mee dat zelfs de beste machinevertaling niet net zo nauwkeurig is als die van een professionele vertaler. Cisco Systems, Inc. is niet aansprakelijk voor de nauwkeurigheid van deze vertalingen en raadt aan altijd het oorspronkelijke Engelstalige document (link) te raadplegen.

Inhoud

Inleiding

Voorwaarden

Vereisten

Gebruikte componenten

Achtergrondinformatie

Probleem

Procedure om CPS-DRA-VM’s van de TOETREDINGSstaat te herstellen

Inleiding

Dit document beschrijft hoe u problemen met de status kunt oplossenJOINING met Cisco Policy Suite (CPS)-Diameter Routing Agent (DRA) Virtual Machine (VM).

`Voorwaarden`

`Vereisten`

Cisco raadt kennis van de volgende onderwerpen aan:

 Linux
 CPS

  
     
     Opmerking: Cisco raadt aan dat u geprivilegieerde root-toegang tot CPS DRA CLI moet hebben.

`Gebruikte componenten`

De informatie in dit document is gebaseerd op de volgende software- en hardware-versies:

 CPS-DRA 2.2
 Unified Computing System (UCS)-B

De informatie in dit document is gebaseerd op de apparaten in een specifieke laboratoriumomgeving. Alle apparaten die in dit document worden beschreven, hadden een opgeschoonde (standaard)configuratie. Als uw netwerk live is, moet u zorgen dat u de potentiële impact van elke opdracht begrijpt.

`Achtergrondinformatie`

De CPS Virtual Diameter Routing Agent (vDRA) fungeert als de operationele component binnen een netwerk en begeleidt berichten naar hun beoogde doelknooppunten door het gebruik van routingalgoritmen.

De centrale rol van CPS vDRA omvat het routeren van berichten en de daaropvolgende transmissie van reacties op hun oorspronkelijke punten van oorsprong.

CPS vDRA bestaat uit een verzameling virtuele machines (VM's), georkestreerd als een cluster met Docker-motoren, en bestaat uit verschillende entiteiten, namelijk Master, Control, Director, Distributor en Worker VM's.

admin@orchestrator[master-1]# show docker engine
Fri Jul 14 09:36:18.635 UTC+00:00
MISSED 
ID STATUS PINGS 
----------------------------------
control-1 CONNECTED 0 
control-2 CONNECTED 0 
director-1 CONNECTED 0 
director-2 CONNECTED 0 
director-3 CONNECTED 0 
director-4 CONNECTED 0 
director-5 CONNECTED 0 
director-6 CONNECTED 0 
director-7 CONNECTED 0 
director-8 CONNECTED 0 
distributor-1 CONNECTED 0 
distributor-2 CONNECTED 0 
distributor-3 CONNECTED 0 
distributor-4 CONNECTED 0 
master-1 CONNECTED 0 
worker-1 CONNECTED 0 
worker-2 CONNECTED 0 
worker-3 CONNECTED 0 
admin@orchestrator[master-1]#

Status - Geeft aan of de planningtoepassing is aangesloten op de docker-engine en op een host wordt uitgevoerd.

Gemiste pings - Het aantal opeenvolgende gemiste pings voor een bepaalde host.

`Probleem`

Soms komt CPS vDRA VM vast te zitten in de TOETREDINGSstaat vanwege verschillende redenen.

admin@orchestrator[master-1]# show docker engine
Fri Jul 14 09:36:18.635 UTC+00:00
MISSED 
ID STATUS PINGS 
----------------------------------
control-1 CONNECTED 0 
control-2 CONNECTED 0 
director-1 JOINING 57
director-2 JOINING 130
director-3 JOINING 131
director-4 JOINING 130
director-5 JOINING 30
director-6 JOINING 129 
distributor-1 CONNECTED 0 
distributor-2 CONNECTED 0 
distributor-3 CONNECTED 0 
distributor-4 CONNECTED 0 
master-1 CONNECTED 0 
worker-1 CONNECTED 0 
worker-2 CONNECTED 0 
worker-3 CONNECTED 0 
admin@orchestrator[master-1]#

de mogelijke redenen waarom VM vast komt te zitten in de staatJOINING;

1. VM is niet bereikbaar vanaf de master-VM.

1.1. Controleer of de status van de geweven verbindingen op de getroffen VM zich in de schuifmodus bevindt.

 
      
      Opmerking: Weave Net creëert een virtueel netwerk dat Docker containers die op meerdere hosts worden ingezet met elkaar verbindt en hun automatische ontdekking mogelijk maakt. Met Weave Net kunnen draagbare microservices-gebaseerde applicaties die bestaan uit meerdere containers overal draaien: op één host, meerdere hosts of zelfs tussen cloudproviders en datacenters. Toepassingen maken gebruik van het netwerk alsof de containers allemaal op dezelfde switch zijn aangesloten, zonder poorttoewijzingen, ambassadeurs of koppelingen te configureren.

CPS-DRA heeft twee primaire toestanden van geweven verbindingen: fastdp en mouw. De voorkeur binnen de CPS-DRA cluster is consequent gericht op het hebben van geweven verbindingen in de staatfastdp .

cps@director-1:~$ weave status connections
-> xx.xx.xx.xx:6783 established sleeve 4e:5f:58:99:d5:65(worker-1) mtu=1438
-> xx.xx.xx.xx:6783 established sleeve 76:33:17:3a:c7:ec(worker-2) mtu=1438
<- xx.xx.xx.xx:54751 established sleeve 76:3a:e9:9b:24:84(director-1) mtu=1438
-> xx.xx.xx.xx:6783 established sleeve 6e:62:58:a3:7a:a0(director-2) mtu=1438
-> xx.xx.xx.xx:6783 established sleeve de:89:d0:7d:b2:4e(director-3) mtu=1438

1.2. Controleer of deze logberichten aanwezig zijn in het journalctl logboek van de getroffen VM.

2023-08-01T10:20:25.896+00:00  docker-engine  Docker engine control-1 is unreachable                     
2023-08-01T10:20:25.897+00:00  docker-engine  Docker engine control-2 is unreachable                     
2023-08-01T10:20:25.935+00:00  docker-engine  Docker engine distributor-1 is unreachable                     
2023-08-01T10:20:25.969+00:00  docker-engine  Docker engine worker-1 is unreachable  

INFO: 2023/08/02 20:46:26.297275 overlay_switch ->[ee:87:68:44:fc:6a(worker-3)] fastdp timed out waiting for vxlan heartbeat
INFO: 2023/08/02 20:46:26.297307 overlay_switch ->[ee:87:68:44:fc:6a(worker-3)] using sleeve

2. VM-schijfruimte raakt op.

2.1. Controleer het gebruik van schijfruimte op de getroffen VM en identificeer de partitie met het gebruik van grote schijfruimte.

 cps@control-2:~$ df -h
Filesystem Size Used Avail Use% Mounted on
udev 32G 0 32G 0% /dev
tmpfs 6.3G 660M 5.7G 11% /run
/dev/sda3 97G 97G 0 100% /
tmpfs 32G 0 32G 0% /dev/shm
tmpfs 5.0M 0 5.0M 0% /run/lock
tmpfs 32G 0 32G 0% /sys/fs/cgroup
/dev/sdb1 69G 4.7G 61G 8% /data
/dev/sda1 180M 65M 103M 39% /boot
/dev/sdb2 128G 97G 25G 80% /stats
overlay 97G 97G 0 100% /var/lib/docker/overlay2/63854e8173b46727e11de3751c450037b5f5565592b83112a3863febf3940792/merged
overlay 97G 97G 0 100% /var/lib/docker/overlay2/a86da2c7a289dc2b71359654c5160a9a8ae334960e78def78e6eecea95855853/merged
overlay 97G 97G 0 100% /var/lib/docker/overlay2/9dfd1bf36282c4e707a3858beba91bfaa383c78b5b9eb3acf0e58f335126d9b7/merged
overlay 97G 97G 0 100% /var/lib/docker/overlay2/49ee42311e82974707a6041d82e6c550004d1ce25349478bb974cc017a84aff5/merged
cps@control-2:~$

`Procedure om CPS-DRA-VM’s van de TOETREDINGSstaat te herstellen`

Aanpak 1.

Als de VM niet bereikbaar is vanaf de master-VM, gebruikt u deze aanpak.

1. Controleer de status van de weefselverbinding op de getroffen VM's, als het de schuifmodus is.

#weave connection status

Sample output:

cps@director-1:~$ weave status connections
-> xx.xx.xx.xx:6783 established sleeve 4e:5f:58:99:d5:65(worker-1) mtu=1438
-> xx.xx.xx.xx:6783 established sleeve 76:33:17:3a:c7:ec(worker-2) mtu=1438
<- xx.xx.xx.xx:54751 established sleeve 76:3a:e9:9b:24:84(director-1) mtu=1438
-> xx.xx.xx.xx:6783 established sleeve 6e:62:58:a3:7a:a0(director-2) mtu=1438
-> xx.xx.xx.xx:6783 established sleeve de:89:d0:7d:b2:4e(director-3) mtu=1438

2. Opnieuw weven op de respectieve VM's.

#docker restart weave

3. Controleer of de status van de weefselverbinding naar de status is verplaatstfastdp en of de getroffen VM naar de status is verplaatstCONNECTED.

JOINING 4. Als VM's nog steeds vastzitten in de staat waarin ze verkeren, herstart ze die gevolgen voor VM's.

      #sudo reboot now     or   #init 6

5. Controleer nu of de getroffen VM naar de status is verplaatstCONNECTED.

admin@orchestrator[master-1]# show docker engine
Fri Jul 14 09:36:18.635 UTC+00:00
MISSED 
ID STATUS PINGS 
----------------------------------
control-1 CONNECTED 0 
control-2 CONNECTED 0 
director-1 CONNECTED 0 
director-2 CONNECTED 0 
director-3 CONNECTED 0 
director-4 CONNECTED 0 
distributor-1 CONNECTED 0 
distributor-2 CONNECTED 0 
distributor-3 CONNECTED 0 
distributor-4 CONNECTED 0 
master-1 CONNECTED 0 
worker-1 CONNECTED 0 
worker-2 CONNECTED 0 
worker-3 CONNECTED 0 
admin@orchestrator[master-1]#

6. Controleer of de vPAS het cateringverkeer start en alle containers UP zijn (met name diameter-eindpunt), anders start orchestrator-backup-a container in drc01 VM.

#docker restart orchestrator-backup-a

7. Controleer nu of vPAS het verkeer is gaan verwerken.

Aanpak 2.

Als de schijfruimte van de VM opgebruikt raakt.

1. Identificeer de map die grote schijfruimte gebruikt.

root@control-2:/var/lib/docker/overlay2#du -ah / --exclude=/proc | sort -r -h | head -n 10
176G 9dfd1bf36282c4e707a3858beba91bfaa383c78b5b9eb3acf0e58f335126d9b7

2. Controleer de bestanden/logs/dumps die grote schijfruimte in beslag nemen.

root@control-2:/var/lib/docker/overlay2/9dfd1bf36282c4e707a3858beba91bfaa383c78b5b9eb3acf0e58f335126d9b7/diff# ls -lrtha | grep G
total 88G
-rw------- 1 root root 1.1G Jul 12 18:10 core.22781
-rw------- 1 root root 1.2G Jul 12 18:12 core.24213
-rw------- 1 root root 1.2G Jul 12 18:12 core.24606
-rw------- 1 root root 1.1G Jul 12 18:12 core.24746
-rw------- 1 root root 1.1G Jul 12 18:13 core.25398

3. Identificeer de containers die lopen op beschadigde VM (met name ongezonde containers).

admin@orchestrator[master-1]# show docker service | exclude HEALTHY
Fri Jul 14 09:37:20.325 UTC+00:00
PENALTY 
MODULE INSTANCE NAME VERSION ENGINE CONTAINER ID STATE BOX MESSAGE 
--------------------------------------------------------------------------------------------------------------------------------------------------------------------
cc-monitor 103 cc-monitor 22.1.1-release control-2 cc-monitor-s103 STARTED true Pending health check 
mongo-node 103 mongo-monitor 22.1.1-release control-2 mongo-monitor-s103 STARTED true Pending health check 
mongo-status 103 mongo-status 22.1.1-release control-2 mongo-status-s103 STARTED false - 
policy-builder 103 policy-builder 22.1.1-release control-2 policy-builder-s103 STARTED true Pending health check 
prometheus 103 prometheus-hi-res 22.1.1-release control-2 prometheus-hi-res-s103 STARTED true Pending health check 
prometheus 103 prometheus-planning 22.1.1-release control-2 prometheus-planning-s103 STARTED false -

admin@orchestrator[master-1]#

4. Identificeer de container die omvangrijke kernbestanden activeert, om dit te doen inspecteren elke container die wordt gehost op de getroffen VM, één voor één.

Sample output for container "cc-monitor-s103":

root@control-2:/var/lib/docker/overlay2/9dfd1bf36282c4e707a3858beba91bfaa383c78b5b9eb3acf0e58f335126d9b7/merged# docker inspect cc-monitor-s103| grep /var/lib/docker/overlay2/| grep merged
"MergedDir": "/var/lib/docker/overlay2/9dfd1bf36282c4e707a3858beba91bfaa383c78b5b9eb3acf0e58f335126d9b7/merged",
root@control-2:/var/lib/docker/overlay2/9dfd1bf36282c4e707a3858beba91bfaa383c78b5b9eb3acf0e58f335126d9b7/merged#

5. Controleer of u al dan niet toegang hebt tot de betreffende container.

#admin@orchestrator[master-0]# docker connect cc-monitor-s103

6. Als u niet toegang tot die container, verwijder omvangrijke core bestanden om wat ruimte vrij te maken.

root@control-2:/var/lib/docker/overlay2/9dfd1bf36282c4e707a3858beba91bfaa383c78b5b9eb3acf0e58f335126d9b7/diff#  rm -rf core*

7. Log in in de getroffen container vanaf de getroffen VM.

     #docker exec -it cc-monitor-s103 bash

app 8. Herstart het proces in de container om generatie van omvangrijke kernbestanden te stoppen.

root@cc-monitor-s103:/# supervisorctl status
app STARTING 
app-logging-status RUNNING pid 30, uptime 21 days, 23:02:17
consul RUNNING pid 26, uptime 21 days, 23:02:17
consul-template RUNNING pid 27, uptime 21 days, 23:02:17
haproxy RUNNING pid 25, uptime 21 days, 23:02:17
root@cc-monitor-s103:/#

root@cc-monitor-s103:/# date; supervisorctl restart app
Fri Jul 14 09:08:38 UTC 2023
app: stopped
app: started
root@cc-monitor-s103:/# 

root@cc-monitor-s103:/# supervisorctl status
app RUNNING pid 26569, uptime 0:00:01
app-logging-status RUNNING pid 30, uptime 21 days, 23:02:44
consul RUNNING pid 26, uptime 21 days, 23:02:44
consul-template RUNNING pid 27, uptime 21 days, 23:02:44
haproxy RUNNING pid 25, uptime 21 days, 23:02:44
root@cc-monitor-s103:/#

9. Als Stap 8. niet helpt om de generatie van bulkkernbestanden tegen te houden, start de getroffen container opnieuw.

      #docker restart cc-monitor-s103

10. Controleer of de productie van bulkkernbestanden is gestopt.

11. Meld u aan bij de orchestrator container en start het orchestration-engine opnieuw om de getroffen VM weer terug te brengen naar de CONNECTED-status.

cps@master-1:~$ date; docker exec -it orchestrator bash
Fri Jul 14 09:26:12 UTC 2023
root@orchestrator:/#

root@orchestrator:/# supervisorctl status
confd RUNNING pid 20, uptime 153 days, 23:33:33
consul RUNNING pid 19, uptime 153 days, 23:33:33
consul-template RUNNING pid 26, uptime 153 days, 23:33:33
haproxy RUNNING pid 17, uptime 153 days, 23:33:33
mongo RUNNING pid 22, uptime 153 days, 23:33:33
monitor-elastic-server RUNNING pid 55, uptime 153 days, 23:33:33
monitor-log-forward RUNNING pid 48, uptime 153 days, 23:33:33
orchestration-engine RUNNING pid 34, uptime 153 days, 23:33:33
orchestrator_back_up RUNNING pid 60, uptime 153 days, 23:33:33
remove-duplicate-containers RUNNING pid 21, uptime 153 days, 23:33:33
rolling-restart-mongo RUNNING pid 18, uptime 153 days, 23:33:33
simplehttp RUNNING pid 31, uptime 153 days, 23:33:33
root@orchestrator:/#

root@orchestrator:/# date; supervisorctl restart orchestration-engine
Fri Jul 14 09:26:39 UTC 2023
orchestration-engine: stopped
orchestration-engine: started
root@orchestrator:/#

12. Als Stap 11 niet helpt om de VM te herstellen, ga dan voor het opnieuw opstarten van de motor-poxy in de getroffen VM.

cps@control-2:~$ docker ps | grep engine
0b778fae2616 engine-proxy:latest "/w/w /usr/local/bin…" 5 months ago Up 3 weeks engine-proxy-ddd7e7ec4a70859b53b24f3926ce6f01

cps@control-2:~$ docker restart engine-proxy-ddd7e7ec4a70859b53b24f3926ce6f01
engine-proxy-ddd7e7ec4a70859b53b24f3926ce6f01
cps@control-2:~$

cps@control-2:~$ docker ps | grep engine
0b778fae2616 engine-proxy:latest "/w/w /usr/local/bin…" 5 months ago Up 6 seconds engine-proxy-ddd7e7ec4a70859b53b24f3926ce6f01
cps@control-2:~$

13. Controleer nu of de getroffen VM naar de status is verplaatstCONNECTED.

admin@orchestrator[master-1]# show docker engine
Fri Jul 14 09:36:18.635 UTC+00:00
ID STATUS MISSED PINGS 
----------------------------------
control-1 CONNECTED 0 
control-2 CONNECTED 0 
director-1 CONNECTED 0 
director-2 CONNECTED 0 
director-3 CONNECTED 0 
director-4 CONNECTED 0 
distributor-1 CONNECTED 0 
distributor-2 CONNECTED 0 
distributor-3 CONNECTED 0 
distributor-4 CONNECTED 0 
master-1 CONNECTED 0 
worker-1 CONNECTED 0 
worker-2 CONNECTED 0 
worker-3 CONNECTED 0 
admin@orchestrator[master-1]#

Revisiegeschiedenis

Revisie	Publicatiedatum	Opmerkingen
1.0	25-Jun-2024	Eerste vrijgave

Bijgedragen door Cisco-engineers

Midhun P
Cisco TAC Engineer

Probleemoplossing "JOINING" statusproblemen van CPS-DRA VM's in docker-cluster

Downloadopties

Inclusief taalgebruik

Over deze vertaling

Inhoud

Inleiding

Voorwaarden

Vereisten

Gebruikte componenten

Achtergrondinformatie

Probleem

Procedure om CPS-DRA-VM’s van de TOETREDINGSstaat te herstellen

Revisiegeschiedenis

Bijgedragen door Cisco-engineers

Was dit document nuttig?

Contact Cisco

Dit document is van toepassing op deze producten

`Voorwaarden`

`Vereisten`

`Gebruikte componenten`

`Achtergrondinformatie`

`Probleem`

`Procedure om CPS-DRA-VM’s van de TOETREDINGSstaat te herstellen`