Introduzione
In questo documento viene descritto come risolvere il problema del peer del diametro in caso di errore di In-Service Software Migration (ISSM) in Cisco Policy Suite (CPS).
Prerequisiti
Requisiti
Cisco raccomanda la conoscenza dei seguenti argomenti:
- Linux
- CPS
- Diametro
- Framework OSGI (Open Service Gateway Initiative)
Nota: Cisco consiglia di disporre dell'accesso privilegiato alla CLI di CPS root.
Componenti usati
Le informazioni fornite in questo documento si basano sulle seguenti versioni software e hardware:
- CPS 19.4, 21.1
- CentOS Linux release 8.1.1911 (Core)
Le informazioni discusse in questo documento fanno riferimento a dispositivi usati in uno specifico ambiente di emulazione. Su tutti i dispositivi menzionati nel documento la configurazione è stata ripristinata ai valori predefiniti. Se la rete è operativa, valutare attentamente eventuali conseguenze derivanti dall'uso dei comandi.
Premesse
Gli utenti hanno la possibilità di eseguire l'ISSM di un CPS da 19.4.0/CPS 19.5.0 a CPS 21.1.0. Questa migrazione consente al traffico di continuare senza alcun impatto durante il completamento.
ISM su CPS 21.1.0 è supportato solo per le installazioni HA (Mobile High Availability) e GR (Geographic Redundancy). Impossibile eseguire la migrazione di altri tipi di installazione di CPS (mog|pats|arbiter|andsf|escef).
Problema
Si osserva che, quando l'operazione ISSM da CPS19.4 a CPS21.1 non è riuscita a causa di un errore Hosts.csv , la connessione di tutti i peer con diametro sia con il bilanciamento del carico (LB) si interrompe e il riavvio normale non aiuta a ripristinare.
[root@lab-lb02 ~]# ./show_peers.sh --all --summary
###############################################################################
[Wed Sep 21 01:57:47 CDT 2022]
SUMMARY of Peers in OKAY State:
| Gx | Re | Rx | Sh | Sy |
-------------|------|------|------|------|------|
lb01 peers | 0 | 0 | 0 | 0 | 0 |
-------------|------|------|------|------|------|
lb02 peers | 0 | 0 | 0 | 0 | 0 |
-------------|------|------|------|------|------|
Questa è l'esenzione che è possibile visualizzare in consolidate-qns.log quando si abilita il registratore del livello di debug.
2022-09-21 08:25:00,188 [pool-3-thread-1] DEBUG c.b.d.i.server.DelayedStartManager.? - isWorkerConnected: true queueSystem.enabled: false queueSystem.available: true isUpgradeState: false
Dopo l'esecuzione di questo passaggio, il processo viene bloccato a causa di una voce non valida nel Hosts.csv file.
/mnt/iso/migrate.sh disable set 1
2022-09-21 02:52:48,913 INFO [__main__.migrate_disable_set] Waiting for build init.d background task
Replica-set Configuration
-------------------------------------------------------------------------------
The progress of this script can be monitored in the following log:
/var/log/broadhop/scripts//build_set_21092022_024648_1663728408306850218.log
-------------------------------------------------------------------------------
[ Done ] file creation [ In Progress ]
2022-09-21 02:58:16,385 INFO [__main__.migrate_disable_set] build init.d successfully.
2022-09-21 02:58:16,385 INFO [__main__.run_recipe] Performing installation stage: QuiesceClusterSet
[lab-cc02 PSZ06PCRFCC02] Executing task 'DisableArbiterVipNode'
[lab-cc02 PSZ06PCRFCC02] run: /var/qps/bin/support/disable_arbiter_vip_node.sh
Fatal error: Name lookup failed for lab-cc02 PSZ06PCRFCC02 --> Error highlight. Invalid host entry is noticed.
Underlying exception:
Name or service not known
Aborting.
2022-09-21 02:58:16,967 ERROR [__main__.<module>] Error during installation
2022-09-21 02:58:16,970 INFO [__main__.<module>] =====================
2022-09-21 02:58:16,970 INFO [__main__.<module>] FAILURE
2022-09-21 02:58:16,970 INFO [__main__.<module>] ======== END ========
2022-09-21 02:58:16,970 INFO [__main__.<module>] To have the environment variable updated, please logout and login from all opened shell on the current system
[root@lab-cm csv]#
Lo script trigger_silo.sh, come parte di migrate.sh l'esecuzione sospende tutti i processi qns nel bilanciamento del carico selezionato per la migrazione set1.
2022-09-21 03:11:34,885 INFO [migrate_traffic.run] running - ['bash', '-c', 'source /var/qps/install/current/scripts/migrate/trigger_silo.sh && trigger_silo_pre_set1_upgrade /var/tmp/cluster-upgrade-set-1.txt /var/tmp/cluster-upgrade-set-2.txt /var/log/trigger_silo.log']
2022-09-21 03:17:27,594 INFO [command.execute] (stdout): LB qns process count : 7
Running pause on lb02-1
checking JMX port 9045 ....
Done - Paused qns-1
Running pause on lb02-2
checking JMX port 9046 ....
Done - Paused qns-2
Running pause on lb02-3
checking JMX port 9047 ....
Done - Paused qns-3
Running pause on lb02-4
checking JMX port 9048 ....
Done - Paused qns-4
Running pause on lb02-5
checking JMX port 9049 ....
Done - Paused qns-5
Running pause on lb02-6
checking JMX port 9050 ....
Done - Paused qns-6
Running pause on lb02-7
checking JMX port 9051 ....
Done - Paused qns-7
Soluzione
L'aggiornamento non è completo ed è parziale, il processo ISSM mantiene il sistema CPS in isUpgradeState: false.
Per ripristinare questa condizione, è necessario impostare il isUpgradeState: true nel quadro dell’OSGI della CPS.
Procedura per impostare lo stato di aggiornamento corretto
Passaggio 1. Accedere al nodo Gestione cluster.
Passaggio 2. Connettersi alla struttura OSGI del sistema CPS.
[root@installer ~]# telnet qns01 9091
Trying 192.168.10.11...
Connected to qns01.
Escape character is '^]'.
osgi>
Passaggio 3. Eseguire questo comando.
osgi> markNodeUpgraded
Upgraded status set to true
osgi>
Passaggio 4. Disconnettersi dal framework OSGI normalmente con questo comando.
osgi> disconnect
Disconnect from console? (y/n; default=y) y
Connection closed by foreign host.
[root@installer ~]#
Dopo aver applicato la soluzione, controllare lo stato del peer con questo comando e verificare che tutti i peer necessari siano attivi.
[root@lab-lb02 ~]# ./show_peers.sh --all --summary
###############################################################################
[Wed Sep 21 01:57:47 CDT 2022]
SUMMARY of Peers in OKAY State:
| Gx | Re | Rx | Sh | Sy |
-------------|------|------|------|------|------|
lb01 peers | 72 | 120 | 36 | 0 | 12 |
-------------|------|------|------|------|------|
lb02 peers | 72 | 120 | 36 | 0 | 12 |
-------------|------|------|------|------|------|
Feedback