Fehlerbehebung bei IPsecmgr im Warn- oder Überschreibmodus
Einleitung
In diesem Dokument wird die IPsecmgr-Funktion im Warnzustand beschrieben.
Überblick
IPsecmgr wird vom Sitzungscontroller erstellt. Es erstellt und verwaltet sichere IKEv1-, IKEv2- und IPSec-Datentunnel in ePDG (Evolved Packet Data Gateway).
Voraussetzungen
Cisco empfiehlt, dass Sie diese Knoten und StarOS-Funktionen kennen:
- ePDG
- IPSecmgr-Funktion
Erforderliche Protokolle
Hinweis: Zur Behebung dieser Probleme müssen die Protokolle zur Analyse gesammelt werden.
1. Identifizieren Sie die IPsecmgr-Einrichtungen, die sich in einem Warnzustand befinden, und sammeln Sie Halde-Dumps für zwei gute IPsecmgr-Instanzen sowie zwei schlechte Instanzen während der Spitzenzeiten und der Nebenzeiten.
Show task resources
show messenger proclet facility ipsecmgr instance <instance number> heap depth 9
show messenger proclet facility ipsecmgr instance <instance number> system heap depth 9
show messenger proclet facility ipsecmgr instance <instance number> heap
show messenger proclet facility ipsecmgr instance <instance number> system
show messenger proclet facility ipsecmgr instance <instance number> graphs heap
show session subsystem facility ipsecmgr instance <instance number> debug-info verbose
show task resources facility ipsecmgr instance <instance number>
Hinweis: Sammeln Sie die Protokolle für zwei funktionierende und zwei fehlerhafte IPsecmgr-Instanzen. Ersetzen Sie jedes Mal die Instanznummer durch die IPsecmgr-Instanznummer.
2. Sammeln Sie die Kerndateien für dieselben IPsecmgr-Instanzen, die im vorherigen Schritt gesammelt wurden.
Login to hidden mode
Cli test-commands password <>
Task core facility ipsecmgr instance <instance number>
Hinweis: Sammeln Sie die Core-Datei für die gleiche Instanznummer, für die die Heap-Ausgabe gesammelt wurde.
3. Sammeln Sie die Show Support Details (SSD)-Daten, SNMP-Traps (Simple Network Management Protocol) und Systemprotokolle (Syslogs).
4. Sammeln Sie die Ausgabe des show task resource Befehls mehrmals am Tag.
Hinweis: Es muss ermittelt werden, ob der Speicher bei einer Verringerung der Anzahl von Anrufen kontinuierlich anwächst oder abnimmt.
5. Bestimmen Sie die Dienste, die derzeit auf dem Knoten ausgeführt werden.
Show resources
6. Geben Sie die Trenddaten für jeden auf dem Knoten ausgeführten Dienst für einen Zeitraum von zwei Monaten an.
Beispielsweise ist für ePDG-Service der ePDG-Teilnehmertrend erforderlich. Für den MME-Service ist der MME-Teilnehmertrend erforderlich.
7. Geben Sie die SSD-Daten für jeden anderen Knoten im Netzwerk an, auf dem identische Konfigurationen und Dienste ausgeführt werden.
Hinweis: Es muss festgestellt werden, ob das Problem beim Knoten oder bei der Softwareversion vorliegt.
8. Nach dem Upgrade wechselt der IPsecmgr in einen Warnzustand und teilt mehrere Solid State Dr (SSD)-Datensätze vor und nach dem Upgrade mit.
Fehlerbehebung durchgeführt
1. Eine Analyse des IPsecmgr-Heap-Dump muss durchgeführt werden. Auf der Grundlage dieser Analyse hat sich herausgestellt, dass diese beiden Hauptfunktionen einen hohen Speicherbedarf haben.
| Prozess |
Aggregieren |
% ▴ |
| ipm_database_alloc() |
60900436 |
42.19 |
| service_recovery_add_dest_handle() |
17302140 |
11.99 |
| ikev2_encode_alloc_opacket() |
6319608 |
4.38 |
| demuxmgr_init_smgr_pacing_queue_and_cache() |
6258720 |
4.34 |
| ipm_sad_ikesa_alloc() |
6053856 |
4.19 |
Hinweis: Aus der Ausgabe der Heap-Analyse geht hervor, dass die Funktion ipm_databuf_alloc() einen erheblichen Speicherbedarf hat.
2. Der ePDG-Teilnehmertrend für einen Monat zeigt an, dass der Datenverkehrstrend normal ist, da kein Anstieg des Datenverkehrs beobachtet wird.
| Datum |
Messniveau |
Knoten |
Gesamtzahl Benutzer |
| 2023-01-01 |
Tagesebene |
XXX-XX-SGSN-MME-03 |
308580 |
| 2023-01-02 |
Tagesebene |
XXX-XX-SGSN-MME-03 |
331166 |
| 2023-01-03 |
Tagesebene |
XXX-XX-SGSN-MME-03 |
332424 |
| 2023-01-04 |
Tagesebene |
XXX-XX-SGSN-MME-03 |
324741 |
| 2023-01-05 |
Tagesebene |
XXX-XX-SGSN-MME-03 |
329006 |
| 2023-01-06 |
Tagesebene |
XXX-XX-SGSN-MME-03 |
326667 |
| 2023-01-07 |
Tagesebene |
XXX-XX-SGSN-MME-03 |
327323 |
| 2023-01-08 |
Tagesebene |
XXX-XX-SGSN-MME-03 |
327922 |
| 2023-01-09 |
Tagesebene |
XXX-XX-SGSN-MME-03 |
331701 |
| 2023-01-10 |
Tagesebene |
XXX-XX-SGSN-MME-03 |
334258 |
| 2023-01-11 |
Tagesebene |
XXX-XX-SGSN-MME-03 |
331070 |
| 2023-01-12 |
Tagesebene |
XXX-XX-SGSN-MME-03 |
327105 |
| 2023-01-13 |
Tagesebene |
XXX-XX-SGSN-MME-03 |
310919 |
| 2023-01-14 |
Tagesebene |
XXX-XX-SGSN-MME-03 |
280490 |
| 2023-01-15 |
Tagesebene |
XXX-XX-SGSN-MME-03 |
299159 |
| 2023-01-16 |
Tagesebene |
XXX-XX-SGSN-MME-03 |
312329 |
| 2023-01-17 |
Tagesebene |
XXX-XX-SGSN-MME-03 |
318370 |
| 2023-01-18 |
Tagesebene |
XXX-XX-SGSN-MME-03 |
316067 |
| 2023-01-19 |
Tagesebene |
XXX-XX-SGSN-MME-03 |
314299 |
| 2023-01-20 |
Tagesebene |
XXX-XX-SGSN-MME-03 |
322221 |
| 2023-01-21 |
Tagesebene |
XXX-XX-SGSN-MME-03 |
317145 |
| 2023-01-22 |
Tagesebene |
XXX-XX-SGSN-MME-03 |
317951 |
| 2023-01-23 |
Tagesebene |
XXX-XX-SGSN-MME-03 |
320670 |
| 2023-01-24 |
Tagesebene |
XXX-XX-SGSN-MME-03 |
320466 |
| 2023-01-25 |
Tagesebene |
XXX-XX-SGSN-MME-03 |
304693 |
| 2023-01-26 |
Tagesebene |
XXX-XX-SGSN-MME-03 |
307049 |
| 2023-01-27 |
Tagesebene |
XXX-XX-SGSN-MME-03 |
304500 |
| 2023-01-28 |
Tagesebene |
XXX-XX-SGSN-MME-03 |
303082 |
| 2023-01-29 |
Tagesebene |
XXX-XX-SGSN-MME-03 |
309391 |
| 2023-01-30 |
Tagesebene |
XXX-XX-SGSN-MME-03 |
314559 |
| 2023-01-31 |
Tagesebene |
XXX-XX-SGSN-MME-03 |
318688 |
| 2023-02-01 |
Tagesebene |
XXX-XX-SGSN-MME-03 |
315274 |
| 2023-02-02 |
Tagesebene |
XXX-XX-SGSN-MME-03 |
320590 |
| 2023-02-03 |
Tagesebene |
XXX-XX-SGSN-MME-03 |
276683 |
| 2023-02-04 |
Tagesebene |
XXX-XX-SGSN-MME-03 |
288478 |
| 2023-02-05 |
Tagesebene |
XXX-XX-SGSN-MME-03 |
298212 |
| 2023-02-06 |
Tagesebene |
XXX-XX-SGSN-MME-03 |
300505 |
| 2023-02-07 |
Tagesebene |
XXX-XX-SGSN-MME-03 |
308763 |
| 2023-02-08 |
Tagesebene |
XXX-XX-SGSN-MME-03 |
303933 |
| 2023-02-09 |
Tagesebene |
XXX-XX-SGSN-MME-03 |
304191 |
| 2023-02-10 |
Tagesebene |
XXX-XX-SGSN-MME-03 |
296049 |
| 2023-02-11 |
Tagesebene |
XXX-XX-SGSN-MME-03 |
304243 |
| 2023-02-12 |
Tagesebene |
XXX-XX-SGSN-MME-03 |
398876 |
| 2023-02-13 |
Tagesebene |
XXX-XX-SGSN-MME-03 |
327081 |
| 2023-02-14 |
Tagesebene |
XXX-XX-SGSN-MME-03 |
318326 |
| 2023-02-15 |
Tagesebene |
XXX-XX-SGSN-MME-03 |
308936 |
| 2023-02-16 |
Tagesebene |
XXX-XX-SGSN-MME-03 |
307454 |
| 2023-02-17 |
Tagesebene |
XXX-XX-SGSN-MME-03 |
299155 |
| 2023-02-18 |
Tagesebene |
XXX-XX-SGSN-MME-03 |
310671 |
| 2023-02-19 |
Tagesebene |
XXX-XX-SGSN-MME-03 |
308271 |
| 2023-02-20 |
Tagesebene |
XXX-XX-SGSN-MME-03 |
313036 |
| 2023-02-21 |
Tagesebene |
XXX-XX-SGSN-MME-03 |
308364 |
| 2023-02-22 |
Tagesebene |
XXX-XX-SGSN-MME-03 |
297624 |
| 2023-02-23 |
Tagesebene |
XXX-XX-SGSN-MME-03 |
307631 |
| 2023-02-24 |
Tagesebene |
XXX-XX-SGSN-MME-03 |
303706 |
| 2023-02-25 |
Tagesebene |
XXX-XX-SGSN-MME-03 |
331917 |
| 2023-02-26 |
Tagesebene |
XXX-XX-SGSN-MME-03 |
304802 |
| 2023-02-27 |
Tagesebene |
XXX-XX-SGSN-MME-03 |
314204 |
| 2023-02-28 |
Tagesebene |
XXX-XX-SGSN-MME-03 |
312129 |
| 2023-03-01 |
Tagesebene |
XXX-XX-SGSN-MME-03 |
318518 |
| 2023-03-02 |
Tagesebene |
XXX-XX-SGSN-MME-03 |
400818 |
| 2023-03-03 |
Tagesebene |
XXX-XX-SGSN-MME-03 |
298952 |
| 2023-03-04 |
Tagesebene |
XXX-XX-SGSN-MME-03 |
286058 |
| 2023-03-05 |
Tagesebene |
XXX-XX-SGSN-MME-03 |
283346 |
| 2023-03-06 |
Tagesebene |
XXX-XX-SGSN-MME-03 |
280037 |
| 2023-03-07 |
Tagesebene |
XXX-XX-SGSN-MME-03 |
275515 |
| 2023-03-08 |
Tagesebene |
XXX-XX-SGSN-MME-03 |
290489 |
| 2023-03-09 |
Tagesebene |
XXX-XX-SGSN-MME-03 |
291972 |
| 2023-03-10 |
Tagesebene |
XXX-XX-SGSN-MME-03 |
289658 |
| 2023-03-11 |
Tagesebene |
XXX-XX-SGSN-MME-03 |
284311 |
| 2023-03-12 |
Tagesebene |
XXX-XX-SGSN-MME-03 |
293878 |
| 2023-03-13 |
Tagesebene |
XXX-XX-SGSN-MME-03 |
298662 |
| 2023-03-14 |
Tagesebene |
XXX-XX-SGSN-MME-03 |
299430 |
| 2023-03-15 |
Tagesebene |
XXX-XX-SGSN-MME-03 |
297959 |
| 2023-03-16 |
Tagesebene |
XXX-XX-SGSN-MME-03 |
299208 |
| 2023-03-17 |
Tagesebene |
XXX-XX-SGSN-MME-03 |
293534 |
| 2023-03-18 |
Tagesebene |
XXX-XX-SGSN-MME-03 |
292673 |
| 2023-03-19 |
Tagesebene |
XXX-XX-SGSN-MME-03 |
296111 |
| 2023-03-20 |
Tagesebene |
XXX-XX-SGSN-MME-03 |
301181 |
| 2023-03-21 |
Tagesebene |
XXX-XX-SGSN-MME-03 |
297604 |
| 2023-03-22 |
Tagesebene |
XXX-XX-SGSN-MME-03 |
309897 |
| 2023-03-23 |
Tagesebene |
XXX-XX-SGSN-MME-03 |
304351 |
| 2023-03-24 |
Tagesebene |
XXX-XX-SGSN-MME-03 |
305605 |
| 2023-03-25 |
Tagesebene |
XXX-XX-SGSN-MME-03 |
295694 |
| 2023-03-26 |
Tagesebene |
XXX-XX-SGSN-MME-03 |
300188 |
| 2023-03-27 |
Tagesebene |
XXX-XX-SGSN-MME-03 |
302467 |
| 2023-03-28 |
Tagesebene |
XXX-XX-SGSN-MME-03 |
303965 |
| 2023-03-29 |
Tagesebene |
XXX-XX-SGSN-MME-03 |
270432 |
| 2023-03-30 |
Tagesebene |
XXX-XX-SGSN-MME-03 |
289729 |
| 2023-03-31 |
Tagesebene |
XXX-XX-SGSN-MME-03 |
249336 |
| 2023-04-01 |
Tagesebene |
XXX-XX-SGSN-MME-03 |
269109 |
| 2023-04-02 |
Tagesebene |
XXX-XX-SGSN-MME-03 |
283437 |
| 2023-04-03 |
Tagesebene |
XXX-XX-SGSN-MME-03 |
298453 |
| 2023-04-04 |
Tagesebene |
XXX-XX-SGSN-MME-03 |
301649 |
| 2023-04-05 |
Tagesebene |
XXX-XX-SGSN-MME-03 |
298797 |
| 2023-04-06 |
Tagesebene |
XXX-XX-SGSN-MME-03 |
306610 |
| 2023-04-07 |
Tagesebene |
XXX-XX-SGSN-MME-03 |
298449 |
| 2023-04-08 |
Tagesebene |
XXX-XX-SGSN-MME-03 |
294205 |
| 2023-04-09 |
Tagesebene |
XXX-XX-SGSN-MME-03 |
306048 |
| 2023-04-10 |
Tagesebene |
XXX-XX-SGSN-MME-03 |
316718 |
| 2023-04-11 |
Tagesebene |
XXX-XX-SGSN-MME-03 |
315327 |
| 2023-04-12 |
Tagesebene |
XXX-XX-SGSN-MME-03 |
313059 |
3. Die show task resources Daten von mehreren Solid State Drives (SSDs) wurden gesammelt. Basierend auf den SSD-Daten wird deutlich, dass diese IPsecmgr-Instanzen sich in einem Warnzustand befinden.
8/1 ipsecmgr 296 2.64% 50% 193.3M 191.0M 978 1500 1331 4700 - warn
8/2 ipsecmgr 363 2.51% 50% 194.1M 191.0M 854 1500 1304 4700 - warn
9/0 ipsecmgr 231 2.85% 50% 129.0M 191.0M 271 1500 1323 4700 - good
9/1 ipsecmgr 303 2.61% 50% 161.5M 191.0M 1141 1500 1322 4700 - good
9/2 ipsecmgr 381 2.46% 50% 192.9M 191.0M 839 1500 1312 4700 - warn
Note: This output is collected on 12th April at 8:40 PM
This output collected on the 13th April 8 PM.
8/1 ipsecmgr 296 2.61% 50% 193.3M 191.0M 985 1500 1221 4700 - warn
8/2 ipsecmgr 363 2.38% 50% 193.7M 191.0M 828 1500 1222 4700 - warn
9/0 ipsecmgr 231 2.40% 50% 129.0M 191.0M 1116 1500 1237 4700 - good
9/1 ipsecmgr 303 2.43% 50% 161.5M 191.0M 1120 1500 1220 4700 - good
9/2 ipsecmgr 381 2.23% 50% 192.9M 191.0M 829 1500 1228 4700 - warn
Es wurde keine Verringerung des Arbeitsspeichers beobachtet, auch wenn die Anzahl der Anrufe in jeder der Instanzen reduziert wurde. Wenn Sie sich beispielsweise die IPsecmgr-Instanz 296 ansehen, die sich in einem Warnzustand befindet, hat sich die Anzahl der Anrufe am 13. April verringert, der Speicher hat sich jedoch nicht verringert
show task resources 4. Die über den Tag gesammelten Daten bestätigen auch, dass der Speicher nicht abnimmt, auch wenn die Anzahl der Anrufe verringert wird.
5. Die SSD-Daten aus der Zeit vor dem Upgrade zeigen, dass keine Erhöhung des Arbeitsspeichers vorliegt. Dies deutet darauf hin, dass es ein Problem mit der neuen Software geben kann.
Basierend auf der Analyse können Sie ein Speicherleck auf der IPsecmgr-Einrichtungsebene vermuten. Lösen Sie eine Serviceanfrage aus, um das Problem genauer zu untersuchen und zu beheben.
Revisionsverlauf
| Überarbeitung | Veröffentlichungsdatum | Kommentare |
|---|---|---|
4.0 |
15-Dec-2023 |
Erstveröffentlichung |
1.0 |
14-Dec-2023 |
Erstveröffentlichung |
Feedback