对“警告”或“过于”状态下的IPsecmgr进行故障排除
简介
本文档介绍IPsecmgr设备处于警告状态。
概述
IPsecmgr由会话控制器创建。它在演进分组数据网关(ePDG)中建立并管理安全IKEv1、IKEv2和IPSec数据隧道。
先决条件
思科建议您了解以下节点和StarOS工具：
- ePDG
- IPSecmgr工具
所需的日志
注意：为了解决这些类型的问题，需要收集日志进行分析。
1. 确定处于警告状态的IPsecmgr设施，并为两个良好的IPsecmgr实例收集堆转储，以及在高峰期和非高峰期收集两个不良实例。
Show task resources
show messenger proclet facility ipsecmgr instance <instance number> heap depth 9
show messenger proclet facility ipsecmgr instance <instance number> system heap depth 9
show messenger proclet facility ipsecmgr instance <instance number> heap
show messenger proclet facility ipsecmgr instance <instance number> system
show messenger proclet facility ipsecmgr instance <instance number> graphs heap
show session subsystem facility ipsecmgr instance <instance number> debug-info verbose
show task resources facility ipsecmgr instance <instance number>
注意：收集两个正常运行和两个故障IPsecmgr实例的日志。每次都用IPsecmgr实例编号替换实例编号。
2. 为上一步中收集的相同IPsecmgr实例收集核心文件。
Login to hidden mode
Cli test-commands password <>
Task core facility ipsecmgr instance <instance number>
注意：为已收集堆输出的相同实例编号收集核心文件。
3. 收集显示支持详细信息(SSD)数据、简单网络管理协议(SNMP)陷阱和系统日志(syslog)。
4.在一天中多次收集show task resource命令的输出。
注意：当呼叫数量减少时，必须确定内存是否持续增加或减少。
5. 确定节点上当前运行的服务。
Show resources
6.提供在节点上运行的每个服务的用户趋势数据，为期两个月。
例如，对于ePDG服务，需要ePDG用户趋势。对于Mme服务，需要mme用户趋势。
7.为网络中配置相同且服务运行的其他任何节点提供SSD数据。
注意：必须确定问题是与节点还是软件版本有关。
8.升级后，设施IPsecmgr变为警告状态，并在升级前后共享多个固态Dr (SSD)数据集。
已执行故障排除
1. 必须执行IPsecmgr堆转储分析。根据此分析，发现前两项功能消耗大量的内存。
| 处理器 |
汇聚 |
%▴ |
| ipm_databuf_alloc() |
60900436 |
42.19 |
| service_recovery_add_dest_handle() |
17302140 |
11.99 |
| ikev2_encode_alloc_opacket() |
6319608 |
4.38 |
| demuxmgr_init_smgr_pacing_queue_and_cache() |
6258720 |
4.34 |
| ipm_sad_ikesa_alloc() |
6053856 |
4.19 |
注意：从堆分析的输出中，显然函数ipm_databuf_alloc()会消耗大量内存。
2. 一个月的ePDG用户趋势表明流量趋势正常，因为未观察到流量增加。
| 日期 |
测量级别 |
节点 |
用户总数 |
| 2023-01-01 |
日期级别 |
XXX-XX - SGSN-MME-03 |
308580 |
| 2023-01-02 |
日期级别 |
XXX-XX - SGSN-MME-03 |
331166 |
| 2023-01-03 |
日期级别 |
XXX-XX - SGSN-MME-03 |
332424 |
| 2023-01-04 |
日期级别 |
XXX-XX - SGSN-MME-03 |
324741 |
| 2023-01-05 |
日期级别 |
XXX-XX - SGSN-MME-03 |
329006 |
| 2023-01-06 |
日期级别 |
XXX-XX - SGSN-MME-03 |
326667 |
| 2023-01-07 |
日期级别 |
XXX-XX - SGSN-MME-03 |
327323 |
| 2023-01-08 |
日期级别 |
XXX-XX - SGSN-MME-03 |
327922 |
| 2023-01-09 |
日期级别 |
XXX-XX - SGSN-MME-03 |
331701 |
| 2023-01-10 |
日期级别 |
XXX-XX - SGSN-MME-03 |
334258 |
| 2023-01-11 |
日期级别 |
XXX-XX - SGSN-MME-03 |
331070 |
| 2023-01-12 |
日期级别 |
XXX-XX - SGSN-MME-03 |
327105 |
| 2023-01-13 |
日期级别 |
XXX-XX - SGSN-MME-03 |
310919 |
| 2023-01-14 |
日期级别 |
XXX-XX - SGSN-MME-03 |
280490 |
| 2023-01-15 |
日期级别 |
XXX-XX - SGSN-MME-03 |
299159 |
| 2023-01-16 |
日期级别 |
XXX-XX - SGSN-MME-03 |
312329 |
| 2023-01-17 |
日期级别 |
XXX-XX - SGSN-MME-03 |
318370 |
| 2023-01-18 |
日期级别 |
XXX-XX - SGSN-MME-03 |
316067 |
| 2023-01-19 |
日期级别 |
XXX-XX - SGSN-MME-03 |
314299 |
| 2023-01-20 |
日期级别 |
XXX-XX - SGSN-MME-03 |
322221 |
| 2023-01-21 |
日期级别 |
XXX-XX - SGSN-MME-03 |
317145 |
| 2023-01-22 |
日期级别 |
XXX-XX - SGSN-MME-03 |
317951 |
| 2023-01-23 |
日期级别 |
XXX-XX - SGSN-MME-03 |
320670 |
| 2023-01-24 |
日期级别 |
XXX-XX - SGSN-MME-03 |
320466 |
| 2023-01-25 |
日期级别 |
XXX-XX - SGSN-MME-03 |
304693 |
| 2023-01-26 |
日期级别 |
XXX-XX - SGSN-MME-03 |
307049 |
| 2023-01-27 |
日期级别 |
XXX-XX - SGSN-MME-03 |
304500 |
| 2023-01-28 |
日期级别 |
XXX-XX - SGSN-MME-03 |
303082 |
| 2023-01-29 |
日期级别 |
XXX-XX - SGSN-MME-03 |
309391 |
| 2023-01-30 |
日期级别 |
XXX-XX - SGSN-MME-03 |
314559 |
| 2023-01-31 |
日期级别 |
XXX-XX - SGSN-MME-03 |
318688 |
| 2023-02-01 |
日期级别 |
XXX-XX - SGSN-MME-03 |
315274 |
| 2023-02-02 |
日期级别 |
XXX-XX - SGSN-MME-03 |
320590 |
| 2023-02-03 |
日期级别 |
XXX-XX - SGSN-MME-03 |
276683 |
| 2023-02-04 |
日期级别 |
XXX-XX - SGSN-MME-03 |
288478 |
| 2023-02-05 |
日期级别 |
XXX-XX - SGSN-MME-03 |
298212 |
| 2023-02-06 |
日期级别 |
XXX-XX - SGSN-MME-03 |
300505 |
| 2023-02-07 |
日期级别 |
XXX-XX - SGSN-MME-03 |
308763 |
| 2023-02-08 |
日期级别 |
XXX-XX - SGSN-MME-03 |
303933 |
| 2023-02-09 |
日期级别 |
XXX-XX - SGSN-MME-03 |
304191 |
| 2023-02-10 |
日期级别 |
XXX-XX - SGSN-MME-03 |
296049 |
| 2023-02-11 |
日期级别 |
XXX-XX - SGSN-MME-03 |
304243 |
| 2023-02-12 |
日期级别 |
XXX-XX - SGSN-MME-03 |
398876 |
| 2023-02-13 |
日期级别 |
XXX-XX - SGSN-MME-03 |
327081 |
| 2023-02-14 |
日期级别 |
XXX-XX - SGSN-MME-03 |
318326 |
| 2023-02-15 |
日期级别 |
XXX-XX - SGSN-MME-03 |
308936 |
| 2023-02-16 |
日期级别 |
XXX-XX - SGSN-MME-03 |
307454 |
| 2023-02-17 |
日期级别 |
XXX-XX - SGSN-MME-03 |
299155 |
| 2023-02-18 |
日期级别 |
XXX-XX - SGSN-MME-03 |
310671 |
| 2023-02-19 |
日期级别 |
XXX-XX - SGSN-MME-03 |
308271 |
| 2023-02-20 |
日期级别 |
XXX-XX - SGSN-MME-03 |
313036 |
| 2023-02-21 |
日期级别 |
XXX-XX - SGSN-MME-03 |
308364 |
| 2023-02-22 |
日期级别 |
XXX-XX - SGSN-MME-03 |
297624 |
| 2023-02-23 |
日期级别 |
XXX-XX - SGSN-MME-03 |
307631 |
| 2023-02-24 |
日期级别 |
XXX-XX - SGSN-MME-03 |
303706 |
| 2023-02-25 |
日期级别 |
XXX-XX - SGSN-MME-03 |
331917 |
| 2023-02-26 |
日期级别 |
XXX-XX - SGSN-MME-03 |
304802 |
| 2023-02-27 |
日期级别 |
XXX-XX - SGSN-MME-03 |
314204 |
| 2023-02-28 |
日期级别 |
XXX-XX - SGSN-MME-03 |
312129 |
| 2023-03-01 |
日期级别 |
XXX-XX - SGSN-MME-03 |
318518 |
| 2023-03-02 |
日期级别 |
XXX-XX - SGSN-MME-03 |
400818 |
| 2023-03-03 |
日期级别 |
XXX-XX - SGSN-MME-03 |
298952 |
| 2023-03-04 |
日期级别 |
XXX-XX - SGSN-MME-03 |
286058 |
| 2023-03-05 |
日期级别 |
XXX-XX - SGSN-MME-03 |
283346 |
| 2023-03-06 |
日期级别 |
XXX-XX - SGSN-MME-03 |
280037 |
| 2023-03-07 |
日期级别 |
XXX-XX - SGSN-MME-03 |
275515 |
| 2023-03-08 |
日期级别 |
XXX-XX - SGSN-MME-03 |
290489 |
| 2023-03-09 |
日期级别 |
XXX-XX - SGSN-MME-03 |
291972 |
| 2023-03-10 |
日期级别 |
XXX-XX-SGSN-MME-03 |
289658 |
| 2023-03-11 |
日期级别 |
XXX-XX - SGSN-MME-03 |
284311 |
| 2023-03-12 |
日期级别 |
XXX-XX - SGSN-MME-03 |
293878 |
| 2023-03-13 |
日期级别 |
XXX-XX - SGSN-MME-03 |
298662 |
| 2023-03-14 |
日期级别 |
XXX-XX - SGSN-MME-03 |
299430 |
| 2023-03-15 |
日期级别 |
XXX-XX - SGSN-MME-03 |
297959 |
| 2023-03-16 |
日期级别 |
XXX-XX - SGSN-MME-03 |
299208 |
| 2023-03-17 |
日期级别 |
XXX-XX - SGSN-MME-03 |
293534 |
| 2023-03-18 |
日期级别 |
XXX-XX - SGSN-MME-03 |
292673 |
| 2023-03-19 |
日期级别 |
XXX-XX - SGSN-MME-03 |
296111 |
| 2023-03-20 |
日期级别 |
XXX-XX-SGSN-MME-03 |
301181 |
| 2023-03-21 |
日期级别 |
XXX-XX - SGSN-MME-03 |
297604 |
| 2023-03-22 |
日期级别 |
XXX-XX - SGSN-MME-03 |
309897 |
| 2023-03-23 |
日期级别 |
XXX-XX - SGSN-MME-03 |
304351 |
| 2023-03-24 |
日期级别 |
XXX-XX - SGSN-MME-03 |
305605 |
| 2023-03-25 |
日期级别 |
XXX-XX - SGSN-MME-03 |
295694 |
| 2023-03-26 |
日期级别 |
XXX-XX - SGSN-MME-03 |
300188 |
| 2023-03-27 |
日期级别 |
XXX-XX - SGSN-MME-03 |
302467 |
| 2023-03-28 |
日期级别 |
XXX-XX - SGSN-MME-03 |
303965 |
| 2023-03-29 |
日期级别 |
XXX-XX - SGSN-MME-03 |
270432 |
| 2023-03-30 |
日期级别 |
XXX-XX - SGSN-MME-03 |
289729 |
| 2023-03-31 |
日期级别 |
XXX-XX - SGSN-MME-03 |
249336 |
| 2023-04-01 |
日期级别 |
XXX-XX - SGSN-MME-03 |
269109 |
| 2023-04-02 |
日期级别 |
XXX-XX - SGSN-MME-03 |
283437 |
| 2023-04-03 |
日期级别 |
XXX-XX - SGSN-MME-03 |
298453 |
| 2023-04-04 |
日期级别 |
XXX-XX - SGSN-MME-03 |
301649 |
| 2023-04-05 |
日期级别 |
XXX-XX - SGSN-MME-03 |
298797 |
| 2023-04-06 |
日期级别 |
XXX-XX - SGSN-MME-03 |
306610 |
| 2023-04-07 |
日期级别 |
XXX-XX - SGSN-MME-03 |
298449 |
| 2023-04-08 |
日期级别 |
XXX-XX - SGSN-MME-03 |
294205 |
| 2023-04-09 |
日期级别 |
XXX-XX - SGSN-MME-03 |
306048 |
| 2023-04-10 |
日期级别 |
XXX-XX - SGSN-MME-03 |
316718 |
| 2023-04-11 |
日期级别 |
XXX-XX - SGSN-MME-03 |
315327 |
| 2023-04-12 |
日期级别 |
XXX-XX-SGSN-MME-03 |
313059 |
3.收集了来自多个固态驱动器(SSD)的show task resources。根据SSD数据，可以看到这些IPsecmgr实例处于警告状态。
8/1 ipsecmgr 296 2.64% 50% 193.3M 191.0M 978 1500 1331 4700 - warn
8/2 ipsecmgr 363 2.51% 50% 194.1M 191.0M 854 1500 1304 4700 - warn
9/0 ipsecmgr 231 2.85% 50% 129.0M 191.0M 271 1500 1323 4700 - good
9/1 ipsecmgr 303 2.61% 50% 161.5M 191.0M 1141 1500 1322 4700 - good
9/2 ipsecmgr 381 2.46% 50% 192.9M 191.0M 839 1500 1312 4700 - warn
Note: This output is collected on 12th April at 8:40 PM
This output collected on the 13th April 8 PM.
8/1 ipsecmgr 296 2.61% 50% 193.3M 191.0M 985 1500 1221 4700 - warn
8/2 ipsecmgr 363 2.38% 50% 193.7M 191.0M 828 1500 1222 4700 - warn
9/0 ipsecmgr 231 2.40% 50% 129.0M 191.0M 1116 1500 1237 4700 - good
9/1 ipsecmgr 303 2.43% 50% 161.5M 191.0M 1120 1500 1220 4700 - good
9/2 ipsecmgr 381 2.23% 50% 192.9M 191.0M 829 1500 1228 4700 - warn
未发现内存减少，即使每个实例中的呼叫数量都减少也是如此。例如，如果您查看IPsecmgr实例296，该实例处于警告状态，4月13日的呼叫数会减少，但内存不会减少
4.全天收集的show task resources数据也证实内存没有减少，即使呼叫次数减少。
5. 升级前的SSD数据显示内存没有增加。这表明新软件可能存在问题。
根据分析，您可能会怀疑IPsecmgr设施级别的内存泄漏。提出服务请求(SR)以进一步调查并解决此问题。
修订历史记录
| 版本 | 发布日期 | 备注 |
|---|---|---|
4.0 |
15-Dec-2023 |
首次公开发布 |
1.0 |
14-Dec-2023 |
初始版本 |
反馈