排除PGW中观察到的X3MDConnDown和X3MDConnUp陷阱故障

简介

本文档介绍从21.18.17升级到21.25.8后，在Cisco数据包数据网络网关(PGW)中确定陷阱X3MDConnDown和X3MDConnUp原因的过程。

先决条件

要求

Cisco 建议您了解以下主题：

• StarOS/PGW
• 了解X1、X2和X3接口及功能
• X3的TCP建立知识

使用的组件

本文档中的信息基于以下软件和硬件版本：

• PGW聚合服务路由器(ASR)5500
• 版本 21.18.17 的多播地址发送一次邻居消息。79434 和21.25.8。84257

本文档中的信息都是基于特定实验室环境中的设备编写的。本文档中使用的所有设备最初均采用原始（默认）配置。如果您的网络处于活动状态，请确保您了解所有命令的潜在影响。

背景信息

合法侦听解决方案在网元和中介服务器之间具有三个离散接口，用于提供调配、呼叫数据（信号）和呼叫内容（媒体）信息。这些接口是在XCIPIO中介服务器交付功能(DF)与网元访问功能(AF)之间建立连接后创建的。从中介服务器到合法监听机构的接口是标准化的。AF和DF之间的接口定义为：

• 用于调配目标的X1或INI-1接口
• X2或INI-2接口，为目标提供信令信息
• X3或INI-3接口，为目标提供媒体或呼叫内容

其中，X接口由3GPP标准定义，而INI由ETSi标准定义。

问题

在节点从21.18.17升级到21.25.8后，X3MDConnDown和X3MDConnUp（一小时内大约3000）开始出现警报。

陷阱格式：

Mon Jul 04 00:44:15 2022 Internal trap notification 1422 (X3MDConnDown) TCP connection is down. Context Id:8, Local IP/port:10.10.10.1/41833 and Peer IP/port: x.x.x.x/7027 with cause: LI X3 CALEA Connection Down

Mon Jul 04 00:45:29 2022 Internal trap notification 1423 (X3MDConnUp) TCP connection is up. Context Id:8, Local IP/port:10.10.10.1/56805 and Peer IP/port: x.x.x.x/7027 with cause: LI X3 CALEA Connection UP

HRS中的陷阱详细信息：

此图中的问题以红色突出显示：

故障排除步骤:

1. 检查指向LI服务器的服务，您不会发现任何影响。
2. LI文件可以传输到LI服务器。
3. 发现LI服务器的Ping和traceroute正常。
4. 未观察到延迟和丢包。
5. 当您尝试捕获指向LI服务器的TCPdump时，问题节点的单向数据包在TCPdump中捕获。

将其与工作节点进行比较，您会看到相同的行为。

1. 当您在LI服务器上创建不同的端口时，您发现问题依然存在。
2. 当您创建另一个LI测试服务器和端口时，您会在网关GPRS支持节点(GGSN)处观察到同一警报。
3. 当您捕获其他跟踪（例如NPU-PAN跟踪、show命令和调试日志）时，您会看到FIN ACK来自LI服务器，紧接着来自PGW的SYN，这会导致陷阱  X3MDConnDown 和X3MDConnUp。
4. 根据工程团队，21.25.8版本识别FIN ACK并生成警报 X3MDConnDown 和 然后X3MDConnUp。早期版本中未发现此内容 21.18.17 的多播地址发送一次邻居消息。
5. 已在GGSN和LI服务器上启用了解决方法心跳计时器(1m) 发布以下信息： X3MDConnDown X3MDConnUp警报处于控制状态。1天的时间从3000左右减少到100人。
6. 监控节点两周，并且 X3MDConnDown 和X3MDConnUp警报已控制。

使用的命令

1.通过这些命令，LI文件可以正确传输到LI服务器。与LI服务器的TCP连接没有问题。

show lawful-intercept full imsi <>

例如：

[lictx]GGSN# show lawful-intercept full msisdn XXXXXXXXX

Monday April 25 14:15:11 IST 2022

Username : -

ip-address : XXXXXXXX

msid/imsi : XXXXXXXXXXX

msisdn : XXXXXXXX

imei/mei : XXXXXXX

session : Session Present

service-type : pgw

pdhir : Disabled

li-context : lictx

intercept-id : 58707

intercept-key: -

Content-delivery: tcp-format

TCP connection info

State : ACTIVE

Dest. address: XX.XX.XX.XX Dest. Port: XXXX————>>

Num. Intercepted pkt for Active call: XXXX ——————>>

Event-delivery: tcp-format——>>

TCP connection info —————>>

State : ACTIVE————>>

Dest. address: XX.XX.XX.XX Dest. Port: XXXX————>>

Num. Intercepted pkt for Active call: 13 —————>>>

Provisioning method: Camp-on trigger

LI-index : 649

这些命令需要LI管理员访问权限才能查看完整输出：

show lawful-intercept statistics

show lawful-intercept buffering-stats sessmgr all

show lawful-intercept statistics

show connection-proxy sockets all

show lawful-intercept error-stats

2.收集以下调试级别日志：

logging filter active facility dhost level debug

logging filter active facility li level debug

logging filter active facility connproxy level debug

logging filter active facility ipsec level debug

logging filter active facility ipsecdemux level debug

logging active pdu-verbosity 5

Logging active

No logging active

在这里，如果端口信息不稳定，您会看到其变化。

show dhost socket  (in li context)

3.进入隐藏模式并进入矢量数据包处理(VPP)任务以检查数据包是否进入FIN确认(ACK)。

[lictx]GGSN# debug shell

enter vppct (from deb shell, use cmd "vppctl")
vpp#show hsi sessions

例如：

[local]g002-laas-ssi-24# deb sh

Friday May 13 06:03:24 UTC 2022

Last login: Fri May 13 04:32:03 +0000 2022 on pts/2 from 10.78.41.163.

g002-laas-ssi-24:ssi# vppctl

vpp# sho hsi sessions

[s1] dep 1 thread 10 fib-index 6 dst-src [3.2.1.1:9002]-[3.1.1.1:42906]

[s2] dep 1 thread 9 fib-index 6 dst-src [3.2.1.1:9003]-[3.1.1.1:60058]

[s3] dep 1 thread 8 fib-index 6 dst-src [3.2.1.1:9004]-[3.1.1.1:51097]

[s4] dep 1 thread 6 fib-index 6 dst-src [3.2.1.1:9005]-[3.1.1.1:45619]

4.启用debug logs后，可以在test命令下启用LI情景中的show output logs。

show clock
show dhost sockets
show connection-proxy sockets all
show clock

5.收集Show支持详细信息。

6.收集NPU-PAN跟踪，以识别数据包是否具有与LI服务器的TCP连接成功。

要禁用：

#configure

#no npumgr pan-trace

#npumgr pan-trace monitor none

#end

#show npumgr pan-trace configuration

#configure

#npumgr pan-trace acc monitor ipv4 id 1 protocol tcp sa X.X.X.X mask 255.255.255.255 da X.X.X.X mask 255.255.255.255

#npumgr pan-trace acc monitor ipv4 id 2 protocol tcp sa X.X.X.X mask 255.255.255.255 da X.X.X.X mask 255.255.255.255

#npumgr pan-trace limit 4096

#npumgr pan-trace

#end

(check if disabled/enabled, it should be enabled)

#show npumgr pan-trace configuration 

此命令可以停止NPU pan跟踪，因此需要为下一次收集重新配置该命令。

#show npumgr pan-trace summary

(We can capture packets based on npu number which can be done during testing if possible)
#show npumgr pan-trace detail all

NPU跟踪示例：

3538  6/0/2 Non 6/15 fab    70 Jun 02 16:47:10.05443343 144 Eth() Vlan(2014) IPv4(sa=XX.XX.XX.147, da=XX.XX.XX.201) TCP(sp=7027, dp=46229, ACK FIN) [ vrf=8 strip=40 flow ] >> MEH(sbia=050717de, dbia=0603800e, flowid=62755625, In) IPv4(sa=XX.XX.XX.147, da=XX.XX.XX.201) TCP(sp=7027, dp=46229, ACK FIN)
Packet details :

Packet 3538:

                              SA              [4B] = XX.XX.XX.147[0x0aa40693]

                              DA              [4B] = XX.XX.XX.201[0x0aa91ec9]

                              source port     [2B] = 0x1b73 (7027),   dest port       [2B] = 0xb495 (46229)

                              seqnum          [4B] = 0xc9923207 (3381801479)

                              acknum          [4B] = 0xbbd482ef (3151266543)

                              flags           [6b] = 0x11 ACK FIN

解决方案

使用以下命令在PGW和XX.XX.XX.147（LI服务器）将心跳消息超时设置为1分钟：

lawful-intercept tcp application-heartbeat-messages timeout minutes 1

假设FIN ACK正好在LI服务器的SYN之后。在这种情况下，PGW不会将X3接口视为关闭，因为心跳在PGW中启用了1分钟，并在LI服务器上启用，这表示存在心跳时X3连接处于运行状态。因此，X3MDConnDown和X3MDConnUp的警报会减少。

SSD陷阱前后的分析：

SNMP陷阱后应对措施的趋势：

Mon Jul 04 00:44:15 2022 Internal trap notification 1422 (X3MDConnDown) TCP connection is down. Context Id:8, Local IP/port:10.10.10.1/41833 and Peer IP/port: 10.10.10.6/7027with cause: LI X3 CALEA Connection Down


  Mon Jul 04 11:13:20 2022 Internal trap notification 1422 (X3MDConnDown) TCP connection is down. Context Id:8, Local IP/port:10.10.10.1/47122 and Peer IP/port: 10.10.10.6/7027with cause: LI X3 CALEA Connection Down

==========


  Tue Jul 05 09:45:11 2022 Internal trap notification 1422 (X3MDConnDown) TCP connection is down. Context Id:8, Local IP/port:10.10.10.1/34489 and Peer IP/port: 10.10.10.6/7027 with cause: LI X3 CALEA Connection Down


  Tue Jul 05 09:45:56 2022 Internal trap notification 1423 (X3MDConnUp) TCP connection is up. Context Id:8, Local IP/port:10.10.10.1/51768 and Peer IP/port: 10.10.10.6/7027 with cause: LI X3 CALEA Connection UP


  Tue Jul 05 09:57:57 2022 Internal trap notification 1423 (X3MDConnUp) TCP connection is up. Context Id:8, Local IP/port:10.10.10.1/34927 and Peer IP/port: 10.10.10.6/7027 with cause: LI X3 CALEA Connection UP


  Tue Jul 05 17:10:30 2022 Internal trap notification 1423 (X3MDConnUp) TCP connection is up. Context Id:8, Local IP/port:10.10.10.1/59164 and Peer IP/port: 10.10.10.6/7027 with cause: LI X3 CALEA Connection UP


  Tue Jul 05 17:11:00 2022 Internal trap notification 1423 (X3MDConnUp) TCP connection is up. Context Id:8, Local IP/port:10.10.10.1/52191 and Peer IP/port: 10.10.10.6/7027 with cause: LI X3 CALEA Connection UP


  Tue Jul 05 17:11:07 2022 Internal trap notification 1423 (X3MDConnUp) TCP connection is up. Context Id:8, Local IP/port:10.10.10.1/46619 and Peer IP/port: 10.10.10.6/7027 with cause: LI X3 CALEA Connection UP


  Tue Jul 05 17:14:23 2022 Internal trap notification 1423 (X3MDConnUp) TCP connection is up. Context Id:8, Local IP/port:10.10.10.1/59383 and Peer IP/port: 10.10.10.6/7027 with cause: LI X3 CALEA Connection UP


  Tue Jul 05 17:17:31 2022 Internal trap notification 1423 (X3MDConnUp) TCP connection is up. Context Id:8, Local IP/port:10.10.10.1/59104 and Peer IP/port: 10.10.10.6/7027 with cause: LI X3 CALEA Connection UP

这是最后一次观察到的陷阱的状态，请注意，不会生成新的陷阱。

[local]GGSN# show snmp trap statistics verbose | grep X3MDConn

Thursday July 21 12:36:38 IST 2022

X3MDConnDown                        12018928     0 9689294  2022:07:05:11:36:23

X3MDConnUp                          12030872     0 9691992  2022:07:05:17:17:31

[local]GGSN# show snmp trap history verbose | grep x.x.x.x 

Thursday July 21 12:36:57 IST 2022