PGW에서 관찰되는 X3MDConDown 및 X3MDConUp 트랩 문제 해결

소개

이 문서에서는 21.18.17에서 21.25.8로 업그레이드 후에 Cisco PGW(Packet Data Network Gateway)에서 트랩 X3MDConDown 및 X3MDConUp의 원인을 확인하는 프로세스에 대해 설명합니다.

사전 요구 사항

요구 사항

다음 주제에 대한 지식을 보유하고 있으면 유용합니다.

• 스타오스/PGW
• X1, X2, X3 인터페이스 및 기능에 대한 지식
• X3에 대한 TCP 설정 지식

사용되는 구성 요소

이 문서의 정보는 다음 소프트웨어 및 하드웨어 버전을 기반으로 합니다.

• PGW ASR(Aggregation Services Router) 5500
• 버전 21.18.17 .79434 및 21.25.8.84257

이 문서의 정보는 특정 랩 환경의 디바이스를 토대로 작성되었습니다. 이 문서에 사용된 모든 디바이스는 초기화된(기본) 컨피그레이션으로 시작되었습니다. 현재 네트워크가 작동 중인 경우 모든 명령의 잠재적인 영향을 미리 숙지하시기 바랍니다.

배경 정보

Lawful Interception 솔루션은 프로비저닝, 통화 데이터(신호) 및 통화 콘텐츠(미디어) 정보를 제공하기 위해 네트워크 요소와 중재 서버 사이에 3개의 개별 인터페이스가 있습니다. 이러한 인터페이스는 XCIPIO 중재 서버 DF(Delivery Function)와 AF(Network Element Access Function) 간에 연결이 설정된 후에 생성됩니다. 중재 서버에서 합법적 감청 기관으로의 인터페이스가 표준화되어 있다. AF와 DF 간의 인터페이스는 다음과 같이 정의됩니다.

• 프로비저닝 대상의 X1 또는 INI-1 인터페이스
• 타겟에 대한 시그널링 정보를 제공하는 X2 또는 INI-2 인터페이스
• 대상에 대한 미디어 또는 통화 콘텐츠를 제공하는 X3 또는 INI-3 인터페이스

여기서 X 인터페이스는 3GPP 표준에 의해 정의되는 반면 INI는 ETSi 표준에 의해 정의된다.

문제

21.18.17에서 21.25.8로 노드 업그레이드를 게시하면 X3MDConDown 및 X3MDConUp에 대한 경보가 대량(1시간 내에 3000 정도)으로 발생하기 시작했습니다.

트랩 형식:

Mon Jul 04 00:44:15 2022 Internal trap notification 1422 (X3MDConnDown) TCP connection is down. Context Id:8, Local IP/port:10.10.10.1/41833 and Peer IP/port: x.x.x.x/7027 with cause: LI X3 CALEA Connection Down

Mon Jul 04 00:45:29 2022 Internal trap notification 1423 (X3MDConnUp) TCP connection is up. Context Id:8, Local IP/port:10.10.10.1/56805 and Peer IP/port: x.x.x.x/7027 with cause: LI X3 CALEA Connection UP

트랩 세부 정보(시간):

이 그림에서는 문제가 빨간색으로 강조 표시되어 있습니다.

문제 해결 단계:

1. LI 서버에 대한 서비스를 확인해도 아무런 영향이 없습니다.
2. LI 파일은 LI 서버로 전송할 수 있습니다.
3. LI 서버에서 Ping 및 traceroute가 정상으로 확인되었습니다.
4. 레이턴시가 없고 패킷 손실이 관찰되지 않았습니다.
5. LI 서버를 향해 TCPdump를 캡처하려고 하면 문제가 있는 노드에 대해 단방향 패킷이 TCPdump에서 캡처됩니다.

이를 작동 중인 노드와 비교하면 동일한 동작이 표시됩니다.

1. LI 서버에서 다른 포트를 생성하면 문제가 계속 발생합니다.
2. 다른 LI 테스트 서버 및 포트를 생성할 때 GGSN(Gateway GPRS Support Node)에서 동일한 경보를 관찰합니다.
3. NPU-PAN 추적, show 명령 및 디버그 로그와 같은 추가 추적을 캡처할 때 PGW의 SYN 바로 뒤에 LI 서버에서 FIN ACK가 나오고 이로 인해 트랩이 발생하는 것을 확인할 수 있습니다  X3MDCondown 및X3MDConUp입니다.
4. 엔지니어링 팀에 따르면, 21.25.8 버전은 FIN ACK을 인식하고 알림을 생성합니다 X3MDCondown 및 그런 다음 X3MDConUp을 클릭합니다. 이전 릴리스에서는 볼 수 없는 21.18.17 .
5. 해결 방법 하트비트 타이머(1m)가 GGSN 및 LI 서버에서 활성화되었습니다 게시물 X3MDCondown 및 X3MDConUp 경보가 제어 중입니다. 하루 동안 3000명 내외에서 100명으로 줄어듭니다.
6. 노드는 2주 동안 모니터링되며 X3MDCondown 및 X3MDConUp 경보가 제어되었습니다.

사용된 명령

1. 이러한 명령에서 LI 파일은 LI 서버로 올바르게 전송됩니다. LI 서버에 대한 TCP 연결에는 문제가 없습니다.

show lawful-intercept full imsi <>

예를 들면 다음과 같습니다.

[lictx]GGSN# show lawful-intercept full msisdn XXXXXXXXX

Monday April 25 14:15:11 IST 2022

Username : -

ip-address : XXXXXXXX

msid/imsi : XXXXXXXXXXX

msisdn : XXXXXXXX

imei/mei : XXXXXXX

session : Session Present

service-type : pgw

pdhir : Disabled

li-context : lictx

intercept-id : 58707

intercept-key: -

Content-delivery: tcp-format

TCP connection info

State : ACTIVE

Dest. address: XX.XX.XX.XX Dest. Port: XXXX————>>

Num. Intercepted pkt for Active call: XXXX ——————>>

Event-delivery: tcp-format——>>

TCP connection info —————>>

State : ACTIVE————>>

Dest. address: XX.XX.XX.XX Dest. Port: XXXX————>>

Num. Intercepted pkt for Active call: 13 —————>>>

Provisioning method: Camp-on trigger

LI-index : 649

이 명령에서는 전체 출력을 보려면 LI 관리자 액세스 권한이 필요합니다.

show lawful-intercept statistics

show lawful-intercept buffering-stats sessmgr all

show lawful-intercept statistics

show connection-proxy sockets all

show lawful-intercept error-stats

2. 다음 디버그 수준 로그를 수집합니다.

logging filter active facility dhost level debug

logging filter active facility li level debug

logging filter active facility connproxy level debug

logging filter active facility ipsec level debug

logging filter active facility ipsecdemux level debug

logging active pdu-verbosity 5

Logging active

No logging active

여기서는 포트 정보가 안정적이지 않으면 변경된 것을 볼 수 있습니다.

show dhost socket  (in li context)

3. Hidden 모드로 들어가서 패킷이 FIN ACK(FIN acknowledge)에 대해 도착하는지 확인하기 위해 VPP(Vector Packet Processing) 작업으로 들어갑니다.

[lictx]GGSN# debug shell

enter vppct (from deb shell, use cmd "vppctl")
vpp#show hsi sessions

예를 들면 다음과 같습니다.

[local]g002-laas-ssi-24# deb sh

Friday May 13 06:03:24 UTC 2022

Last login: Fri May 13 04:32:03 +0000 2022 on pts/2 from 10.78.41.163.

g002-laas-ssi-24:ssi# vppctl

vpp# sho hsi sessions

[s1] dep 1 thread 10 fib-index 6 dst-src [3.2.1.1:9002]-[3.1.1.1:42906]

[s2] dep 1 thread 9 fib-index 6 dst-src [3.2.1.1:9003]-[3.1.1.1:60058]

[s3] dep 1 thread 8 fib-index 6 dst-src [3.2.1.1:9004]-[3.1.1.1:51097]

[s4] dep 1 thread 6 fib-index 6 dst-src [3.2.1.1:9005]-[3.1.1.1:45619]

4. 디버그 로그를 활성화한 후 테스트 명령에서 LI 컨텍스트의 출력 로그 표시를 활성화할 수 있습니다.

show clock
show dhost sockets
show connection-proxy sockets all
show clock

5. Show 지원 세부 정보를 수집합니다.

6. NPU-PAN 추적을 수집하여 패킷에LI 서버와의 성공적인 TCP 연결.

비활성화하려면

#configure

#no npumgr pan-trace

#npumgr pan-trace monitor none

#end

#show npumgr pan-trace configuration

#configure

#npumgr pan-trace acc monitor ipv4 id 1 protocol tcp sa X.X.X.X mask 255.255.255.255 da X.X.X.X mask 255.255.255.255

#npumgr pan-trace acc monitor ipv4 id 2 protocol tcp sa X.X.X.X mask 255.255.255.255 da X.X.X.X mask 255.255.255.255

#npumgr pan-trace limit 4096

#npumgr pan-trace

#end

(check if disabled/enabled, it should be enabled)

#show npumgr pan-trace configuration 

이 명령은 NPU 팬 추적을 중지할 수 있으므로 다음 컬렉션에 대해 다시 구성해야 합니다.

#show npumgr pan-trace summary

(We can capture packets based on npu number which can be done during testing if possible)
#show npumgr pan-trace detail all

NPU 추적의 예:

3538  6/0/2 Non 6/15 fab    70 Jun 02 16:47:10.05443343 144 Eth() Vlan(2014) IPv4(sa=XX.XX.XX.147, da=XX.XX.XX.201) TCP(sp=7027, dp=46229, ACK FIN) [ vrf=8 strip=40 flow ] >> MEH(sbia=050717de, dbia=0603800e, flowid=62755625, In) IPv4(sa=XX.XX.XX.147, da=XX.XX.XX.201) TCP(sp=7027, dp=46229, ACK FIN)
Packet details :

Packet 3538:

                              SA              [4B] = XX.XX.XX.147[0x0aa40693]

                              DA              [4B] = XX.XX.XX.201[0x0aa91ec9]

                              source port     [2B] = 0x1b73 (7027),   dest port       [2B] = 0xb495 (46229)

                              seqnum          [4B] = 0xc9923207 (3381801479)

                              acknum          [4B] = 0xbbd482ef (3151266543)

                              flags           [6b] = 0x11 ACK FIN

솔루션

다음 명령을 사용하여 PGW 및 XX.XX.XX.147(LI 서버)에서 하트비트 메시지 시간 제한을 1분으로 활성화합니다.

lawful-intercept tcp application-heartbeat-messages timeout minutes 1

FIN ACK이 LI 서버의 SYN 바로 다음에 온다고 가정합니다. 이 경우 하트비트가 PGW에서 1분 동안 활성화되어 있고 LI 서버에서 활성화되어 있기 때문에 PGW는 X3 인터페이스가 다운된 것으로 간주하지 않습니다. 이는 하트비트가 존재함에 따라 X3 연결이 UP임을 나타냅니다. 따라서 X3MDConDown 및 X3MDConUp에 대한 경보가 감소됩니다.

사전 및 사후 SSD 트랩 분석:

해결 후 SNMP 트랩 추세:

Mon Jul 04 00:44:15 2022 Internal trap notification 1422 (X3MDConnDown) TCP connection is down. Context Id:8, Local IP/port:10.10.10.1/41833 and Peer IP/port: 10.10.10.6/7027with cause: LI X3 CALEA Connection Down


  Mon Jul 04 11:13:20 2022 Internal trap notification 1422 (X3MDConnDown) TCP connection is down. Context Id:8, Local IP/port:10.10.10.1/47122 and Peer IP/port: 10.10.10.6/7027with cause: LI X3 CALEA Connection Down

==========


  Tue Jul 05 09:45:11 2022 Internal trap notification 1422 (X3MDConnDown) TCP connection is down. Context Id:8, Local IP/port:10.10.10.1/34489 and Peer IP/port: 10.10.10.6/7027 with cause: LI X3 CALEA Connection Down


  Tue Jul 05 09:45:56 2022 Internal trap notification 1423 (X3MDConnUp) TCP connection is up. Context Id:8, Local IP/port:10.10.10.1/51768 and Peer IP/port: 10.10.10.6/7027 with cause: LI X3 CALEA Connection UP


  Tue Jul 05 09:57:57 2022 Internal trap notification 1423 (X3MDConnUp) TCP connection is up. Context Id:8, Local IP/port:10.10.10.1/34927 and Peer IP/port: 10.10.10.6/7027 with cause: LI X3 CALEA Connection UP


  Tue Jul 05 17:10:30 2022 Internal trap notification 1423 (X3MDConnUp) TCP connection is up. Context Id:8, Local IP/port:10.10.10.1/59164 and Peer IP/port: 10.10.10.6/7027 with cause: LI X3 CALEA Connection UP


  Tue Jul 05 17:11:00 2022 Internal trap notification 1423 (X3MDConnUp) TCP connection is up. Context Id:8, Local IP/port:10.10.10.1/52191 and Peer IP/port: 10.10.10.6/7027 with cause: LI X3 CALEA Connection UP


  Tue Jul 05 17:11:07 2022 Internal trap notification 1423 (X3MDConnUp) TCP connection is up. Context Id:8, Local IP/port:10.10.10.1/46619 and Peer IP/port: 10.10.10.6/7027 with cause: LI X3 CALEA Connection UP


  Tue Jul 05 17:14:23 2022 Internal trap notification 1423 (X3MDConnUp) TCP connection is up. Context Id:8, Local IP/port:10.10.10.1/59383 and Peer IP/port: 10.10.10.6/7027 with cause: LI X3 CALEA Connection UP


  Tue Jul 05 17:17:31 2022 Internal trap notification 1423 (X3MDConnUp) TCP connection is up. Context Id:8, Local IP/port:10.10.10.1/59104 and Peer IP/port: 10.10.10.6/7027 with cause: LI X3 CALEA Connection UP

다음은 마지막으로 관찰된 트랩의 상태이며, 새 트랩이 생성되지 않습니다.

[local]GGSN# show snmp trap statistics verbose | grep X3MDConn

Thursday July 21 12:36:38 IST 2022

X3MDConnDown                        12018928     0 9689294  2022:07:05:11:36:23

X3MDConnUp                          12030872     0 9691992  2022:07:05:17:17:31

[local]GGSN# show snmp trap history verbose | grep x.x.x.x 

Thursday July 21 12:36:57 IST 2022