Contents

Introdução

Pré-requisitos

Requisitos

Componentes Utilizados

Informações de Apoio

Problema

Comandos utilizados

Solução

Introdução

Este documento descreve o processo para identificar a causa dos Traps X3MDConnDown e X3MDConnUp no Cisco Packet Data Network Gateway (PGW) após a atualização de 21.18.17 para 21.25.8 em grande número.

Pré-requisitos

Requisitos

A Cisco recomenda que você tenha conhecimento destes tópicos:

- StarOS/PGW

- Conhecimento da interface e funcionalidade X1, X2 e X3

- Conhecimento do estabelecimento de TCP para X3

Componentes Utilizados

As informações neste documento são baseadas nestas versões de software e hardware:

- Roteador de serviços de agregação (ASR) 5500 PGW

- Versões 21.18.17.79434 e 21.25.8.84257

As informações neste documento foram criadas a partir de dispositivos em um ambiente de laboratório específico. Todos os dispositivos utilizados neste documento foram iniciados com uma configuração (padrão) inicial. Se a rede estiver ativa, certifique-se de que você entenda o impacto potencial de qualquer comando.

Informações de Apoio

A solução Interceptação Legal tem três interfaces discretas entre o elemento de rede e o servidor de mediação para fornecer informações de provisionamento, dados de chamada (sinal) e conteúdo de chamada (mídia). Essas interfaces são criadas após o estabelecimento da conexão entre a Função de Entrega (DF) do servidor de mediação XCIPIO e a Função de Acesso (AF) do elemento de rede. A interface entre o servidor de mediação e o organismo de intercepção legal é normalizada. As interfaces entre AF e DF são definidas como:

- Interface X1 ou INI-1 para provisionamento de destinos

- Interface X2 ou INI-2 para fornecer informações de sinalização para o destino

- Interface X3 ou INI-3 para fornecer conteúdo de mídia ou chamada para o destino

Onde a interface X é definida pelo padrão 3GPP, enquanto o INI é definido pelo padrão ETSi.

Problema

Após a atualização do nó de 21.18.17 para 21.25.8, um alarme começou a vir para X3MDConnDown e X3MDConnUp em Bulk (cerca de 3000 em uma hora).

Formato de interceptação:

Mon Jul 04 00:44:15 2022 Internal trap notification 1422 (X3MDConnDown) TCP connection is down. Context Id:8, Local IP/port:10.10.10.1/41833 and Peer IP/port: x.x.x.x/7027 with cause: LI X3 CALEA Connection Down

Mon Jul 04 00:45:29 2022 Internal trap notification 1423 (X3MDConnUp) TCP connection is up. Context Id:8, Local IP/port:10.10.10.1/56805 and Peer IP/port: x.x.x.x/7027 with cause: LI X3 CALEA Connection UP

Detalhes da interceptação no HRS:

O problema está destacado em vermelho nesta imagem:

Passos de Troubleshooting:

1. Verifique os serviços em direção ao servidor LI, você não encontrará nenhum impacto.

2. Os arquivos LI podem ser transferidos para o servidor LI.

3. Ping e traceroute foram encontrados OK para o servidor LI.

4. Nenhuma latência e queda de pacote foram observadas.

5. Quando você tenta capturar o TCPdump em direção ao servidor LI, os pacotes unidirecionais são capturados no TCPdump do nó problemático.

Compare-o com o nó de trabalho e você verá o mesmo comportamento.

1. Ao criar uma porta diferente no servidor LI, você observa que o problema permanece.

2. Ao criar outro servidor e porta de teste LI, você observa o mesmo alarme no Gateway GPRS Support Node (GGSN).

3. Ao capturar os rastreamentos adicionais, como o rastreamento de NPU-PAN, os comandos show e os logs de depuração, você verá que FIN ACK vem do servidor LI logo após o SYN do PGW e isso resulta em Traps  X3MDConnDown eX3MDConnUp.

4. De acordo com a equipe de Engenharia, a versão 21.25.8 reconhece o FIN ACK e gera o alarme X3MDConnDown e depois X3MDConnUp. Que não é visto em versões anteriores a 21.18.17.

5. Um Temporizador de Pulsação (1m) alternativo foi habilitado no servidor GGSN e LI postar que o X3MDConnDown e o alarme X3MDConnUp está no controle. É reduzido de cerca de 3000 para 100 durante 1 dia.

6. O nó é monitorado por 2 semanas e o X3MDConnDown e os alarmes X3MDConnUp ficaram sob controle.

Comandos utilizados

1. A partir desses comandos, os arquivos LI são transferidos para o servidor LI corretamente. Não há nenhum problema com a conexão TCP com o servidor LI.

show lawful-intercept full imsi <>

Por exemplo:

[lictx]GGSN# show lawful-intercept full msisdn XXXXXXXXX

Monday April 25 14:15:11 IST 2022

Username : -

ip-address : XXXXXXXX

msid/imsi : XXXXXXXXXXX

msisdn : XXXXXXXX

imei/mei : XXXXXXX

session : Session Present

service-type : pgw

pdhir : Disabled

li-context : lictx

intercept-id : 58707

intercept-key: -

Content-delivery: tcp-format

TCP connection info

State : ACTIVE

Dest. address: XX.XX.XX.XX Dest. Port: XXXX————>>

Num. Intercepted pkt for Active call: XXXX ——————>>

Event-delivery: tcp-format——>>

TCP connection info —————>>

State : ACTIVE————>>

Dest. address: XX.XX.XX.XX Dest. Port: XXXX————>>

Num. Intercepted pkt for Active call: 13 —————>>>

Provisioning method: Camp-on trigger

LI-index : 649

Estes comandos precisam de acesso de administrador LI para ver as saídas completas:

show lawful-intercept statistics

show lawful-intercept buffering-stats sessmgr all

show lawful-intercept statistics

show connection-proxy sockets all

show lawful-intercept error-stats

2. Colete estes logs de nível de depuração:

logging filter active facility dhost level debug

logging filter active facility li level debug

logging filter active facility connproxy level debug

logging filter active facility ipsec level debug

logging filter active facility ipsecdemux level debug

logging active pdu-verbosity 5

Logging active

No logging active

Aqui, você pode ver as informações de porta mudarem se não estiverem estáveis.

show dhost socket  (in li context)

3. Entre no modo Oculto e vá para a tarefa Vetor Packet Processing (VPP) para verificar se os pacotes vêm para reconhecimento FIN (ACK).

[lictx]GGSN# debug shell

enter vppct (from deb shell, use cmd "vppctl")

vpp#show hsi sessions

Por exemplo:

[local]g002-laas-ssi-24# deb sh

Friday May 13 06:03:24 UTC 2022

Last login: Fri May 13 04:32:03 +0000 2022 on pts/2 from 10.78.41.163.

g002-laas-ssi-24:ssi# vppctl

vpp# sho hsi sessions

[s1] dep 1 thread 10 fib-index 6 dst-src [3.2.1.1:9002]-[3.1.1.1:42906]

[s2] dep 1 thread 9 fib-index 6 dst-src [3.2.1.1:9003]-[3.1.1.1:60058]

[s3] dep 1 thread 8 fib-index 6 dst-src [3.2.1.1:9004]-[3.1.1.1:51097]

[s4] dep 1 thread 6 fib-index 6 dst-src [3.2.1.1:9005]-[3.1.1.1:45619]

4. Mostrar logs de saída no contexto LI pode ser habilitado sob o comando test após você habilitar os logs de depuração.

show clock

show dhost sockets

show connection-proxy sockets all

show clock

5. Colete os detalhes de suporte do Show.

6. Colete o rastreamento de NPU-PAN para reconhecer que o pacote tem umconexão TCP bem-sucedida com o servidor LI.

Para desativar:

#configure

#no npumgr pan-trace

#npumgr pan-trace monitor none

#end

#show npumgr pan-trace configuration

#configure

#npumgr pan-trace acc monitor ipv4 id 1 protocol tcp sa X.X.X.X mask 255.255.255.255 da X.X.X.X mask 255.255.255.255

#npumgr pan-trace acc monitor ipv4 id 2 protocol tcp sa X.X.X.X mask 255.255.255.255 da X.X.X.X mask 255.255.255.255

#npumgr pan-trace limit 4096

#npumgr pan-trace

#end

(check if disabled/enabled, it should be enabled)

#show npumgr pan-trace configuration

Esse comando pode parar o rastreamento de plano de NPU, portanto, ele precisa ser reconfigurado para a próxima coleção.

#show npumgr pan-trace summary

(We can capture packets based on npu number which can be done during testing if possible)

#show npumgr pan-trace detail all

Exemplo de rastreamento de NPU:

3538  6/0/2 Non 6/15 fab    70 Jun 02 16:47:10.05443343 144 Eth() Vlan(2014) IPv4(sa=XX.XX.XX.147, da=XX.XX.XX.201) TCP(sp=7027, dp=46229, ACK FIN) [ vrf=8 strip=40 flow ] >> MEH(sbia=050717de, dbia=0603800e, flowid=62755625, In) IPv4(sa=XX.XX.XX.147, da=XX.XX.XX.201) TCP(sp=7027, dp=46229, ACK FIN)

Packet details :

Packet 3538:

SA              [4B] = XX.XX.XX.147[0x0aa40693]

DA              [4B] = XX.XX.XX.201[0x0aa91ec9]

source port     [2B] = 0x1b73 (7027),   dest port       [2B] = 0xb495 (46229)

seqnum          [4B] = 0xc9923207 (3381801479)

acknum          [4B] = 0xbbd482ef (3151266543)

flags           [6b] = 0x11 ACK FIN

Solução

Ative o tempo limite de mensagens de pulsação para 1 minuto em PGW & XX.XX.XX.147 (Servidor LI) com este comando:

lawful-intercept tcp application-heartbeat-messages timeout minutes 1

Suponha que FIN ACK venha logo após o SYN do servidor LI. Nesse caso, o PGW não considera uma interface X3 inativa porque o heartbeat está habilitado 1 min no PGW e habilitado no servidor LI, o que indica que a conexão X3 está ATIVA quando o heartbeat está presente. Assim, os alarmes são reduzidos para X3MDConnDown e X3MDConnUp.

Análise de armadilha pré e pós-SSD:

Tendências das interceptações SNMP após Solução alternativa:

Mon Jul 04 00:44:15 2022 Internal trap notification 1422 (X3MDConnDown) TCP connection is down. Context Id:8, Local IP/port:10.10.10.1/41833 and Peer IP/port: 10.10.10.6/7027with cause: LI X3 CALEA Connection Down

Mon Jul 04 11:13:20 2022 Internal trap notification 1422 (X3MDConnDown) TCP connection is down. Context Id:8, Local IP/port:10.10.10.1/47122 and Peer IP/port: 10.10.10.6/7027with cause: LI X3 CALEA Connection Down

==========

Tue Jul 05 09:45:11 2022 Internal trap notification 1422 (X3MDConnDown) TCP connection is down. Context Id:8, Local IP/port:10.10.10.1/34489 and Peer IP/port: 10.10.10.6/7027 with cause: LI X3 CALEA Connection Down

Tue Jul 05 09:45:56 2022 Internal trap notification 1423 (X3MDConnUp) TCP connection is up. Context Id:8, Local IP/port:10.10.10.1/51768 and Peer IP/port: 10.10.10.6/7027 with cause: LI X3 CALEA Connection UP

Tue Jul 05 09:57:57 2022 Internal trap notification 1423 (X3MDConnUp) TCP connection is up. Context Id:8, Local IP/port:10.10.10.1/34927 and Peer IP/port: 10.10.10.6/7027 with cause: LI X3 CALEA Connection UP

Tue Jul 05 17:10:30 2022 Internal trap notification 1423 (X3MDConnUp) TCP connection is up. Context Id:8, Local IP/port:10.10.10.1/59164 and Peer IP/port: 10.10.10.6/7027 with cause: LI X3 CALEA Connection UP

Tue Jul 05 17:11:00 2022 Internal trap notification 1423 (X3MDConnUp) TCP connection is up. Context Id:8, Local IP/port:10.10.10.1/52191 and Peer IP/port: 10.10.10.6/7027 with cause: LI X3 CALEA Connection UP

Tue Jul 05 17:11:07 2022 Internal trap notification 1423 (X3MDConnUp) TCP connection is up. Context Id:8, Local IP/port:10.10.10.1/46619 and Peer IP/port: 10.10.10.6/7027 with cause: LI X3 CALEA Connection UP

Tue Jul 05 17:14:23 2022 Internal trap notification 1423 (X3MDConnUp) TCP connection is up. Context Id:8, Local IP/port:10.10.10.1/59383 and Peer IP/port: 10.10.10.6/7027 with cause: LI X3 CALEA Connection UP

Tue Jul 05 17:17:31 2022 Internal trap notification 1423 (X3MDConnUp) TCP connection is up. Context Id:8, Local IP/port:10.10.10.1/59104 and Peer IP/port: 10.10.10.6/7027 with cause: LI X3 CALEA Connection UP

Este é o status das interceptações observadas pela última vez e observe que nenhuma interceptação nova é gerada.

[local]GGSN# show snmp trap statistics verbose | grep X3MDConn

Thursday July 21 12:36:38 IST 2022

X3MDConnDown                        12018928     0 9689294  2022:07:05:11:36:23

X3MDConnUp                          12030872     0 9691992  2022:07:05:17:17:31

[local]GGSN# show snmp trap history verbose | grep x.x.x.x

Thursday July 21 12:36:57 IST 2022