Configurar o ELAM no UCS

Introduction

Este documento descreve o uso da ferramenta Embedded Logic Analyzer Module (ELAM) no Unified Computing System (UCS) 4ª geração da interconexão de estrutura (FI) 6454 e como usá-la da melhor forma.

Prerequisites

Não há pré-requisitos para este documento.

Requirements

A Cisco recomenda que você tenha conhecimento destes tópicos:

• Interconexão de estrutura UCS 6454

Componentes Utilizados

The information in this document was created from the devices in a specific lab environment. All of the devices used in this document started with a cleared (default) configuration. Se a rede estiver ativa, certifique-se de que você entenda o impacto potencial de qualquer comando.

Informações de fundo

O UCS 4th Gen FI tem a capacidade de executar capturas de ELAM. Uma captura ELAM vem incorporada no ASIC.

A ferramenta ELAM permite a visualização em tempo real dos pacotes que estão sendo encaminhados no nível ASIC. Você pode exibir os detalhes de um pacote, como: 

• Interface de entrada e saída
• Tamanho máximo da unidade de transmissão (MTU)
• Etiqueta de VLAN
• MAC e endereço IP do dispositivo origem e destino
• Queda de pacote e a causa
• Marcação de Qualidade de Serviço (QoS - Quality of Service)

O ELAM fornece detalhes do encaminhamento de pacotes. Ele não causa interrupções no plano de dados.

Configurar

Faça login no UCS via CLI (Command Line Interface, interface de linha de comando).

Execute estes comandos:

#connect nxos a|b

#attach module 1

#debug platform internal tah elam asic 0

#trigger init asic 0 slice 0 lu-a2d 1 in-select 6 out-select 1

#set outer ...

#start

#report

Note: A 4ª Geração FI é uma unidade de rack única com um único módulo (módulo 1) com um ASIC (básico 0) e uma fatia (fatia 0). Veja a saída abaixo.

RCH-SV-FFAIII-A(nx-os)# show hardware internal tah interface ethernet 1/30
#########################################
IfIndex: 436222464
DstIndex: 6028
IfType: 26
Interface name Ethernet1/30
Asic: 0
Asic: 0     <<<<<
AsicPort: 49
SrcId: 98
Slice: 0    <<<<<
PortOnSlice: 49
Table entries for interface Ethernet1/30

Para ELAMs onde o disparador é baseado nos atributos de pacote "lu-a2d 1" é usado. Os valores 6 e 1 serão usados para "in-select" e "out-select", respectivamente, para juros out

O comando "set outer" é o nosso filtro, é aqui que definimos e dizemos ao FI que pacote queremos capturar, há várias opções e podemos ser tão granulares quanto necessário:

module-1(TAH-elam-insel6)# set outer ?
  arp   ARP Fields
  fcoe  FCoE Fields
  ipv4  IPv4 Fields
  ipv6  IPv6 Fields
  l2    All Layer 2 Fields
  l4    L4 Fields

module-1(TAH-elam-insel6)# set outer l2 ?
  cfi            CFI Setting
  cntag_vld      CNTag Information Valid
  cos            Class of Service
  dst_mac        Destination MAC Address
  qtag_vld       VLAN Tag Information Valid
  snap_vld       SNAP Header Information Valid
  src_mac        Source MAC Address
  vlan           VLAN Id (Present only in case of FEX)
  vntag_dvif     VNTAG Destination vif
  vntag_looped   VNTAG Header Looped Valid
  vntag_pointer  VNTAG Header Pointer Valid
  vntag_svif     VNTAG Source vif
  vntag_vld      VNTAG Information Valid

module-1(TAH-elam-insel6)# set outer ipv4 ?
  checksum       Checksum
  dscp           Diff. Serv. Code Point
  dst_ip         Destination IP Address
  ecn            Explicit Congestion Ntfn
  fragment-off   Fragments Offset
  header-len     Header Length
  more-frags     More Fragments Available
  next-protocol  Next Protocol
  packet-len     Packet Total Length
  pyld-len       Payload Length
  src_ip         Source IP Address
  ttl            Time to Live
  version        Version

Depois que os filtros forem definidos, execute o comando start para executar a ferramenta ELAM. Se nada que preencha a condição do filtro tiver sido capturado, isso é visto:

module-1(TAH-elam-insel6)# report

ELAM not triggered yet on slot - 1, asic - 0, slice - 0

Note: O comando "set" sobreviverá em ELAMs, uma boa prática é executar um comando "reset" sempre que pretendemos capturar tráfego com IP, MAC, etc. diferentes.

Exemplo

1. Faça ping da VM 172.16.35.31 para o gateway 172.16.35.126:

RCH-SV-FFAIII-A(nx-os)# attach module 1
module-1# debug platform internal tah elam asic 0
module-1(TAH-elam)# trigger init asic 0 slice 0 lu-a2d 1 in-select 6 out-select 1

param values: start asic 0, start slice 0, lu-a2d 1, in-select 6, out-select 1

module-1(TAH-elam-insel6)# set outer ipv4 src_ip 172.16.35.31 dst_ip 172.16.35.126
module-1(TAH-elam-insel6)# start
GBL_C++:  [MSG] rocky_elam_wrapper_init:54:asic type 8 inst 0 slice 0 a_to_d 1 insel 6 outsel 1
GBL_C++:  [MSG] rocky_elam_wrapper_enable:149:asic type 8 inst 0 slice 0 a_to_d 1
GBL_C++:  [MSG]   - writing data=0x0000000000000000000000000000000000000000000000000000000000000000000000000000000000000005608118F800000
000000000000000000560811BF00000000000000000000001000000000000000000000000000000000000000000000000000000000001
GBL_C++:  [MSG]   - writing mask=0x0000000000000000000000000000000000000000000000000000000000000000000000000000000000000007FFFFFFF800000
0000000000000000007FFFFFFF80000000000000000000003800000000000000000000000000000000000000000000000000000000001

module-1(TAH-elam-insel6)# report

HOMEWOOD ELAM REPORT SUMMARY
slot - 1, asic - 0, slice - 0
============================

Incoming Interface: Eth1/33
Src Idx : 0x1002, Src BD : 35
Outgoing Interface Info: dmod 1, dpid 4
Dst Idx : 0x604, Dst BD : 35

Packet Type: IPv4

Dst MAC address: 8C:60:4F:CD:FD:7C
Src MAC address: 00:25:C5:00:00:1E
.1q Tag0 VLAN: 35,  cos = 0x1

Dst IPv4 address: 172.16.35.126
Src IPv4 address: 172.16.35.31
Ver     =  4, DSCP    =    0, Don't Fragment = 0
Proto   =  1, TTL     =   64, More Fragments = 0
Hdr len = 20, Pkt len =   84, Checksum       = 0x5f19

L4 Protocol  : 1
ICMP type    : 8
ICMP code    : 0

Drop Info:
----------

LUA:
LUB:
LUC:
LUD:
Final Drops:

Verificar

O pacote com src_ip 172.16.35.31 e dst_ip 172.16.35.126 está na VLAN 35 e chegou na porta 1/33 (interface de entrada) e foi destinado (interface de saída) à interface "dpid4" ...o quê? "dpid" é o identificador interno da porta ASIC e o mapeamento pode ser encontrado com "show interface hardware-mappings":

Incoming Interface: Eth1/33
Src Idx : 0x1002, Src BD : 35

interface Ethernet1/33
  description S: Server, Port-channel 1025
  no pinning server sticky
  switchport mode fex-fabric
  priority-flow-control mode on
  fex associate 1
  channel-group 1025
  no shutdown

Outgoing Interface Info: dmod 1, dpid 4
Dst Idx : 0x604, Dst BD : 35


RCH-SV-FFAIII-A(nx-os)# show interface hardware-mappings
Legends:
       SMod  - Source Mod. 0 is N/A
       Unit  - Unit on which port resides. N/A for port channels
       HPort - Hardware Port Number or Hardware Trunk Id:
       HName - Hardware port name. None means N/A
       FPort - Fabric facing port number. 255 means N/A
       NPort - Front panel port number
       VPort - Virtual Port Number. -1 means N/A
       Slice - Slice Number. N/A for BCM systems
       SPort - Port Number wrt Slice. N/A for BCM systems
       SrcId - Source Id Number. N/A for BCM systems

------------------------------------------------------------------------
Name       Ifindex  Smod Unit HPort FPort NPort VPort Slice SPort SrcId
------------------------------------------------------------------------
.
Eth1/13    1a001800 1    0    4     255   48    -1    0     4     8

Esse "dpid 4" também corresponde ao que o "show hardware internal tah interface ethernet 1/13" sugere:

RCH-SV-FFAIII-A(nx-os)# show hardware internal tah interface ethernet 1/13
#########################################
IfIndex: 436213760
DstIndex: 6096
IfType: 26
Interface name Ethernet1/13
Asic: 0
Asic: 0
AsicPort: 4     <<<<<
SrcId: 8
Slice: 0
PortOnSlice: 4  <<<<<

O pacote foi identificado como ICMP (Internet Control Message Protocol) pelo protocolo ELAM Layer 4 (L4). Consulte a lista de números de protocolo IANA. Você também pode filtrar com um tamanho de MTU específico.  O ELAM dispara somente quando o MTU exato é atingido.

module-1(TAH-elam-insel6)# set outer ipv4 src_ip 172.16.35.31 dst_ip 172.16.35.126 packet-len 1500

Dst IPv4 address: 172.16.35.126
Src IPv4 address: 172.16.35.31
Ver     =  4, DSCP    =    0, Don't Fragment = 1
Proto   =  1, TTL     =   64, More Fragments = 0
Hdr len = 20, Pkt len = 1500, Checksum       = 0x1758

L4 Protocol  : 1
ICMP type    : 8
ICMP code    : 0

Solicitação ARP da máquina virtual (VM) para a rede upstream, com os endereços MAC definidos como filtro:

RCH-SV-FFAIII-B(nx-os)# attach module 1
module-1# debug platform internal tah elam asic 0
module-1(TAH-elam)# trigger init asic 0 slice 0 lu-a2d 1 in-select 6 out-select 1

param values: start asic 0, start slice 0, lu-a2d 1, in-select 6, out-select 1

module-1(TAH-elam-insel6)# set outer l2 src_mac 00:25:c5:00:00:1e dst_mac ff:ff:ff:ff:ff:ff
module-1(TAH-elam-insel6)# start
GBL_C++:  [MSG] rocky_elam_wrapper_init:36:asic type 8 inst 0 slice 0 a_to_d 1 insel 6 outsel 1
GBL_C++:  [MSG] rocky_elam_wrapper_enable:95:asic type 8 inst 0 slice 0 a_to_d 1
GBL_C++:  [MSG]   - writing data=0x00000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000
00000015820463E004B8A00003C0000000000000000000002000000000000000000000000000000000000000000000000000000000001
GBL_C++:  [MSG]   - writing mask=0x00000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000
0000001FFFFFFFFFFFFFFFFFFFE0000000000000000000003800000000000000000000000000000000000000000000000000000000001

module-1(TAH-elam-insel6)# report
HOMEWOOD ELAM REPORT SUMMARY
slot - 1, asic - 0, slice - 0
============================

Incoming Interface: Eth1/33
Src Idx : 0x1002, Src BD : 35
Outgoing Interface Info: dmod 1, dpid 4
Dst Idx : 0x604, Dst BD : 35

Packet Type: ARP

Dst MAC address: FF:FF:FF:FF:FF:FF
Src MAC address: 00:25:C5:00:00:1E
.1q Tag0 VLAN: 35,  cos = 0x1

Target Hardware address: 00:00:00:00:00:00
Sender Hardware address: 00:25:C5:00:00:1E
Target Protocol address: 172.16.35.110
Sender Protocol address: 172.16.35.31
ARP opcode: 1

Drop Info:
----------

LUA:
LUB:
LUC:
LUD:
Final Drops:

O pacote é identificado pelo sistema como um ARP, isso é especialmente útil quando há uma entrada ARP incompleta no nível da VM ou do gateway.

Se aplicável, as portas TCP/UDP também serão listadas, o SSH é testado aqui:

RCH-SV-FFAIII-B(nx-os)# attach module 1
module-1# debug platform internal tah elam asic 0
module-1(TAH-elam)# trigger init asic 0 slice 0 lu-a2d 1 in-select 6 out-select 1

param values: start asic 0, start slice 0, lu-a2d 1, in-select 6, out-select 1

module-1(TAH-elam-insel6)# set outer ipv4 src_ip 172.16.35.126 dst_ip 172.16.35.31

module-1(TAH-elam-insel6)# start
GBL_C++:  [MSG] rocky_elam_wrapper_init:36:asic type 8 inst 0 slice 0 a_to_d 1 insel 6 outsel 1
GBL_C++:  [MSG] rocky_elam_wrapper_enable:95:asic type 8 inst 0 slice 0 a_to_d 1
GBL_C++:  [MSG]   - writing data=0x000000000000000000000000000000000000000000000000000000000000000000000000000000000000000560811BF0000
000000000000000000005608118F80000000000000000000001000000000000000000000000000000000000000000000000000000000001
GBL_C++:  [MSG]   - writing mask=0x0000000000000000000000000000000000000000000000000000000000000000000000000000000000000007FFFFFFF8000
000000000000000000007FFFFFFF80000000000000000000003800000000000000000000000000000000000000000000000000000000001

module-1(TAH-elam-insel6)# report

HOMEWOOD ELAM REPORT SUMMARY
slot - 1, asic - 0, slice - 0
============================

Incoming Interface: Eth1/14
Src Idx : 0x604, Src BD : 35
Outgoing Interface Info: dmod 1, dpid 44
Dst Idx : 0x1002, Dst BD : 35

Packet Type: IPv4

Dst MAC address: 00:25:C5:00:00:1E
Src MAC address: 8C:60:4F:CD:FD:7C
.1q Tag0 VLAN: 35,  cos = 0x0

Dst IPv4 address: 172.16.35.31
Src IPv4 address: 172.16.35.126
Ver     =  4, DSCP    =    0, Don't Fragment = 0
Proto   =  6, TTL     =   64, More Fragments = 0
Hdr len = 20, Pkt len =   60, Checksum       = 0x27f5

L4 Protocol  : 6
TCP Dst Port : 22
TCP Src Port : 15067

Drop Info:
----------

LUA:
LUB:
LUC:
LUD:
Final Drops:

Troubleshoot

As gotas também são gravadas. O FI descarta uma solicitação ARP:

RCH-SV-FFAIII-B(nx-os)# attach module 1
module-1# debug platform internal tah elam asic 0
module-1(TAH-elam)# trigger init asic 0 slice 0 lu-a2d 1 in-select 6 out-select 1

param values: start asic 0, start slice 0, lu-a2d 1, in-select 6, out-select 1

module-1(TAH-elam-insel6)# set outer l2 src_mac 00:25:c5:00:00:1e dst_mac ff:ff:ff:ff:ff:ff

module-1(TAH-elam-insel6)# start
GBL_C++:  [MSG] rocky_elam_wrapper_init:54:asic type 8 inst 0 slice 0 a_to_d 1 insel 6 outsel 1
GBL_C++:  [MSG] rocky_elam_wrapper_enable:149:asic type 8 inst 0 slice 0 a_to_d 1
GBL_C++:  [MSG]   - writing data=0x00000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000
0000000000000000000000000000000000000000000000000000000000000000000000000000000000971400007BFFFFFFFFFFFC00001
GBL_C++:  [MSG]   - writing mask=0x00000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000
00000000000000000000000000000000000000000000000000000000000000000000000000000003FFFFFFFFFFFFFFFFFFFFFFFC00001

module-1(TAH-elam-insel6)# report
HOMEWOOD ELAM REPORT SUMMARY
slot - 1, asic - 0, slice - 0
============================

Incoming Interface: Eth1/18
Src Idx : 0x603, Src BD : 35
Outgoing Interface Info: dmod 0, dpid 0
Dst Idx : 0x0, Dst BD : 35

Packet Type: ARP

Dst MAC address: FF:FF:FF:FF:FF:FF
Src MAC address: 00:25:C5:00:00:1E
.1q Tag0 VLAN: 35,  cos = 0x1

Target Hardware address: 00:00:00:00:00:00
Sender Hardware address: 00:25:C5:00:00:1E
Target Protocol address: 172.16.35.99
Sender Protocol address: 172.16.35.31
ARP opcode: 1

Drop Info:
----------

LUA:
LUB:
LUC:
LUD:
  MC_RPF_FAIILURE
  SRC_VLAN_MBR
Final Drops:
  MC_RPF_FAIILURE
  SRC_VLAN_MBR

O FI recebe uma solicitação ARP na porta 1/18 (esta é uma porta de uplink) com um MAC de origem 00:25:c5:00:00:1e que é aprendido localmente em uma porta Ethernet virtual (vEth). Essa condição aciona uma queda de RPF (Reverse Path Forward, Encaminhamento de caminho reverso). Observe que as Informações da Interface de Saída relatam dpid 0, que é uma queda.

A VLAN 35 não é permitida na porta 1/18 e isso também acionou a queda SRC_VLAN_MBR.

RCH-SV-FFAIII-A(nx-os)# show run interface ethernet 1/18

interface Ethernet1/18
  description U: Uplink
  pinning border
  switchport mode trunk
  switchport trunk allowed vlan 1
  channel-group 105 mode active