Probleemoplossing voor ACI Intra-Fabric Forwarding - Layer 2 Forwarding

Inleiding

Dit document beschrijft stappen om Layer 2 Forwarding in ACI te begrijpen en problemen op te lossen

Achtergrondinformatie

Het materiaal van dit document is Problemen oplossen met Cisco Application Centric Infrastructure, tweede editie het boek, met name het Intra-Fabric doorsturen - L2 doorsturen: twee eindpunten in dezelfde BD - geen unicast-routing hoofdstuk.

Overzicht

Deze sectie verklaart een het oplossen van probleemvoorbeeld waar de eindpunten in het zelfde brugdomein en zelfde Subnet niet aan elkaar kunnen spreken. De onderstaande afbeelding illustreert de topologie waarin de BD geen subnetten heeft en unicast routing uitgeschakeld is.

Typisch, wanneer het oplossen van problemen verkeersstromen met endpointconnectiviteit, is de suggestie om te beginnen een paar endpoints te identificeren. Raadpleeg de onderstaande topologie met de EP's A en B. Deze hebben respectievelijk IP-adressen 10.1.1.1/24 en 10.1.1.2/24. De MAC-adressen zijn respectievelijk 00:00:10:01:01:01 en 00:00:10:01:01:02.

Topologie

In dit deel zijn er drie scenario's:

1. Bekende Layer 2 unicaststroom.
2. Onbekende Layer 2 unicaststroom met BD in overstromingsmodus.
3. Onbekende Layer 2 unicaststroom met BD in hardware-proxymodus.

De stromen voor probleemoplossing die worden gevolgd, kunnen als volgt worden samengevat:

• Niveau 1-controle: GUI-validatie van de configuratie, fouten en aangeleerde endpoints.
• Niveau 2-controle: CLI op de switches:
  • Controleer of de switches van het bron- en doelblad de eindpunten leren.
  • Controleer of de wervelkolomknooppunten het eindpunt in COOP leren.
• Niveau 3-controle: pakketopname:
  • ELAM (ELAM Assistant of CLI) om het frame te valideren is er.
  • Triage om de stroom te volgen.

GUI-controle

Het eerste niveau van probleemoplossing is het valideren van de GUI dat de eindpunt MAC goed is geleerd. Dit kan worden gedaan vanaf het operationele tabblad van de EPG waar het eindpunt zit.

'EPG-tabblad Operationeel > Clienteindpunten'

In dit scenario worden beide eindpunten A en B in de GUI weergegeven. De GUI toont hun MAC-adressen, de interface waar ze zijn verbonden met de stof en de inkapseling — in dit geval zijn beide in de VLAN 2501-encap.

Verwacht wordt dat het IP-adres niet van de ACI-structuur is geleerd omdat de unicastrouting op BD-niveau is uitgeschakeld.

Raadpleeg de kolom Leerbron in bovenstaande screenshot. Als het 'aangeleerde' aanduidt, heeft de ACI-switch ten minste één pakket van het eindpunt ontvangen.

Aangezien in dit geval de eindpunten van de ACI-stof worden geleerd, gaat u naar de volgende probleemoplossing voor bekend Layer 2-unicastverkeer.

Werkstroom voor probleemoplossing voor bekend Layer 2-unicastverkeer

Ingress leaf source EP MAC learning

In het geval van Layer 2-doorsturen in dezelfde BD zal ACI alleen de bron-MAC leren en doorsturen op basis van de bestemming-MAC. De adressen van MAC worden geleerd in het werkingsgebied van BD.

Controleer eerst of het eindpunt is geleerd:

leaf1# show endpoint  mac  0000.1001.0101
Legend:
s - arp              H - vtep             V - vpc-attached     p - peer-aged
R - peer-attached-rl B - bounce           S - static           M - span
D - bounce-to-proxy  O - peer-attached    a - local-aged       m - svc-mgr
L - local            E - shared-service
+-----------------------------------+---------------+-----------------+--------------+-------------+
     VLAN/                           Encap           MAC Address       MAC Info/       Interface
     Domain                          VLAN            IP Address        IP Info
+-----------------------------------+---------------+-----------------+--------------+-------------+
4/Prod:VRF1                               vlan-2501    0000.1001.0101 L                      eth1/3

De bovenstaande output bevat de volgende informatie:

• MAC-adres 0000.1001.0101 wordt lokaal geleerd (Vlag is L voor lokaal) op poort Ethernet 1/3 met inkapseling vlan-2501 in vrf Prod:VRF1.
• Raadpleeg de kolom 'VLAN/domein' in de bovengenoemde uitvoer. De VLAN-id die hier wordt vermeld, is het interne VLAN.

Ingress-bladbestemming MAC-endpointlookup

Stel dat de bestemmings-MAC bekend is (unicast).

leaf1# show endpoint mac 0000.1001.0102
Legend:
s - arp              H - vtep             V - vpc-attached     p - peer-aged
R - peer-attached-rl B - bounce           S - static           M - span
D - bounce-to-proxy  O - peer-attached    a - local-aged       m - svc-mgr
L - local            E - shared-service
+-----------------------------------+---------------+-----------------+--------------+-------------+
     VLAN/                           Encap           MAC Address       MAC Info/       Interface
     Domain                          VLAN            IP Address        IP Info
+-----------------------------------+---------------+-----------------+--------------+-------------+
7/Prod:VRF1                          vxlan-16351141    0000.1001.0102                       tunnel4

De bovenstaande output bevat de volgende informatie:

• MAC-adres 0000.1001.0102 wordt niet lokaal geleerd.
• Het wordt geleerd van interfacetunnel 4.
• Het wordt geleerd in inkapseling VXLAN-16351141 die correspondeert met de BD_VNID (VXLAN Network ID) van het brugdomein.

Controleer vervolgens de bestemming van de tunnelinterface met de opdracht 'show interface tunnel <x>'

leaf1# show interface tunnel 4
Tunnel4 is up
   MTU 9000 bytes, BW 0 Kbit
   Transport protocol is in VRF "overlay-1"
   Tunnel protocol/transport is ivxlan
   Tunnel source 10.0.88.95/32 (lo0)
   Tunnel destination 10.0.96.66
   Last clearing of "show interface" counters never
   Tx
   0 packets output, 1 minute output rate 0 packets/sec
   Rx
   0 packets input, 1 minute input rate 0 packets/sec

Het pakket wordt dus ingekapseld in VXLAN met IP-bron 10.0.88.95 (toegewezen aan loopback0) en verzonden naar de bestemming TEP IP 10.0.96.6.

Bevestig de IP-bron:

leaf1# show ip interface loopback 0 vrf overlay-1
IP Interface Status for VRF "overlay-1"
lo0, Interface status: protocol-up/link-up/admin-up, iod: 4, mode: ptep
  IP address: 10.0.88.95, IP subnet: 10.0.88.95/32
  IP broadcast address: 255.255.255.255
  IP primary address route-preference: 0, tag: 0

De bestemming TEP IP 10.0.96.66 kan één van het volgende zijn:

• PTEP-adres van een ander blad (kan worden gecontroleerd met behulp van acidiag fnvers)
• VPC VIP (kan worden gezien in 'GUI > Fabric > Access Policies > Policy > Switch > Virtual Port Channel Default' (zie screenshot hieronder)
• Wat loopback IP op een ruggengraat switch. Gebruik 'toon ip interface vrf overlay-1' opdracht op de wervelkolom switch om dit te verifiëren.

Expliciete VPC-beschermingsgroepen

Ingress blad switch verzenden naar wervelkolom switch

Het toegangsblad zal nu het kader in VXLAN met de buitenbestemming IP inkapselen die aan 10.0.96.66 wordt geplaatst die de tunnelbestemming IP die in het vorige "tonen interfacetunnel 4"bevel wordt vermeld is. Het zal het in VXLAN met VNID van het brugdomein inkapselen - vxlan-16351141 - zoals getoond in de vorige 'show endpoint mac 000.1001.0102' opdrachtoutput.

Op basis van de IS-IS-route in VRF-overlay-1 bepaalt u waar u deze wilt verzenden:

leaf1# show ip route 10.0.96.66 vrf overlay-1
IP Route Table for VRF "overlay-1"
'*' denotes best ucast next-hop
'**' denotes best mcast next-hop
'[x/y]' denotes [preference/metric]
'%<string>' in via output denotes VRF <string>

10.0.96.66/32, ubest/mbest: 4/0
   *via 10.0.88.65, Eth1/49.10, [115/3], 2w5d, isis-isis_infra, isis-l1-int
   *via 10.0.88.94, Eth1/50.128, [115/3], 2w5d, isis-isis_infra, isis-l1-int

Er is dus een ECMP-routing (Equal cost multipath) naar de bestemming met behulp van eth1/49 en 1/50, die de fabric uplinks naar de switches van de wervelkolom zijn.

Doorsturen van de wervelkolom

De VRF-overlay-1 routeringstabel op de ruggengraat laat zien dat de hostroute 10.0.96.66 bereikbaar is via leaf3 of leaf4. Dit wordt verwacht omdat 10.0.96.66 de VPC VIP is van switches 103 en 104:

spine1# show ip route 10.0.96.66 vrf overlay-1
IP Route Table for VRF "overlay-1"
'*' denotes best ucast next-hop
'**' denotes best mcast next-hop
'[x/y]' denotes [preference/metric]
'%<string>' in via output denotes VRF <string>

10.0.96.66/32, ubest/mbest: 2/0
   *via 10.0.88.91, eth1/3.35, [115/2], 02w05d, isis-isis_infra, isis-l1-int
   *via 10.0.88.90, eth1/4.39, [115/2], 02w05d, isis-isis_infra, isis-l1-int

spine1# show lldp neighbors | egrep "1\/3 |1\/4 "
leaf3             Eth1/3          120        BR          Eth1/49
leaf4             Eth1/4          120        BR          Eth1/49

Uitgangs blad afstandsbediening EP MAC learning

In dit geval, is de bestemmingsTEP een paar VPC zodat zal het pakket op of leaf3 of leaf4 aankomen. Verwijs naar de hieronder beveloutput. Leaf4 moet een soortgelijk resultaat laten zien. Aangezien ze deel uitmaken van hetzelfde VPC-paar, worden alle eindpunten gesynchroniseerd tussen de twee bladzijden switches.

Endpoint learning voor Layer 2-verkeer op het uitgangsblad is gebaseerd op het MAC-adres van de bron dat in de BD wordt geleerd die overeenkomt met de VNID in het ontvangen pakket. Dit kan in de eindpunttabel worden geverifieerd.

Het MAC-adres van de bron ligt achter tunnel 26 in VXLAN-16351141.

Tunnel 26 gaat naar TEP IP 10.0.88.95 die blad1 is:

leaf3# show endpoint  mac 0000.1001.0101
Legend:
s - arp              H - vtep             V - vpc-attached     p - peer-aged
R - peer-attached-rl B - bounce           S - static           M - span
D - bounce-to-proxy  O - peer-attached    a - local-aged       m - svc-mgr
L - local            E - shared-service
+-----------------------------------+---------------+-----------------+--------------+-------------+
     VLAN/                           Encap           MAC Address       MAC Info/       Interface
     Domain                          VLAN            IP Address        IP Info
+-----------------------------------+---------------+-----------------+--------------+-------------+
136/Prod:VRF1                        vxlan-16351141    0000.1001.0101                      tunnel26

leaf3# show interface tunnel 26
Tunnel26 is up
   MTU 9000 bytes, BW 0 Kbit
   Transport protocol is in VRF "overlay-1"
   Tunnel protocol/transport is ivxlan
   Tunnel source 10.0.88.91/32 (lo0)
   Tunnel destination 10.0.88.95
   Last clearing of "show interface" counters never
   Tx
   0 packets output, 1 minute output rate 0 packets/sec
   Rx
   0 packets input, 1 minute input rate 0 packets/sec
   
leaf3# acidiag fnvread | egrep "10.0.88.95"
    101        1                leaf1      FDO20160TPA      10.0.88.95/32    leaf         active   0

Uitgaande blad bestemming MAC lookup

Het 'show endpoint' commando bevestigt dat de bestemming MAC wordt geleerd achter poortkanaal 1 en gebruikt inkapseling VLAN-2501

leaf3# show endpoint mac 0000.1001.0102
Legend:
s - arp              H - vtep             V - vpc-attached     p - peer-aged
R - peer-attached-rl B - bounce           S - static           M - span
D - bounce-to-proxy  O - peer-attached    a - local-aged       m - svc-mgr
L - local            E - shared-service
+-----------------------------------+---------------+-----------------+--------------+-------------+
     VLAN/                           Encap           MAC Address       MAC Info/       Interface
     Domain                          VLAN            IP Address        IP Info
+-----------------------------------+---------------+-----------------+--------------+-------------+
135/Prod:VRF1                             vlan-2501    0000.1001.0102 LpV                       po1

Dit geeft aan dat het frame de ACI-stof op leaf3 interface poort-kanaal 1 met encap VLAN ID 2501 verlaat. U vindt het BD-VNID onder het tabblad Tenant Operational in de GUI.

Valideren van beide eindpunten worden goed geleerd in de ruggengraat switch COOP EP repo

De COOP EP-repo moet worden gesynchroniseerd over alle wervelkolomknooppunten. de COOP EP repo kan worden gecontroleerd met behulp van het BD VNID als sleutel en het EP MAC-adres invoeren.

Het MAC-adres van de bron van deze stroom wordt geleerd van tunnel next-hop 10.0.88.95 die de TEP IP van leaf1 is. Bovendien toont de opdrachtoutput VNID 16351141 wat overeenkomt met het juiste brugdomein.

spine1# show coop internal info repo ep key 16351141 00:00:10:01:01:01
   
Repo Hdr Checksum : 24197
Repo Hdr record timestamp : 10 01 2019 10:16:50 278195866
Repo Hdr last pub timestamp : 10 01 2019 10:16:50 283699467
Repo Hdr last dampen timestamp : 01 01 1970 00:00:00 0
Repo Hdr dampen penalty : 0
Repo Hdr flags : IN_OBJ EXPORT ACTIVE
EP bd vnid : 16351141
EP mac :  00:00:10:01:01:01
flags : 0x80
repo flags : 0x122
Vrf vnid : 2097154
Epg vnid : 0
EVPN Seq no : 0
Remote publish timestamp: 01 01 1970 00:00:00 0
Snapshot timestamp: 10 01 2019 10:16:50 278195866
Tunnel nh : 10.0.88.95
MAC Tunnel  : 10.0.88.95
IPv4 Tunnel : 10.0.88.95
IPv6 Tunnel : 10.0.88.95
ETEP Tunnel : 0.0.0.0

De bestemming MAC van deze stroom wordt geleerd tegen de VPC VIP 10.0.96.66 van blad3 en blad4. De EP BD VNID 16351141 wordt eveneens vermeld, wat overeenkomt met de juiste BD.

spine1# show coop internal info repo ep key 15302583 00:00:10:01:01:02
   
Repo Hdr Checksum : 16897
Repo Hdr record timestamp : 10 01 2019 11:05:46 351360334
Repo Hdr last pub timestamp : 10 01 2019 11:05:46 352019546
Repo Hdr last dampen timestamp : 01 01 1970 00:00:00 0
Repo Hdr dampen penalty : 0
Repo Hdr flags : IN_OBJ EXPORT ACTIVE
EP bd vnid : 16351141
  EP mac :  00:00:10:01:01:02
flags : 0x90
repo flags : 0x122
Vrf vnid : 2097154
Epg vnid : 0
EVPN Seq no : 0
Remote publish timestamp: 01 01 1970 00:00:00 0
Snapshot timestamp: 10 01 2019 11:05:46 351360334
Tunnel nh : 10.0.96.66
MAC Tunnel  : 10.0.96.66
IPv4 Tunnel : 10.0.96.66
IPv6 Tunnel : 10.0.96.66
ETEP Tunnel : 0.0.0.0

ELAM-uitvoer met ELAM Assistant

ELAM Assistant is een krachtige ACI-app die de uitvoering van ELAM-opnamen op een ACI-stof kan vereenvoudigen.

ELAM Assistant triggers kunnen gelijktijdig gestart worden op meerdere bladknooppunten. Hierdoor kunnen specifieke pakketten parallel worden gecontroleerd in blad 1, blad 3 en blad 4.

De geconfigureerde ELAM-opname verschijnt zoals hieronder wordt getoond. Zoals opgemerkt, wordt het pakket gezien op leaf1 (knooppunt-101) en leaf3 (knooppunt-103).

ELAM Assistant — parameters

Het rapport van leaf1 (knooppunt 101) toont het volgende:

• De output van de Opgenomen pakketinformatie bevestigt dat het pakket op eth1/3 ingaat en de correcte informatie van MAC en IP heeft.
• De pakketdoorstuurinformatie toont dat het op eth1/49 naar TEP IP 10.0.96.66 is doorgestuurd.

ELAM Assistant — leaf1 (knooppunt-101) — Opgenomen pakketinformatie

ELAM Assistant — leaf1 (knooppunt-101) — Packet Forwarding Information

Op blad 3 (knooppunt 103) op het achterblad wordt het volgende waargenomen:

In de Capture Packet Information op leaf3, voert het van eth1/49 in. Het buitenste IP-adres bevestigt het volgende:

• Bron TEP: 10.0.88.95
• TEP van bestemming: 10.0.96.66
• VNID: 16351141 (BD VNID)

ELAM Assistant — leaf3 (knooppunt-103) — Opgenomen pakketinformatie

De Packet Forwarding Information laat zien dat het verkeer wordt doorgestuurd op poortkanaal 1 en specifiek Ethernet 1/12.

Ingress leaf ELAM met CLI

Het wordt aanbevolen om ELAM Assistant te gebruiken omdat dit de werking van het uitvoeren van ELAM-opnamen vereenvoudigt. Het is echter ook mogelijk om CLI-opdrachten op ACI-switches te gebruiken om een ELAM-rapport te genereren. Hieronder staat een voorbeeld van hoe dat zou kunnen worden gedaan.

Gebruik de trigger-reeks die wordt getoond om het pakket op het toegangsblad op te nemen. Raadpleeg het gedeelte "Tools" voor meer informatie over ELAM-opties.

• In dit voorbeeld is de ASIC 'tah' als het blad (onderdeelnummer dat eindigt met '-EX').
• 'in-select 6' wordt gebruikt om een pakket op te nemen dat uit een downlink-poort komt zonder een VXLAN-encryptie.
• 'out-select 1' zorgt ervoor dat de drop-vector ook wordt weergegeven (in het geval van een packet drop).
• De 'reset'-opdracht is nodig om er zeker van te zijn dat eerdere triggers zijn gereinigd.
• Ook al is dit een overbrugde stroom ELAM heeft zicht in de IP-header.
  • Hierdoor kunnen 'ipv4 src_ip' en 'dst_ip' worden gebruikt om de trigger in te stellen.

module-1# debug platform internal tah elam asic 0
module-1(DBG-elam)# trigger init in-select ?
 10  Outerl4-innerl4-ieth
 13  Outer(l2|l3|l4)-inner(l2|l3|l4)-noieth
 14  Outer(l2(vntag)|l3|l4)-inner(l2|l3|l4)-ieth
 15  Outer(l2|l3|l4)-inner(l2|l3|l4)-ieth
 6   Outerl2-outerl3-outerl4
 7   Innerl2-innerl3-innerl4
 8   Outerl2-innerl2-ieth
 9   Outerl3-innerl3

module-1(DBG-elam)# trigger init in-select 6 out-select 1
module-1(DBG-elam-insel6)# reset
module-1(DBG-elam-insel6)# set outer ipv4 src_ip 10.1.1.1 dst_ip 10.1.1.2
module-1(DBG-elam-insel6)# start

Controleer de ELAM-status om te zien of het pakket is ontvangen. Als er een trigger is, betekent dat dat er een pakketje is gepakt dat aan de voorwaarden voldoet.

module-1(DBG-elam-insel6)# status
ELAM STATUS
===========
Asic 0 Slice 0 Status Triggered
Asic 0 Slice 1 Status Armed

De volgende output toont dat het rapport wordt weergegeven met behulp van de 'rapport' opdracht. De output is erg lang, dus alleen het begin wordt hier geplakt. Maar merk op dat het volledige rapport wordt opgeslagen voor latere analyse op een locatie in het systeem met bladbestanden. De bestandsnaam bevat ook de tijdstempels wanneer de ELAM is genomen.

leaf1# ls -al /var/log/dme/log/elam_2019-09-30-03m-23h-14s.txt
-rw-rw-rw- 1 root root 699106 Sep 30 23:03 /var/log/dme/log/elam_2019-09-30-03m-23h-14s.txt

Het 'rapport' valideert dat het pakket is ontvangen en de informatie is zoals verwacht (bron en bestemming MAC, bron, en bestemming IP, etc.)

module-1(DBG-elam-insel6)# ereport
Python available. Continue ELAM decode with LC Pkg
ELAM REPORT

===========================================================================================================
                                                       Trigger/Basic Information
===========================================================================================================
ELAM Report File                        : /tmp/logs/elam_2019-09-30-03m-23h-14s.txt
In-Select Trigger                       : Outerl2-outerl3-outerl4( 6 )
Out-Select Trigger                      : Pktrw-sideband-drpvec( 1 )
ELAM Captured Device                    : LEAF
Packet Direction                        : ingress
Triggered ASIC type                     : Sugarbowl
Triggered ASIC instance                 : 0
Triggered Slice                         : 0
Incoming Interface                      : 0x24( 0x24 )
( Slice Source ID(Ss) in "show plat int hal l2 port gpd" )

===========================================================================================================
                                                           Captured Packet
                                                       
-----------------------------------------------------------------------------------------------------------
Outer Packet Attributes
-----------------------------------------------------------------------------------------------------------
Outer Packet Attributes       : l2uc ipv4 ip ipuc ipv4uc
Opcode                        : OPCODE_UC

-----------------------------------------------------------------------------------------------------------
Outer L2 Header
-----------------------------------------------------------------------------------------------------------
Destination MAC               : 0000.1001.0102
Source MAC                    : 0000.1001.0101
802.1Q tag is valid           : yes( 0x1 )
CoS                           : 0( 0x0 )
Access Encap VLAN             : 2501( 0x9C5 )

-----------------------------------------------------------------------------------------------------------
Outer L3 Header
-----------------------------------------------------------------------------------------------------------
L3 Type                       : IPv4
IP Version                    : 4
DSCP                          : 0
IP Packet Length              : 84 ( = IP header(28 bytes) + IP payload )
Don't Fragment Bit            : not set
TTL                           : 255
IP Protocol Number            : ICMP
IP CheckSum                   : 51097( 0xC799 )
Destination IP                : 10.1.1.2
Source IP                     : 10.1.1.1

===========================================================================================================
                                                               Forwarding Lookup ( FPB )
===========================================================================================================
-----------------------------------------------------------------------------------------------------------
Destination MAC (Lookup Key)
-----------------------------------------------------------------------------------------------------------
Dst MAC Lookup was performed            : yes
Dst MAC Lookup BD                       : 522( 0x20A )
( Hw BDID in "show plat int hal l2 bd pi" )
Dst MAC Address                         : 0000.1001.0102

-----------------------------------------------------------------------------------------------------------
Destination MAC (Lookup Result)
-----------------------------------------------------------------------------------------------------------
Dst MAC is Hit                          : yes
Dst MAC is Hit Index                    : 6443( 0x192B )
( phy_id in "show plat int hal objects ep l2 mac (MAC) extensions" )
or ( HIT IDX in "show plat int hal l3 nexthops" for L3OUT/L3 EP)
.....

De stroom volgen met behulp van fTriage

Als Triage wordt uitgevoerd vanaf een APIC CLI en kan worden gebruikt om het volledige pad door de ACI-stof te volgen. Specificeer ten minste het ingangsblad (knooppunt-101), de bron-IP en de bestemming-IP. In dit specifieke geval is het een overbrugde (Layer 2) stroom, zodat de fTriage brugoptie moet worden gebruikt.

Let op dat fTriage een logbestand genereert in de huidige map. Dit logbestand bevat alle verzamelde logbestanden en ELAM-rapporten. Hierdoor kan het pakket bij elke hop worden opgenomen. De korte versie van de output is hieronder:

apic1# ftriage bridge -ii LEAF:101 -sip 10.1.1.1 -dip 10.1.1.2
fTriage Status: {"dbgFtriage": {"attributes": {"operState": "InProgress", "pid": "12181", "apicId": "1", "id": "0"}}}
Starting ftriage
Log file name for the current run is: ftlog_2019-10-01-18-53-24-125.txt
2019-10-01 18:53:24,129 INFO     /controller/bin/ftriage bridge -ii LEAF:101 -sip 10.1.1.1 -dip 10.1.1.2
2019-10-01 18:53:49,280 INFO     ftriage:     main:1165 Invoking ftriage with default password and default username: apic#fallback\\admin
2019-10-01 18:54:10,204 INFO     ftriage:     main:839  L2 frame Seen on leaf1 Ingress: Eth1/3 Egress: Eth1/49 Vnid: 15302583
2019-10-01 18:54:10,422 INFO     ftriage:     main:242  ingress encap string vlan-2501
2019-10-01 18:54:10,427 INFO     ftriage:     main:271  Building ingress BD(s), Ctx
2019-10-01 18:54:12,288 INFO     ftriage:     main:294  Ingress BD(s) Prod:BD1
2019-10-01 18:54:12,288 INFO     ftriage:     main:301  Ingress Ctx: Prod:VRF1
2019-10-01 18:54:12,397 INFO     ftriage:   pktrec:490  leaf1: Collecting transient losses snapshot for LC module: 1
2019-10-01 18:54:30,079 INFO     ftriage:     main:933  SMAC 00:00:10:01:01:01 DMAC 00:00:10:01:01:02
2019-10-01 18:54:30,080 INFO     ftriage:  unicast:973  leaf1: <- is ingress node
2019-10-01 18:54:30,320 INFO     ftriage:  unicast:1215 leaf1: Dst EP is remote
2019-10-01 18:54:31,155 INFO     ftriage:     misc:659  leaf1: L2 frame getting bridged in SUG
2019-10-01 18:54:31,380 INFO     ftriage:     misc:657  leaf1: Dst MAC is present in SUG L2 tbl
2019-10-01 18:54:31,826 INFO     ftriage:     misc:657  leaf1: RwDMAC DIPo(10.0.96.66) is one of dst TEPs ['10.0.96.66']
2019-10-01 18:56:16,249 INFO     ftriage:     main:622  Found peer-node spine1 and IF: Eth1/1 in candidate list
2019-10-01 18:56:21,346 INFO     ftriage:     node:643  spine1: Extracted Internal-port GPD Info for lc: 1
2019-10-01 18:56:21,348 INFO     ftriage:     fcls:4414 spine1: LC trigger ELAM with IFS: Eth1/1 Asic :0 Slice: 0 Srcid: 32
2019-10-01 18:56:54,424 INFO     ftriage:     main:839  L2 frame Seen on spine1 Ingress: Eth1/1 Egress: LC-1/0 FC-24/0 Port-0 Vnid: 15302583
2019-10-01 18:56:54,424 INFO     ftriage:   pktrec:490  spine1: Collecting transient losses snapshot for LC module: 1
2019-10-01 18:57:15,093 INFO     ftriage:      fib:332  spine1: Transit in spine
2019-10-01 18:57:21,394 INFO     ftriage:  unicast:1252 spine1: Enter dbg_sub_nexthop with Transit inst: ig infra: False glbs.dipo: 10.0.96.66
2019-10-01 18:57:21,508 INFO     ftriage:  unicast:1417 spine1: EP is known in COOP (DIPo = 10.0.96.66)
2019-10-01 18:57:25,537 INFO     ftriage:  unicast:1458 spine1: Infra route 10.0.96.66 present in RIB
2019-10-01 18:57:25,537 INFO     ftriage:     node:1331 spine1: Mapped LC interface: LC-1/0 FC-24/0 Port-0 to FC interface: FC-24/0 LC-1/0 Port-0
2019-10-01 18:57:30,616 INFO     ftriage:     node:460  spine1: Extracted GPD Info for fc: 24
2019-10-01 18:57:30,617 INFO     ftriage:     fcls:5748 spine1: FC trigger ELAM with IFS: FC-24/0 LC-1/0 Port-0 Asic :0 Slice: 2 Srcid: 0
2019-10-01 18:57:49,611 INFO     ftriage:  unicast:1774 L2 frame Seen on FC of node: spine1  with Ingress: FC-24/0 LC-1/0 Port-0  Egress: FC-24/0 LC-1/0 Port-0 Vnid: 15302583
2019-10-01 18:57:49,611 INFO     ftriage:   pktrec:487  spine1: Collecting transient losses snapshot for FC module: 24
2019-10-01 18:57:53,110 INFO     ftriage:     node:1339 spine1: Mapped FC interface: FC-24/0 LC-1/0 Port-0 to LC interface: LC-1/0 FC-24/0 Port-0
2019-10-01 18:57:53,111 INFO     ftriage:  unicast:1474 spine1: Capturing Spine  Transit pkt-type L2 frame on egress LC on Node: spine1 IFS: LC-1/0 FC-24/0 Port-0
2019-10-01 18:57:53,530 INFO     ftriage:     fcls:4414 spine1: LC trigger ELAM with IFS: LC-1/0 FC-24/0 Port-0 Asic :0 Slice: 0 Srcid: 64
2019-10-01 18:58:26,497 INFO     ftriage:  unicast:1510 spine1: L2 frame Spine egress  Transit pkt Seen on spine1 Ingress: LC-1/0 FC-24/0 Port-0 Egress: Eth1/3 Vnid: 15302583
2019-10-01 18:58:26,498 INFO     ftriage:   pktrec:490  spine1: Collecting transient losses snapshot for LC module: 1
2019-10-01 18:59:28,634 INFO     ftriage:     main:622  Found peer-node leaf3 and IF: Eth1/49 in candidate list
2019-10-01 18:59:39,235 INFO     ftriage:     main:839  L2 frame Seen on leaf3 Ingress: Eth1/49 Egress: Eth1/12 (Po1) Vnid: 11364
2019-10-01 18:59:39,350 INFO     ftriage:   pktrec:490  leaf3: Collecting transient losses snapshot for LC module: 1
2019-10-01 18:59:54,373 INFO     ftriage:     main:522  Computed egress encap string vlan-2501
2019-10-01 18:59:54,379 INFO     ftriage:     main:313  Building egress BD(s), Ctx
2019-10-01 18:59:57,152 INFO     ftriage:     main:331  Egress Ctx Prod:VRF1
2019-10-01 18:59:57,153 INFO     ftriage:     main:332  Egress BD(s): Prod:BD1
2019-10-01 18:59:59,230 INFO     ftriage:  unicast:1252 leaf3: Enter dbg_sub_nexthop with Local inst: eg infra: False glbs.dipo: 10.0.96.66
2019-10-01 18:59:59,231 INFO     ftriage:  unicast:1257 leaf3: dbg_sub_nexthop invokes dbg_sub_eg for vip
2019-10-01 18:59:59,231 INFO     ftriage:  unicast:1784 leaf3: <- is egress node
2019-10-01 18:59:59,377 INFO     ftriage:  unicast:1833 leaf3: Dst EP is local
2019-10-01 18:59:59,378 INFO     ftriage:     misc:657  leaf3: EP if(Po1) same as egr if(Po1)
2019-10-01 18:59:59,378 INFO     ftriage:     misc:659  leaf3: L2 frame getting bridged in SUG
2019-10-01 18:59:59,613 INFO     ftriage:     misc:657  leaf3: Dst MAC is present in SUG L2 tbl
2019-10-01 19:00:06,122 INFO     ftriage:     main:961  Packet is Exiting fabric with peer-device: n3k-3 and peer-port: Ethernet1/16

Werkstroom voor probleemoplossing voor onbekend Layer 2-unicastverkeer — BD in overstromingsmodus

In dit voorbeeld is de bestemmings-MAC onbekend. De bestemmingsMAC raadpleging op het ingangsblad toont geen output.

leaf1# show endpoint mac 0000.1001.0102
Legend:
s - arp              H - vtep             V - vpc-attached     p - peer-aged
R - peer-attached-rl B - bounce           S - static           M - span
D - bounce-to-proxy  O - peer-attached    a - local-aged       m - svc-mgr
L - local            E - shared-service
+-----------------------------------+---------------+-----------------+--------------+-------------+
     VLAN/                           Encap           MAC Address       MAC Info/       Interface
     Domain                          VLAN            IP Address        IP Info
+-----------------------------------+---------------+-----------------+--------------+-------------+

Gegeven de BD is ingesteld op 'Flood' voor L2 Unknown Unicast, hier is wat zal gebeuren op een hoog niveau:

1. Ingress-blad zal de pakketheader hakken om het toe te wijzen aan een van de FTAG's (van 0 tot 15).
2. Ingress-blad kapselt het frame in een VXLAN-pakket in met het BD VNID. De buitenste IP-bestemming is de BD GIPo + FTAG.
3. Het zal worden overstroomd in de stof na een boomtopologie en zou elke bladknoop moeten bereiken die BD heeft opgesteld.

In dit gedeelte wordt aangegeven wat er kan worden gecontroleerd.

BD GIPo zoeken

De GUI identificeert multicastgroep 25.1.5.48 die door de BD wordt gebruikt voor verkeer met meerdere bestemmingen.

BD GIPo

ELAM — indringerblad — overstroomd verkeer

Met behulp van ELAM Assistant wordt het ELAM-rapport op het toegangsblad gecontroleerd. Dit toont aan dat het frame overstroomd was in de BD en regresseert op alle stoffen uplinks (hier eth1/49, 1/50,1/51 en 1/52).

ELAM Assistant - indringerblad - Packet Forwarding Information

Om de FTAG-waarde te vinden die is geselecteerd door het toegangsblad, gaat u naar het ruwe rapport van de ELAM Assistant.

 sug_lu2ba_sb_info.mc_info.mc_info_nopad.ftag: 0xC 

Wanneer de hexadecimale waarde van 0xC in decimaal wordt omgezet, resulteert dit in FTAG 12.

De FTAG-topologie tekenen

FTAG topologie wordt berekend door IS-IS. Er wordt een boomtopologie gecreëerd voor elke FTAG-waarde, met een wortel- en uitvoerinterfacelijst, die een optimale werklastspreidtopologie mogelijk maakt.

Toont de lokale FTAG-topologie met de volgende opdracht. In het onderstaande voorbeeld gebruiken we topologie van FTAG ID 12 op spine1.

spine1# show isis internal mcast routes ftag
IS-IS process: isis_infra
 VRF : default
FTAG Routes
====================================

FTAG ID:  12  [Enabled] Cost:(   2/  11/   0)
----------------------------------
   Root port: Ethernet1/4.39
   OIF List:
     Ethernet1/11.11
     Ethernet1/12.12

Het tekenen van de volledige FTAG topologie in een grote ACI stof kan een lange en complexe taak blijken te zijn. Het 'aci-ftag-viewer' Python script (https://github.com/agccie/aci-ftag-viewer) kan gekopieerd worden naar een APIC. Het genereert de volledige FTAG-topologie van de stof in één keer.

De output hieronder toont de FTAG 12 boom in Pod1 van een Multi-Pod stof en omvat de topologie FTAG over de apparaten IPN.

Dit toont aan dat als verkeer de ACI stof van leaf101 ingaat het de volgende wegen zoals die in de hieronder output van het manuscript worden vermeld zal oversteken.

admin@apic1:tmp> python aci_ftag_viewer.py --ftag 12 --pod 1 
################################################################################
#  Pod 1 FTAG 12
#  Root spine-204
#  active nodes: 8, inactive nodes: 1
################################################################################
spine-204
 +- 1/1 -------- 1/52 leaf-101
 +- 1/2 -------- 1/52 leaf-102
 +- 1/3 -------- 1/52 leaf-103
 +- 1/4 -------- 1/52 leaf-104
                        +- 1/49 -------- 1/4 spine-201
                        |                      +- 1/11 ...... (EXT) Eth2/13 n7706-01-Multipod-A1
                        |                      +- 1/12 ...... (EXT) Eth2/9 n7706-01-Multipod-A2
                        |
                        +- 1/50 -------- 1/4 spine-202
                        |                      +- 1/11 ...... (EXT) Eth2/14 n7706-01-Multipod-A1
                        |                      +- 1/12 ...... (EXT) Eth2/10 n7706-01-Multipod-A2
                        |
                        +- 1/51 -------- 2/4 spine-203
                                               +- 2/11 ...... (EXT) Eth2/15 n7706-01-Multipod-A1
                                               +- 2/12 ...... (EXT) Eth2/11 n7706-01-Multipod-A2
 +- 1/11 ...... (EXT) Eth2/16 n7706-01-Multipod-A1
 +- 1/12 ...... (EXT) Eth2/12 n7706-01-Multipod-A2

ELAM — Buitenblad — Overstroomd verkeer

In dit geval bereikt het overstroomde verkeer elk blad in het ACI-weefsel. Zo zal het zowel leaf3 als leaf4 bereiken die het paar VPC zijn. Beide bladknooppunten hebben een VPC naar de bestemming. Om dubbele pakketten te vermijden, verkiest het paar VPC slechts één blad om het overstroomde verkeer aan de bestemming door te sturen. Het gekozen blad wordt VPC DF-blad genoemd (VPC aangeduid als Forder Leaf).

Dit kan worden gecontroleerd in ELAM met de volgende trigger op beide bladknooppunten.

module-1# debug platform internal tah elam asic 0
module-1(DBG-elam)# trigger reset
module-1(DBG-elam)# trigger init in-select 14 out-select 1
module-1(DBG-elam-insel14)# set inner ipv4 src_ip 10.1.1.1 dst_ip 10.1.1.2
module-1(DBG-elam-insel14)# start

blad3 output:

module-1(DBG-elam-insel14)# ereport | egrep vpc.*df
 sug_lub_latch_results_vec.lub4_1.vpc_df: 0x1

blad4 uitvoer:

module-1(DBG-elam-insel14)# ereport | egrep vpc.*df
 sug_lub_latch_results_vec.lub4_1.vpc_df: 0x0

In de bovenstaande output heeft leaf3 de waarde '0x1' ingesteld voor het 'vpc_df' veld, terwijl leaf4 de waarde '0x0' heeft ingesteld voor het 'vpc_df' veld. De aangewezen expediteur zal daarom blad 3 zijn. leaf3 zal het overstroomde pakket op zijn VPC-link naar de bestemming EP doorsturen.

Werkstroom voor probleemoplossing voor onbekend Layer 2 unicastverkeer — BD in hardwareproxy

Het huidige vermelde scenario is dat voor Layer 2 onbekend unicastverkeer met de BD in hardware-proxymodus. In dit scenario, gegeven het ingangsblad kent niet het adres van bestemmingsMAC, zal het het pakket aan de wervelkolom anycast volmacht-mac adres door:sturen. De ruggengraat voert een COOP lookup uit voor de bestemming MAC.

Als de raadpleging slaagt zoals hieronder getoond, zal de ruggengraat de buitenbestemming IP aan de tunnelbestemming (hier 10.0.96.66) herschrijven en zal het naar het blad3-leaf4 VPC paar verzenden.

spine1# show coop internal info repo ep key 15302583 00:00:10:01:01:02
   
Repo Hdr Checksum : 16897
Repo Hdr record timestamp : 10 01 2019 11:05:46 351360334
Repo Hdr last pub timestamp : 10 01 2019 11:05:46 352019546
Repo Hdr last dampen timestamp : 01 01 1970 00:00:00 0
Repo Hdr dampen penalty : 0
Repo Hdr flags : IN_OBJ EXPORT ACTIVE
EP bd vnid : 16351141
  EP mac :  00:00:10:01:01:02
flags : 0x90
repo flags : 0x122
Vrf vnid : 2097154
Epg vnid : 0
EVPN Seq no : 0
Remote publish timestamp: 01 01 1970 00:00:00 0
Snapshot timestamp: 10 01 2019 11:05:46 351360334
Tunnel nh : 10.0.96.66
MAC Tunnel  : 10.0.96.66
IPv4 Tunnel : 10.0.96.66
IPv6 Tunnel : 10.0.96.66
ETEP Tunnel : 0.0.0.0

Als de raadpleging mislukt (eindpunt is onbekend in de ACI-stof), laat de wervelkolom de onbekende unicast vallen.

spine1# show coop internal info repo ep key 15302583 00:00:10:01:01:02
Key not found in repo

Layer 2 Forwarding-samenvatting

Het volgende diagram vat het mogelijke het door:sturen gedrag voor Layer 2 verkeer in de ACI stof samen.

ACI-fabric Layer 2-doorsturen