Begrijp IPv4-hardwarebronnen op Catalyst 9000 Switches
Downloadopties
Inclusief taalgebruik
De documentatie van dit product is waar mogelijk geschreven met inclusief taalgebruik. Inclusief taalgebruik wordt in deze documentatie gedefinieerd als taal die geen discriminatie op basis van leeftijd, handicap, gender, etniciteit, seksuele oriëntatie, sociaaleconomische status of combinaties hiervan weerspiegelt. In deze documentatie kunnen uitzonderingen voorkomen vanwege bewoordingen die in de gebruikersinterfaces van de productsoftware zijn gecodeerd, die op het taalgebruik in de RFP-documentatie zijn gebaseerd of die worden gebruikt in een product van een externe partij waarnaar wordt verwezen. Lees meer over hoe Cisco gebruikmaakt van inclusief taalgebruik.
Over deze vertaling
Cisco heeft dit document vertaald via een combinatie van machine- en menselijke technologie om onze gebruikers wereldwijd ondersteuningscontent te bieden in hun eigen taal. Houd er rekening mee dat zelfs de beste machinevertaling niet net zo nauwkeurig is als die van een professionele vertaler. Cisco Systems, Inc. is niet aansprakelijk voor de nauwkeurigheid van deze vertalingen en raadt aan altijd het oorspronkelijke Engelstalige document (link) te raadplegen.
Inhoud
Inleiding
Dit document beschrijft hoe u het hardwaregebruik van IPv4 Forwarding Information Base (FIB) op Catalyst 9000 Series switches kunt begrijpen en verifiëren.
Voorwaarden
Vereisten
Er zijn geen specifieke vereisten van toepassing op dit document.
Gebruikte componenten
De informatie in dit document is gebaseerd op de volgende software- en hardware-versies:
- Cisco Catalyst 9200, 9300, 9400, 9500 (niet-hoogwaardige) Series switches op Cisco IOS® XE 16.x en 17.x-software
- Cisco Catalyst 9500 (hoogwaardige), 9600 Series switches op Cisco IOS® XE 16.x en 17.x-software
De informatie in dit document is gebaseerd op de apparaten in een specifieke laboratoriumomgeving. Alle apparaten die in dit document worden beschreven, hadden een opgeschoonde (standaard)configuratie. Als uw netwerk live is, moet u zorgen dat u de potentiële impact van elke opdracht begrijpt.
Achtergrondinformatie
Als u een probleem oplost dat niet werkt zoals verwacht, is een goed referentiepunt om te bevestigen dat de hardware niet groter is dan de omvang van de betreffende switch. Hoewel switches kunnen variëren in de omvang van deze hardwaretabellen, blijft de verificatie- en probleemoplossingsmethodologie grotendeels hetzelfde.
Deze pagina is ook een referentiepagina waar u informatie kunt vinden over verschillende functies en hoe u de hardwareschaal kunt controleren.
Er worden voorbeelden gegeven voor deze softwareversies en apparaattypen:
- 16.x en 17.x software treinen, omdat de CLI uitgangen aanzienlijk verschillen
- Specifieke informatie over de 9500 (High Performance) en 9600 aangezien Hash en Ternary Content Adressable Memory (TCAM) in deze modellen op een andere manier worden toegewezen dan andere Catalyst 9000 switches
Dit document helpt bij:
- Begrijp welke tabel (hash/TCAM) wordt gebruikt
- Begrijp wat de tabel in kwestie verbruikt
- Begrijp waarom een bepaalde tabel werd gebruikt (hash versus TCAM)
- Begrijp logboeken of foutenmeldingen die op een middelkwestie wijzen
- Maatregelen om problemen bij de toewijzing van hardwareresources op te lossen
Opmerking: wanneer switches Virtual Routing and Forwarding (VRF) gebruiken, moet het totale gebruik verbruik in elke VRF opnemen.
Video
Deze video gaat over het oplossen van problemen met FIB-hardwarebronnen: Probleemoplossing voor Catalyst 9000 Switch FIB Uitputting van hardwareresources
Terminologie
| ADJ |
Aangrenzing (tabel) |
Slaat volgende hopinformatie op die voor pakketherschrijven wordt gebruikt |
| DI |
Bestemming-index |
Index die naar de uitgaande interface wijst |
| EM |
Exacte overeenkomst |
Een ingang in Hash geheugen die een 1:1 gelijke (gastheerroute, Direct Verbonden gastheer) is |
| FIB |
Forwarding Information Base |
Vereenvoudigde tabel met prefixes toegevoegd door de tabellen Routing Information Base (RIB) en Address Resolution Protocol (ARP) met een aanwijzer naar de ADJ-tabel |
| FED |
voorwaartse motordriver |
De Application Specific Integrated Circuit (ASIC) (hardware)-laag |
| FMAN-FP |
Forwarding Manager - Forwarding Plane |
FMAN-FP beheert softwareobjecten die FED-informatie toevoegen, verwijderen of aanpassen |
| LPM |
Langste prefixovereenkomst |
Elke route die /31 of korter is (0/32 routes zijn EM type) |
| RI |
Index herschrijven |
MAC-adres herschrijfinformatie voor Layer 3 doorsturen naar de volgende hop-nabijheid |
| RIB |
Routing Information Base |
De routeringstabel in "IP-route tonen" |
| SDM |
Switch Database Manager |
Softwareproces waarbij hardwarebronnen van de switch worden toegewezen aan verschillende functies die deze vereisen (MAC-adressen, routers, toegangslijsten) |
| SI |
Station Index |
Station Index = pakket herschrijf informatie (RI = herschrijf index) & uitgaande interfaceinformatie (DI = bestemming index) |
| TCAM |
Ternair content-adresseerbaar geheugen |
Een type geheugen dat gegevens opslaat en opvraagt met drie verschillende ingangen: 0, 1 en X. Dit type geheugen moet worden gebruikt in gevallen waarin er meerdere overeenkomsten met hetzelfde item kunnen zijn en de resulterende Hash voor elk niet uniek zou zijn. Deze tabel bevat een masker of "X"-waarde die het mogelijk maakt te weten of het overeenkomt met dit item of niet overeenkomt. |
| UADP |
Cisco Unified Access™ Gegevensvlak |
De in de switch gebruikte ASIC-architectuur |
| Direct verbonden |
Direct Connected Route |
Een lokaal verbonden hostprefix (ARP-aangrenzend) |
| Indirect verbonden |
Indirect verbonden router |
Een route die via een afgelegen volgende hop om is te bereiken |
| SGT |
||
| SXP |
||
| CTS (Trustsec) |
Algemene opdrachten voor hardwarevalidering
Deze opdrachten tonen gebruiksstatistieken op hoog niveau voor Hash, TCAM, Interface en Herschrijven gebruikte bronnen. Deze middelen houden verband met elkaar, en de uitputting van een van de genoemde middelen kan van invloed zijn op het vermogen om andere beschikbare middelen volledig te gebruiken.
Voorbeeld: Een switch kan beschikbaar Hash / TCAM, maar heeft geen Adjacencies. De mogelijkheid om pakketten door te sturen kan worden beïnvloed aan een doelprefix omdat de switch geen nieuwe herschrijfoptie kan programmeren.
show platform hardware fed switch active fwd-asic resource tcam utilization <-- Hash & TCAM
show platform hardware fed switch active fwd-asic resource utilization <-- SI/RI/DI/etc (other related resources)
show platform hardware fed switch active fwd-asic resource rewrite utilization <-- IP Adjacency. LISP adjacency, Tunnel Adjacency, etc
Opmerking: Zie "Hoofdstuk: SDM-sjablonen configureren" in de "Systeembeheerconfiguratiegids" voor meer informatie over deze opdrachten
IPv4-schalingssysteem
Dit scenario toont aan hoe elke tabel wordt gebruikt, en wat te doen als een of andere tabel op of buiten de schaal is. Het dekt ook afhankelijke bronnen die nodig zijn om door te sturen naar een IP-bestemming.
Symptoom: de bron is groter dan de schaal
- Problemen met de bereikbaarheid van apparaten of prefixen. Terwijl de routes die bestaan of de apparaten bereikbaar kunnen blijven, zijn om het even welke nieuwe of bijgewerkte prefixes niet bereikbaar.
- Logberichten geven aan dat de hardware geen nieuwe objectupdates kan uitvoeren
- De objectlaag, die software in hardware programmeert, raakt verstopt
- Afwezigheid van vermeldingen op de betrokken hardwarelaag (in dit geval is de FIB de getroffen laag).
Als een bepaalde IPv4 FIB- of Adjacency resource SYSLOG-bericht niet beschikbaar is, wordt deze door het systeem gegenereerd
| IPv4 FIB-logbericht |
Definitie |
Terugvorderingsactie |
| %FED_L3_ERRMSG-3-RSRC_ERR: Switch 1 R0/0: fed:kan geen hardwarebron toewijzen voor fib-invoer vanwege uitputting van hardwareresources |
Hardware gereserveerd voor IPv4 FIB-vermeldingen heeft geen ruimte meer (EM of TCAM) |
Routes samenvatten of een andere actie ondernemen om de schaal van FIB ingangen te verminderen (dit kan EM of TCAM zijn, welke één uitgeput is). |
| %FED_L3_ERRMSG-3-RSRC_ERR: R0/0: gevoed:Toewijzen van hardwarebron voor adj-invoer mislukt - rc:1 |
De aanpassingstabel is leeg. Dit is de tabel in hardware waar de volgende hop bestemming MAC-adressen worden opgeslagen. |
Verminder het schaalaantal direct verbonden (ARP-aangrenzende) hosts |
Gebruiksvoorbeelden
Gebruiksvoorbeelden (niet-HP 16.12.x)
| in Cisco IOS®-software |
Hardware |
| 16.12.5 |
Catalyst 9200/9300/9400/9500 (niet-hoogwaardige) switches |
Gebruik van basislijn-bronnen
##### Baseline Setup & Usage #####
C9300#show version | include IOS
Cisco IOS XE Software, Version 16.12.05
Cisco IOS Software [Gibraltar], Catalyst L3 Switch Software (CAT9K_IOSXE), Version 16.12.5, RELEASE SOFTWARE (fc3)
C9300-48U
C9300##show ip interface brief | exclude unassigned
Interface IP-Address OK? Method Status Protocol
<...empty...> <-- no Switch Virtual Interface (SVI) or any IP configured
/// TCAM and Hash ///
C9300#show platform hardware fed switch actitve fwd-asic resource tcam utilization
CAM Utilization for ASIC [0]
Table Max Values Used Values
--------------------------------------------------------------------------------
Directly or indirectly connected routes 24576/8192 3/19 <-- 3 hash / 19 TCAM is base usage
/// Adjacencies ///
C9300#show platform software fed switch active ip adj
IPV4 Adj entries
dest if_name dst_mac si_hdl ri_hdl pd_flags adj_id Last-modified
---- ------- ------- ------ ------ -------- ----- ------------------------
C9300#show platform hardware fed switch active fwd-asic resource rewrite utilization
Resource Info for ASIC Instance: 0
Rewrite Data Allocated Free
-------------------------------------------------------
PHF_EGRESS_destMacAddress 0 32000 <-- Next hop Dest MAC for packet rewrite
/// SI DI RI resources ///
C9300#show platform hardware fed switch active fwd-asic resource utilization | include RSC_SI_|RSC_RI__
Resource Info for ASIC Instance: 0
Resource Name Allocated Free
------------------------------------------
RSC_RI 3 57317 <-- Rewrite Index
RSC_SI 521 64847 <-- Station Index
SVI VLAN 1 IP-adres met /24-masker toevoegen
### ADD SVI IP with /24 mask length ###
C9300(config)#interface vlan 1
C9300(config-if)#ip address 10.10.10.1 255.255.255.0
C9300#show ip interface brief | inc up
Vlan1 10.10.10.1 YES manual up up
C9300#show platform hardware fed switch active fwd-asic resource tcam utilization
CAM Utilization for ASIC [0]
Table Max Values Used Values
--------------------------------------------------------------------------------
Directly or indirectly connected routes 24576/8192 6/20 <-- usage = +3 hash, +1 TCAM
C9300#show platform software fed switch active ip adj
IPV4 Adj entries
dest if_name dst_mac si_hdl ri_hdl pd_flags adj_id Last-modified
---- ------- ------- ------ ------ -------- ----- ------------------------
227.0.0.0 Vlan1 0100.5e00.0000 0x7f4880ce37e8 0x7f4880cf3648 0x0 0xf80004b4 2021/02/26 17:48:47.992 <-- 1 Adj created for mcast
C9300#show platform hardware fed switch active fwd-asic resource rewrite utilization
Resource Info for ASIC Instance: 0
Rewrite Data Allocated Free
-------------------------------------------------------
PHF_EGRESS_destMacAddress 1 31999 <-- 1 Adj used for mcast
Voeg 3 EM prefixes toe (0/32 masker)
### Configuration adds 3 /32 prefixes and uses 3 Hash Entries ###
interface loopback 1
ip address 10.111.111.1 255.255.255.255 <-- Local /32 prefix
!
ip route 10.111.111.2 255.255.255.255 vlan 1 <-- An Indirect EM prefix (same consumption occurs when learnt via routing protocol)
!
arp 10.10.10.100 aaaa.bbbb.cccc arpa <-- Static ARP entry in Vlan 1 (same consumption occurs when learnt dynamically)
### Usage Result ###
/32 Loopback creation, /32 Indirect route, ARP entry only use Hash table. No TCAM used.
C9300#show platform hardware fed switch active fwd-asic resource tcam utilization
CAM Utilization for ASIC [0]
Table Max Values Used Values
--------------------------------------------------------------------------------
Directly or indirectly connected routes 24576/8192 9/20 <-- usage = 3 Hash, 0 TCAM
Gebruiksvoorbeelden (niet-HP 17.x)
| in Cisco IOS®-software |
Hardware |
| 17,x |
Catalyst 9200/9300/9400/9500 (niet-hoogwaardige) switches |
Gebruik van basislijn-bronnen
##### Baseline Setup & Usage #####
C9400#show version | include IOS
Cisco IOS XE Software, Version 17.03.02a
Cisco IOS Software [Amsterdam], Catalyst L3 Switch Software (CAT9K_IOSXE), Version 17.3.2a, RELEASE SOFTWARE (fc5)
C9400-SUP-1
C9400#show ip interface brief | exclude unassigned
Interface IP-Address OK? Method Status Protocol
<...empty...> <-- no SVI or any IP configured
C9400#show platform hardware fed active fwd-asic resource tcam utilization
Codes: EM - Exact_Match, I - Input, O - Output, IO - Input & Output, NA - Not Applicable
CAM Utilization for ASIC [0]
Table Subtype Dir Max Used %Used V4 V6 MPLS Other
------------------------------------------------------------------------------------------------------
IP Route Table EM I 49152 3 0.01% 2 0 1 0 <-- 3 hash
IP Route Table TCAM I 65536 15 0.02% 6 6 2 1 <-- 15 TCAM
C9400#show platform software fed active ip adj
IPV4 Adj entries
dest if_name dst_mac si_hdl ri_hdl pd_flags adj_id Last-modified
---- ------- ------- ------ ------ -------- ----- ------------------------
New CLI collects usage information for all resources related to all IP Routing in one output
### !!! New CLI displays multiple resources in one place !!! ###
C9400#show platform hardware fed active fwd-asic resource features ip-adjacency utilization
IPv4 unicast adjacency resource info
Resource Info for ASIC Instance: 0 [A:0, C:0]
Shared Resource Name Allocated Free Usage%
----------------------------------------------------------------------------------
RSC_RI 3 57317 0.01 <-- Rewrite Index
RSC_SI 520 64848 0.80 <-- Station Index
Rewrite Data Allocated Free Usage%
-----------------------------------------------------------------------------------
PHF_EGRESS_destMacAddress 0 32000 0.00 <-- Next hop Dest MAC for packet rewrite
CAM Table Utilization Info Allocated Free Usage%
------------------------------------------------------------------------------------
IP Route table Host/Network 3/ 15 49149/327 0.01/ 0.05 <-- Hash / TCAM Table usage
SVI VLAN 1 IP-adres met /24-masker toevoegen
C9400(config)#interface vlan 1
C9400(config-if)#ip address 10.10.10.1 255.255.255.0
C9400#show ip interface brief | exclude unassigned
Interface IP-Address OK? Method Status Protocol
Vlan1 10.10.10.1 YES manual up up
C9400#show platform hardware fed active fwd-asic resource features ip-adjacency utilization
Resource Info for ASIC Instance: 1 [A:0, C:1]
Shared Resource Name Allocated Free Usage%
----------------------------------------------------------------------------------
RSC_RI 4 57316 0.01 <-- 1 Rewrite Index
RSC_SI 520 64848 0.80
Rewrite Data Allocated Free Usage%
-----------------------------------------------------------------------------------
PHF_EGRESS_destMacAddress 1 31999 0.00 <-- 1 Adj used for mcast
CAM Table Utilization Info Allocated Free Usage%
------------------------------------------------------------------------------------
IP Route table Host/Network 6/ 16 49146/32752 0.01/ 0.05 <-- 3 Hash + 1 TCAM
C9400#show platform software fed active ip adj
IPV4 Adj entries
dest if_name dst_mac si_hdl ri_hdl pd_flags adj_id Last-modified
---- ------- ------- ------ ------ -------- ----- ------------------------
227.0.0.0 Vlan1 0100.5e00.0000 0x7fd8fd1654c8 0x7fd8fc8e6098 0x0 0xf8000444 2015/01/01 00:49:54.758 <-- 1 Adj created for mcast
Voeg 3 EM prefixes toe (0/32 masker)
### Configuration adds 3 /32 prefixes and uses 3 Hash Entries ###
interface loopback 1
ip address 10.111.111.1 255.255.255.255 <-- Local /32 prefix
!
ip route 10.111.111.2 255.255.255.255 vlan 1 <-- An Indirect EM prefix (same consumption occurs when learnt via routing protocol)
!
arp 10.10.10.100 aaaa.bbbb.cccc arpa <-- Static ARP entry in Vlan 1 (same consumption occurs when learnt dynamically)
### Usage Result ###
/32 Loopback creation, /32 Indirect route, ARP entry only use Hash table. No TCAM used.
C9400#show platform hardware fed active fwd-asic resource tcam utilization
Codes: EM - Exact_Match, I - Input, O - Output, IO - Input & Output, NA - Not Applicable
CAM Utilization for ASIC [0]
Table Subtype Dir Max Used %Used V4 V6 MPLS Other
------------------------------------------------------------------------------------------------------
IP Route Table EM I 49152 9 0.02% 8 0 1 0 <-- Previously was 6, + 3 for /32 EM
IP Route Table TCAM I 65536 16 0.02% 8 6 2 1 <-- Previously was 16, no change
C9400#show platform hardware fed active fwd-asic resource features ip-adjacency utilization
IPv4 unicast adjacency resource info
Resource Info for ASIC Instance: 1 [A:0, C:1] <-- ASIC 0, Core 1
Shared Resource Name Allocated Free Usage%
----------------------------------------------------------------------------------
RSC_RI 5 57315 0.01 <-- One Rewrite index
RSC_SI 522 64846 0.80 <-- Two Station Index
Rewrite Data Allocated Free Usage%
-----------------------------------------------------------------------------------
PHF_EGRESS_destMacAddress 2 31998 0.01 <-- One Dest MAC used for ARP entry
CAM Table Utilization Info Allocated Free Usage%
------------------------------------------------------------------------------------
IP Route table Host/Network 9/ 16 49143/32752 0.02/ 0.05 <-- 9 EM, 16 TCAM
Gebruiksvoorbeelden (HP en 9600 17.x)
| in Cisco IOS®-software |
Hardware |
| 17,x |
Catalyst 9500 (hoogwaardige), 9600 switches |
Opmerking: voor de 9500(High Performance) en 9600 worden alleen 17.x CLI’s gegeven. Zie de vorige sectie voor 16.x voorbeelden.
Gebruik van basislijn-bronnen
##### Baseline Setup & Usage #####
9500H#show version | include IOS
Cisco IOS XE Software, Version 17.04.01
Cisco IOS Software [Bengaluru], Catalyst L3 Switch Software (CAT9K_IOSXE), Version 17.4.1, RELEASE SOFTWARE (fc5)
C9500-24Y4C
C9500H#show ip interface brief | exclude unassigned
Interface IP-Address OK? Method Status Protocol
<...empty...> <-- no SVI or any IP configured
C9500H#show platform hardware fed active fwd-asic resource tcam utilization
Codes: EM - Exact_Match, I - Input, O - Output, IO - Input & Output, NA - Not Applicable
CAM Utilization for ASIC [0]
Table Subtype Dir Max Used %Used V4 V6 MPLS Other
------------------------------------------------------------------------------------------------------
IP Route Table EM/LPM I 65536 3 0.00% 2 0 1 0 <-- 3 hash (EM/LPM)
IP Route Table TCAM I 1536 11 0.72% 6 3 2 0 <-- 11 TCAM
C9500H#show platform software fed active ip adj
IPV4 Adj entries
dest if_name dst_mac si_hdl ri_hdl pd_flags adj_id Last-modified
---- ------- ------- ------ ------ -------- ----- ------------------------
New CLI collects usage information for all resources related to all IP Routing in one output
### !!! New CLI displays multiple resources in one place !!! ###
C9500#show platform hardware fed active fwd-asic resource features ip-adjacency utilization
IPv4 unicast adjacency resource info
Resource Info for ASIC Instance: 0 [A:0, C:0] <-- ASIC 0 Allocation
Shared Resource Name Allocated Free Usage%
----------------------------------------------------------------------------------
RSC_RI 3 90085 0.00 <-- Rewrite Index
RSC_SI 517 130397 0.39 <-- Station Index
Rewrite Data Allocated Free Usage%
-----------------------------------------------------------------------------------
PHF_EGRESS_destMacAddress 0 98304 0.00 <-- Next hop Dest MAC for packet rewrite
CAM Table Utilization Info Allocated Free Usage%
------------------------------------------------------------------------------------
IP Route table Host/Network 4/ 12 98300/1524 0.00/ 0.78 <-- Hash / TCAM Table usage
Problemen oplossen
Schaalgrens en -herstel (UADP 2.0-switches)
Dit deel heeft betrekking op één gebruiksgeval waarin TCAM voor IPv4 is uitgeput:
- In dit voorbeeld worden voorvoegsels gesimuleerd met /24
- Protocol BGP
- Platform 9400
- Cisco IOS XE 17.3.2
Uitgangswaarde Gebruik
Met de 9400 Sup-1 is elke prefix die /31 of korter is, gebruikt TCAM, niet EM
- Het maximale aantal IPv4 prefixes dat aan TCAM kan worden toegevoegd, is 65535.
Opmerking: de IP-route EM en TCAM wordt ook gebruikt door Multiprotocol Label Switching (MPLS), waarbij MPLS-labels eerst aan EM worden toegevoegd en vervolgens overlopen naar TCAM als de limiet wordt bereikt. Als uw apparaat een MPLS Provider Edge (PE) is en VPNv4-labels toewijst, wordt dit afgetrokken van het totale aantal.
Opmerking: het is ook belangrijk om te weten dat als EM-geheugen eerst wordt opgevuld, het mag overstromen naar TCAM-geheugen. (Als de switch buiten 49152 EM-vermeldingen kan worden geschaald, kan TCAM worden gevuld met Connected en /32 routes). Echter, het omgekeerde gebeurt niet (als TCAM vult, overstroomt het niet naar EM)
C9407R#show platform hardware fed active fwd-asic resource tcam utilization Codes: EM - Exact_Match, I - Input, O - Output, IO - Input & Output, NA - Not Applicable CAM Utilization for ASIC [0] Table Subtype Dir Max Used %Used V4 V6 MPLS Other ------------------------------------------------------------------------------------------------------ Mac Address Table EM I 65536 20 0.03% 0 0 0 20 Mac Address Table TCAM I 1024 21 2.05% 0 0 0 21 L3 Multicast EM I 16384 0 0.00% 0 0 0 0 L3 Multicast TCAM I 1024 9 0.88% 3 6 0 0 L2 Multicast EM I 16384 0 0.00% 0 0 0 0 L2 Multicast TCAM I 1024 11 1.07% 3 8 0 0 IP Route Table EM I 49152 31 0.06% 18 0 13 0 IP Route Table TCAM I 65536 24 0.04% 15 6 2 1
<...snip...>
80000 via BGP injecteren
C9407R#show bgp vpnv4 unicast all summary BGP router identifier 10.255.255.255, local AS number 65000 BGP table version is 580445, main routing table version 580445 80003 network entries using 20480768 bytes of memory 80003 path entries using 10880408 bytes of memory 16002/8001 BGP path/bestpath attribute entries using 4864608 bytes of memory 8002 BGP AS-PATH entries using 533708 bytes of memory 1 BGP extended community entries using 24 bytes of memory 0 BGP route-map cache entries using 0 bytes of memory 0 BGP filter-list cache entries using 0 bytes of memory BGP using 36759516 total bytes of memory BGP activity 420126/340116 prefixes, 475340/395329 paths, scan interval 60 secs 80009 networks peaked at 04:52:57 Jan 1 2015 UTC (01:02:51.236 ago) Neighbor V AS MsgRcvd MsgSent TblVer InQ OutQ Up/Down State/PfxRcd 192.168.1.2 4 65001 101 40485 501775 0 0 01:25:44 0 192.168.1.6 4 65002 31330 96 580445 0 0 01:23:30 80003 <-- 80K prefixes injected in range 172.18.x.x
C9407R#show platform hardware fed active fwd-asic resource tcam utilization Codes: EM - Exact_Match, I - Input, O - Output, IO - Input & Output, NA - Not Applicable CAM Utilization for ASIC [0] Table Subtype Dir Max Used %Used V4 V6 MPLS Other ------------------------------------------------------------------------------------------------------ Mac Address Table EM I 65536 20 0.03% 0 0 0 20 Mac Address Table TCAM I 1024 21 2.05% 0 0 0 21 L3 Multicast EM I 16384 0 0.00% 0 0 0 0 L3 Multicast TCAM I 1024 9 0.88% 3 6 0 0 L2 Multicast EM I 16384 0 0.00% 0 0 0 0 L2 Multicast TCAM I 1024 11 1.07% 3 8 0 0 IP Route Table EM I 49152 31 0.06% 18 0 13 0 IP Route Table TCAM I 65536 65536 100.00% 65527 6 2 1 <-- Limit is reached and TCAM cannot program all prefixes
Logbericht geeft aan dat de FED geen FIB-type kan programmeren
%FED_L3_ERRMSG-3-RSRC_ERR: R0/0: fed: Failed to allocate hardware resource for fib entry due to hardware resource exhaustion - rc:2054
Oplossing
Een samenvatting van het prefix is nodig om dit soort schaalprobleem op te lossen. De methode om samen te vatten is afhankelijk van het gebruikte protocol, hoe aangrenzend uw subnets zijn, en uw specifieke milieu.
- In dit voorbeeld is BGP het protocol en de samenvattingstechnieken kunnen op deze pagina worden gevonden: IP Routing Configuration Guide, Cisco IOS XE Amsterdam 17.3.x (Catalyst 9500 Switches) - Chapter: Config BGP
- Andere overzichtstechnieken kunt u vinden in het gedeelte Verwante informatie van dit document. (Alle links zijn afkomstig van de 9500 configuratiepagina's. Raadpleeg indien nodig andere platformgidsen).
U kunt ook de prefixes controleren die in de hardware is geïnstalleerd op basis van de lengte van het prefix om te bepalen hoeveel van elke lengte, en waar nodig samen te vatten.
C9300-48U#show platform software fed switch active ip route summary Total number of v4 fib entries = 1024 <-- total prefix count Total number succeeded in hardware = 1024 <-- total successfully installed in hardware Mask-Len 0 :- Total-count 2 hw-installed count 2 Mask-Len 4 :- Total-count 2 hw-installed count 2 Mask-Len 8 :- Total-count 4 hw-installed count 4 Mask-Len 24 :- Total-count 1000 hw-installed count 1000 <-- breakdown by mask length Mask-Len 30 :- Total-count 2 hw-installed count 2 Mask-Len 32 :- Total-count 14 hw-installed count 14
<...snip...>
Schaalgrens en -herstel (UADP 3.0 switches)
Zoals wordt opgemerkt in het document "Understand Hardware Resources on Catalyst 9000 Switches " op UADP 3.0 gebaseerde switches maken gebruik van een geoptimaliseerd FIB-geheugen dat zowel Exact Match (EM)- als Langste Prefix Match (LPM)-vermeldingen combineert. Wat wordt vermeld als TCAM geheugen wordt slechts gebruikt voor overflow, botsingen, en andere uitzonderingen.
Als u opmerkt dat TCAM zeer wordt gebruikt en EM/LPM niet zo wordt gebruikt (niet in de buurt van of bij maximumwaarden), kan dit te wijten zijn aan een netwerkontwerp waar er te veel prefixlengtes worden gebruikt. EM/LPM kan alleen een specifiek aantal maskerlengten programmeren, maar het nummer is niet statisch. De hoeveelheid maskers die EM/LPM kan programmeren, varieert met SDM-sjabloon en varieert verder met de routesnelheid van uw netwerk.
Samenvattend, voor UADP 3.0 is er een dynamisch evenwicht tussen SDM-configuratie, routesnelheid (aantal routes) en prefixlengtevariantie (aantal unieke subnetmaskers). Als IP Route Table TCAM is uitgeput voordat IP Route Table EM/LPM bijna het maximum bereikt, is het mogelijk dat er een probleem is als gevolg van SDM-configuratie, routesnelheid (aantal routes) en prefixlengte variantie (aantal unieke subnetmasker).
Wanneer een FIB-schaallimiet optreedt, wordt een syslog gegenereerd die aangeeft dat de hardware niet heeft geprogrammeerd:
%FED_L3_ERRMSG-3-RSRC_ERR: R0/0: fed: Failed to allocate hardware resource for fib entry due to hardware resource exhaustion - rc:2054
Opmerking: De syslog geeft alleen een algemene fout aan, niet specifiek EM/LPM, TCAM of anderszins. U moet extra opdrachten uitvoeren om te zien wat een probleem heeft.
Catalyst 9500-48Y4C (9500H / hoogwaardige - op UADP 3.0 gebaseerde switch)
Voorbeeld van TCAM die vóór EM/LPM is gebruikt:
- De getoonde output geeft aan dat IP Route Table (FIB) TCAM vol is, terwijl EM/LPM niet vol is.
- Begrijp dat de switch prefixes en correspondentmaskers toewijst aan meerdere instanties van tabellen van vaste grootte in EM/LPM geheugen
- Een gegeven tabelinstantie vertegenwoordigt slechts één IPv4- of IPv6-prefixlengte. Het masker wordt niet opgeslagen voor elke prefixingang in hardware, alleen voor de tabelinstantie als geheel, die waardevolle hardwareruimte bespaart.
- De toewijzing van prefixmaskers aan hardwaretabellen is dynamisch en er is geen invoer vereist voor de werking ervan.
Switch#show platform hardware fed active fwd-asic resource tcam utilization
Codes: EM - Exact_Match, I - Input, O - Output, IO - Input & Output, NA - Not Applicable
CAM Utilization for ASIC [0]
Table Subtype Dir Max Used %Used V4 V6 MPLS Other
------------------------------------------------------------------------------------------------------
IP Route Table EM/LPM I 212992 134345 63.08% 2 0 1 0 <-- 63% (EM is not near or at its limit)
IP Route Table TCAM I 1536 1516 98.70% 6 6 2 1 <-- 98% (TCAM is used before EM has reached scale limit)
In dit scenario kunnen EM/LPM-tabellen als volgt worden onderbenut:
- Voor elke nieuwe toegewezen tabel wordt een specifieke prefixmaskerlengte gewijd aan die tabel. Alle vermeldingen voor die tabel zijn nu beperkt tot die maskerlengte. Als u minder hebt dan het maximale aantal items voor die tabelinstantie, wordt het effectieve gebruik verminderd met het aantal items dat in die tabelinstantie blijft staan. Ze kunnen niet worden teruggewonnen voor een andere maskerlengte.
- Als u dit suboptimale gebruik over meerdere maskerlengtes herhaalt, wordt het effectieve gebruik van EM/LPM-geheugen aanzienlijk verminderd.
- Wanneer EM/LPM-tabellen niet meer beschikbaar zijn voor nieuwe maskerlengtes, worden die prefixes met dat masker in plaats daarvan geïnstalleerd en overlopen in TCAM. Beperkte TCAM-ruimte vult zich snel.
- De hoeveelheid tabellen die beschikbaar is voor EM/LPM varieert afhankelijk van uw SDM-configuratie.
Een brede verdeling van maskerlengtes, gecombineerd met maskers die een lage hoeveelheid prefixes hebben, leidt tot scenario's waar vele tabellen zijn toegewezen, en vele zijn onderbenut. Dit zorgt ervoor dat "Fout bij het toewijzen van hardwarebronnen voor fib..." fouten worden weergegeven voordat ideaal maximaal hardwaregebruik wordt bereikt op switches die zijn gebaseerd op UADP 3.0.
Aangezien het aantal tabelinstanties dat is toegewezen aan één prefixlengte toeneemt, is het mogelijk dat er niet genoeg tabellen beschikbaar zijn voor prefixes van andere lengtes.
Suboptimaal gebruik kan voorkomen wanneer de hoeveelheid ingangen van een prefixlengte de laatste tabel waar het deel van uitmaakt niet volledig gebruikt.
Dit voorbeeld illustreert 4500 eBGP-prefixes op een 9500-48Y4C switch.
- Elke tabel kan ongeveer 2048 routes / ingangen hebben.
- De hardware heeft tafels van twee vaste maten, 2048 en 8192. Ze worden dynamisch toegewezen op basis van routesnelheid, prefixgebruik en SDM-sjabloon die wordt gebruikt
- Bij dit voorbeeld, drie 2048 grootte tabellen zijn gemarkeerd als /32 om 4500 routes van /32 maskerlengte te houden. Sommige tabellen met de afmetingen van 2048 hebben alleen ruimte voor /32 IPv4-routes.
Dit kan worden waargenomen via deze CLI:
F241.03.23-C9500-2#show platform software fed active hash l3unicast ********************* TABLE INFO ASIC 0 ********************************* Index Hash Id Table Id Size Used Mode Asic Core BaseIdx 1 8 0 2048 11 Normal 0 0 0 2 8 1 2048 0 Normal 0 0 2048 ... Total Entries: 11 <<<< minimal entries, no routes yet injected from eBGP *************************** MASK INFO ********************************* Mask Id Table Count Size Available Hash Entries Overflow Entries 1 0 0 0 0 1 ... 33 1 2048 2037 7 0 <<<< Mask ID 33 = IPv4 Mask 32. Hardware Masks beyond 33 are for IPv6, MPLS,
or other features. ... NOTE: 7 hash (EM/LPM) entries are used already, 0 overflow (TCAM) ******* MASK ALLOCATION INFO PER TABLE FOR ASIC 0 ******* Asic: 0 Core: 0 Hash Id: 8 Table Id: 0 Index MASK GMR/LPM Idx Used 0 33 2 7 1 162 2 3 2 164 0 1 Asic: 0 Core: 1 Hash Id: 11 Table Id: 7 Index MASK GMR/LPM Idx Used 0 0 0 0 1 139 2 0
Inject 4500 eBGP IPv4 routes; F241.03.23-C9500-2#show platform software fed active hash l3unicast ********************* TABLE INFO ASIC 0 ********************************* Index Hash Id Table Id Size Used Mode Asic Core BaseIdx 1 8 0 2048 2048 Normal 0 0 0 <<< Table index 1 fully utilized 2 8 1 2048 423 Normal 0 0 2048 <<< Table index 2 423 / 2048 utilized,
must be used for /32 IPv4 prefixes or other features ... 56 11 7 2048 2029 Normal 0 1 112640 Total Entries: 4500 *************************** MASK INFO ********************************* Mask Id Table Count Size Available Hash Entries Overflow Entries ... 33 3 6144 1644 4496 1 <<< Hardware Mask 33 increased table count to 3, 1644 "available" spots for /33 (for example IPv4 /32) ******* MASK ALLOCATION INFO PER TABLE FOR ASIC 0 ******* Asic: 0 Core: 0 Hash Id: 8 Table Id: 0 Index MASK GMR/LPM Idx Used 0 33 2 2044 1 162 2 3 <<< Another interface is configured with IPv6, hence the/162 mask. /162 mask in hardware = /128 in IPv6. Asic: 0 Core: 0 Hash Id: 8 Table Id: 1 Index MASK GMR/LPM Idx Used 0 33 2 423 Asic: 0 Core: 1 Hash Id: 11 Table Id: 7 Index MASK GMR/LPM Idx Used 0 33 2 2029 />
In het volgende voorbeeld, wordt de minimumhoeveelheid prefixes geïnjecteerd om een nieuwe lijst te dwingen om voor elke maskerlengte van /11 tot /32 worden gebruikt.
Dit wordt bereikt door het gebruik van de "Distribution" SDM Template op Cisco IOS XE 17.3 - die 56 tabellen heeft die dynamisch kunnen worden toegewezen voor FIB-vermeldingen.
- /32 wordt de lengte opgeschaald naar 74000 prefixes
- 12/12 - 300 prefixes
- 1/11 - 1250 prefixes
- De maskerlengtes van /13 tot /32 bevatten ongeveer 12 prefixes. Minder, en de hardware kan in plaats daarvan kiezen om TCAM te gebruiken om die prefixes van een bepaalde maskerlengte op te slaan.
Opmerking: het hardware-algoritme dat de EM/LPM en TCAM-toewijzing regelt, is complex en balanceert zowel de gebruikersconfiguratie als de beperkingen van de hardware. De in dit document gepresenteerde resultaten zijn niet volledig representatief voor de manier waarop een systeem zich in een productienetwerk kan gedragen.
F241.03.23-C9500-2#show platform hardware fed active fwd-asic resource tcam utilization | include Subtype|IP Route Table Subtype Dir Max Used %Used V4 V6 MPLS Other IP Route Table EM/LPM I 114688 11 0.01% 7 3 1 0 IP Route Table TCAM I 1536 15 0.98% 7 6 2 0 Inject the routes... *Jan 8 16:17:47.762: %FED_L3_ERRMSG-3-RSRC_ERR: R0/0: fed: Failed to allocate hardware resource for fib entry due to hardware resource exhaustion - rc:2054 F241.03.23-C9500-2#show platform hardware fed active fwd-asic resource tcam utilization | include Subtype|IP Route Table Subtype Dir Max Used %Used V4 V6 MPLS Other IP Route Table EM/LPM I 114688 73326 63.94% 73322 3 1 0 <<< EM/LPM at 63.94% IP Route Table TCAM I 1536 1535 99.93% 1527 6 2 0 <<< TCAM nearly full F241.03.23-C9500-2#show platform software fed active ip route summary Total number of v4 fib entries = 75789 Total number succeeded in hardware = 74847 Mask-Len 0 :- Total-count 1 hw-installed count 1 Mask-Len 4 :- Total-count 1 hw-installed count 1 Mask-Len 8 :- Total-count 2 hw-installed count 2 Mask-Len 11 :- Total-count 1250 hw-installed count 1250 Mask-Len 12 :- Total-count 300 hw-installed count 300 Mask-Len 13 :- Total-count 12 hw-installed count 12 Mask-Len 14 :- Total-count 12 hw-installed count 12 Mask-Len 15 :- Total-count 12 hw-installed count 12 Mask-Len 16 :- Total-count 12 hw-installed count 12 Mask-Len 17 :- Total-count 12 hw-installed count 12 Mask-Len 18 :- Total-count 12 hw-installed count 12 Mask-Len 19 :- Total-count 12 hw-installed count 12 Mask-Len 20 :- Total-count 12 hw-installed count 12 Mask-Len 21 :- Total-count 12 hw-installed count 12 Mask-Len 22 :- Total-count 12 hw-installed count 12 Mask-Len 23 :- Total-count 12 hw-installed count 12 Mask-Len 24 :- Total-count 12 hw-installed count 12 Mask-Len 25 :- Total-count 12 hw-installed count 12 Mask-Len 26 :- Total-count 12 hw-installed count 12 Mask-Len 27 :- Total-count 12 hw-installed count 12 Mask-Len 28 :- Total-count 12 hw-installed count 12 Mask-Len 29 :- Total-count 12 hw-installed count 12 Mask-Len 30 :- Total-count 12 hw-installed count 12 Mask-Len 31 :- Total-count 12 hw-installed count 12 Mask-Len 32 :- Total-count 74007 hw-installed count 73065 <<< 74007 total /32 known by software, 73065 successfully installed in hardware F241.03.23-C9500-2#show platform software fed active hash l3unicast ********************* TABLE INFO ASIC 0 ********************************* Index Hash Id Table Id Size Used Mode Asic Core BaseIdx 1 8 0 2048 2048 Normal 0 0 0 ... 56 11 7 2048 12 Normal 0 1 112640 <<< Table indexes 1-56 (varies with SDM) will exist and all show some amount in "used" column *************************** MASK INFO ********************************* Mask Id Table Count Size Available Hash Entries Overflow Entries 1 0 0 0 0 1 5 0 0 0 0 1 9 0 0 0 0 2 10 0 0 0 0 0 11 0 0 0 0 0 12 1 2048 809 1239 11 13 1 2048 1759 289 11 14 1 2048 2047 1 11 15 1 2048 2047 1 11 16 1 2048 2047 1 11 17 1 2048 2036 12 0 18 1 2048 2036 12 0 19 1 2048 2036 12 0 20 1 2048 2036 12 0 21 1 2048 2036 12 0 22 1 2048 2036 12 0 23 1 2048 2036 12 0 24 1 2048 2036 12 0 25 1 2048 2036 12 0 26 1 2048 2047 1 11 27 1 2048 2047 1 11 28 1 2048 2047 1 11 29 1 2048 2047 1 11 30 1 2048 2047 1 11 31 1 2048 2047 1 11 32 1 2048 2047 1 11 33 35 71680 0 71676 1389 <<< Mask ID /33 allocated 35 tables, 71680 entries, 716676 in EM/LPM (Hash). There are 1389 hw-installed entries in TCAM.
Om dit scenario op te lossen, gebruikt u een of meer van deze opties in volgorde van prioriteit
- Onderzoek alternatieve SDM-sjablonen:
- Verhoogde FIB / IP-routesjablonen verhogen de totale hardwaretabellen beschikbaar voor dit FIB. Dit kan het effectieve gebruik (gebruikte items / beschikbare items) en de totale schaal verbeteren.
- Omgekeerd: lagere schaal SDM-sjablonen voor FIB / IP Route verminderen de totale hoeveelheid hardware tabellen beschikbaar voor de FIB.
- Vermijd een of meer prefixlengten (maskerlengtes) volledig uit de routetabel
- Routes samenvatten (totaalvolume van prefixes verminderen)
Opmerking: Zie "Hoofdstuk: Configureer SDM-sjablonen" in de "System Management Configuration Guide" voor Catalyst 9500 en Catalyst 9600 Series Switches voor meer informatie over SDM-sjablonen.
Scenario: SGT/SXP-toewijzingen | Trustsec-schaal
Te verzamelen opdrachten voor TAC
De meest voorkomende problemen met hardwareresources die verband houden met IPv4-gebruik worden in deze handleiding besproken, met de juiste stappen voor herstel. Als uw probleem echter niet met deze handleiding is opgelost, verzamelt u de getoonde opdrachtlijst en voegt u deze toe aan uw TAC-serviceverzoek.
show tech-support
show platform hardware fed active fwd-asic resource tcam utilization
show platform hardware fed active fwd-asic resource utilization
show platform hardware fed active fwd-asic resource rewrite utilization
show platform hardware fed active fwd-asic resource features ip-adjacency utilization
show platform software fed active ip route summary
show platform software fed active hash l3unicast
show ip route
show ip route vrf *
Als u een probleem met dit document vindt, gebruikt u de knop Feedback aan de rechterkant van dit artikel. Geef zoveel mogelijk details wanneer u de aanvraag of feedback op dit document indient, inclusief informatie over de sectie, het gebied of het probleem dat u met het document had en wat er verbeterd kan worden.
Gerelateerde informatie
Technische ondersteuning en documentatie – Cisco Systems
Inzicht in hardwarebronnen op Catalyst 9000 Switches
Gegevensblad voor Cisco Catalyst 9200 Series switches
Gegevensblad voor Cisco Catalyst 9300 Series switches
Cisco Catalyst 9400 Series Switches - gegevensbladen
Cisco Catalyst 9500 Series Switches - gegevensbladen
Revisiegeschiedenis
| Revisie | Publicatiedatum | Opmerkingen |
|---|---|---|
2.0 |
01-Jun-2023 |
Toegevoegd link naar video: Probleemoplossing Catalyst 9000 Switch FIB Hardware Resource Exhaoperation |
1.0 |
05-Aug-2022 |
Eerste vrijgave |
Bijgedragen door Cisco-engineers
- Ambrose Taylor
- Austin Anderson Ferguson
- Kristopher Gabrielsen
FeedbackContact Cisco
- Een ondersteuningscase openen
- (Vereist een Cisco-servicecontract)