了解Catalyst 9000交换机上的IPv4硬件资源
下载选项
已更新: 2023 年 6 月 1 日
文档 ID:217714
非歧视性语言
此产品的文档集力求使用非歧视性语言。在本文档集中，非歧视性语言是指不隐含针对年龄、残障、性别、种族身份、族群身份、性取向、社会经济地位和交叉性的歧视的语言。由于产品软件的用户界面中使用的硬编码语言、基于 RFP 文档使用的语言或引用的第三方产品使用的语言，文档中可能无法确保完全使用非歧视性语言。 深入了解思科如何使用包容性语言。
关于此翻译
思科采用人工翻译与机器翻译相结合的方式将此文档翻译成不同语言，希望全球的用户都能通过各自的语言得到支持性的内容。 请注意：即使是最好的机器翻译，其准确度也不及专业翻译人员的水平。 Cisco Systems, Inc. 对于翻译的准确性不承担任何责任，并建议您总是参考英文原始文档（已提供链接）。
简介
本文档介绍如何了解和验证Catalyst 9000系列交换机上的IPv4转发信息库(FIB)硬件使用情况。
先决条件
要求
本文档没有任何特定的要求。
使用的组件
本文档中的信息基于以下软件和硬件版本：
- Cisco IOS® XE 16.x和17.x软件上的Cisco Catalyst 9200、9300、9400、9500（非高性能）系列交换机
- Cisco IOS® XE 16.x和17.x软件上的Cisco Catalyst 9500（高性能）、9600系列交换机
本文档中的信息都是基于特定实验室环境中的设备编写的。本文档中使用的所有设备最初均采用原始（默认）配置。如果您的网络处于活动状态，请确保您了解所有命令的潜在影响。
背景信息
当您对未按预期运行的功能进行故障排除时，一个很好的参考点是确认硬件未超出相关交换机的规模。虽然交换机可能因这些硬件表的大小而异，但验证和故障排除方法大体相同。
此页面也是一个参考页面，您可以在其中找到有关各种功能以及如何检查硬件规模的信息。
下面提供了这些软件版本和设备类型的示例：
- 16.x和17.x软件系列，因为CLI输出明显不同
- 特定于9500（高性能）和9600的信息，因为这些型号分配散列和三重内容可寻址存储器(TCAM)的方式与其他Catalyst 9000交换机不同
本文档可帮助您：
- 了解消耗了哪个表（散列/TCAM）
- 了解消耗有问题的表的原因
- 了解使用特定表的原因（散列与TCAM）
- 了解指示资源问题的日志或错误消息
- 解决硬件资源分配问题需要执行的操作
注意：当交换机使用虚拟路由和转发(VRF)时，总使用率需要包括每个VRF中的消耗量。
视频
此视频涵盖FIB硬件资源问题的故障排除：Catalyst 9000交换机FIB硬件资源耗尽故障排除
术语
| ADJ |
邻接（表） |
存储用于数据包重写的下一跳信息 |
| DI |
目标索引 |
指向出站接口的索引 |
| EM |
精确匹配 |
哈希内存中的条目是1:1匹配（主机路由、直连主机） |
| FIB |
转发信息库 |
带有前缀的简化表，由路由信息库(RIB)和地址解析协议(ARP)表添加，带指向ADJ表的指针 |
| 美联储 |
转发引擎驱动程序 |
专用集成电路(ASIC)（硬件）层 |
| FMAN-FP |
转发管理器 — 转发平面 |
FMAN-FP管理添加、删除或修改FED信息的软件对象 |
| LPM |
最长前缀匹配 |
任何是/31或更短的路由（/32路由是EM类型） |
| RI |
重写索引 |
第3层转发到下一跳邻接的MAC地址重写信息 |
| RIB |
路由信息库 |
show ip route"中显示的路由表 |
| SDM |
交换机数据库管理器 |
将交换机硬件资源分配给需要这些资源的各种功能（MAC地址、路由、访问列表条目）的软件过程 |
| SI |
站点索引 |
站点索引 = 数据包重写信息（RI =重写索引）和出站接口信息（DI =目标索引） |
| TCAM |
三重内容可寻址存储器 |
一种存储器，它使用三种不同的输入来存储和查询条目：0、1和X。当同一个条目可能有多个匹配项时，必须使用此类内存，并且每个匹配项的结果哈希值不会是唯一的。此表包含一个掩码或“X”值，使其可以知道它是否与此条目匹配。 |
| UADP |
思科统一接入™ 数据层面 |
交换机中使用的ASIC架构 |
| 直接连接 |
直接连接的路由 |
本地连接的主机前缀（ARP邻接） |
| 间接连接 |
间接连接的路由 |
通过远程下一跳到达的路由 |
| SGT |
||
| SXP |
||
| CTS(Trustsec) |
通用硬件验证命令
这些命令显示所使用散列、TCAM、接口和重写资源的高级使用统计信息。这些资源是相关的，如果耗尽上述资源之一，可能会影响充分利用其他可用资源的能力。
示例：交换机可以有可用的Hash / TCAM，但邻接关系已用尽。转发数据包的能力可能会影响为目标前缀，因为交换机无法对新的重写条目进行编程。
show platform hardware fed switch active fwd-asic resource tcam utilization <-- Hash & TCAM
show platform hardware fed switch active fwd-asic resource utilization <-- SI/RI/DI/etc (other related resources)
show platform hardware fed switch active fwd-asic resource rewrite utilization <-- IP Adjacency. LISP adjacency, Tunnel Adjacency, etc
注意：有关这些命令的详细信息，请参阅《系统管理配置指南》中的“章节：配置SDM模板”
IPv4扩展系统日志
此场景演示了如何使用每个表，以及在一个或另一个表达到或超过规模时如何操作。它还包含转发到IP目标所需的相关资源。
症状：资源超出规模
- 设备或前缀连通性问题。虽然现有路由或设备仍可访问，但无法访问任何新的或更新的前缀。
- 日志消息指示硬件无法接收新的对象更新
- 将软件编程到硬件中的对象层变得拥塞
- 受影响硬件层没有条目（在本例中，FIB是受影响层）。
如果特定IPv4 FIB或邻接资源耗尽，则由系统生成SYSLOG消息
| IPv4 FIB日志消息 |
定义 |
恢复操作 |
| %FED_L3_ERRMSG-3-RSRC_ERR：交换机1 R0/0: fed：由于硬件资源耗尽，为fib条目分配硬件资源失败 |
为IPv4 FIB条目保留的硬件空间已用尽（EM或TCAM） |
总结路由或采取某些其他操作以减少FIB条目的规模（这可以是EM或TCAM，无论哪个条目已耗尽）。 |
| %FED_L3_ERRMSG-3-RSRC_ERR: R0/0: fed:为adj条目分配硬件资源失败 — rc:1 |
邻接表已用尽。这是硬件中存储下一跳目的MAC地址的表。 |
减少直连（ARP相邻）主机的扩展数量 |
使用示例
使用示例（非HP 16.12.x）
| 软件 |
Hardware |
| 16.12.5 |
Catalyst 9200 9300 9400 9500（非高性能）交换机 |
基线资源使用情况
##### Baseline Setup & Usage #####
C9300#show version | include IOS
Cisco IOS XE Software, Version 16.12.05
Cisco IOS Software [Gibraltar], Catalyst L3 Switch Software (CAT9K_IOSXE), Version 16.12.5, RELEASE SOFTWARE (fc3)
C9300-48U
C9300##show ip interface brief | exclude unassigned
Interface IP-Address OK? Method Status Protocol
<...empty...> <-- no Switch Virtual Interface (SVI) or any IP configured
/// TCAM and Hash ///
C9300#show platform hardware fed switch actitve fwd-asic resource tcam utilization
CAM Utilization for ASIC [0]
Table Max Values Used Values
--------------------------------------------------------------------------------
Directly or indirectly connected routes 24576/8192 3/19 <-- 3 hash / 19 TCAM is base usage
/// Adjacencies ///
C9300#show platform software fed switch active ip adj
IPV4 Adj entries
dest if_name dst_mac si_hdl ri_hdl pd_flags adj_id Last-modified
---- ------- ------- ------ ------ -------- ----- ------------------------
C9300#show platform hardware fed switch active fwd-asic resource rewrite utilization
Resource Info for ASIC Instance: 0
Rewrite Data Allocated Free
-------------------------------------------------------
PHF_EGRESS_destMacAddress 0 32000 <-- Next hop Dest MAC for packet rewrite
/// SI DI RI resources ///
C9300#show platform hardware fed switch active fwd-asic resource utilization | include RSC_SI_|RSC_RI__
Resource Info for ASIC Instance: 0
Resource Name Allocated Free
------------------------------------------
RSC_RI 3 57317 <-- Rewrite Index
RSC_SI 521 64847 <-- Station Index
使用/24掩码添加SVI Vlan 1 IP地址
### ADD SVI IP with /24 mask length ###
C9300(config)#interface vlan 1
C9300(config-if)#ip address 10.10.10.1 255.255.255.0
C9300#show ip interface brief | inc up
Vlan1 10.10.10.1 YES manual up up
C9300#show platform hardware fed switch active fwd-asic resource tcam utilization
CAM Utilization for ASIC [0]
Table Max Values Used Values
--------------------------------------------------------------------------------
Directly or indirectly connected routes 24576/8192 6/20 <-- usage = +3 hash, +1 TCAM
C9300#show platform software fed switch active ip adj
IPV4 Adj entries
dest if_name dst_mac si_hdl ri_hdl pd_flags adj_id Last-modified
---- ------- ------- ------ ------ -------- ----- ------------------------
227.0.0.0 Vlan1 0100.5e00.0000 0x7f4880ce37e8 0x7f4880cf3648 0x0 0xf80004b4 2021/02/26 17:48:47.992 <-- 1 Adj created for mcast
C9300#show platform hardware fed switch active fwd-asic resource rewrite utilization
Resource Info for ASIC Instance: 0
Rewrite Data Allocated Free
-------------------------------------------------------
PHF_EGRESS_destMacAddress 1 31999 <-- 1 Adj used for mcast
添加3个EM前缀（/32掩码）
### Configuration adds 3 /32 prefixes and uses 3 Hash Entries ###
interface loopback 1
ip address 10.111.111.1 255.255.255.255 <-- Local /32 prefix
!
ip route 10.111.111.2 255.255.255.255 vlan 1 <-- An Indirect EM prefix (same consumption occurs when learnt via routing protocol)
!
arp 10.10.10.100 aaaa.bbbb.cccc arpa <-- Static ARP entry in Vlan 1 (same consumption occurs when learnt dynamically)
### Usage Result ###
/32 Loopback creation, /32 Indirect route, ARP entry only use Hash table. No TCAM used.
C9300#show platform hardware fed switch active fwd-asic resource tcam utilization
CAM Utilization for ASIC [0]
Table Max Values Used Values
--------------------------------------------------------------------------------
Directly or indirectly connected routes 24576/8192 9/20 <-- usage = 3 Hash, 0 TCAM
使用示例（非HP 17.x）
| 软件 |
Hardware |
| 17.x |
Catalyst 9200 9300 9400 9500（非高性能）交换机 |
基线资源使用情况
##### Baseline Setup & Usage #####
C9400#show version | include IOS
Cisco IOS XE Software, Version 17.03.02a
Cisco IOS Software [Amsterdam], Catalyst L3 Switch Software (CAT9K_IOSXE), Version 17.3.2a, RELEASE SOFTWARE (fc5)
C9400-SUP-1
C9400#show ip interface brief | exclude unassigned
Interface IP-Address OK? Method Status Protocol
<...empty...> <-- no SVI or any IP configured
C9400#show platform hardware fed active fwd-asic resource tcam utilization
Codes: EM - Exact_Match, I - Input, O - Output, IO - Input & Output, NA - Not Applicable
CAM Utilization for ASIC [0]
Table Subtype Dir Max Used %Used V4 V6 MPLS Other
------------------------------------------------------------------------------------------------------
IP Route Table EM I 49152 3 0.01% 2 0 1 0 <-- 3 hash
IP Route Table TCAM I 65536 15 0.02% 6 6 2 1 <-- 15 TCAM
C9400#show platform software fed active ip adj
IPV4 Adj entries
dest if_name dst_mac si_hdl ri_hdl pd_flags adj_id Last-modified
---- ------- ------- ------ ------ -------- ----- ------------------------
New CLI collects usage information for all resources related to all IP Routing in one output
### !!! New CLI displays multiple resources in one place !!! ###
C9400#show platform hardware fed active fwd-asic resource features ip-adjacency utilization
IPv4 unicast adjacency resource info
Resource Info for ASIC Instance: 0 [A:0, C:0]
Shared Resource Name Allocated Free Usage%
----------------------------------------------------------------------------------
RSC_RI 3 57317 0.01 <-- Rewrite Index
RSC_SI 520 64848 0.80 <-- Station Index
Rewrite Data Allocated Free Usage%
-----------------------------------------------------------------------------------
PHF_EGRESS_destMacAddress 0 32000 0.00 <-- Next hop Dest MAC for packet rewrite
CAM Table Utilization Info Allocated Free Usage%
------------------------------------------------------------------------------------
IP Route table Host/Network 3/ 15 49149/327 0.01/ 0.05 <-- Hash / TCAM Table usage
使用/24掩码添加SVI Vlan 1 IP地址
C9400(config)#interface vlan 1
C9400(config-if)#ip address 10.10.10.1 255.255.255.0
C9400#show ip interface brief | exclude unassigned
Interface IP-Address OK? Method Status Protocol
Vlan1 10.10.10.1 YES manual up up
C9400#show platform hardware fed active fwd-asic resource features ip-adjacency utilization
Resource Info for ASIC Instance: 1 [A:0, C:1]
Shared Resource Name Allocated Free Usage%
----------------------------------------------------------------------------------
RSC_RI 4 57316 0.01 <-- 1 Rewrite Index
RSC_SI 520 64848 0.80
Rewrite Data Allocated Free Usage%
-----------------------------------------------------------------------------------
PHF_EGRESS_destMacAddress 1 31999 0.00 <-- 1 Adj used for mcast
CAM Table Utilization Info Allocated Free Usage%
------------------------------------------------------------------------------------
IP Route table Host/Network 6/ 16 49146/32752 0.01/ 0.05 <-- 3 Hash + 1 TCAM
C9400#show platform software fed active ip adj
IPV4 Adj entries
dest if_name dst_mac si_hdl ri_hdl pd_flags adj_id Last-modified
---- ------- ------- ------ ------ -------- ----- ------------------------
227.0.0.0 Vlan1 0100.5e00.0000 0x7fd8fd1654c8 0x7fd8fc8e6098 0x0 0xf8000444 2015/01/01 00:49:54.758 <-- 1 Adj created for mcast
添加3个EM前缀（/32掩码）
### Configuration adds 3 /32 prefixes and uses 3 Hash Entries ###
interface loopback 1
ip address 10.111.111.1 255.255.255.255 <-- Local /32 prefix
!
ip route 10.111.111.2 255.255.255.255 vlan 1 <-- An Indirect EM prefix (same consumption occurs when learnt via routing protocol)
!
arp 10.10.10.100 aaaa.bbbb.cccc arpa <-- Static ARP entry in Vlan 1 (same consumption occurs when learnt dynamically)
### Usage Result ###
/32 Loopback creation, /32 Indirect route, ARP entry only use Hash table. No TCAM used.
C9400#show platform hardware fed active fwd-asic resource tcam utilization
Codes: EM - Exact_Match, I - Input, O - Output, IO - Input & Output, NA - Not Applicable
CAM Utilization for ASIC [0]
Table Subtype Dir Max Used %Used V4 V6 MPLS Other
------------------------------------------------------------------------------------------------------
IP Route Table EM I 49152 9 0.02% 8 0 1 0 <-- Previously was 6, + 3 for /32 EM
IP Route Table TCAM I 65536 16 0.02% 8 6 2 1 <-- Previously was 16, no change
C9400#show platform hardware fed active fwd-asic resource features ip-adjacency utilization
IPv4 unicast adjacency resource info
Resource Info for ASIC Instance: 1 [A:0, C:1] <-- ASIC 0, Core 1
Shared Resource Name Allocated Free Usage%
----------------------------------------------------------------------------------
RSC_RI 5 57315 0.01 <-- One Rewrite index
RSC_SI 522 64846 0.80 <-- Two Station Index
Rewrite Data Allocated Free Usage%
-----------------------------------------------------------------------------------
PHF_EGRESS_destMacAddress 2 31998 0.01 <-- One Dest MAC used for ARP entry
CAM Table Utilization Info Allocated Free Usage%
------------------------------------------------------------------------------------
IP Route table Host/Network 9/ 16 49143/32752 0.02/ 0.05 <-- 9 EM, 16 TCAM
使用示例（HP和9600 17.x）
| 软件 |
Hardware |
| 17.x |
Catalyst 9500（高性能）、9600交换机 |
注：对于9500（高性能）和9600，仅提供17.x CLI。有关16.x示例，请参阅上一节。
基线资源使用情况
##### Baseline Setup & Usage #####
9500H#show version | include IOS
Cisco IOS XE Software, Version 17.04.01
Cisco IOS Software [Bengaluru], Catalyst L3 Switch Software (CAT9K_IOSXE), Version 17.4.1, RELEASE SOFTWARE (fc5)
C9500-24Y4C
C9500H#show ip interface brief | exclude unassigned
Interface IP-Address OK? Method Status Protocol
<...empty...> <-- no SVI or any IP configured
C9500H#show platform hardware fed active fwd-asic resource tcam utilization
Codes: EM - Exact_Match, I - Input, O - Output, IO - Input & Output, NA - Not Applicable
CAM Utilization for ASIC [0]
Table Subtype Dir Max Used %Used V4 V6 MPLS Other
------------------------------------------------------------------------------------------------------
IP Route Table EM/LPM I 65536 3 0.00% 2 0 1 0 <-- 3 hash (EM/LPM)
IP Route Table TCAM I 1536 11 0.72% 6 3 2 0 <-- 11 TCAM
C9500H#show platform software fed active ip adj
IPV4 Adj entries
dest if_name dst_mac si_hdl ri_hdl pd_flags adj_id Last-modified
---- ------- ------- ------ ------ -------- ----- ------------------------
New CLI collects usage information for all resources related to all IP Routing in one output
### !!! New CLI displays multiple resources in one place !!! ###
C9500#show platform hardware fed active fwd-asic resource features ip-adjacency utilization
IPv4 unicast adjacency resource info
Resource Info for ASIC Instance: 0 [A:0, C:0] <-- ASIC 0 Allocation
Shared Resource Name Allocated Free Usage%
----------------------------------------------------------------------------------
RSC_RI 3 90085 0.00 <-- Rewrite Index
RSC_SI 517 130397 0.39 <-- Station Index
Rewrite Data Allocated Free Usage%
-----------------------------------------------------------------------------------
PHF_EGRESS_destMacAddress 0 98304 0.00 <-- Next hop Dest MAC for packet rewrite
CAM Table Utilization Info Allocated Free Usage%
------------------------------------------------------------------------------------
IP Route table Host/Network 4/ 12 98300/1524 0.00/ 0.78 <-- Hash / TCAM Table usage
故障排除
扩展限制和修复（UADP 2.0交换机）
本节介绍一种对IPv4耗尽TCAM的使用案例：
- 本示例中模拟的前缀为/24
- 协议BGP
- 平台9400
- 思科IOS XE 17.3.2
基线使用情况
对于9400 Sup-1，任何长度等于或小于/31的前缀都使用TCAM，而不是EM
- 可添加到TCAM的IPv4前缀的最大数量为65535。
注意：IP路由EM和TCAM也由多协议标签交换(MPLS)使用，首先将MPLS标签添加到EM，然后在达到限制时溢出到TCAM。如果您的设备是MPLS提供商边缘(PE)并分配了VPNv4标签，则从总数中减去该标签。
注意：同样重要的是要知道，如果EM内存先被填满，则允许其溢出到TCAM内存中。(如果交换机扩展到49152个EM条目之外，TCAM可以填入Connected和/32路由)。但是，相反的情况不会发生（如果TCAM已满，它不会溢出到EM）
C9407R#show platform hardware fed active fwd-asic resource tcam utilization Codes: EM - Exact_Match, I - Input, O - Output, IO - Input & Output, NA - Not Applicable CAM Utilization for ASIC [0] Table Subtype Dir Max Used %Used V4 V6 MPLS Other ------------------------------------------------------------------------------------------------------ Mac Address Table EM I 65536 20 0.03% 0 0 0 20 Mac Address Table TCAM I 1024 21 2.05% 0 0 0 21 L3 Multicast EM I 16384 0 0.00% 0 0 0 0 L3 Multicast TCAM I 1024 9 0.88% 3 6 0 0 L2 Multicast EM I 16384 0 0.00% 0 0 0 0 L2 Multicast TCAM I 1024 11 1.07% 3 8 0 0 IP Route Table EM I 49152 31 0.06% 18 0 13 0 IP Route Table TCAM I 65536 24 0.04% 15 6 2 1
<...snip...>
通过80000插入前缀
C9407R#show bgp vpnv4 unicast all summary BGP router identifier 10.255.255.255, local AS number 65000 BGP table version is 580445, main routing table version 580445 80003 network entries using 20480768 bytes of memory 80003 path entries using 10880408 bytes of memory 16002/8001 BGP path/bestpath attribute entries using 4864608 bytes of memory 8002 BGP AS-PATH entries using 533708 bytes of memory 1 BGP extended community entries using 24 bytes of memory 0 BGP route-map cache entries using 0 bytes of memory 0 BGP filter-list cache entries using 0 bytes of memory BGP using 36759516 total bytes of memory BGP activity 420126/340116 prefixes, 475340/395329 paths, scan interval 60 secs 80009 networks peaked at 04:52:57 Jan 1 2015 UTC (01:02:51.236 ago) Neighbor V AS MsgRcvd MsgSent TblVer InQ OutQ Up/Down State/PfxRcd 192.168.1.2 4 65001 101 40485 501775 0 0 01:25:44 0 192.168.1.6 4 65002 31330 96 580445 0 0 01:23:30 80003 <-- 80K prefixes injected in range 172.18.x.x
C9407R#show platform hardware fed active fwd-asic resource tcam utilization Codes: EM - Exact_Match, I - Input, O - Output, IO - Input & Output, NA - Not Applicable CAM Utilization for ASIC [0] Table Subtype Dir Max Used %Used V4 V6 MPLS Other ------------------------------------------------------------------------------------------------------ Mac Address Table EM I 65536 20 0.03% 0 0 0 20 Mac Address Table TCAM I 1024 21 2.05% 0 0 0 21 L3 Multicast EM I 16384 0 0.00% 0 0 0 0 L3 Multicast TCAM I 1024 9 0.88% 3 6 0 0 L2 Multicast EM I 16384 0 0.00% 0 0 0 0 L2 Multicast TCAM I 1024 11 1.07% 3 8 0 0 IP Route Table EM I 49152 31 0.06% 18 0 13 0 IP Route Table TCAM I 65536 65536 100.00% 65527 6 2 1 <-- Limit is reached and TCAM cannot program all prefixes
日志消息表明FED无法对FIB类型条目进行编程
%FED_L3_ERRMSG-3-RSRC_ERR: R0/0: fed: Failed to allocate hardware resource for fib entry due to hardware resource exhaustion - rc:2054
解决方案
要解决此类扩展问题，需要前缀汇总。总结的方法取决于使用的协议、子网的连续程度以及您的特定环境。
- 在本例中，BGP是协议，可以在本页找到汇总技术：IP路由配置指南，Cisco IOS XE Amsterdam 17.3.x（Catalyst 9500交换机） — 章节：配置BGP
- 其他总结技术可以在本文档的相关信息部分找到。(提供的所有链接均来自9500配置页面。请根据需要参阅其他平台指南)。
您还可以按前缀长度检查硬件中安装的前缀，以帮助确定每个长度的个数，并在必要时进行汇总。
C9300-48U#show platform software fed switch active ip route summary Total number of v4 fib entries = 1024 <-- total prefix count Total number succeeded in hardware = 1024 <-- total successfully installed in hardware Mask-Len 0 :- Total-count 2 hw-installed count 2 Mask-Len 4 :- Total-count 2 hw-installed count 2 Mask-Len 8 :- Total-count 4 hw-installed count 4 Mask-Len 24 :- Total-count 1000 hw-installed count 1000 <-- breakdown by mask length Mask-Len 30 :- Total-count 2 hw-installed count 2 Mask-Len 32 :- Total-count 14 hw-installed count 14
<...snip...>
扩展限制和修复（UADP 3.0交换机）
如Understand Hardware Resources on Catalyst 9000 Switches（了解Catalyst 9000交换机上的硬件资源）文档中所述，基于UADP 3.0的交换机使用结合了Exact Match(EM)和Longest Prefix Match(LPM)条目的优化FIB内存。列出的TCAM内存仅用于溢出、冲突和其他异常。
如果您发现TCAM被高度利用，而EM/LPM未被充分利用（不接近或达到最大值），这可能是由于网络设计中使用了太多前缀长度造成的。EM/LPM只能编程特定数量的掩码长度，但该数量不是静态的。EM/LPM可以编程的掩码数量因SDM模板而异，并且会随着网络的路由规模而进一步变化。
总之，对于UADP 3.0,SDM配置、路由扩展（路由数量）和前缀长度差异（唯一子网掩码数量）之间存在动态平衡。如果IP路由表TCAM在IP路由表EM/LPM接近最大值之前耗尽，则可能由于SDM配置、路由扩展（路由数）和前缀长度差异（唯一子网掩码数）而出现问题。
当发生FIB扩展限制时，会生成系统日志，指示硬件无法编程：
%FED_L3_ERRMSG-3-RSRC_ERR: R0/0: fed: Failed to allocate hardware resource for fib entry due to hardware resource exhaustion - rc:2054
注意：系统日志仅指示一般故障，不具体是EM/LPM、TCAM或其他故障。您需要运行其他命令来查看哪个命令存在问题。
9500-48Y4C(9500H/高性能 — 基于UADP 3.0的交换机)
EM/LPM之前使用的TCAM示例：
- 图中所示的输出表示IP路由表(FIB)TCAM已满，而EM/LPM未满。
- 了解交换机将前缀和对应掩码分配给EM/LPM内存中固定大小表的多个实例
- 给定表实例仅代表一个IPv4或IPv6前缀长度。掩码不会针对硬件中的每个前缀条目进行保存，仅针对整个表实例，从而节省了宝贵的硬件空间。
- 将前缀掩码分配到硬件表是动态的，不需要输入即可运行。
Switch#show platform hardware fed active fwd-asic resource tcam utilization
Codes: EM - Exact_Match, I - Input, O - Output, IO - Input & Output, NA - Not Applicable
CAM Utilization for ASIC [0]
Table Subtype Dir Max Used %Used V4 V6 MPLS Other
------------------------------------------------------------------------------------------------------
IP Route Table EM/LPM I 212992 134345 63.08% 2 0 1 0 <-- 63% (EM is not near or at its limit)
IP Route Table TCAM I 1536 1516 98.70% 6 6 2 1 <-- 98% (TCAM is used before EM has reached scale limit)
在这种情况下，EM/LPM表可能未得到充分利用：
- 对于每个分配的新表，专用于该表的特定前缀掩码长度。现在该表的所有条目都被限制在该掩码长度内。如果表实例的条目数小于最大值，则有效利用率将减去该表实例中剩余的条目数。它们不能回收某个其他掩码长度。
- 如果跨多个掩码长度重复这种次优利用率，EM/LPM内存的有效利用率会显着降低。
- 当EM/LPM表不再可用于新的掩码长度时，将改为安装带有该掩码的前缀，并将其溢出到TCAM中。有限的TCAM空间很快就会填满。
- EM/LPM可用的表数量因SDM配置而异。
掩码长度的广泛分布，加上前缀数量较少的掩码，导致许多表被分配，许多表未得到充分使用的情况。这会导致在基于UADP 3.0的交换机上达到理想的最大硬件利用率之前出现“为fib分配硬件资源失败..”错误。
随着分配给单个前缀长度的表实例数量的增加，可能会没有足够的表用于其他长度的前缀。
如果前缀长度的条目数量未充分利用它所属的最后一个表，则可能会出现次优使用。
本示例说明在9500-48Y4C交换机上学习的4500 eBGP前缀。
- 每个表可以包含大约2048个路由/条目。
- 硬件具有两种固定大小的表：2048和8192。它们根据路由规模、前缀使用量和所使用的SDM模板动态分配
- 在本示例中，三个大小为2048的表标记为/32，以保存4500条掩码长度为/32的路由。一些大小为2048的表仅分配了用于/32 IPv4路由的空间。
可通过以下CLI观察此情况：
F241.03.23-C9500-2#show platform software fed active hash l3unicast ********************* TABLE INFO ASIC 0 ********************************* Index Hash Id Table Id Size Used Mode Asic Core BaseIdx 1 8 0 2048 11 Normal 0 0 0 2 8 1 2048 0 Normal 0 0 2048 ... Total Entries: 11 <<<< minimal entries, no routes yet injected from eBGP *************************** MASK INFO ********************************* Mask Id Table Count Size Available Hash Entries Overflow Entries 1 0 0 0 0 1 ... 33 1 2048 2037 7 0 <<<< Mask ID 33 = IPv4 Mask 32. Hardware Masks beyond 33 are for IPv6, MPLS,
or other features. ... NOTE: 7 hash (EM/LPM) entries are used already, 0 overflow (TCAM) ******* MASK ALLOCATION INFO PER TABLE FOR ASIC 0 ******* Asic: 0 Core: 0 Hash Id: 8 Table Id: 0 Index MASK GMR/LPM Idx Used 0 33 2 7 1 162 2 3 2 164 0 1 Asic: 0 Core: 1 Hash Id: 11 Table Id: 7 Index MASK GMR/LPM Idx Used 0 0 0 0 1 139 2 0
Inject 4500 eBGP IPv4 routes; F241.03.23-C9500-2#show platform software fed active hash l3unicast ********************* TABLE INFO ASIC 0 ********************************* Index Hash Id Table Id Size Used Mode Asic Core BaseIdx 1 8 0 2048 2048 Normal 0 0 0 <<< Table index 1 fully utilized 2 8 1 2048 423 Normal 0 0 2048 <<< Table index 2 423 / 2048 utilized,
must be used for /32 IPv4 prefixes or other features ... 56 11 7 2048 2029 Normal 0 1 112640 Total Entries: 4500 *************************** MASK INFO ********************************* Mask Id Table Count Size Available Hash Entries Overflow Entries ... 33 3 6144 1644 4496 1 <<< Hardware Mask 33 increased table count to 3, 1644 "available" spots for /33 (for example IPv4 /32) ******* MASK ALLOCATION INFO PER TABLE FOR ASIC 0 ******* Asic: 0 Core: 0 Hash Id: 8 Table Id: 0 Index MASK GMR/LPM Idx Used 0 33 2 2044 1 162 2 3 <<< Another interface is configured with IPv6, hence the/162 mask. /162 mask in hardware = /128 in IPv6. Asic: 0 Core: 0 Hash Id: 8 Table Id: 1 Index MASK GMR/LPM Idx Used 0 33 2 423 Asic: 0 Core: 1 Hash Id: 11 Table Id: 7 Index MASK GMR/LPM Idx Used 0 33 2 2029 />
在下一个示例中，插入最小数量的前缀，以强制在/11到/32的每个掩码长度中使用一个新表。
这是通过在Cisco IOS XE 17.3上使用“分发”SDM模板来实现的，该模板具有56个表，可动态分配给FIB条目。
- /32长度扩展到74000个前缀
- /12 - 300前缀
- /11 - 1250前缀
- 从/13到/32的掩码长度包含约12个前缀。如果小于此值，硬件可以选择使用TCAM存储给定掩码长度的前缀。
注：管理EM/LPM和TCAM分配的硬件算法很复杂，它平衡了用户配置和硬件限制。本文档中介绍的结果并不能完全代表系统在生产网络中的行为方式。
F241.03.23-C9500-2#show platform hardware fed active fwd-asic resource tcam utilization | include Subtype|IP Route Table Subtype Dir Max Used %Used V4 V6 MPLS Other IP Route Table EM/LPM I 114688 11 0.01% 7 3 1 0 IP Route Table TCAM I 1536 15 0.98% 7 6 2 0 Inject the routes... *Jan 8 16:17:47.762: %FED_L3_ERRMSG-3-RSRC_ERR: R0/0: fed: Failed to allocate hardware resource for fib entry due to hardware resource exhaustion - rc:2054 F241.03.23-C9500-2#show platform hardware fed active fwd-asic resource tcam utilization | include Subtype|IP Route Table Subtype Dir Max Used %Used V4 V6 MPLS Other IP Route Table EM/LPM I 114688 73326 63.94% 73322 3 1 0 <<< EM/LPM at 63.94% IP Route Table TCAM I 1536 1535 99.93% 1527 6 2 0 <<< TCAM nearly full F241.03.23-C9500-2#show platform software fed active ip route summary Total number of v4 fib entries = 75789 Total number succeeded in hardware = 74847 Mask-Len 0 :- Total-count 1 hw-installed count 1 Mask-Len 4 :- Total-count 1 hw-installed count 1 Mask-Len 8 :- Total-count 2 hw-installed count 2 Mask-Len 11 :- Total-count 1250 hw-installed count 1250 Mask-Len 12 :- Total-count 300 hw-installed count 300 Mask-Len 13 :- Total-count 12 hw-installed count 12 Mask-Len 14 :- Total-count 12 hw-installed count 12 Mask-Len 15 :- Total-count 12 hw-installed count 12 Mask-Len 16 :- Total-count 12 hw-installed count 12 Mask-Len 17 :- Total-count 12 hw-installed count 12 Mask-Len 18 :- Total-count 12 hw-installed count 12 Mask-Len 19 :- Total-count 12 hw-installed count 12 Mask-Len 20 :- Total-count 12 hw-installed count 12 Mask-Len 21 :- Total-count 12 hw-installed count 12 Mask-Len 22 :- Total-count 12 hw-installed count 12 Mask-Len 23 :- Total-count 12 hw-installed count 12 Mask-Len 24 :- Total-count 12 hw-installed count 12 Mask-Len 25 :- Total-count 12 hw-installed count 12 Mask-Len 26 :- Total-count 12 hw-installed count 12 Mask-Len 27 :- Total-count 12 hw-installed count 12 Mask-Len 28 :- Total-count 12 hw-installed count 12 Mask-Len 29 :- Total-count 12 hw-installed count 12 Mask-Len 30 :- Total-count 12 hw-installed count 12 Mask-Len 31 :- Total-count 12 hw-installed count 12 Mask-Len 32 :- Total-count 74007 hw-installed count 73065 <<< 74007 total /32 known by software, 73065 successfully installed in hardware F241.03.23-C9500-2#show platform software fed active hash l3unicast ********************* TABLE INFO ASIC 0 ********************************* Index Hash Id Table Id Size Used Mode Asic Core BaseIdx 1 8 0 2048 2048 Normal 0 0 0 ... 56 11 7 2048 12 Normal 0 1 112640 <<< Table indexes 1-56 (varies with SDM) will exist and all show some amount in "used" column *************************** MASK INFO ********************************* Mask Id Table Count Size Available Hash Entries Overflow Entries 1 0 0 0 0 1 5 0 0 0 0 1 9 0 0 0 0 2 10 0 0 0 0 0 11 0 0 0 0 0 12 1 2048 809 1239 11 13 1 2048 1759 289 11 14 1 2048 2047 1 11 15 1 2048 2047 1 11 16 1 2048 2047 1 11 17 1 2048 2036 12 0 18 1 2048 2036 12 0 19 1 2048 2036 12 0 20 1 2048 2036 12 0 21 1 2048 2036 12 0 22 1 2048 2036 12 0 23 1 2048 2036 12 0 24 1 2048 2036 12 0 25 1 2048 2036 12 0 26 1 2048 2047 1 11 27 1 2048 2047 1 11 28 1 2048 2047 1 11 29 1 2048 2047 1 11 30 1 2048 2047 1 11 31 1 2048 2047 1 11 32 1 2048 2047 1 11 33 35 71680 0 71676 1389 <<< Mask ID /33 allocated 35 tables, 71680 entries, 716676 in EM/LPM (Hash). There are 1389 hw-installed entries in TCAM.
要解决此情况，请按优先级顺序使用这些选项中的一个或多个选项
- 检查备用SDM模板：
- 增加的FIB/IP路由扩展模板增加了可用于此FIB的总硬件表。这样可以提高有效利用率（已使用的条目/可用条目）和总规模。
- 相反，FIB/IP Route的较小规模SDM模板可减少可用于FIB的硬件表总数。
- 从路由表中完全消除一个或多个前缀（掩码）长度
- 总结路由（减少前缀的总量）
注意：请参阅Catalyst 9500和Catalyst 9600系列交换机的“系统管理配置指南”中的“章节：配置SDM模板”了解有关SDM模板的更多信息。
场景：SGT/SXP映射 | Trustsec扩展
为TAC收集的命令
与IPv4利用率相关的最常见硬件资源问题将在本指南中介绍，并提供相应的补救步骤。但是，如果本指南未能解决您的问题，请收集显示的命令列表，并将其附加到TAC服务请求中。
show tech-support
show platform hardware fed active fwd-asic resource tcam utilization
show platform hardware fed active fwd-asic resource utilization
show platform hardware fed active fwd-asic resource rewrite utilization
show platform hardware fed active fwd-asic resource features ip-adjacency utilization
show platform software fed active ip route summary
show platform software fed active hash l3unicast
show ip route
show ip route vrf *
如果您发现本文档存在问题，请使用本文右面板上的Feedback按钮。 当您提交针对此文档的请求或反馈时，请尽可能详细地提供这些信息，包括您与文档有关的部分、区域或问题，以及可以改进的内容。
相关信息
IP路由配置指南，Cisco IOS XE Amsterdam 17.3.x（Catalyst 9500交换机） — 章节：配置OSPF
IP路由配置指南，Cisco IOS XE Amsterdam 17.3.x（Catalyst 9500交换机） — 章节：配置EIGRP
IP路由配置指南，Cisco IOS XE Amsterdam 17.3.x（Catalyst 9500交换机） — 章节：配置BGP
系统管理配置指南，Cisco IOS XE Amsterdam 17.3.x（Catalyst 9500交换机） — 章节：配置SDM模板
修订历史记录
| 版本 | 发布日期 | 备注 |
|---|---|---|
2.0 |
01-Jun-2023 |
添加视频链接：排除Catalyst 9000交换机FIB硬件资源耗尽故障 |
1.0 |
05-Aug-2022 |
初始版本 |
由思科工程师提供
- 安布罗斯·泰勒
- 奥斯汀·安德森·弗格森
- 克里斯托弗·加布里埃尔森
反馈