简介
本文档介绍如何了解Catalyst 9000系列交换机上的硬件资源并对其进行故障排除。
先决条件
要求
本文档没有任何特定的要求。
使用的组件
本文档中的信息基于以下软件和硬件版本：
- Cisco IOS® XE 16.x和17.x软件上的Cisco Catalyst 9200、9300、9400、9500非HP系列交换机
- Cisco IOS® XE 16.x和17.x软件上的Cisco Catalyst 9500HP、9600系列交换机
本文档中的信息都是基于特定实验室环境中的设备编写的。本文档中使用的所有设备最初均采用原始（默认）配置。如果您的网络处于活动状态，请确保您了解所有命令的潜在影响。
背景信息
- Catalyst 9000系列交换机的各种功能消耗有限的硬件资源。这些资源的存在是为了提高这些功能的性能，并提供交换机预期的预期高转发速率。
- 这些表的大小因交换机型号而异，但基本的故障排除方法保持不变。
- 通常，LAN交换中的主要有限硬件资源称为TCAM(TCAM是一种内存技术，特别适用于存储最长前缀匹配(LPM)信息，用于快速查找或其他类型的OR逻辑查找)。
- 在Catalyst 9000系列交换机中，除了TCAM之外，还使用多种内存类型，这适合特定功能的特定需求（HASH是另一种简化内存）。MAC地址表就是这种内存类型的示例)。
当您对不按预期运行的功能进行故障排除时，一个好的起点是确认硬件未超出所讨论交换机的规模。虽然交换机的这些表大小各异，但验证和故障排除方法大体相同。
注意：此页面也是一个参考页面，您可以在其中找到有关各种功能以及如何检查其硬件规模的信息。
注意：对于每个平台，CLI有时包含术语“switch”，有时不包含“switch”。(show platform hardware fed <number|active|standby> fwd-asic resource tcam utilization与show platform hardware fed <active> fwd-asic resource tcam utilization
术语
| EM |
精确匹配 |
哈希内存中的条目是1:1匹配（主机路由、直连主机） |
| LPM |
最长前缀匹配 |
任何是/31或更短的路由（/32路由是EM类型） |
| TCAM |
三重内容可寻址存储器 |
一种存储器，它使用三种不同的输入来存储和查询条目：0、1和X。当同一个条目可能有多个匹配项时，必须使用此类内存，并且每个匹配项的结果哈希值不会是唯一的。 此表包含一个掩码或X值，通过该值，它可以知道它是否与此条目匹配。 |
| 渠道客户经理 |
内容可寻址存储器 |
硬件内存通用术语（散列/TCAM） |
| RIB |
路由信息库 |
show ip route中显示的路由表。 |
| FIB |
转发信息库 |
带有由RIB和ARP表添加前缀的简化表，带有指向ADJ表的指针。 |
| 直接连接 |
直接连接的路由 |
本地连接的主机前缀（ARP邻接）。 |
| 间接连接 |
间接连接的路由 |
通过远程下一跳到达的路由。 |
| ADJ |
邻接（表） |
存储用于数据包重写的下一跳信息。 |
| EM |
精确匹配 |
连接的主机，间接/32主机前缀 |
| TCAM |
三重内容可寻址存储器 |
间接前缀/31或更短 |
| 美联储 |
转发引擎驱动程序 |
ASIC（硬件）层 |
| FMAN-FP |
转发管理器 — 转发平面 |
FMAN-FP管理添加、删除或修改FED信息的软件对象。 |
| SI |
站点索引 |
站点索引 = 数据包重写信息（RI =重写索引）和出站接口信息（DI =目标索引） |
| RI |
重写索引 |
第3层转发到下一跳邻接的MAC地址重写信息。 |
| DI |
目标索引 |
指向出站接口的索引。 |
| UADP |
思科统一接入™ 数据层面 |
交换机中使用的ASIC架构。 |
ASIC版本信息（UADP 2.0与3.0）
Catalyst 9000系列ASIC 2.0和3.0版本之间的主要区别在于如何填充或使用FIB硬件。
在UADP 3.0中，使用称为EM/LPM的内存：
- 主机路由（/32掩码长度）和直连（ARP邻接）
- /31或更短的前缀（需要掩码比较才能做出转发决策。）
在UADP 3.0 TCAM中，它仍然适用于FIB，但仅用于无法使用EM/LPM的特殊情况或例外。
- 例如，如果IP地址空间不连续或使用了多个地址空间，并且无法合并到EM/LPM中。
在UADP 2.0中，内存分为两个部分EM和TCAM:
- EM用于/32主机路由和直连（ARP相邻）主机。
- TCAM用于需要比较前缀掩码的/31或更短的前缀。
比较两种ASIC类型之间的以下输出：
在本例中，9500-12Q具有明显更多的TCAM空间。但是，9500-48Y4C(9500H)的EM/LPM规模更大。
- LPM — 同样的逻辑同样适用于9500-12Q的TCAM，但并未特别指出。
- 9500H上的EM/LPM表示此共享内存空间用于精确匹配(EM)和LPM（基于前缀）条目。系统使用优化的内存系统来实现可扩展性、性能和灵活性。
- 9500H上的TCAM显着减少是为了存储特殊条目，尤其是散列冲突（当无法生成特定条目的唯一散列时）。
9500-48Y4C（9500H/高性能 — 基于UADP 3.0的交换机）
Switch#show platform hardware fed active fwd-asic resource tcam utilization
Codes: EM - Exact_Match, I - Input, O - Output, IO - Input & Output, NA - Not Applicable
CAM Utilization for ASIC [0]
Table Subtype Dir Max Used %Used V4 V6 MPLS Other
------------------------------------------------------------------------------------------------------
IP Route Table EM/LPM I 212992 3 0.01% 2 0 1 0 <-- LPM matches now stored here
IP Route Table TCAM I 1536 15 0.02% 6 6 2 1 <-- Used for exception cases
9500-12Q（基于UADP 2.0的交换机）
Switch#show platform hardware fed active fwd-asic resource tcam utilization
Codes: EM - Exact_Match, I - Input, O - Output, IO - Input & Output, NA - Not Applicable
CAM Utilization for ASIC [0]
Table Subtype Dir Max Used %Used V4 V6 MPLS Other
------------------------------------------------------------------------------------------------------
IP Route Table EM I 49152 3 0.01% 2 0 1 0
IP Route Table TCAM I 65536 15 0.02% 6 6 2 1 <-- LPM matches are stored here in 2.0
注：有关UADP架构的详细信息，请参阅Cisco Catalyst 9500架构白皮书
通用硬件验证命令
这些命令显示所使用散列、TCAM、接口、重写资源的高级使用统计信息。
- 这些资源是相关的，耗尽从属资源可能会影响完全使用其他可用资源的能力。
- 在17.x系列中更改这些命令的输出，可以更轻松地读取硬件和诊断特定问题。
示例：交换机可以有可用的Hash/TCAM，但邻接关系会用完。
- 数据包转发能力可能会影响到某个目标前缀，这不是因为硬件无法对FIB进行编程，而是因为硬件无法对新重写条目进行编程。
show platform hardware fed
active fwd-asic resource tcam utilization
<-- Hash & TCAM
show platform hardware fed
active fwd-asic resource utilization
<-- SI/RI/DI/etc (other related resources)
show platform hardware fed
active fwd-asic resource rewrite utilization
<-- IP Adjacency. LISP adjacency, Tunnel Adjacency, etc
### 17.x train CLI displays multiple resources in one place (these are not available in 16.x) ###
New CLI combines aspects of all 3 commands into one table for easier diagnosis of all resources related to IPv4
show platform hardware fed active fwd-asic resource features ip-adjacency utilization
Cisco IOS XE 17.x通用硬件验证命令
show platform hardware fed active fwd-asic resource tcam utilization命令是第一个要评估硬件规模问题的位置。（它按ASIC显示信息）。
代码：
- EM - Exact_Match < — 请参阅术语表了解定义
- I — 输入，O — 输出，IO — 输入和输出， < — 如果资源是定向的，则说明它
- 不适用< — 如果方向不适用
Switch#show platform hardware fed active fwd-asic resource tcam utilization
Codes: EM - Exact_Match, I - Input, O - Output, IO - Input & Output, NA - Not Applicable <-- Key for table abbreviations
CAM Utilization for ASIC [0] <-- Content Addressable Memory for ASIC 0
Table Subtype Dir Max Used %Used V4 V6 MPLS Other <-- CAM usage broken down per resource & memory type (EM versus TCAM)
------------------------------------------------------------------------------------------------------
Mac Address Table EM I 65536 18 0.03% 0 0 0 18
Mac Address Table TCAM I 1024 21 2.05% 0 0 0 21
L3 Multicast EM I 16384 0 0.00% 0 0 0 0
L3 Multicast TCAM I 1024 9 0.88% 3 6 0 0
L2 Multicast EM I 16384 0 0.00% 0 0 0 0
L2 Multicast TCAM I 1024 11 1.07% 3 8 0 0
IP Route Table EM I 49152 3 0.01% 2 0 1 0 <-- Data from RIB/FIB populated here
IP Route Table TCAM I 65536 15 0.02% 6 6 2 1 <-- Data from RIB/FIB populated here
QOS ACL TCAM IO 18432 85 0.46% 28 38 0 19
Security ACL TCAM IO 18432 129 0.70% 26 58 0 45
Netflow ACL TCAM I 1024 6 0.59% 2 2 0 2
PBR ACL TCAM I 2048 22 1.07% 16 6 0 0 <-- Data for PBR & NAT populated here
Netflow ACL TCAM O 2048 6 0.29% 2 2 0 2
Flow SPAN ACL TCAM IO 1024 13 1.27% 3 6 0 4
Control Plane TCAM I 512 276 53.91% 126 106 0 44
Tunnel Termination TCAM I 1024 18 1.76% 8 10 0 0
Lisp Inst Mapping TCAM I 2048 1 0.05% 0 0 0 1
Security Association TCAM I 512 4 0.78% 2 2 0 0
CTS Cell Matrix/VPN
Label EM O 8192 0 0.00% 0 0 0 0 <-- Outbound resource used to reach remote VPNv4 prefixes
CTS Cell Matrix/VPN
Label TCAM O 512 1 0.20% 0 0 0 1
Client Table EM I 4096 0 0.00% 0 0 0 0
Client Table TCAM I 256 0 0.00% 0 0 0 0
Input Group LE TCAM I 1024 0 0.00% 0 0 0 0
Output Group LE TCAM O 1024 0 0.00% 0 0 0 0
Macsec SPD TCAM I 1024 2 0.20% 0 0 0 2
CAM Utilization for ASIC [1]
<...snip...>
如果命令show platform hardware fed active fwd-asic resource tcam utilization中的硬件扩展正常，请检查其他相关资源
注意：有许多共享资源。这只是几个常用的方法。（该表的外观在16.x和17.x之间没有变化）
Switch#show platform hardware fed active fwd-asic resource utilization
Resource Info for ASIC Instance: 0
Resource Name Allocated Free <-- Number available. If this is at max (or very close) possible issues can occur
------------------------------------------
RSC_DI 61 41805 <-- DI = Destination Index
RSC_RI 3 57317 <-- RI = Rewrite Index
RSC_RI_REP 10 49143 <-- RI_REP = Multicast Rewrite/Replication Index
RSC_SI 519 64849 <-- SI = Station Index
<...snip...>
Switch#show platform hardware fed switch active fwd-asic resource rewrite utilization
Resource Info for ASIC Instance: 0
Rewrite Data Allocated Free <-- Rewrite specific hardware resources
-------------------------------------------------------
PHF_EGRESS_destMacAddress 0 32000 <-- Destination MAC (Layer 3 next hop MAC rewrite)
IPV4_TUNNEL_SRC_IP_ADDR 0 16 <-- IPv4 Tunnel Source IP
IPV4_TUNNEL_DEST_IP_ADDR 0 256 <-- IPv4 Tunnel Destination IP
IPV4_GRE_TUNNEL_DEST_IP_ADDR 0 1024 <-- GRE specific tunnel Destination IP
GRE_HEADER 0 684
GRE_KEY 0 684 <-- GRE keys
NAT_L3_DEST_IPV4 0 7168 <-- NAT Layer 3 IPv4 Destination
NAT_DST_PORT_UNICAST 0 8192 <-- NAT Destination Ports
NAT_L3_SRC_IPV4 0 8192 <-- NAT Layer 3 IPv4 Source
NAT_SRC_PORT_UNICAST 0 8192 <-- NAT Source Ports
<...snip...>
Switch#show platform hardware fed active fwd-asic resource features ip-adjacency utilization
IPv4 unicast adjacency resource info
Resource Info for ASIC Instance: 0 [A:0, C:0] <-- Per-ASIC & Core [Asic 0, Core 0]
Shared Resource Name Allocated Free Usage% <-- Shared resources
----------------------------------------------------------------------------------
RSC_RI 3 57317 0.01 <-- RI = Rewrite Index
RSC_SI 519 64849 0.79 <-- SI = Station Index
<-- These are tables that maintain port map info, and other necessary details to send packets
<-- These resources are shared, and used by many features
Rewrite Data Allocated Free Usage% <-- Rewrite resources (Dest MAC)
-----------------------------------------------------------------------------------
PHF_EGRESS_destMacAddress 0 32000 0.00 <-- Destination MAC usage
<-- When a packet is sent to a next hop, it must be written with a destination MAC address
CAM Table Utilization Info Allocated Free Usage% <-- EM (Hash) & TCAM resources
------------------------------------------------------------------------------------
IP Route table Host/Network 0/ 0 0/32768 0.00/ 0.00
<-- Resource that programs prefixes, either local/host routes (EM/Hash) or Shorter /31 or less prefixes (TCAM)
注意：与TCAM相比，9500H和9600 ASIC能够在散列内存（称为EM/LPM）中存储更短的前缀掩码。有关详细信息，请参阅IPv4特定场景
Cisco IOS XE 16.x通用硬件验证命令
show platform hardware fed active fwd-asic resource tcam utilization命令是第一个要评估硬件规模问题的位置。（它按ASIC显示信息）。您可以看到，在16.x系列中，输出不是那么精确，而且有些描述也各不相同。
在大多数情况下，表列表是明确的，但也有一些例外：
- 直接或间接连接的路由。这需要改进，因为不清楚直接表示ARP邻接路由和/32主机路由。间接表示任何路由/31或更短
- 基于策略的路由ACE包括NAT相关配置。当NAT是需要考虑的功能时，请记住这一点。
Switch#show platform hardware fed switch active fwd-asic resource tcam utilization
CAM Utilization for ASIC [0]
Table Max Values Used Values
--------------------------------------------------------------------------------
Unicast MAC addresses 32768/1024 19/21
L3 Multicast entries 8192/512 0/9
L2 Multicast entries 8192/512 0/11
Directly or indirectly connected routes 24576/8192 3/19 <-- First value 24576 = EM / Second value 8192 = TCAM
QoS Access Control Entries 5120 85
Security Access Control Entries 5120 126
Ingress Netflow ACEs 256 8
Policy Based Routing ACEs 1024 22
Egress Netflow ACEs 768 8
Flow SPAN ACEs 1024 13
Control Plane Entries 512 255
Tunnels 512 17
Lisp Instance Mapping Entries 2048 3
Input Security Associations 256 4
SGT_DGT 8192/512 0/1
CLIENT_LE 4096/256 0/0
INPUT_GROUP_LE 1024 0
OUTPUT_GROUP_LE 1024 0
Macsec SPD 256 2
注：此处列出的命令在16到17个代码系列之间没有CLI更改，并且本文档的17.x部分仅介绍一次。
show platform hardware fed
active fwd-asic resource utilization
<-- SI/RI/DI/etc (other related resources)
show platform hardware fed
active fwd-asic resource rewrite utilization
<-- IP Adjacency. LISP adjacency, Tunnel Adjacency, etc
每功能硬件验证命令
场景：IPv4前缀
IPv4硬件验证可以在本页了解Catalyst 9000交换机上的IPv4硬件资源
症状资源超出规模。
- 设备或前缀连通性问题。虽然现有路由或设备仍可访问，但无法访问任何新的或更新的前缀。
- 日志消息指示硬件无法接收新的对象更新。
- 对象层，将软件编程到硬件中变得拥塞。
- 受影响硬件层没有条目（在本例中，FIB是受影响层）。
IPv4系统日志
如果特定IPv4 FIB或邻接资源耗尽，则系统生成SYSLOG消息
| IPv4 FIB日志消息 |
定义 |
恢复操作 |
| %FED_L3_ERRMSG-3-RSRC_ERR：交换机1的R0/0: fed：“由于硬件资源耗尽，无法为fib条目分配硬件资源”错误。 |
为IPv4 FIB条目保留的硬件空间已用尽（EM或TCAM）。 |
总结路由或采取某些其他操作以减少FIB条目的规模（可以是完全匹配或TCAM，无论哪个条目已耗尽）。 |
| %FED_L3_ERRMSG-3-RSRC_ERR: R0/0: fed: "无法为adj条目分配硬件资源 — rc:1"错误。
|
邻接表已用尽。这是硬件中存储下一跳目的MAC地址的表。 |
减少直连（ARP相邻）主机的扩展数量 |
场景：ACL
ACL硬件验证可以在此页面上找到验证Catalyst 9000交换机上的安全ACL
ACL系统日志
如果特定安全ACL资源耗尽，则系统生成SYSLOG消息（接口、Vlan、标签等值可以不同）。
| ACL日志消息 |
定义 |
恢复操作 |
| %ACL_ERRMSG-4-UNLOADED：馈送交换机1：接口<interface>上的输入<ACL>无法在硬件中编程，并且流量可以丢弃。 |
ACL已卸载（保留在软件中）。 |
研究TCAM规模。如果超出规模，请重新设计ACL。 |
| %ACL_ERRMSG-6-REMOVED: 1馈送：已针对标签<label>asic<number>删除接口<interface>上输入<ACL>的卸载配置 |
卸载的ACL配置会从接口删除。 |
ACL已删除，无需执行任何操作。 |
| %ACL_ERRMSG-6-RELOADED: 1 fed: Input <ACL> on interface <interface>现已加载到asic<number>标签<label>的硬件中 |
ACL现在已安装在硬件中。 |
ACL的问题现已通过硬件解决，无需采取任何措施。 |
| %ACL_ERRMSG-3-ERROR: 1 fed: Input <ACL> IP ACL <NAME> configuration could not be applied on <interface> at bindorder <number> |
其他类型ACL错误（例如dot1x ACL安装失败） |
确认是否支持ACL配置，以及TCAM是否超出规模 |
| %ACL_ERRMSG-6-GACL_INFO：交换机1 R0/0：馈送：GACL不支持日志记录 |
GACL配置了日志选项。 |
GACL不支持日志。从GACL中删除日志语句。 |
| %ACL_ERRMSG-6-PACL_INFO：交换机1 R0/0：馈送：PACL不支持日志记录 |
PACL已配置日志选项。 |
PACL不支持日志。从PACL中删除日志语句。 |
| %ACL_ERRMSG-3-ERROR：交换机1 R0/0：已提供：输入IPv4组ACL implicit_deny:<name>：无法在客户端MAC 0000.0000.0000上应用配置 |
(dot1x)ACL无法应用到目标端口。 |
确认是否支持ACL配置，以及TCAM是否超出规模。 |
场景：NAT
NAT硬件验证可以在本页Configure and Verify NAT on Catalyst 9000 Switches上找到
NAT系统日志
NAT功能没有任何在硬件资源扩展不足时打印的系统日志。Cisco Bug ID CSCvz46804已归档作为添加这些日志的增强功能。
如果遇到NAT问题并要验证硬件资源使用情况，请选中show platform hardware feed switch active fwd-asic resource tcam utilization（当NAT TCAM耗尽时，PBR ACL区域被高度利用）。
另请确认您已按照此处所述的限制配置了NAT:NAT的限制
场景：MPLS
MPLS硬件验证可以在本页上配置和验证Catalyst 9000交换机上的MPLS
MPLS系统日志
如果耗尽特定资源（例如MPLS标签），系统就会生成SYSLOG消息。
需牢记的要点：
- MPLS LABEL用于标签处理。（从本地CE获取前缀时会占用此资源）
- LSPA用于标签实施。 （从远程PE获取前缀时会占用此资源）
| MPLS日志消息 |
定义 |
恢复操作 |
| %FED_L3_ERRMSG-3-RSRC_ERR：交换机1的R0/0: fed: “Failed to allocate hardware resource for fib entry”错误，因为硬件资源耗尽。 |
为IP前缀保留的硬件空间已用尽（EM或TCAM）。 |
采取以下操作之一以减少本地或远程PE获取的前缀的数量： 1.在CE上汇总前缀。 2.将标签分配模式从per-prefix更改为per-vrf。 |
| %FED_L3_ERRMSG-3-mpls_out_of_resource：交换机1 R0/0: fed: "Out of resource for MPLS LABEL ENTRY"错误。无法对硬件中的本地标签：8205(8192/8192)进行编程。 |
本地标签分配：为MPLS本地标签保留的硬件空间已用尽（EM或TCAM）。 |
执行下列操作之一，以减少本地PE上使用的标签数量： 1.汇总本地CE或本地PE上的前缀。 2.在本地PE上将标签分配模式从per-prefix更改为per-vrf。 |
| %FED_L3_ERRMSG-3-MPLS_LENTRY_PAUSE：交换机1 R0/0: fed：已达到MPLS标签条目资源的严重限制。条目创建已暂停。 |
本地标签分配：为MPLS本地标签保留的硬件空间已用尽（EM或TCAM）。 |
执行下列操作之一，以减少本地PE上使用的标签数量： 1.汇总本地CE或本地PE上的前缀。 2.在本地PE上将标签分配模式从per-prefix更改为per-vrf。 |
| %FED_L3_ERRMSG-3-mpls_out_of_resource：交换机1 R0/0: fed: "MPLS LSPA的资源不足。无法在硬件中编程”错误。 |
远程标签分配：为LSPA远程标签保留的硬件空间已用尽。 |
执行下列操作之一，以减少远程PE上使用的标签数量： 1.汇总远程CE或远程PE上的前缀。 2.将远程PE上的标签分配模式从per-prefix更改为per-vrf。 |
场景：QoS
QoS硬件验证可以在此页面上找到了解Catalyst 9000交换机上的QoS硬件资源
QoS系统日志
如果与QoS相关的资源耗尽，系统将生成SYSLOG消息：
| QoS相关系统日志消息 |
定义 |
恢复操作 |
| %FED_QOS_ERRMSG-4-TCAM_OVERFLOW：交换机1 R0/0: fed：“Failed to program”错误TCAM for policy-map ingress_pmap2 on GigabitEthernet1/0/10。 |
为QoS实体保留的硬件(TCAM)空间已用尽。 |
- 确保您具有有效/支持的配置。
- 查看本文档的其余部分，验证您的交换机的当前规模利用率，以及如果过度使用可能采取的减少措施。
|
| %FED_QOS_ERRMSG-3-QUEUE_SCHEDULER_HW_ERROR：交换机1 R0/0: fed: "Failed to configure queue scheduler"错误，适用于GigabitEthernet1/0/27。 |
QoS队列调度程序的硬件安装失败。 |
- 验证您的配置是否受支持
- 查看特定平台和软件版本的QoS配置指南。
对于9200LONLY：查看Cisco bug IDCSCvz54607和Cisco bug IDCSCvz76172 |
| FED_QOS_ERRMSG-3-QUEUE_BUFFER_HW_ERROR: R0/0: fed: "Failed to configure default queue buffer"错误。 |
QoS队列缓冲区的硬件安装失败。 |
- 验证您的配置是否受支持。
- 查看特定平台和软件版本的QoS配置指南。
- 查看Cisco bug IDCSCvs49401
|
相关信息
技术支持和文档 - Cisco Systems
Cisco Catalyst 9200 系列交换机产品手册
Cisco Catalyst 9300 系列交换机产品手册
Cisco Catalyst 9400系列交换机产品手册
Cisco Catalyst 9500系列交换机产品手册
Cisco Catalyst 9600 系列交换机产品手册
Cisco Catalyst 9500 体系结构白皮书
思科漏洞 ID
Cisco Bug ID CSCvg60292（在TCAM中达到最大路由数时，哈希表中不能安装任何路由。）
Cisco Bug ID CSCvx57822(硬件表需要90%的利用率水印。)
Cisco Bug ID CSCvs49401
Cisco Bug ID CSCvz54607
Cisco Bug ID CSCvz76172
反馈