系列路由器上的"QM_SANITY_WARNING"；故障排12000消息

简介

本文档介绍调试运行IOS的12000系列cisco路由器中不同线卡上可能出现的数据包缓冲区耗尽消息的步骤。由于对GSR缓冲区管理缺乏了解，更换实际正常运行的硬件会浪费宝贵的时间和资源，这种情况太普遍了。

先决条件

要求 

阅读器应了解Cisco 12000系列路由器架构。

使用的组件

本文档中的信息基于以下软件和硬件版本：

• Cisco 12000 系列互联网路由器
• 支持千兆交换机路由器的Cisco IOS®软件版本

本文档中的信息都是基于特定实验室环境中的设备编写的。本文档中使用的所有设备都以清除（默认）配置启动。如果您使用的是真实网络，请确保您已经了解所有命令的潜在影响。

规则

有关文档规则的详细信息，请参阅 Cisco 技术提示规则。

问题

GSR或12000系列思科路由器具有真正的分布式架构。这意味着每个LC运行其自己的Cisco IOS软件映像副本，并且拥有独立完成数据包转发决策的智能。每个线卡都有自己的功能

1. 转发查找
2. 数据包缓冲区管理
3. QOS
4. 流控制

在GSR中分组交换期间最重要的操作之一是缓冲区管理，由位于线卡中的各种缓冲区管理ASIC(BMA)完成。以下是一些与GSR缓冲区管理有关的消息，在生产时可能会显示在路由器日志中。在下一节中，我们将讨论导致这些消息出现在路由器日志中的不同触发器，采取什么纠正措施缓解该问题。在某些情况下，这还可能导致数据包丢失，这可能表现为协议摆动并引起网络影响。

%EE48-3-QM_SANITY_WARNING: ToFab FreeQ buffers depleted

SLOT 1:Sep 16 19:06:40.003 UTC: %EE48-3-QM_SANITY_WARNING: Few free buffers(1) are available in ToFab FreeQ pool# 2

SLOT 8:Sep 16 19:06:45.943 UTC: %EE48-3-QM_SANITY_WARNING: Few free buffers(0) are available in ToFab FreeQ pool# 1

SLOT 0:Sep 16 19:06:46.267 UTC: %EE48-3-QM_SANITY_WARNING: Few free buffers(2) are available in ToFab FreeQ pool# 2

SLOT 8:Sep 16 19:06:47.455 UTC: %EE48-3-QM_SANITY_WARNING: ToFab FreeQ buffers depleted. Recarving the ToFab buffers

SLOT 8:Sep 16 19:06:47.471 UTC: %EE192-3-BM_QUIESCE:

解决方案

背景

要对QM-SANITY警告错误进行故障排除，我们需要了解GSR线卡上的数据包流。下图说明C12k线卡的主块和数据包流路径。

Cisco 12000系列互联网路由器上的线卡(LC)有两种类型的内存：

• 路由或处理器内存（动态RAM - DRAM）：此内存主要支持板载处理器运行Cisco IOS软件并存储网络路由表（转发信息库 — FIB、邻接）
• 数据包存储器（同步动态RAM - SDRAM）：线卡数据包存储器临时存储等待线卡处理器做出交换决策的数据包。

从以上图可以看出，GSR线卡具有专用数据包缓冲器ASIC(Application Specific Integrated Circuit)，在每个数据流方向都有一个专用数据包缓冲器ASIC，提供数据包存储器的访问。这些ASIC也称为缓冲区管理ASIC(Buffer management ASIC， BMA)，在线卡上执行数据包缓冲和缓冲区队列管理功能。为了支持高吞吐量/转发速率，两个方向的数据包存储器被分割为不同大小的内存池，用于转发不同MTU大小的数据包。

物理层接口模块(PLIM)卡接收的帧经过第2层处理，然后通过DMA传送到PLIM卡中的本地内存。接收的数据单元完成后，PLIM中的ASIC与入口BMA联系并请求适当大小的缓冲区。如果允许缓冲区，数据包将移动到线卡入口数据包内存。如果没有可用的缓冲区，数据包将被丢弃，被忽略的接口计数器将上升。入口数据包处理器对数据包进行特征处理，做出转发决策并将数据包移动到与出口线卡对应的toFab队列。交换矩阵接口ASIC(FIA)将数据包分段到思科信元，并将信元传输到交换矩阵。然后，数据包通过出口线卡上的FIA从交换机交换矩阵接收，然后进入Frfab队列，在那里重组数据包，然后到达出口PLIM，最后通过线路发送。

FrFab BMA根据入口线卡交换引擎做出的决定从特定缓冲池中选择缓冲区。由于整个盒子上的所有队列的大小和顺序都相同，因此交换引擎会告知发送LC将数据包放入其进入路由器的相同编号队列中。

交换数据包时，用于移动数据包的入口线卡上的特定缓冲池的队列大小将递减1，直到出口线卡中的BMA返回缓冲区。此处我们还应注意，完整的缓冲区管理是由缓冲区管理ASIC在硬件中完成的，对于无缺陷操作，BMA需要将缓冲区返回其源的原始池。

在三种情况下，GSR数据包缓冲区管理可能会遇到导致数据包丢失的压力或故障。  以下是三种方案。

情形 1：

硬件队列管理失败。当出口BMA无法返回数据包缓冲区或将数据包缓冲区返回到错误的缓冲区池时，会发生这种情况。如果缓冲区返回到不正确的池，我们会看到一些缓冲池在不断增长，而一些缓冲池在一段时间内耗尽，最终导致缓冲池大小耗尽的数据包受到影响。当数据包缓冲区耗尽并超过警告阈值时，我们将开始看到QM-Sanity警告。

使用QM健全性调试和show controllers tofab queues命令检查是否受此情况影响。请参阅故障排除部分，查找如何启用QM健全性阈值。

这种情况通常是由有故障的硬件造成的。检查路由器上的以下输出并查找奇偶校验错误或线路卡崩溃。修复方法是更换线卡。

show controllers fia

show context all

show log

示例：

从QM健全性调试和show controller tofab队列我们可以看到，池2在不断增大，而池4却运行得很低。这表示池4正在丢失缓冲区，并且正在将其返回池2。

QM健全性调试：

SLOT 5:Oct 25 04:41:03.286 UTC: Pool 1: Carve Size 102001: Current Size 73078

SLOT 5:Oct 25 04:41:03.286 UTC: Pool 2: Carve Size 78462: Current Size 181569

SLOT 5:Oct 25 04:41:03.286 UTC: Pool 3: Carve Size 57539: Current Size 6160

SLOT 5:Oct 25 04:41:03.286 UTC: Pool 4: Carve Size 22870: Current Size 67

SLOT 5:Oct 25 04:41:03.286 UTC: IPC FreeQ: Carve Size 600: Current Size 600

show controllers tofab queues:

    
     
     
 
     
 
     
 
     
 
     
 Qnum Head Tail #Qelem LenThresh 
     
 
     
 ---- ---- ---- ------ --------- 
     
 
     
  4 non-IPC free queues: 
     
 
     
 
      
     
 
     
 
             102001/102001 (buffers specified/carved), 39.1%, 80 byte data size 
     
 
     
 
             1       13542   13448           73078   262143 
     
 
     
 
             78462/78462 (buffers specified/carved), 30.0%, 608 byte data size 
     
 
     
 
             2       131784  131833          181569  262143                                  
     
 
     
 
             57539/57539 (buffers specified/carved), 22.0%, 1616 byte data size 
     
 
     
 
             3       184620  182591          6160    262143    
     
 
     
 
             23538/22870 (buffers specified/carved), 8.74%, 4592 byte data size 
     
 
     
 
             4       239113  238805          67      262143                    
     
 
     
 
      
       
    

方案 2：

下一跳设备或转发路径上的流量拥塞。在这种情况下，GSR向其提供流量的设备无法以GSR的速度处理，因此下一跳设备向GSR发送暂停帧，要求其减速。如果在GSR PLIM卡上启用流量控制（DCE和DCE），路由器将执行暂停帧并开始缓冲数据包。最终，路由器将耗尽缓冲区，导致QM健全性错误消息和数据包丢弃。当数据包缓冲区耗尽并超过警告阈值时，我们将开始看到QM-Sanity警告。有关如何查找QM健全性阈值的故障排除部分。

使用出口接口上的show interface输出检查路由器是否受此方案影响。下面的捕获提供了一个接收暂停帧的接口示例。该行动计划将检查下一跳设备拥塞的原因。

GigabitEthernet6/2 is up, line protocol is up

  Small Factor Pluggable Optics okay

  Hardware is GigMac 4 Port GigabitEthernet, address is 000b.455d.ee02 (bia 000b.455d.ee02)

  Description: Cisco Sydney Lab 

  Internet address is 219.158.33.86/30

  MTU 1500 bytes, BW 500000 Kbit, DLY 10 usec, rely 255/255, load 154/255

  Encapsulation ARPA, loopback not set

  Keepalive set (10 sec)

  Full Duplex, 1000Mbps, link type is force-up, media type is LX

  output flow-control is on, input flow-control is on

  ARP type: ARPA, ARP Timeout 04:00:00

  Last input 00:00:02, output 00:00:02, output hang never

  Last clearing of "show interface" counters 7w1d

  Queueing strategy: random early detection (WRED)

  Output queue 0/40, 22713601 drops; input queue 0/75, 736369 drops

        Available Bandwidth 224992 kilobits/sec

  30 second input rate 309068000 bits/sec, 49414 packets/sec

  30 second output rate 303400000 bits/sec, 73826 packets/sec

     143009959974 packets input, 88976134206186 bytes, 0 no buffer

     Received 7352 broadcasts, 0 runts, 0 giants, 0 throttles

     0 input errors, 0 CRC, 0 frame, 0 overrun, 0 ignored

     0 watchdog, 7352 multicast, 45 pause input

     234821393504 packets output, 119276570730993 bytes, 0 underruns

     Transmitted 73201 broadcasts

     0 output errors, 0 collisions, 0 interface resets

     0 babbles, 0 late collision, 0 deferred

     0 lost carrier, 0 no carrier, 0 pause output

     0 output buffer failures, 0 output buffers swapped out

情形 3：

在因网络设计不佳/流量突发/DOS攻击而导致超订用时。QM健全性警告可能会在持续的高流量状况下发生，此时指向路由器的流量比线卡可以处理的流量多。

为此，请检查路由器上所有接口的流量速率。这将显示是否有任何高速链路正在拥塞慢速链路。

使用show interface output命令。

故障排除命令

检查LC的当前QM健全性级别

•  连接到LC

• 转到启用模式

• 运行test fab命令

• 收集“qm_sanity_info”的输出

• 用于退出test fab命令行的选项q

• 从LC退出 

配置QM健全性参数的步骤

• 更改为配置模式
• 运行hw-module slot <slot#> qm-sanity tofab warning freq <>

启用/禁用QM健全性调试

•  连接到LC

• 转到启用模式

• 运行test fab命令

• 运行“qm_sanity_debug”。再次运行，它将停止调试

• 用于退出test fab命令行的选项q

• 从LC退出

检查GSR交换矩阵接口asic统计信息

• show controller fia

检查Tofab队列

• show controllers tofab queues

检查Frfab queus

• show controller frfab queues

示例：

从工作正常的实验室路由器提取以下输出以演示命令输出。

GSR-1-PE-5#show controller fia

Fabric configuration: 10Gbps bandwidth (2.4Gbps available), redundant fabric

Master Scheduler: Slot 17     Backup Scheduler: Slot 16

Fab epoch no 0          Halt count 0         




From Fabric FIA Errors

-----------------------

redund overflow 0          cell drops 0         

cell parity     0          

Switch cards present    0x001F    Slots  16 17 18 19 20 

Switch cards monitored  0x001F    Slots  16 17 18 19 20 

Slot:     16         17         18         19         20

Name:    csc0       csc1       sfc0       sfc1       sfc2

       --------   --------   --------   --------   --------

los    0          0          0          0          0          

state  Off        Off        Off        Off        Off       

crc16  0          0          0          0          0          




To Fabric FIA Errors

-----------------------

sca not pres 0          req error     0          uni fifo overflow 0         

grant parity 0          multi req     0          uni fifo undrflow 0         

cntrl parity 0          uni req       0          

multi fifo   0          empty dst req 0          handshake error   0         

cell parity  0         

GSR-1-PE-5#attach 1

Entering Console for Modular SPA Interface Card in Slot: 1

Type "exit" to end this session










Press RETURN to get started!







LC-Slot1>en

LC-Slot1#test fab

BFLC diagnostic console program

BFLC (? for help) [?]: qm_sanity_debug

QM Sanity Debug enabled




BFLC (? for help) [qm_sanity_debug]: 

SLOT 1:02:54:33:  ToFAB BMA information

SLOT 1:02:54:33: Number of FreeQs carved 4

SLOT 1:02:54:33: Pool 1: Carve Size 102001: Current Size 102001

SLOT 1:02:54:33: Pool 2: Carve Size 78462: Current Size 78462

SLOT 1:02:54:33: Pool 3: Carve Size 57539: Current Size 57539

SLOT 1:02:54:33: Pool 4: Carve Size 22870: Current Size 22870

SLOT 1:02:54:33: IPC FreeQ: Carve Size 600: Current Size 600

SLOT 1:02:54:33: Number of LOQs enabled 768

SLOT 1:02:54:33: Number of LOQs disabled 1280

SLOT 1:02:54:33:  ToFAB BMA information

SLOT 1:02:54:33: Number of FreeQs carved 4

SLOT 1:02:54:33: Pool 1: Carve Size 102001: Current Size 102001

SLOT 1:02:54:33: Pool 2: Carve Size 78462: Current Size 78462

SLOT 1:02:54:33: Pool 3: Carve Size 57539: Current Size 57539

SLOT 1:02:54:33: Pool 4: Carve Size 22870: Current Size 22870

SLOT 1:02:54:33: IPC FreeQ: Carve Size 600: Current Size 600

SLOT 1:02:54:33: Number of LOQs enabled 768

SLOT 1:02:54:33: Number of LOQs disabled 1280

QM Sanity Debug disabled




BFLC (? for help) [qm_sanity_debug]: qm_sanity_info

ToFab QM Sanity level Warning

FrFab QM Sanity level None

Sanity Check is triggered every 20 seconds

Min. buffers threshold in percentage 5




BFLC (? for help) [qm_sanity_info]: q

LC-Slot1#exi




Disconnecting from slot 1.

Connection Duration: 00:01:09







GSR-1-PE-5#config t

Enter configuration commands, one per line.  End with CNTL/Z.

GSR-1-PE-5(config)#hw-module slot 1 qm-sanity tofab warning freq 10

GSR-1-PE-5(config)#end

GSR-1-PE-5#attach 1

02:57:25: %SYS-5-CONFIG_I: Configured from console by console

GSR-1-PE-5#attach 1           

Entering Console for Modular SPA Interface Card in Slot: 1

Type "exit" to end this session










Press RETURN to get started!







LC-Slot1>en

LC-Slot1#test fab

BFLC diagnostic console program

BFLC (? for help) [?]: qm_sanity_info

ToFab QM Sanity level Warning

FrFab QM Sanity level None

Sanity Check is triggered every 10 seconds

Min. buffers threshold in percentage 5




BFLC (? for help) [qm_sanity_info]: q

LC-Slot1#exit




Disconnecting from slot 1.

Connection Duration: 00:00:27







GSR-1-PE-5#execute-on all show controllers tofab queues

========= Line Card (Slot 0) =========

Carve information for ToFab buffers

   SDRAM size: 268435456 bytes, address: E0000000, carve base: E0018000

   268337152 bytes carve size,  4 SDRAM bank(s), 16384 bytes SDRAM pagesize, 2 carve(s)

   max buffer data size 4592 bytes, min buffer data size 80 bytes

   262141/262141 buffers specified/carved

   265028848/265028848 bytes sum buffer sizes specified/carved 




 Qnum Head Tail #Qelem LenThresh

 ---- ---- ---- ------ ---------




   4 non-IPC free queues:




 107232/107232 (buffers specified/carved), 40.90%, 80 byte data size

 601   107832 107232 262143

 73232/73232 (buffers specified/carved), 27.93%, 608 byte data size

 107833 181064 73232 262143

 57539/57539 (buffers specified/carved), 21.94%, 1616 byte data size

 181065 238603 57539 262143

 23538/23538 (buffers specified/carved), 8.97%, 4592 byte data size

 238604 262141 23538 262143

   IPC Queue:

 600/600 (buffers specified/carved), 0.22%, 4112 byte data size

 155   154   600   262143

   Raw Queue (high priority):

 0     0     0     65535 

   Raw Queue (medium priority):

 0     0     0     32767 

   Raw Queue (low priority):

 0     0     0     16383 

   ToFab Queues:

   Dest Slot Queue# Head Tail Length Threshold

                          pkts  pkts

   ==============================================================

   0  0 0 0 0 262143

     15  2191(hpr) 0 0 0 0




   Multicast   2048 0 0 0 262143

   2049 0 0 0 262143

 ========= Line Card (Slot 1) =========

Carve information for ToFab buffers

   SDRAM size: 268435456 bytes, address: 26000000, carve base: 26010000

   268369920 bytes carve size,  4 SDRAM bank(s), 32768 bytes SDRAM pagesize, 2 carve(s)

   max buffer data size 4592 bytes, min buffer data size 80 bytes

   262140/261472 buffers specified/carved

   267790176/264701344 bytes sum buffer sizes specified/carved 




 Qnum Head Tail #Qelem LenThresh

 ---- ---- ---- ------ ---------




   4 non-IPC free queues:




 102001/102001 (buffers specified/carved), 39.1%, 80 byte data size

 1     601   102601 102001 262143

 78462/78462 (buffers specified/carved), 30.0%, 608 byte data size

 2     102602 181063 78462 262143

 57539/57539 (buffers specified/carved), 22.0%, 1616 byte data size

 3     181064 238602 57539 262143

 23538/22870 (buffers specified/carved), 8.74%, 4592 byte data size

 4     238603 261472 22870 262143

   IPC Queue:

 600/600 (buffers specified/carved), 0.22%, 4112 byte data size

 30    85    84    600   262143

   Raw Queue (high priority):

 27    0     0     0     65368 

   Raw Queue (medium priority):

 28    0     0     0     32684 

   Raw Queue (low priority):

 31    0     0     0     16342 

   ToFab Queues:

   Dest Slot Queue# Head Tail Length Threshold

                          pkts  pkts

  =============================================================

 ::::::::::::::::::::

   Hi Priority

   0 2176(hpr) 0 0 0

   1 2177(hpr) 0 0 0

   2 2178(hpr) 0 0 0

   3 2179(hpr) 0 0 0

   4 2180(hpr) 553 552 0

   5 2181(hpr) 0 0 0

   6 2182(hpr) 0 0 0

   7 2183(hpr) 0 0 0

   8 2184(hpr) 0 0 0

   9 2185(hpr) 0 0 0

   10 2186(hpr) 0 0 0

   11 2187(hpr) 0 0 0

   12 2188(hpr) 0 0 0

   13 2189(hpr) 0 0 0

   14 2190(hpr) 0 0 0

   15 2191(hpr) 0 0 0




   Multicast

   2048 0 0 0

   2049 0 0 0

   2050 0 0 0

   2051 0 0 0

   2052 0 0 0

   2053 0 0 0

   2054 0 0 0

   2055 0 0 0




========= Line Card (Slot 3) =========

Carve information for ToFab buffers

   SDRAM size: 268435456 bytes, address: E0000000, carve base: E0018000

   268337152 bytes carve size,  4 SDRAM bank(s), 16384 bytes SDRAM pagesize, 2 carve(s)

   max buffer data size 4112 bytes, min buffer data size 80 bytes

   262142/262142 buffers specified/carved

   230886224/230886224 bytes sum buffer sizes specified/carved 




 Qnum Head Tail #Qelem LenThresh

 ---- ---- ---- ------ ---------




   3 non-IPC free queues:




 94155/94155 (buffers specified/carved), 35.91%, 80 byte data size

 601   94755 94155 262143

 57539/57539 (buffers specified/carved), 21.94%, 608 byte data size

 94756 152294 57539 262143

 109848/109848 (buffers specified/carved), 41.90%, 1616 byte data size

 152295 262142 109848 262143

   IPC Queue:

 600/600 (buffers specified/carved), 0.22%, 4112 byte data size

 207   206   600   262143

   Raw Queue (high priority):

 0     0     0     65535 

   Raw Queue (medium priority):

 0     0     0     32767 

   Raw Queue (low priority):

 0     0     0     16383 

   ToFab Queues:

   Dest Slot Queue# Head Tail Length Threshold

                          pkts  pkts

   ==============================================================

   0  0 0 0 0 262143

  1 0 0 0 262143

  2 0 0 0 262143

  3 0 0 0 262143

  :::::::::::::::::::::::::::

   2049 0 0 0 262143

   2050 0 0 0 262143

   2051 0 0 0 262143

   2052 0 0 0 262143

   2053 0 0 0 262143

   2054 0 0 0 262143

   2055 0 0 0 262143







GSR-1-PE-5#execute-on slot 2 show controller frfab queues

========= Line Card (Slot 2) =========

Carve information for FrFab buffers

   SDRAM size: 268435456 bytes, address: D0000000, carve base: D241D100

   230567680 bytes carve size,  4 SDRAM bank(s), 16384 bytes SDRAM pagesize, 2 carve(s)

   max buffer data size 4592 bytes, min buffer data size 80 bytes

   235926/235926 buffers specified/carved

   226853664/226853664 bytes sum buffer sizes specified/carved 




 Qnum Head Tail #Qelem LenThresh

 ---- ---- ---- ------ ---------




   4 non-IPC free queues:




 96484/96484 (buffers specified/carved), 40.89%, 80 byte data size

 11598 11597 96484 262143

 77658/77658 (buffers specified/carved), 32.91%, 608 byte data size

 103116 103115 77658 262143

 40005/40005 (buffers specified/carved), 16.95%, 1616 byte data size

 178588 178587 40005 262143

 21179/21179 (buffers specified/carved), 8.97%, 4592 byte data size

 214748 235926 21179 262143

   IPC Queue:

 600/600 (buffers specified/carved), 0.25%, 4112 byte data size

 66    65    600   262143

   Multicast Raw Queue:

 0     0     0     58981 

   Multicast Replication Free Queue:

 235930 262143 26214 262143

   Raw Queue (high priority):

 78    77    0     235927

   Raw Queue (medium priority):

 11596 11595 0     58981 

   Raw Queue (low priority):

 0     0     0     23592 

   Interface Queues:

   Interface Queue# Head Tail Length Threshold

                         pkts  pkts

   ======================================================

   0    0 103107 103106 0 32768

  3 178588 178587 0 32768

   1    4 103110 103109 0 32768

  7 11586 11585 0 32768

   2    8 0 0 0 32768

  11 0 0 0 32768

   3    12 0 0 0 32768

  15 0 0 0 32768




GSR-1-PE-5#