排除Nexus 2232上的TX暂停故障

简介

本文档介绍这些信息，以帮助排除Nexus 2232主机接口(HIF)端口上的传输(TX)暂停故障。它侧重于主机到网络(H2N)方向的流量（从服务器传入到网络、从南向北的流量）。 它不涵盖与网络到主机(N2H)流量传输相关的场景。

本文档主要为Nexus 2232交换矩阵扩展器(FEX)编写，但该概念适用于B22和2248UPQ FEX。

先决条件

要求

思科建议您了解这些主题

• Cisco Nexus 2000系列配置
• Cisco Nexus 6000系列配置

使用的组件

本文档中的信息基于以下软件和硬件版本：

• 思科Nexus N2K-C2232PP-10GE
• 思科Nexus 6001
• 7.1(1)N1(1)

本文档中的信息都是基于特定实验室环境中的设备编写的。本文档中使用的所有设备最初均采用原始（默认）配置。如果您使用的是真实网络，请确保您已经了解所有命令的潜在影响。

入口缓冲区

Nexus 2232有32个面向1/10G主机(HIF)端口和8个面向10G网络(NIF)端口。

在深入探讨TX暂停问题之前，您需要了解FEX接口上的可用缓冲区。在父交换机上，可通过以下命令检查分配给接口/qos-group的缓冲区：

 esc-6001# show queuing interface ethernet 147/1/1
if_slot 79, ifidx 0x1f920000
Ethernet147/1/1 queuing information:
  Input buffer allocation:
  Qos-group: 0 
  frh: 8
  drop-type: drop
  cos: 0 1 2 3 4 5 6
  xon       xoff      buffer-size
  ---------+---------+-----------
  0         126720    151040   

<snip>

如图所示，对于丢弃类流量(qos-group 0)，使用默认服务质量(QoS)时，FEX HIF具有151040个字节以缓冲H2N流量，XOFF阈值为126720个字节。

流量控制配置

Nexus 2232超订用为8:1。为避免由于超订用和缓冲区超限而在H2N方向丢包，Nexus 2232默认启用HIF流控制发送： 

esc-6001# show run int ethernet 147/1/1 all | inc flow
  priority-flow-control mode auto
  flowcontrol receive off
  flowcontrol send on
esc-6001# show interface ethernet 147/1/1 flowcontrol 

--------------------------------------------------------------------------------
Port         Send FlowControl  Receive FlowControl  RxPause   TxPause  
             admin    oper     admin    oper
--------------------------------------------------------------------------------
Eth147/1/1   on       on       off      off         0                 0                

Nexus 2232上TX暂停的原因

当XOFF阈值达到126720字节时，Nexus 2232会向HIF上的主机发送TX暂停。造成这种情况的常见原因有：

1.进入FEX的H2N流量非常突发，这会导致入口缓冲区充满并达到XOFF阈值。

2.大多数FEX部署使用端口通道聚合多个NIF。TX暂停也由于入口缓冲区而出现，由于FEX上的EtherChannel哈希冲突，该缓冲区已满。当多个HIF端口由于etherchannel结果而尝试从单个NIF出口时，会发生这种情况。

H2N方向的丢弃

为避免丢包，一旦XOFF阈值达到，就会发送TX暂停。但是，在以下情况下，可以看到H2N流量丢弃：

1.服务器不会执行暂停或

2.延迟以执行导致151KB丢弃阈值命中的暂停。

实验测试案例

网络图

在本实验中的本测试中，有四个10Gspirent端口用作主机，两个在FEX上，两个在父Nexus 6001上。所有端口都在VLAN 50中。FEX或父交换机上没有其他端口处于活动状态：

esc-6001# show port-channel summary 
Flags:  D - Down        P - Up in port-channel (members)
        I - Individual  H - Hot-standby (LACP only)
        s - Suspended   r - Module-removed
        S - Switched    R - Routed
        U - Up (port-channel)
        M - Not in use. Min-links not met
--------------------------------------------------------------------------------
Group Port-       Type     Protocol  Member Ports
      Channel
--------------------------------------------------------------------------------
147   Po147(SU)   Eth      NONE      Eth1/41(P)   Eth1/42(P)   Eth1/43(P)
                                     Eth1/44(P)   Eth1/45(P)   Eth1/46(P)
                                     Eth1/47(P)   Eth1/48(P)   
esc-6001# show fex 147 detail | exc Down
FEX: 147 Description: FEX0147   state: Online
  FEX version: 7.1(1)N1(1) [Switch version: 7.1(1)N1(1)]
  FEX Interim version: 7.1(1)N1(1)
  Switch Interim version: 7.1(1)N1(1)
  Extender Serial: FOT1635R003
  Extender Model: N2K-C2232PP-10GE,  Part No: 73-12533-05
  Card Id: 82, Mac Addr: 20:3a:07:34:5b:02, Num Macs: 64
  Module Sw Gen: 21  [Switch Sw Gen: 21]
  post level: complete
  Pinning-mode: static    Max-links: 1
  Fabric port for control traffic: Eth1/47
  FCoE Admin: false
  FCoE Oper: true
  FCoE FEX AA Configured: false
  Fabric interface state:
    Po147 - Interface Up. State: Active
    Eth1/41 - Interface Up. State: Active
    Eth1/42 - Interface Up. State: Active
    Eth1/43 - Interface Up. State: Active
    Eth1/44 - Interface Up. State: Active
    Eth1/45 - Interface Up. State: Active
    Eth1/46 - Interface Up. State: Active
    Eth1/47 - Interface Up. State: Active
    Eth1/48 - Interface Up. State: Active
  Fex Port        State  Fabric Port
       Eth147/1/1    Up       Po147
       Eth147/1/9    Up       Po147
Logs:
04/21/2015 21:58:30.162193: Module register received
04/21/2015 21:58:30.164611: Registration response sent
04/21/2015 21:58:30.196708: create module inserted event.
04/21/2015 21:58:30.197425: Module Online Sequence
04/21/2015 21:58:35.051474: Module Online

测试1.主机上未启用流量控制的突发流量

当您从Eth147/1/1（到Eth1/16）和Eth147/1/9（到Eth1/32）上的主机发送100K 1500字节线速单播突发时。 每个流是一个流。在主机(Spirent)上禁用流量控制。

结果：接收方端口报告每个流丢弃了大约563个数据包。由于在主机上禁用了流控制，因此您可以看到更多TX暂停和高延迟（大约100微秒）：

esc-6001# clear counters ; clear qos stat
esc-6001# 
esc-6001# show interface ethernet 147/1/1, ethernet 147/1/9 | egrep Ethernet147|pause|unicast
Ethernet147/1/1 is up
    100000 unicast packets  0 multicast packets  0 broadcast packets
    0 Rx pause
    0 unicast packets  578269 multicast packets  0 broadcast packets
    578267 Tx pause
Ethernet147/1/9 is up
    100000 unicast packets  0 multicast packets  0 broadcast packets
    0 Rx pause
    0 unicast packets  578275 multicast packets  0 broadcast packets
    578273 Tx pause
esc-6001# show interface ethernet 147/1/1, eth147/1/9 flowcontrol 

--------------------------------------------------------------------------------
Port         Send FlowControl  Receive FlowControl  RxPause   TxPause  
             admin    oper     admin    oper
--------------------------------------------------------------------------------
Eth147/1/1   on       on       off      off         0                 578267           
Eth147/1/9   on       on       off      off         0                 578273  

接收方报告的丢包实际上会在FEX上丢包。有一些内部硬件命令可显示丢弃，但它要求您完全了解FEX内部架构，而这不在本文档的讨论范围之内。如果您需要检查这些计数器，请联系TAC进行故障排除。

测试2.在主机上启用流量控制的突发流量

当您从Eth147/1/1（到Eth1/16）和Eth147/1/9（到Eth1/32）上的主机发送单流100K 1500字节线速单播突发时。 每个流是一个流。已在主机(Spirent)上启用流量控制。

结果：

接收端口报告无丢失。最小TX暂停和平均延迟约为19微秒：

esc-6001# clear counters ; clear qos stat
esc-6001# show interface ethernet 147/1/1, ethernet 147/1/9 | egrep Ethernet147|pause|unicast
Ethernet147/1/1 is up
    100000 unicast packets  0 multicast packets  0 broadcast packets
    0 Rx pause
    0 unicast packets  4743 multicast packets  0 broadcast packets
    4739 Tx pause
Ethernet147/1/9 is up
    100000 unicast packets  0 multicast packets  0 broadcast packets
    0 Rx pause
    0 unicast packets  4703 multicast packets  0 broadcast packets
    4700 Tx pause
           
esc-6001# show interface ethernet 147/1/1, eth147/1/9 flowcontrol 

--------------------------------------------------------------------------------
Port         Send FlowControl  Receive FlowControl  RxPause   TxPause  
             admin    oper     admin    oper
--------------------------------------------------------------------------------
Eth147/1/1   on       on       off      off         0                 4739             
Eth147/1/9   on       on       off      off         0                 4700             

丢包：

由于主机承担从FEX发送的流量控制，因此没有丢弃。

测试3.以太网通道散列冲突

FEX和父交换机之间的上行链路是端口通道。它取决于端口通道中选择的成员和其繁忙程度，但FEX HIF上可以看到TX暂停。在实验中，FEX上只有两个活动端口，端口通道中使用的所有8个上行链路。

但是，对于此测试，使用默认散列，来自Ethernet 147/1/1和Ethernet 147/1/9上主机的流量将散列到NIF0，该NIF0连接到6001上的Eth1/41。如果从主机发送98%的线速流量，则两个HIF上都会发送TX暂停。

对于此测试，主机上的流量控制已禁用：

esc-6001# show interface ethernet 147/1/1, ethernet 147/1/9 | inc Ethernet14|rate|pause
Ethernet147/1/1 is up
  30 seconds input rate 9836009128 bits/sec, 819667 packets/sec
  30 seconds output rate 2516922296 bits/sec, 4915863 packets/sec
    input rate 9.84 Gbps, 819.67 Kpps; output rate 2.52 Gbps, 4.91 Mpps
    0 Rx pause
    98376923 Tx pause
Ethernet147/1/9 is up
  30 seconds input rate 9836252112 bits/sec, 819687 packets/sec
  30 seconds output rate 2516980960 bits/sec, 4915978 packets/sec
    input rate 9.84 Gbps, 819.69 Kpps; output rate 2.52 Gbps, 4.91 Mpps
    0 Rx pause
    98376916 Tx pause
esc-6001# show port-channel traffic interface port-channel 147
ChanId      Port Rx-Ucst Tx-Ucst Rx-Mcst Tx-Mcst Rx-Bcst Tx-Bcst
------ --------- ------- ------- ------- ------- ------- -------
   147   Eth1/41  99.99%    0.0%  12.50%  12.50%    0.0%    0.0%
   147   Eth1/42    0.0%    0.0%  12.50%  12.50%    0.0%    0.0%
   147   Eth1/43    0.0%    0.0%  12.50%  12.50%    0.0%    0.0%
   147   Eth1/44    0.0%    0.0%  12.50%  12.50%    0.0%    0.0%
   147   Eth1/45    0.0%    0.0%  12.50%  12.50%    0.0%    0.0%
   147   Eth1/46    0.0%    0.0%  12.50%  12.50%    0.0%    0.0%
   147   Eth1/47   0.00%  99.00%  12.50%  12.50%    0.0%    0.0%
   147   Eth1/48    0.0%   1.00%  12.50%  12.50%    0.0%    0.0%
esc-6001# attach fex 147
Attaching to FEX 147 ...
To exit type 'exit', to abort type '$.' 
fex-147# dbgexec w
woo> rate
+--------++------------+-----------+------------++------------+-----------+------------+-------+-------+---+
| Port   || Tx Packets |  Tx Rate  |   Tx Bit   || Rx Packets |  Rx Rate  |   Rx Bit   |Avg Pkt|Avg Pkt|   |
|        ||            |  (pkts/s) |    Rate    ||            |  (pkts/s) |    Rate    | (Tx)  | (Rx)  |Err|
+--------++------------+-----------+------------++------------+-----------+------------+-------+-------+---+
| 0-NI8  ||         24 |         4 |  11.23Kbps ||         22 |         4 |  16.49Kbps |   272 |   448 |   |
| 0-NI7  ||         15 |         3 |   4.17Kbps ||         17 |         3 |   3.81Kbps |   154 |   120 |   |
| 0-NI6  ||          1 |         0 |   1.76Kbps ||          1 |         0 |   1.08Kbps |  1080 |   656 |   |
| 0-NI5  ||          1 |         0 |   1.76Kbps ||          1 |         0 |   1.08Kbps |  1080 |   656 |   |
| 0-NI4  ||          1 |         0 |   1.76Kbps ||          1 |         0 |   1.08Kbps |  1080 |   656 |   |
| 0-NI3  ||          1 |         0 |   1.76Kbps ||          1 |         0 |   1.08Kbps |  1080 |   656 |   |
| 0-NI2  ||          1 |         0 |   1.76Kbps ||          1 |         0 |   1.08Kbps |  1080 |   656 |   |
| 0-NI1  ||          1 |         0 |   1.76Kbps ||          1 |         0 |   1.08Kbps |  1080 |   656 |   |
| 0-NI0  ||    4108297 |    821659 |  10.05Gbps ||          1 |         0 |   1.08Kbps |  1509 |   656 |   |
| 0-HI31 ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |
| 0-HI30 ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |
| 0-HI29 ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |
| 0-HI28 ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |
| 0-HI27 ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |
| 0-HI26 ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |
| 0-HI25 ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |
| 0-HI24 ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |
| 0-HI23 ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |
| 0-HI22 ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |
| 0-HI21 ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |
| 0-HI20 ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |
| 0-HI19 ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |
| 0-HI18 ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |
| 0-HI17 ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |
| 0-HI16 ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |
| 0-HI14 ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |
| 0-HI13 ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |
| 0-HI12 ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |
| 0-HI11 ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |
| 0-HI10 ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |
| 0-HI9  ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |
| 0-HI8  ||   24556087 |   4911217 |   3.30Gbps ||    4094470 |    818894 |   9.95Gbps |    64 |  1500 |   |
| 0-HI6  ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |
| 0-HI5  ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |
| 0-HI4  ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |
| 0-HI3  ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |
| 0-HI2  ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |
| 0-HI1  ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |
| 0-HI0  ||   24560241 |   4912048 |   3.30Gbps ||    4095156 |    819031 |   9.95Gbps |    64 |  1500 |   |
+--------++------------+-----------+------------++------------+-----------+------------+-------+-------+---+

丢包：

由于未为流量控制配置主机，因此存在丢弃。

在主机上启用流量控制后，主机会执行暂停和限制回退：

esc-6001# clear counters ; clear qos stat
esc-6001# 
esc-6001# show interface ethernet 147/1/1, ethernet 147/1/9 | inc Ethernet14|rate|pause
Ethernet147/1/1 is up
  30 seconds input rate 4926871976 bits/sec, 410572 packets/sec
  30 seconds output rate 1288637816 bits/sec, 2516870 packets/sec
    input rate 4.93 Gbps, 410.57 Kpps; output rate 1.29 Gbps, 2.52 Mpps
    0 Rx pause
    88129183 Tx pause
Ethernet147/1/9 is up
  30 seconds input rate 4924820632 bits/sec, 410401 packets/sec
  30 seconds output rate 1287225224 bits/sec, 2514111 packets/sec
    input rate 4.92 Gbps, 410.40 Kpps; output rate 1.29 Gbps, 2.51 Mpps
    0 Rx pause
    88069874 Tx pause
esc-6001# show port-channel traffic interface port-channel 147
ChanId      Port Rx-Ucst Tx-Ucst Rx-Mcst Tx-Mcst Rx-Bcst Tx-Bcst
------ --------- ------- ------- ------- ------- ------- -------
   147   Eth1/41  99.99%    0.0%  12.50%  12.50%    0.0%    0.0%
   147   Eth1/42    0.0%    0.0%  12.50%  12.50%    0.0%    0.0%
   147   Eth1/43    0.0%    0.0%  12.50%  12.50%    0.0%    0.0%
   147   Eth1/44    0.0%    0.0%  12.50%  12.50%    0.0%    0.0%
   147   Eth1/45    0.0%    0.0%  12.50%  12.50%    0.0%    0.0%
   147   Eth1/46    0.0%    0.0%  12.50%  12.50%    0.0%    0.0%
   147   Eth1/47   0.00%  99.00%  12.50%  12.50%    0.0%    0.0%
   147   Eth1/48    0.0%   1.00%  12.50%  12.50%    0.0%    0.0%
esc-6001# attach fex 147
Attaching to FEX 147 ...
To exit type 'exit', to abort type '$.' 
fex-147# dbgexec w
woo> rate
+--------++------------+-----------+------------++------------+-----------+------------+-------+-------+---+
| Port   || Tx Packets |  Tx Rate  |   Tx Bit   || Rx Packets |  Rx Rate  |   Rx Bit   |Avg Pkt|Avg Pkt|   |
|        ||            |  (pkts/s) |    Rate    ||            |  (pkts/s) |    Rate    | (Tx)  | (Rx)  |Err|
+--------++------------+-----------+------------++------------+-----------+------------+-------+-------+---+
| 0-NI8  ||         32 |         6 |  19.76Kbps ||         19 |         3 |  16.01Kbps |   366 |   506 |   |
| 0-NI7  ||         13 |         2 |   3.85Kbps ||         20 |         4 |   5.14Kbps |   165 |   140 |   |
| 0-NI6  ||          1 |         0 |   1.76Kbps ||          2 |         0 |   2.16Kbps |  1080 |   656 |   |
| 0-NI5  ||          1 |         0 |   1.76Kbps ||          2 |         0 |   2.16Kbps |  1080 |   656 |   |
| 0-NI4  ||          1 |         0 |   1.76Kbps ||          2 |         0 |   2.16Kbps |  1080 |   656 |   |
| 0-NI3  ||          1 |         0 |   1.76Kbps ||          2 |         0 |   2.16Kbps |  1080 |   656 |   |
| 0-NI2  ||          1 |         0 |   1.76Kbps ||          2 |         0 |   2.16Kbps |  1080 |   656 |   |
| 0-NI1  ||          1 |         0 |   1.76Kbps ||          2 |         0 |   2.16Kbps |  1080 |   656 |   |
| 0-NI0  ||    4105292 |    821058 |  10.04Gbps ||          2 |         0 |   2.16Kbps |  1509 |   656 |   |
| 0-HI31 ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |
| 0-HI30 ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |
| 0-HI29 ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |
| 0-HI28 ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |
| 0-HI27 ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |
| 0-HI26 ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |
| 0-HI25 ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |
| 0-HI24 ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |
| 0-HI23 ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |
| 0-HI22 ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |
| 0-HI21 ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |
| 0-HI20 ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |
| 0-HI19 ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |
| 0-HI18 ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |
| 0-HI17 ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |
| 0-HI16 ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |
| 0-HI14 ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |
| 0-HI13 ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |
| 0-HI12 ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |
| 0-HI11 ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |
| 0-HI10 ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |
| 0-HI9  ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |
| 0-HI8  ||   12556848 |   2511369 |   1.68Gbps ||    2049754 |    409950 |   4.98Gbps |    63 |  1500 |   |
| 0-HI6  ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |
| 0-HI5  ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |
| 0-HI4  ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |
| 0-HI3  ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |
| 0-HI2  ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |
| 0-HI1  ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |
| 0-HI0  ||   12573036 |   2514607 |   1.68Gbps ||    2051092 |    410218 |   4.98Gbps |    64 |  1499 |   |
+--------++------------+-----------+------------++------------+-----------+------------+-------+-------+---+

补救

默认情况下，对于IP流量，FEX负载均衡基于源 — 目标MAC/IP。对于此类问题，请更改散列算法以通过交换矩阵端口通道获得更好的流量分配。如果您看到不等价负载均衡，请使用此方法。此选项不是绝对解决方案：

 esc-6001# show port-channel load-balance 

Port Channel Load-Balancing Configuration:
System: source-dest-ip

Port Channel Load-Balancing Addresses Used Per-Protocol:
Non-IP: source-dest-mac
IP: source-dest-ip source-dest-mac

Which hashing algorithm  to choose depends on traffic profile. Here are the options available.

esc-6001# conf t
Enter configuration commands, one per line.  End with CNTL/Z.

esc-6001(config)# port-channel load-balance ethernet ?
  destination-ip         Destination IP address
  destination-mac        Destination MAC address
  destination-port       Destination TCP/UDP port
  source-dest-ip         Source & Destination IP address (includes l2)
  source-dest-ip-only    Source & Destination IP addresses only
  source-dest-mac        Source & Destination MAC address
  source-dest-port       Source & Destination TCP/UDP port (includes l2 and l3)
  source-dest-port-only  Source & Destination TCP/UDP port only
  source-ip              Source IP address
  source-mac             Source MAC address
  source-port            Source TCP/UDP port

结论和最佳实践

1. TX暂停是正常的操作机制，以避免2232/2248UPQ/B22 FEX中丢包。

2.最大化2232/2248UPQ/B22 FEX和父交换机之间的上行链路数量。为了能够拥有更多通往网络的路径，同时也有助于为N2H流量提供最大缓冲区。

3.如果FEX和父交换机之间的上行链路未得到均匀使用，则更改端口通道散列会有所帮助。

4.由于FEX上没有本地交换，请避免在FEX上的主机上使用东 — 西流量量变曲线。

5.避免突发设备，如NAS设备、FEX上的刀片机箱。这些必须在父级上。

6.新的2348UPQ FEX，带32M共享缓冲区，每个HIF有1MB共享缓冲区，用于H2N流量，以实现更好的突发吸收。此外，借助40G NIF上行链路，散列冲突/上行链路拥塞的可能性大大降低。