排除Nexus 2232上的TX暫停故障

簡介

本檔案將說明一些資訊，以協助排解Nexus 2232主機介面(HIF)連線埠上的傳輸(TX)暫停問題。它側重於主機到網路(H2N)方向的流量（從伺服器到網路、從南到北的流量）。 它不包括與網路到主機(N2H)流量流相關的方案。

本文檔主要針對Nexus 2232交換矩陣擴展器(FEX)編寫，但該概念適用於B22和2248UPQ FEX。

必要條件

需求

思科建議您瞭解以下主題

• Cisco Nexus 2000系列配置
• Cisco Nexus 6000系列配置

採用元件

本文中的資訊係根據以下軟體和硬體版本：

• Cisco Nexus N2K-C2232PP-10GE
• Cisco Nexus 6001
• 7.1(1)N1(1)

本文中的資訊是根據特定實驗室環境內的裝置所建立。文中使用到的所有裝置皆從已清除（預設）的組態來啟動。如果您的網路正在作用，請確保您已瞭解任何指令可能造成的影響。

輸入緩衝區

Nexus 2232具有32個1/10G面向主機(HIF)埠和8個10G面向網路(NIF)埠。

深入瞭解TX暫停問題之前，您需要瞭解FEX介面上的可用緩衝區。可以通過父交換機上的以下命令檢查分配給介面/qos-group的緩衝區：

 esc-6001# show queuing interface ethernet 147/1/1
if_slot 79, ifidx 0x1f920000
Ethernet147/1/1 queuing information:
  Input buffer allocation:
  Qos-group: 0 
  frh: 8
  drop-type: drop
  cos: 0 1 2 3 4 5 6
  xon       xoff      buffer-size
  ---------+---------+-----------
  0         126720    151040   

<snip>

如所示，對於丟棄類流量(qos-group 0)，使用預設服務品質(QoS)時，FEX HIF有151040位元組用於緩衝H2N流量，而XOFF閾值為126720位元組。

流量控制組態

Nexus 2232超訂用至8:1。為了避免由於超訂用和緩衝區溢位導致H2N方向的資料包丟棄，Nexus 2232預設啟用HIF流量控制傳送： 

esc-6001# show run int ethernet 147/1/1 all | inc flow
  priority-flow-control mode auto
  flowcontrol receive off
  flowcontrol send on
esc-6001# show interface ethernet 147/1/1 flowcontrol 

--------------------------------------------------------------------------------
Port         Send FlowControl  Receive FlowControl  RxPause   TxPause  
             admin    oper     admin    oper
--------------------------------------------------------------------------------
Eth147/1/1   on       on       off      off         0                 0                

Nexus 2232上TX暫停的原因

當達到126720位元組的XOFF閾值時，Nexus 2232會向HIF上的主機傳送TX暫停。常見原因包括：

1.進入FEX的H2N流量非常繁忙，導致入口緩衝區滿滿並達到XOFF閾值。

2.大多數FEX部署使用埠通道來聚合多個NIF。由於入口緩衝區也出現TX暫停，而由於FEX上的EtherChannel雜湊衝突而導致入口緩衝區已滿。當多個HIF埠由於EtherChannel結果而嘗試從單個NIF輸出時，會發生這種情況。

H2N方向的丟包

為了避免丟包，一旦達到XOFF閾值，就會傳送TX暫停。但是，在以下情況下，可以看到H2N流量丟棄：

1.伺服器不會支援暫停，

2.延遲以暫停導致151KB丟棄閾值命中。

實驗室測試案例

網路圖表

對於實驗室中的此測試，有四個10G螺旋埠用作主機，兩個在FEX上，兩個在父Nexus 6001上。所有埠都位於VLAN 50中。FEX或父級上沒有其他埠處於活動狀態：

esc-6001# show port-channel summary 
Flags:  D - Down        P - Up in port-channel (members)
        I - Individual  H - Hot-standby (LACP only)
        s - Suspended   r - Module-removed
        S - Switched    R - Routed
        U - Up (port-channel)
        M - Not in use. Min-links not met
--------------------------------------------------------------------------------
Group Port-       Type     Protocol  Member Ports
      Channel
--------------------------------------------------------------------------------
147   Po147(SU)   Eth      NONE      Eth1/41(P)   Eth1/42(P)   Eth1/43(P)
                                     Eth1/44(P)   Eth1/45(P)   Eth1/46(P)
                                     Eth1/47(P)   Eth1/48(P)   
esc-6001# show fex 147 detail | exc Down
FEX: 147 Description: FEX0147   state: Online
  FEX version: 7.1(1)N1(1) [Switch version: 7.1(1)N1(1)]
  FEX Interim version: 7.1(1)N1(1)
  Switch Interim version: 7.1(1)N1(1)
  Extender Serial: FOT1635R003
  Extender Model: N2K-C2232PP-10GE,  Part No: 73-12533-05
  Card Id: 82, Mac Addr: 20:3a:07:34:5b:02, Num Macs: 64
  Module Sw Gen: 21  [Switch Sw Gen: 21]
  post level: complete
  Pinning-mode: static    Max-links: 1
  Fabric port for control traffic: Eth1/47
  FCoE Admin: false
  FCoE Oper: true
  FCoE FEX AA Configured: false
  Fabric interface state:
    Po147 - Interface Up. State: Active
    Eth1/41 - Interface Up. State: Active
    Eth1/42 - Interface Up. State: Active
    Eth1/43 - Interface Up. State: Active
    Eth1/44 - Interface Up. State: Active
    Eth1/45 - Interface Up. State: Active
    Eth1/46 - Interface Up. State: Active
    Eth1/47 - Interface Up. State: Active
    Eth1/48 - Interface Up. State: Active
  Fex Port        State  Fabric Port
       Eth147/1/1    Up       Po147
       Eth147/1/9    Up       Po147
Logs:
04/21/2015 21:58:30.162193: Module register received
04/21/2015 21:58:30.164611: Registration response sent
04/21/2015 21:58:30.196708: create module inserted event.
04/21/2015 21:58:30.197425: Module Online Sequence
04/21/2015 21:58:35.051474: Module Online

測試1.主機上未啟用流量控制的突發流量

當您從Eth147/1/1（到Eth1/16）和Eth147/1/9(do Eth1/32)上的主機傳送100K 1500位元組的線路速率單播突發時。 每個流都是一個流。已在主機(Spirent)上禁用流量控制。

結果:接收器埠報告每個流丟棄了約563個資料包。由於主機上已禁用流控制，因此您可以看到更多的TX暫停和高延遲（約100微秒）：

esc-6001# clear counters ; clear qos stat
esc-6001# 
esc-6001# show interface ethernet 147/1/1, ethernet 147/1/9 | egrep Ethernet147|pause|unicast
Ethernet147/1/1 is up
    100000 unicast packets  0 multicast packets  0 broadcast packets
    0 Rx pause
    0 unicast packets  578269 multicast packets  0 broadcast packets
    578267 Tx pause
Ethernet147/1/9 is up
    100000 unicast packets  0 multicast packets  0 broadcast packets
    0 Rx pause
    0 unicast packets  578275 multicast packets  0 broadcast packets
    578273 Tx pause
esc-6001# show interface ethernet 147/1/1, eth147/1/9 flowcontrol 

--------------------------------------------------------------------------------
Port         Send FlowControl  Receive FlowControl  RxPause   TxPause  
             admin    oper     admin    oper
--------------------------------------------------------------------------------
Eth147/1/1   on       on       off      off         0                 578267           
Eth147/1/9   on       on       off      off         0                 578273  

接收方報告的丟棄實際上丟棄在FEX本身。有內部硬體命令可以顯示丟包，但這要求您完全瞭解FEX內部體系結構，該體系結構不屬於本文檔的範圍。如果您需要檢查這些計數器，請與TAC接洽，瞭解故障排除的此方面。

測試2.主機上已啟用流量控制的突發流量

當您傳送單流100K 1500位元組線速單播突發時，從Eth147/1/1（到Eth1/16）和Eth147/1/9(do Eth1/32)上的主機發起。 每個流都是一個流。已在主機(Spirent)上啟用流量控制。

結果:

接收器埠報告無丟失。最小TX暫停和平均延遲約為19微秒：

esc-6001# clear counters ; clear qos stat
esc-6001# show interface ethernet 147/1/1, ethernet 147/1/9 | egrep Ethernet147|pause|unicast
Ethernet147/1/1 is up
    100000 unicast packets  0 multicast packets  0 broadcast packets
    0 Rx pause
    0 unicast packets  4743 multicast packets  0 broadcast packets
    4739 Tx pause
Ethernet147/1/9 is up
    100000 unicast packets  0 multicast packets  0 broadcast packets
    0 Rx pause
    0 unicast packets  4703 multicast packets  0 broadcast packets
    4700 Tx pause
           
esc-6001# show interface ethernet 147/1/1, eth147/1/9 flowcontrol 

--------------------------------------------------------------------------------
Port         Send FlowControl  Receive FlowControl  RxPause   TxPause  
             admin    oper     admin    oper
--------------------------------------------------------------------------------
Eth147/1/1   on       on       off      off         0                 4739             
Eth147/1/9   on       on       off      off         0                 4700             

Drops:

沒有丟包，因為主機接受從FEX傳送的流量控制。

測試3.乙太通道雜湊衝突

FEX和父交換機之間的上行鏈路是埠通道。雖然這取決於選取的埠通道中的哪個成員以及它有多忙，但在FEX HIF上可看到TX暫停。在本實驗中，FEX上只有兩個埠處於活動狀態，埠通道中使用的所有8個上行鏈路都處於活動狀態。

但是在本測試中，使用預設雜湊時，來自乙太網147/1/1和乙太網147/1/9上的主機的流量會雜湊到連線到6001上的Eth1/41的NIF0。如果從主機傳送98%的線路速率流量，則會在兩個HIF上傳送TX暫停。

對於此測試，已在主機上禁用流量控制：

esc-6001# show interface ethernet 147/1/1, ethernet 147/1/9 | inc Ethernet14|rate|pause
Ethernet147/1/1 is up
  30 seconds input rate 9836009128 bits/sec, 819667 packets/sec
  30 seconds output rate 2516922296 bits/sec, 4915863 packets/sec
    input rate 9.84 Gbps, 819.67 Kpps; output rate 2.52 Gbps, 4.91 Mpps
    0 Rx pause
    98376923 Tx pause
Ethernet147/1/9 is up
  30 seconds input rate 9836252112 bits/sec, 819687 packets/sec
  30 seconds output rate 2516980960 bits/sec, 4915978 packets/sec
    input rate 9.84 Gbps, 819.69 Kpps; output rate 2.52 Gbps, 4.91 Mpps
    0 Rx pause
    98376916 Tx pause
esc-6001# show port-channel traffic interface port-channel 147
ChanId      Port Rx-Ucst Tx-Ucst Rx-Mcst Tx-Mcst Rx-Bcst Tx-Bcst
------ --------- ------- ------- ------- ------- ------- -------
   147   Eth1/41  99.99%    0.0%  12.50%  12.50%    0.0%    0.0%
   147   Eth1/42    0.0%    0.0%  12.50%  12.50%    0.0%    0.0%
   147   Eth1/43    0.0%    0.0%  12.50%  12.50%    0.0%    0.0%
   147   Eth1/44    0.0%    0.0%  12.50%  12.50%    0.0%    0.0%
   147   Eth1/45    0.0%    0.0%  12.50%  12.50%    0.0%    0.0%
   147   Eth1/46    0.0%    0.0%  12.50%  12.50%    0.0%    0.0%
   147   Eth1/47   0.00%  99.00%  12.50%  12.50%    0.0%    0.0%
   147   Eth1/48    0.0%   1.00%  12.50%  12.50%    0.0%    0.0%
esc-6001# attach fex 147
Attaching to FEX 147 ...
To exit type 'exit', to abort type '$.' 
fex-147# dbgexec w
woo> rate
+--------++------------+-----------+------------++------------+-----------+------------+-------+-------+---+
| Port   || Tx Packets |  Tx Rate  |   Tx Bit   || Rx Packets |  Rx Rate  |   Rx Bit   |Avg Pkt|Avg Pkt|   |
|        ||            |  (pkts/s) |    Rate    ||            |  (pkts/s) |    Rate    | (Tx)  | (Rx)  |Err|
+--------++------------+-----------+------------++------------+-----------+------------+-------+-------+---+
| 0-NI8  ||         24 |         4 |  11.23Kbps ||         22 |         4 |  16.49Kbps |   272 |   448 |   |
| 0-NI7  ||         15 |         3 |   4.17Kbps ||         17 |         3 |   3.81Kbps |   154 |   120 |   |
| 0-NI6  ||          1 |         0 |   1.76Kbps ||          1 |         0 |   1.08Kbps |  1080 |   656 |   |
| 0-NI5  ||          1 |         0 |   1.76Kbps ||          1 |         0 |   1.08Kbps |  1080 |   656 |   |
| 0-NI4  ||          1 |         0 |   1.76Kbps ||          1 |         0 |   1.08Kbps |  1080 |   656 |   |
| 0-NI3  ||          1 |         0 |   1.76Kbps ||          1 |         0 |   1.08Kbps |  1080 |   656 |   |
| 0-NI2  ||          1 |         0 |   1.76Kbps ||          1 |         0 |   1.08Kbps |  1080 |   656 |   |
| 0-NI1  ||          1 |         0 |   1.76Kbps ||          1 |         0 |   1.08Kbps |  1080 |   656 |   |
| 0-NI0  ||    4108297 |    821659 |  10.05Gbps ||          1 |         0 |   1.08Kbps |  1509 |   656 |   |
| 0-HI31 ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |
| 0-HI30 ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |
| 0-HI29 ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |
| 0-HI28 ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |
| 0-HI27 ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |
| 0-HI26 ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |
| 0-HI25 ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |
| 0-HI24 ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |
| 0-HI23 ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |
| 0-HI22 ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |
| 0-HI21 ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |
| 0-HI20 ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |
| 0-HI19 ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |
| 0-HI18 ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |
| 0-HI17 ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |
| 0-HI16 ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |
| 0-HI14 ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |
| 0-HI13 ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |
| 0-HI12 ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |
| 0-HI11 ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |
| 0-HI10 ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |
| 0-HI9  ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |
| 0-HI8  ||   24556087 |   4911217 |   3.30Gbps ||    4094470 |    818894 |   9.95Gbps |    64 |  1500 |   |
| 0-HI6  ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |
| 0-HI5  ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |
| 0-HI4  ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |
| 0-HI3  ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |
| 0-HI2  ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |
| 0-HI1  ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |
| 0-HI0  ||   24560241 |   4912048 |   3.30Gbps ||    4095156 |    819031 |   9.95Gbps |    64 |  1500 |   |
+--------++------------+-----------+------------++------------+-----------+------------+-------+-------+---+

Drops:

由於主機未配置流量控制，因此存在丟包。

在主機上啟用流量控制後，主機將執行暫停和限制後退：

esc-6001# clear counters ; clear qos stat
esc-6001# 
esc-6001# show interface ethernet 147/1/1, ethernet 147/1/9 | inc Ethernet14|rate|pause
Ethernet147/1/1 is up
  30 seconds input rate 4926871976 bits/sec, 410572 packets/sec
  30 seconds output rate 1288637816 bits/sec, 2516870 packets/sec
    input rate 4.93 Gbps, 410.57 Kpps; output rate 1.29 Gbps, 2.52 Mpps
    0 Rx pause
    88129183 Tx pause
Ethernet147/1/9 is up
  30 seconds input rate 4924820632 bits/sec, 410401 packets/sec
  30 seconds output rate 1287225224 bits/sec, 2514111 packets/sec
    input rate 4.92 Gbps, 410.40 Kpps; output rate 1.29 Gbps, 2.51 Mpps
    0 Rx pause
    88069874 Tx pause
esc-6001# show port-channel traffic interface port-channel 147
ChanId      Port Rx-Ucst Tx-Ucst Rx-Mcst Tx-Mcst Rx-Bcst Tx-Bcst
------ --------- ------- ------- ------- ------- ------- -------
   147   Eth1/41  99.99%    0.0%  12.50%  12.50%    0.0%    0.0%
   147   Eth1/42    0.0%    0.0%  12.50%  12.50%    0.0%    0.0%
   147   Eth1/43    0.0%    0.0%  12.50%  12.50%    0.0%    0.0%
   147   Eth1/44    0.0%    0.0%  12.50%  12.50%    0.0%    0.0%
   147   Eth1/45    0.0%    0.0%  12.50%  12.50%    0.0%    0.0%
   147   Eth1/46    0.0%    0.0%  12.50%  12.50%    0.0%    0.0%
   147   Eth1/47   0.00%  99.00%  12.50%  12.50%    0.0%    0.0%
   147   Eth1/48    0.0%   1.00%  12.50%  12.50%    0.0%    0.0%
esc-6001# attach fex 147
Attaching to FEX 147 ...
To exit type 'exit', to abort type '$.' 
fex-147# dbgexec w
woo> rate
+--------++------------+-----------+------------++------------+-----------+------------+-------+-------+---+
| Port   || Tx Packets |  Tx Rate  |   Tx Bit   || Rx Packets |  Rx Rate  |   Rx Bit   |Avg Pkt|Avg Pkt|   |
|        ||            |  (pkts/s) |    Rate    ||            |  (pkts/s) |    Rate    | (Tx)  | (Rx)  |Err|
+--------++------------+-----------+------------++------------+-----------+------------+-------+-------+---+
| 0-NI8  ||         32 |         6 |  19.76Kbps ||         19 |         3 |  16.01Kbps |   366 |   506 |   |
| 0-NI7  ||         13 |         2 |   3.85Kbps ||         20 |         4 |   5.14Kbps |   165 |   140 |   |
| 0-NI6  ||          1 |         0 |   1.76Kbps ||          2 |         0 |   2.16Kbps |  1080 |   656 |   |
| 0-NI5  ||          1 |         0 |   1.76Kbps ||          2 |         0 |   2.16Kbps |  1080 |   656 |   |
| 0-NI4  ||          1 |         0 |   1.76Kbps ||          2 |         0 |   2.16Kbps |  1080 |   656 |   |
| 0-NI3  ||          1 |         0 |   1.76Kbps ||          2 |         0 |   2.16Kbps |  1080 |   656 |   |
| 0-NI2  ||          1 |         0 |   1.76Kbps ||          2 |         0 |   2.16Kbps |  1080 |   656 |   |
| 0-NI1  ||          1 |         0 |   1.76Kbps ||          2 |         0 |   2.16Kbps |  1080 |   656 |   |
| 0-NI0  ||    4105292 |    821058 |  10.04Gbps ||          2 |         0 |   2.16Kbps |  1509 |   656 |   |
| 0-HI31 ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |
| 0-HI30 ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |
| 0-HI29 ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |
| 0-HI28 ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |
| 0-HI27 ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |
| 0-HI26 ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |
| 0-HI25 ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |
| 0-HI24 ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |
| 0-HI23 ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |
| 0-HI22 ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |
| 0-HI21 ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |
| 0-HI20 ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |
| 0-HI19 ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |
| 0-HI18 ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |
| 0-HI17 ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |
| 0-HI16 ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |
| 0-HI14 ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |
| 0-HI13 ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |
| 0-HI12 ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |
| 0-HI11 ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |
| 0-HI10 ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |
| 0-HI9  ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |
| 0-HI8  ||   12556848 |   2511369 |   1.68Gbps ||    2049754 |    409950 |   4.98Gbps |    63 |  1500 |   |
| 0-HI6  ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |
| 0-HI5  ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |
| 0-HI4  ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |
| 0-HI3  ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |
| 0-HI2  ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |
| 0-HI1  ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |
| 0-HI0  ||   12573036 |   2514607 |   1.68Gbps ||    2051092 |    410218 |   4.98Gbps |    64 |  1499 |   |
+--------++------------+-----------+------------++------------+-----------+------------+-------+-------+---+

補救

預設情況下，對於IP流量，FEX負載平衡基於源 — 目標MAC/IP。對於類似的問題，請更改雜湊演算法，以便通過交換矩陣埠通道更好地分配流量。如果看到負載不均衡，請使用此方法。此選項不是絕對的解決方案：

 esc-6001# show port-channel load-balance 

Port Channel Load-Balancing Configuration:
System: source-dest-ip

Port Channel Load-Balancing Addresses Used Per-Protocol:
Non-IP: source-dest-mac
IP: source-dest-ip source-dest-mac

Which hashing algorithm  to choose depends on traffic profile. Here are the options available.

esc-6001# conf t
Enter configuration commands, one per line.  End with CNTL/Z.

esc-6001(config)# port-channel load-balance ethernet ?
  destination-ip         Destination IP address
  destination-mac        Destination MAC address
  destination-port       Destination TCP/UDP port
  source-dest-ip         Source & Destination IP address (includes l2)
  source-dest-ip-only    Source & Destination IP addresses only
  source-dest-mac        Source & Destination MAC address
  source-dest-port       Source & Destination TCP/UDP port (includes l2 and l3)
  source-dest-port-only  Source & Destination TCP/UDP port only
  source-ip              Source IP address
  source-mac             Source MAC address
  source-port            Source TCP/UDP port

結論和最佳做法

1. 2232/2248UPQ/B22 FEX中，TX暫停是避免封包捨棄的正常操作機制。

2. 2232/2248UPQ/B22 FEX與父交換機之間的上行鏈路數量最大化。為了能夠有更多的路徑通往網路，同時還有助於為N2H流量設定最大緩衝區。

3.如果FEX和父交換機之間的上行鏈路使用不均勻，則更改埠通道雜湊會有所幫助。

4.由於FEX上沒有本地交換，因此應避免在FEX上的主機上設定東 — 西流量配置檔案。

5.避免NAS裝置、FEX上的刀片機箱等突發裝置。這些必須發生在父母身上。

6.更新的2348UPQ FEX具有32M共用緩衝區，每個HIF有1MB共用緩衝區，用於提高H2N流量突發吸收能力。此外，使用40G NIF上行鏈路時，雜湊衝突/上行鏈路擁塞的機率會大幅降低。