Nexus 2232에서 TX 일시 중지 문제 해결

소개

이 문서에서는 Nexus 2232 HIF(Host Interface) 포트에서 TX(Transmit) 일시 중지 문제를 해결하기 위한 정보를 설명합니다.Host to Network(H2N) 방향의 트래픽(서버에서 네트워크, 남부에서 북쪽으로 들어오는 트래픽)에 중점을 둡니다. N2H(Network to Host) 트래픽 흐름과 관련된 시나리오에는 다루지 않습니다.

이 문서는 주로 Nexus 2232 FEX(Fabric Extender)에 대해 작성되었지만 B22 및 2248UPQ FEX에 적용됩니다.

사전 요구 사항

요구 사항

Cisco에서는 이러한 주제에 대해 알고 있는 것이 좋습니다.

• Cisco Nexus 2000 Series 구성
• Cisco Nexus 6000 Series 구성

사용되는 구성 요소

이 문서의 정보는 다음 소프트웨어 및 하드웨어 버전을 기반으로 합니다.

• Cisco Nexus N2K-C2232PP-10GE
• Cisco Nexus 6001
• 7.1(1)N1(1)

이 문서의 정보는 특정 랩 환경의 디바이스를 토대로 작성되었습니다.이 문서에 사용된 모든 디바이스는 초기화된(기본) 컨피그레이션으로 시작되었습니다.현재 네트워크가 작동 중인 경우, 모든 명령어의 잠재적인 영향을 미리 숙지하시기 바랍니다.

인그레스 버퍼

Nexus 2232에는 32개의 1/10G HIF(Host Facing) 포트와 8개의 10G NIF(Network Facing) 포트가 있습니다.

TX 일시 중지 문제를 자세히 살펴보기 전에 FEX 인터페이스에서 사용 가능한 버퍼를 이해해야 합니다.interface/qos-group에 할당된 버퍼는 상위 스위치에서 다음 명령을 통해 확인할 수 있습니다.

 esc-6001# show queuing interface ethernet 147/1/1
if_slot 79, ifidx 0x1f920000
Ethernet147/1/1 queuing information:
  Input buffer allocation:
  Qos-group: 0 
  frh: 8
  drop-type: drop
  cos: 0 1 2 3 4 5 6
  xon       xoff      buffer-size
  ---------+---------+-----------
  0         126720    151040   

<snip>

예를 들어, 기본 QoS(Quality of Service)를 통해 드롭 클래스 트래픽(qos-group 0)에 대해 FEX HIF는 H2N 트래픽을 버퍼링하기 위해 151040바이트를 가지며 XOFF 임계값은 126720바이트입니다.

플로우 제어 컨피그레이션

Nexus 2232는 8:1에 초과 가입되어 있습니다. 초과 서브스크립션 및 버퍼 오버런으로 인해 H2N 방향으로 패킷 삭제를 방지하기 위해 Nexus 2232는 기본적으로 HIF 흐름 제어 전송을 사용합니다. 

esc-6001# show run int ethernet 147/1/1 all | inc flow
  priority-flow-control mode auto
  flowcontrol receive off
  flowcontrol send on
esc-6001# show interface ethernet 147/1/1 flowcontrol 

--------------------------------------------------------------------------------
Port         Send FlowControl  Receive FlowControl  RxPause   TxPause  
             admin    oper     admin    oper
--------------------------------------------------------------------------------
Eth147/1/1   on       on       off      off         0                 0                

Nexus 2232에서 TX 일시 중지 원인

XOFF 임계값 126720바이트가 적중되면 Nexus 2232는 HIF의 호스트에 TX 일시 중지를 보냅니다.이에 대한 일반적인 원인은 다음과 같습니다.

1. FEX로 들어오는 H2N 트래픽은 매우 버스트하여 인그레스 버퍼가 가득 찬 다음 XOFF 임계값에 도달합니다.

2. 대부분의 FEX 구축에서는 포트 채널을 사용하여 여러 NIF를 집계합니다.TX Pause는 FEX의 etherchannel 해시 충돌로 인해 가득 차는 인그레스 버퍼로 인해 표시됩니다.이는 여러 HIF 포트가 etherchannel 결과로 인해 단일 NIF에서 이그레스(egress)를 시도할 때 발생합니다.

H2N 방향으로 삭제

패킷 삭제를 방지하기 위해 XOFF 임계값에 도달하면 TX Pause가 전송됩니다.그러나 다음과 같은 경우 H2N 트래픽 삭제를 확인할 수 있습니다.

1.서버가 일시 중지를 승인하지 않거나

2 .151KB 드롭 임계값을 적중시키는 일시 중지를 승인하기 위한 지연이 있습니다.

랩 테스트 사례

네트워크 다이어그램

Lab에서 이 테스트의 경우 호스트 역할을 하는 10G 스파이어 포트 4개, FEX에 2개, 상위 Nexus 6001에 2개가 있습니다.모든 포트는 VLAN 50에 있습니다. FEX 또는 상위에서 활성화된 다른 포트는 없습니다.

esc-6001# show port-channel summary 
Flags:  D - Down        P - Up in port-channel (members)
        I - Individual  H - Hot-standby (LACP only)
        s - Suspended   r - Module-removed
        S - Switched    R - Routed
        U - Up (port-channel)
        M - Not in use. Min-links not met
--------------------------------------------------------------------------------
Group Port-       Type     Protocol  Member Ports
      Channel
--------------------------------------------------------------------------------
147   Po147(SU)   Eth      NONE      Eth1/41(P)   Eth1/42(P)   Eth1/43(P)
                                     Eth1/44(P)   Eth1/45(P)   Eth1/46(P)
                                     Eth1/47(P)   Eth1/48(P)   
esc-6001# show fex 147 detail | exc Down
FEX: 147 Description: FEX0147   state: Online
  FEX version: 7.1(1)N1(1) [Switch version: 7.1(1)N1(1)]
  FEX Interim version: 7.1(1)N1(1)
  Switch Interim version: 7.1(1)N1(1)
  Extender Serial: FOT1635R003
  Extender Model: N2K-C2232PP-10GE,  Part No: 73-12533-05
  Card Id: 82, Mac Addr: 20:3a:07:34:5b:02, Num Macs: 64
  Module Sw Gen: 21  [Switch Sw Gen: 21]
  post level: complete
  Pinning-mode: static    Max-links: 1
  Fabric port for control traffic: Eth1/47
  FCoE Admin: false
  FCoE Oper: true
  FCoE FEX AA Configured: false
  Fabric interface state:
    Po147 - Interface Up. State: Active
    Eth1/41 - Interface Up. State: Active
    Eth1/42 - Interface Up. State: Active
    Eth1/43 - Interface Up. State: Active
    Eth1/44 - Interface Up. State: Active
    Eth1/45 - Interface Up. State: Active
    Eth1/46 - Interface Up. State: Active
    Eth1/47 - Interface Up. State: Active
    Eth1/48 - Interface Up. State: Active
  Fex Port        State  Fabric Port
       Eth147/1/1    Up       Po147
       Eth147/1/9    Up       Po147
Logs:
04/21/2015 21:58:30.162193: Module register received
04/21/2015 21:58:30.164611: Registration response sent
04/21/2015 21:58:30.196708: create module inserted event.
04/21/2015 21:58:30.197425: Module Online Sequence
04/21/2015 21:58:35.051474: Module Online

테스트 1. 호스트에서 흐름 제어를 사용할 수 없는 버스트 트래픽

100K 1500바이트 회선 속도 유니캐스트 버스트를 Eth147/1/1(Eth1/16으로) 및 Eth147/1/9(Eth1/32)의 호스트에서 보내는 경우. 각 스트림은 단일 플로우입니다.호스트(Spient)에서 흐름 제어가 비활성화되어 있습니다.

결과:수신기 포트에서 각 플로우에 대해 약 563개의 패킷이 손실되었다고 보고했습니다. 호스트에서 흐름 제어를 사용하지 않도록 설정했으므로 더 많은 TX 일시 중지 및 높은 대기 시간(약 100마이크로초)을 확인할 수 있습니다.

esc-6001# clear counters ; clear qos stat
esc-6001# 
esc-6001# show interface ethernet 147/1/1, ethernet 147/1/9 | egrep Ethernet147|pause|unicast
Ethernet147/1/1 is up
    100000 unicast packets  0 multicast packets  0 broadcast packets
    0 Rx pause
    0 unicast packets  578269 multicast packets  0 broadcast packets
    578267 Tx pause
Ethernet147/1/9 is up
    100000 unicast packets  0 multicast packets  0 broadcast packets
    0 Rx pause
    0 unicast packets  578275 multicast packets  0 broadcast packets
    578273 Tx pause
esc-6001# show interface ethernet 147/1/1, eth147/1/9 flowcontrol 

--------------------------------------------------------------------------------
Port         Send FlowControl  Receive FlowControl  RxPause   TxPause  
             admin    oper     admin    oper
--------------------------------------------------------------------------------
Eth147/1/1   on       on       off      off         0                 578267           
Eth147/1/9   on       on       off      off         0                 578273  

수신자가 보고한 드롭은 실제로 FEX 자체에서 삭제됩니다.드롭을 표시할 수 있는 내부 하드웨어 명령이 있지만 이 문서의 범위를 벗어나는 FEX 내부 아키텍처를 완전히 이해해야 합니다.이러한 카운터를 확인해야 할 경우 TAC에 문의하여 트러블슈팅의 이러한 측면을 확인하십시오.

테스트 2. 호스트에서 흐름 제어가 활성화된 트래픽 증가

단일 플로우 100K 1500바이트 회선 속도 유니캐스트 버스트를 Eth147/1/1(Eth1/16으로) 및 Eth147/1/9(Eth1/32)의 호스트에서 보내는 경우. 각 스트림은 단일 플로우입니다.호스트(Spient)에서 흐름 제어가 활성화됩니다.

결과:

수신기 포트에서 손실이 없다고 보고합니다. 최소 TX 일시 중지 및 평균 대기 시간은 약 19마이크로초:

esc-6001# clear counters ; clear qos stat
esc-6001# show interface ethernet 147/1/1, ethernet 147/1/9 | egrep Ethernet147|pause|unicast
Ethernet147/1/1 is up
    100000 unicast packets  0 multicast packets  0 broadcast packets
    0 Rx pause
    0 unicast packets  4743 multicast packets  0 broadcast packets
    4739 Tx pause
Ethernet147/1/9 is up
    100000 unicast packets  0 multicast packets  0 broadcast packets
    0 Rx pause
    0 unicast packets  4703 multicast packets  0 broadcast packets
    4700 Tx pause
           
esc-6001# show interface ethernet 147/1/1, eth147/1/9 flowcontrol 

--------------------------------------------------------------------------------
Port         Send FlowControl  Receive FlowControl  RxPause   TxPause  
             admin    oper     admin    oper
--------------------------------------------------------------------------------
Eth147/1/1   on       on       off      off         0                 4739             
Eth147/1/9   on       on       off      off         0                 4700             

삭제:

호스트가 FEX에서 보낸 흐름 제어를 준수하기 때문에 삭제는 없습니다.

테스트 3. 이더 채널 해시 충돌

FEX와 상위 간의 업링크는 포트 채널입니다.포트 채널의 어떤 멤버를 선택할지, 얼마나 사용 중인지 여부에 따라 달라지지만 FEX HIF에서 TX 일시 중지를 볼 수 있습니다.Lab에서는 FEX에서 활성화된 포트가 2개, 포트 채널에 사용되는 업링크 8개가 모두 있습니다.

그러나 이 테스트의 경우, 기본 해싱으로 이더넷 147/1/1 및 이더넷 147/1/9의 호스트에서 오는 트래픽은 6001의 Eth1/41에 연결되는 NIF0으로 해시됩니다.호스트에서 98% 라인 레이트 트래픽을 전송하면 두 HIF에서 TX Pause가 전송됩니다.

이 테스트의 경우 호스트에서 흐름 제어가 비활성화됩니다.

esc-6001# show interface ethernet 147/1/1, ethernet 147/1/9 | inc Ethernet14|rate|pause
Ethernet147/1/1 is up
  30 seconds input rate 9836009128 bits/sec, 819667 packets/sec
  30 seconds output rate 2516922296 bits/sec, 4915863 packets/sec
    input rate 9.84 Gbps, 819.67 Kpps; output rate 2.52 Gbps, 4.91 Mpps
    0 Rx pause
    98376923 Tx pause
Ethernet147/1/9 is up
  30 seconds input rate 9836252112 bits/sec, 819687 packets/sec
  30 seconds output rate 2516980960 bits/sec, 4915978 packets/sec
    input rate 9.84 Gbps, 819.69 Kpps; output rate 2.52 Gbps, 4.91 Mpps
    0 Rx pause
    98376916 Tx pause
esc-6001# show port-channel traffic interface port-channel 147
ChanId      Port Rx-Ucst Tx-Ucst Rx-Mcst Tx-Mcst Rx-Bcst Tx-Bcst
------ --------- ------- ------- ------- ------- ------- -------
   147   Eth1/41  99.99%    0.0%  12.50%  12.50%    0.0%    0.0%
   147   Eth1/42    0.0%    0.0%  12.50%  12.50%    0.0%    0.0%
   147   Eth1/43    0.0%    0.0%  12.50%  12.50%    0.0%    0.0%
   147   Eth1/44    0.0%    0.0%  12.50%  12.50%    0.0%    0.0%
   147   Eth1/45    0.0%    0.0%  12.50%  12.50%    0.0%    0.0%
   147   Eth1/46    0.0%    0.0%  12.50%  12.50%    0.0%    0.0%
   147   Eth1/47   0.00%  99.00%  12.50%  12.50%    0.0%    0.0%
   147   Eth1/48    0.0%   1.00%  12.50%  12.50%    0.0%    0.0%
esc-6001# attach fex 147
Attaching to FEX 147 ...
To exit type 'exit', to abort type '$.' 
fex-147# dbgexec w
woo> rate
+--------++------------+-----------+------------++------------+-----------+------------+-------+-------+---+
| Port   || Tx Packets |  Tx Rate  |   Tx Bit   || Rx Packets |  Rx Rate  |   Rx Bit   |Avg Pkt|Avg Pkt|   |
|        ||            |  (pkts/s) |    Rate    ||            |  (pkts/s) |    Rate    | (Tx)  | (Rx)  |Err|
+--------++------------+-----------+------------++------------+-----------+------------+-------+-------+---+
| 0-NI8  ||         24 |         4 |  11.23Kbps ||         22 |         4 |  16.49Kbps |   272 |   448 |   |
| 0-NI7  ||         15 |         3 |   4.17Kbps ||         17 |         3 |   3.81Kbps |   154 |   120 |   |
| 0-NI6  ||          1 |         0 |   1.76Kbps ||          1 |         0 |   1.08Kbps |  1080 |   656 |   |
| 0-NI5  ||          1 |         0 |   1.76Kbps ||          1 |         0 |   1.08Kbps |  1080 |   656 |   |
| 0-NI4  ||          1 |         0 |   1.76Kbps ||          1 |         0 |   1.08Kbps |  1080 |   656 |   |
| 0-NI3  ||          1 |         0 |   1.76Kbps ||          1 |         0 |   1.08Kbps |  1080 |   656 |   |
| 0-NI2  ||          1 |         0 |   1.76Kbps ||          1 |         0 |   1.08Kbps |  1080 |   656 |   |
| 0-NI1  ||          1 |         0 |   1.76Kbps ||          1 |         0 |   1.08Kbps |  1080 |   656 |   |
| 0-NI0  ||    4108297 |    821659 |  10.05Gbps ||          1 |         0 |   1.08Kbps |  1509 |   656 |   |
| 0-HI31 ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |
| 0-HI30 ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |
| 0-HI29 ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |
| 0-HI28 ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |
| 0-HI27 ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |
| 0-HI26 ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |
| 0-HI25 ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |
| 0-HI24 ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |
| 0-HI23 ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |
| 0-HI22 ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |
| 0-HI21 ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |
| 0-HI20 ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |
| 0-HI19 ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |
| 0-HI18 ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |
| 0-HI17 ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |
| 0-HI16 ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |
| 0-HI14 ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |
| 0-HI13 ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |
| 0-HI12 ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |
| 0-HI11 ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |
| 0-HI10 ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |
| 0-HI9  ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |
| 0-HI8  ||   24556087 |   4911217 |   3.30Gbps ||    4094470 |    818894 |   9.95Gbps |    64 |  1500 |   |
| 0-HI6  ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |
| 0-HI5  ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |
| 0-HI4  ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |
| 0-HI3  ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |
| 0-HI2  ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |
| 0-HI1  ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |
| 0-HI0  ||   24560241 |   4912048 |   3.30Gbps ||    4095156 |    819031 |   9.95Gbps |    64 |  1500 |   |
+--------++------------+-----------+------------++------------+-----------+------------+-------+-------+---+

삭제:

호스트가 흐름 제어에 대해 구성되지 않았으므로 삭제가 있습니다.

호스트에서 flow-control이 활성화된 경우, 호스트는 일시 중지 및 스로틀 백업을 승인합니다.

esc-6001# clear counters ; clear qos stat
esc-6001# 
esc-6001# show interface ethernet 147/1/1, ethernet 147/1/9 | inc Ethernet14|rate|pause
Ethernet147/1/1 is up
  30 seconds input rate 4926871976 bits/sec, 410572 packets/sec
  30 seconds output rate 1288637816 bits/sec, 2516870 packets/sec
    input rate 4.93 Gbps, 410.57 Kpps; output rate 1.29 Gbps, 2.52 Mpps
    0 Rx pause
    88129183 Tx pause
Ethernet147/1/9 is up
  30 seconds input rate 4924820632 bits/sec, 410401 packets/sec
  30 seconds output rate 1287225224 bits/sec, 2514111 packets/sec
    input rate 4.92 Gbps, 410.40 Kpps; output rate 1.29 Gbps, 2.51 Mpps
    0 Rx pause
    88069874 Tx pause
esc-6001# show port-channel traffic interface port-channel 147
ChanId      Port Rx-Ucst Tx-Ucst Rx-Mcst Tx-Mcst Rx-Bcst Tx-Bcst
------ --------- ------- ------- ------- ------- ------- -------
   147   Eth1/41  99.99%    0.0%  12.50%  12.50%    0.0%    0.0%
   147   Eth1/42    0.0%    0.0%  12.50%  12.50%    0.0%    0.0%
   147   Eth1/43    0.0%    0.0%  12.50%  12.50%    0.0%    0.0%
   147   Eth1/44    0.0%    0.0%  12.50%  12.50%    0.0%    0.0%
   147   Eth1/45    0.0%    0.0%  12.50%  12.50%    0.0%    0.0%
   147   Eth1/46    0.0%    0.0%  12.50%  12.50%    0.0%    0.0%
   147   Eth1/47   0.00%  99.00%  12.50%  12.50%    0.0%    0.0%
   147   Eth1/48    0.0%   1.00%  12.50%  12.50%    0.0%    0.0%
esc-6001# attach fex 147
Attaching to FEX 147 ...
To exit type 'exit', to abort type '$.' 
fex-147# dbgexec w
woo> rate
+--------++------------+-----------+------------++------------+-----------+------------+-------+-------+---+
| Port   || Tx Packets |  Tx Rate  |   Tx Bit   || Rx Packets |  Rx Rate  |   Rx Bit   |Avg Pkt|Avg Pkt|   |
|        ||            |  (pkts/s) |    Rate    ||            |  (pkts/s) |    Rate    | (Tx)  | (Rx)  |Err|
+--------++------------+-----------+------------++------------+-----------+------------+-------+-------+---+
| 0-NI8  ||         32 |         6 |  19.76Kbps ||         19 |         3 |  16.01Kbps |   366 |   506 |   |
| 0-NI7  ||         13 |         2 |   3.85Kbps ||         20 |         4 |   5.14Kbps |   165 |   140 |   |
| 0-NI6  ||          1 |         0 |   1.76Kbps ||          2 |         0 |   2.16Kbps |  1080 |   656 |   |
| 0-NI5  ||          1 |         0 |   1.76Kbps ||          2 |         0 |   2.16Kbps |  1080 |   656 |   |
| 0-NI4  ||          1 |         0 |   1.76Kbps ||          2 |         0 |   2.16Kbps |  1080 |   656 |   |
| 0-NI3  ||          1 |         0 |   1.76Kbps ||          2 |         0 |   2.16Kbps |  1080 |   656 |   |
| 0-NI2  ||          1 |         0 |   1.76Kbps ||          2 |         0 |   2.16Kbps |  1080 |   656 |   |
| 0-NI1  ||          1 |         0 |   1.76Kbps ||          2 |         0 |   2.16Kbps |  1080 |   656 |   |
| 0-NI0  ||    4105292 |    821058 |  10.04Gbps ||          2 |         0 |   2.16Kbps |  1509 |   656 |   |
| 0-HI31 ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |
| 0-HI30 ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |
| 0-HI29 ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |
| 0-HI28 ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |
| 0-HI27 ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |
| 0-HI26 ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |
| 0-HI25 ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |
| 0-HI24 ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |
| 0-HI23 ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |
| 0-HI22 ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |
| 0-HI21 ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |
| 0-HI20 ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |
| 0-HI19 ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |
| 0-HI18 ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |
| 0-HI17 ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |
| 0-HI16 ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |
| 0-HI14 ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |
| 0-HI13 ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |
| 0-HI12 ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |
| 0-HI11 ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |
| 0-HI10 ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |
| 0-HI9  ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |
| 0-HI8  ||   12556848 |   2511369 |   1.68Gbps ||    2049754 |    409950 |   4.98Gbps |    63 |  1500 |   |
| 0-HI6  ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |
| 0-HI5  ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |
| 0-HI4  ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |
| 0-HI3  ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |
| 0-HI2  ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |
| 0-HI1  ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |
| 0-HI0  ||   12573036 |   2514607 |   1.68Gbps ||    2051092 |    410218 |   4.98Gbps |    64 |  1499 |   |
+--------++------------+-----------+------------++------------+-----------+------------+-------+-------+---+

교정

기본적으로 IP 트래픽의 경우 FEX 로드 밸런스는 소스 대상 MAC/IP를 기반으로 합니다. 이와 같은 문제의 경우 패브릭 포트 채널을 통해 트래픽을 더 효과적으로 분산하려면 해싱 알고리즘을 변경하십시오.로드 밸런싱이 같지 않은 경우 이 방법을 사용합니다.이 옵션은 절대 솔루션이 아닙니다.

 esc-6001# show port-channel load-balance 

Port Channel Load-Balancing Configuration:
System: source-dest-ip

Port Channel Load-Balancing Addresses Used Per-Protocol:
Non-IP: source-dest-mac
IP: source-dest-ip source-dest-mac

Which hashing algorithm  to choose depends on traffic profile. Here are the options available.

esc-6001# conf t
Enter configuration commands, one per line.  End with CNTL/Z.

esc-6001(config)# port-channel load-balance ethernet ?
  destination-ip         Destination IP address
  destination-mac        Destination MAC address
  destination-port       Destination TCP/UDP port
  source-dest-ip         Source & Destination IP address (includes l2)
  source-dest-ip-only    Source & Destination IP addresses only
  source-dest-mac        Source & Destination MAC address
  source-dest-port       Source & Destination TCP/UDP port (includes l2 and l3)
  source-dest-port-only  Source & Destination TCP/UDP port only
  source-ip              Source IP address
  source-mac             Source MAC address
  source-port            Source TCP/UDP port

결론 및 모범 사례

1. TX Pause는 2232/2248UPQ/B22 FEX에서 패킷 삭제를 방지하기 위한 정상적인 작동 메커니즘입니다.

2. 2232/2248UPQ/B22 FEX와 상위 사이의 업링크 수를 최대화합니다.네트워크에 대한 더 많은 경로를 가질 수 있고 N2H 트래픽에 대한 최대 버퍼를 보유할 수도 있습니다.

3. FEX와 상위 간의 업링크를 고르게 사용하지 않을 경우, 포트 채널 해싱을 변경하면 도움이 될 수 있습니다.

4. FEX에는 로컬 스위칭이 없으므로 FEX의 호스트에서 East-West 트래픽 흐름 프로필을 사용하지 마십시오.

5. NAS 디바이스, FEX의 블레이드 섀시 같은 버스트 어플라이언스를 사용하지 마십시오.이 항목은 부모에 있어야 합니다.

6. 32M 공유 버퍼가 있는 최신 2348UPQ FEX는 H2N 트래픽의 경우 HIF당 1MB의 공유 버퍼를 사용하므로 버스트 흡수가 향상됩니다.또한 40G NIF 업링크를 사용하면 해시 충돌/업링크 혼잡을 크게 최소화할 수 있습니다.