この製品のドキュメントセットは、偏向のない言語を使用するように配慮されています。このドキュメントセットでの偏向のない言語とは、年齢、障害、性別、人種的アイデンティティ、民族的アイデンティティ、性的指向、社会経済的地位、およびインターセクショナリティに基づく差別を意味しない言語として定義されています。製品ソフトウェアのユーザインターフェイスにハードコードされている言語、RFP のドキュメントに基づいて使用されている言語、または参照されているサードパーティ製品で使用されている言語によりドキュメントに例外が存在する場合があります。シスコのインクルーシブ ランゲージの取り組みの詳細は、こちらをご覧ください。
シスコは世界中のユーザにそれぞれの言語でサポート コンテンツを提供するために、機械と人による翻訳を組み合わせて、本ドキュメントを翻訳しています。ただし、最高度の機械翻訳であっても、専門家による翻訳のような正確性は確保されません。シスコは、これら翻訳の正確性について法的責任を負いません。原典である英語版(リンクからアクセス可能)もあわせて参照することを推奨します。
このドキュメントでは、Unified Computing System(UCS)およびNexusデバイス内でのQuality of Service(QoS)の設定について説明します。
このドキュメントに特有の要件はありません。
このドキュメントの情報は、次のソフトウェアとハードウェアのバージョンに基づいています。
このドキュメントの情報は、特定のラボ環境にあるデバイスに基づいて作成されました。このドキュメントで使用するすべてのデバイスは、初期(デフォルト)設定の状態から起動しています。本稼働中のネットワークでは、各コマンドによって起こる可能性がある影響を十分確認してください。
このドキュメントでは、FlexPodおよびvBlockに特に関連するUCS(6100および6200ファブリックインターコネクト)およびNexus(5000および5500)のQoSについて説明します。
このドキュメントで使用される用語で、QoSに関連するものです。
CoS = Class of Service = 802.1p = .1qヘッダーの3ビット(各パケットに含まれる)(分類の方法をスイッチに伝える)
QoS = Quality of Service(QoS) =スイッチが各サービスクラスをどのように処理するか。
MTU = Maximum Transmission Unit(最大伝送ユニット)=スイッチで許可されるフレーム/パケットの最大サイズ。最も一般的でデフォルト(通常は次のUCSのスクリーンショットに示されているように)は1500です。
参照用のUCS QoS設定(UCSM/LAN/QoSシステムクラス):
注:ベストエフォートとファイバチャネルはグレー表示され、UCS内で無効にすることはできません。
P10-UCS-A(nxos)# show running-config ipqos logging level ipqosmgr 2 class-map type qos class-fcoe class-map type queuing class-fcoe match qos-group 1 class-map type queuing class-all-flood match qos-group 2 class-map type queuing class-ip-multicast match qos-group 2 policy-map type qos system_qos_policy class class-fcoe set qos-group 1 class class-default policy-map type queuing system_q_in_policy class type queuing class-fcoe bandwidth percent 50 class type queuing class-default bandwidth percent 50 policy-map type queuing system_q_out_policy class type queuing class-fcoe bandwidth percent 50 class type queuing class-default bandwidth percent 50 class-map type network-qos class-fcoe match qos-group 1 class-map type network-qos class-all-flood match qos-group 2 class-map type network-qos class-ip-multicast match qos-group 2 policy-map type network-qos system_nq_policy class type network-qos class-fcoe pause no-drop mtu 2158 class type network-qos class-default system qos service-policy type qos input system_qos_policy service-policy type queuing input system_q_in_policy service-policy type queuing output system_q_out_policy service-policy type network-qos system_nq_policy
関連情報:
CoS <=> qos-groupチートシート
CoS | qos-group | |
Platinum | 5 | 0 |
ゴールド | 4 | 3 |
シルバー | 0 | 4 |
Bronze | 1 | 5 |
ベスト エフォート | [Any] | 0 |
ファイバ チャネル | 3 | 1 |
CoSは、UCS上でCoS 6に変更できます。CoS 7は内部UCS通信用に予約されています。
P10-UCS-A(nxos)# show queuing interface Ethernet1/1 queuing information: TX Queuing qos-group sched-type oper-bandwidth 0 WRR 50 1 WRR 50 RX Queuing qos-group 0 q-size: 360640, HW MTU: 1500 (1500 configured) drop-type: drop, xon: 0, xoff: 360640 Statistics: Pkts received over the port : 27957 Ucast pkts sent to the cross-bar : 0 Mcast pkts sent to the cross-bar : 27957 Ucast pkts received from the cross-bar : 0 Pkts sent to the port : 347 Pkts discarded on ingress : 0 Per-priority-pause status : Rx (Inactive), Tx (Inactive) qos-group 1 q-size: 79360, HW MTU: 2158 (2158 configured) drop-type: no-drop, xon: 20480, xoff: 40320 Statistics: Pkts received over the port : 0 Ucast pkts sent to the cross-bar : 0 Mcast pkts sent to the cross-bar : 0 Ucast pkts received from the cross-bar : 0 Pkts sent to the port : 0 Pkts discarded on ingress : 0 Per-priority-pause status : Rx (Inactive), Tx (Inactive) Total Multicast crossbar statistics: Mcast pkts received from the cross-bar : 347
この出力は、このインターフェイスが各クラスをどのようにキューイングするかを示しています。
switchport Ethernet 1/1に関する情報:
UCSシャーシの入出力モジュール(IOM)ポートのshow queuing interface:
Ethernet1/1/1 queuing information: Input buffer allocation: Qos-group: 1 frh: 3 drop-type: no-drop cos: 3 xon xoff buffer-size ---------+---------+----------- 8960 14080 24320 Qos-group: 0 frh: 8 drop-type: drop cos: 0 1 2 4 5 6 xon xoff buffer-size ---------+---------+----------- 0 117760 126720 Queueing: queue qos-group cos priority bandwidth mtu --------+------------+--------------+---------+---------+---- 2 0 0 1 2 4 5 6 WRR 50 1600 3 1 3 WRR 50 2240 Queue limit: 66560 bytes Queue Statistics: queue rx tx ------+---------------+--------------- 2 18098 28051 3 0 0 Port Statistics: rx drop rx mcast drop rx error tx drop mux ovflow ---------------+---------------+---------------+---------------+-------------- 0 0 0 0 InActive Priority-flow-control enabled: yes Flow-control status: cos qos-group rx pause tx pause masked rx pause -------+-----------+---------+---------+--------------- 0 0 xon xon xon 1 0 xon xon xon 2 0 xon xon xon 3 1 xon xon xon 4 0 xon xon xon 5 0 xon xon xon 6 0 xon xon xon 7 n/a xon xon xon
qos-group 0とqos-group 1があり、qos-group 0はcos 0 1 2 4 5 6でマークされたパケットを取得し、qos-group 1はcos 3を取得します。Fabric Extender(FEX)/IOMのバッファサイズは少し小さく、126720バイトだけです。FEXはQoSを若干異なる方法で実行し、複数のQoSグループを取り込んでキューにバンドルします。各キューのrxおよびtxカウンタが表示されます。
最後にチェックアウトする出力は次のとおりです。show interface priority-flow-control
P10-UCS-A(nxos)# show interface priority-flow-control ============================================================ Port Mode Oper(VL bmap) RxPPP TxPPP ============================================================ Ethernet1/1 Auto Off 0 0 Ethernet1/2 Auto Off 0 0 Ethernet1/3 Auto Off 0 0 Ethernet1/4 Auto Off 6 0 Ethernet1/5 Auto Off 0 0 Ethernet1/6 Auto Off 0 0 Ethernet1/7 Auto Off 0 0 Ethernet1/8 Auto Off 0 0 Ethernet1/9 Auto Off 0 0 Ethernet1/10 Auto Off 2 0 ..snip.. Vethernet733 Auto Off 0 0 Vethernet735 Auto Off 0 0 Vethernet737 Auto Off 0 0 Ethernet1/1/1 Auto On (8) 0 0 Ethernet1/1/2 Auto Off 0 0 Ethernet1/1/3 Auto On (8) 0 0 Ethernet1/1/4 Auto Off 0 0
これは、プライオリティフロー制御(PFC)がネゴシエートするインターフェイス(Auto On)と、PFCがネゴシエートしないインターフェイス(Auto Off)を示します。PFCは、スイッチがネイバースイッチに特定のCoSのパケットを短時間だけ送信しないように依頼する方法です。PFCの一時停止(プライオリティごとのPPP、一時停止)は、バッファがいっぱいになったり、ほとんど満杯になったりすると発生します。「show cdp neighbors」および「show fex details」の出力から、このイーサネット1/1-4がシャーシ1のFEX/IOMまでダウンし、イーサネット1/9-10がNexus 5000までダウンしていることがわかります。この出力では、6つの一時停止がEthernet 1/4のFEX/IOMに送信され、2つの一時停止がEthernet1/10からアップストリームのNexus 5000に送信されています。
注:FEX/IOMは実際にはスイッチではないので、PFCはEthernet1/1-4上でスイッチ間でネゴシエートしませんが、エンドポイントEthernet1/1/1にネゴシエートできます。FEX/IOMに送信されるPPPは、リモートのswitchport Ethernet1/1/1に送信されます。
UCS QoSの設定は不要です。.
これにより、次の設定が行われます。
class-map type qos class-fcoe class-map type qos match-all class-silver match cos 2 class-map type queuing class-silver match qos-group 4 class-map type queuing class-all-flood match qos-group 2 class-map type queuing class-ip-multicast match qos-group 2 policy-map type qos system_qos_policy class class-silver set qos-group 4 policy-map type queuing system_q_in_policy class type queuing class-silver bandwidth percent 44 class type queuing class-fcoe bandwidth percent 29 class type queuing class-default bandwidth percent 27 policy-map type queuing system_q_out_policy class type queuing class-silver bandwidth percent 44 class type queuing class-fcoe bandwidth percent 29 class type queuing class-default bandwidth percent 27 policy-map type queuing org-root/ep-qos-Default-Qos class type queuing class-fcoe class type queuing class-default bandwidth percent 50 shape 40000000 kbps 10240 class-map type network-qos class-silver match qos-group 4class-map type network-qos class-all-flood match qos-group 2 class-map type network-qos class-ip-multicast match qos-group 2 policy-map type network-qos system_nq_policy class type network-qos class-silver class type network-qos class-fcoe pause no-drop mtu 2158 class type network-qos class-default system qos service-policy type qos input system_qos_policy service-policy type queuing input system_q_in_policy service-policy type queuing output system_q_out_policy service-policy type network-qos system_nq_policy
Ethernet1/1 queuing information: TX Queuing qos-group sched-type oper-bandwidth 0 WRR 27 1 WRR 29 4 WRR 44 RX Queuing qos-group 0 q-size: 308160, HW MTU: 9216 (9216 configured) drop-type: drop, xon: 0, xoff: 301120 Statistics: Pkts received over the port : 12 Ucast pkts sent to the cross-bar : 12 Mcast pkts sent to the cross-bar : 0 Ucast pkts received from the cross-bar : 17 Pkts sent to the port : 17 Pkts discarded on ingress : 0 Per-priority-pause status : Rx (Inactive), Tx (Inactive) qos-group 1 q-size: 79360, HW MTU: 2158 (2158 configured) drop-type: no-drop, xon: 20480, xoff: 40320 Statistics: Pkts received over the port : 7836003 Ucast pkts sent to the cross-bar : 7836003 Mcast pkts sent to the cross-bar : 0 Ucast pkts received from the cross-bar : 4551954 Pkts sent to the port : 4551954 Pkts discarded on ingress : 0 Per-priority-pause status : Rx (Inactive), Tx (Inactive) qos-group 4 q-size: 22720, HW MTU: 1500 (1500 configured) drop-type: drop, xon: 0, xoff: 22720 Statistics: Pkts received over the port : 0 Ucast pkts sent to the cross-bar : 0 Mcast pkts sent to the cross-bar : 0 Ucast pkts received from the cross-bar : 0 Pkts sent to the port : 0 Pkts discarded on ingress : 0 Per-priority-pause status : Rx (Inactive), Tx (Inactive)
ベストエフォート(qos-group 0)qサイズが360640から308160に変更された点に注意してください。Silver(qos-group 4)は22720のバッファスペースが割りり当2222222222666666666666666666666666666666666666666666666666666666666
MTUを9216に設定します。
Ethernet1/1 queuing information: TX Queuing qos-group sched-type oper-bandwidth 0 WRR 27 1 WRR 29 4 WRR 44 RX Queuing qos-group 0 q-size: 301120, HW MTU: 9216 (9216 configured) drop-type: drop, xon: 0, xoff: 301120 Statistics: Pkts received over the port : 3 Ucast pkts sent to the cross-bar : 3 Mcast pkts sent to the cross-bar : 0 Ucast pkts received from the cross-bar : 0 Pkts sent to the port : 0 Pkts discarded on ingress : 0 Per-priority-pause status : Rx (Inactive), Tx (Inactive) qos-group 1 q-size: 79360, HW MTU: 2158 (2158 configured) drop-type: no-drop, xon: 20480, xoff: 40320 Statistics: Pkts received over the port : 7842224 Ucast pkts sent to the cross-bar : 7842224 Mcast pkts sent to the cross-bar : 0 Ucast pkts received from the cross-bar : 4555791 Pkts sent to the port : 4555791 Pkts discarded on ingress : 0 Per-priority-pause status : Rx (Inactive), Tx (Inactive) qos-group 4 q-size: 29760, HW MTU: 9216 (9216 configured) drop-type: drop, xon: 0, xoff: 29760 Statistics: Pkts received over the port : 0 Ucast pkts sent to the cross-bar : 0 Mcast pkts sent to the cross-bar : 0 Ucast pkts received from the cross-bar : 0 Pkts sent to the port : 0 Pkts discarded on ingress : 0 Per-priority-pause status : Rx (Inactive), Tx (Inactive)
シルバー(qos-group 4)は、22720から29760 q-sizeを取得しました。
パケットドロップの設定をオフにします。
Ethernet1/1 queuing information: TX Queuing qos-group sched-type oper-bandwidth 0 WRR 27 1 WRR 29 4 WRR 44 RX Queuing qos-group 0 q-size: 240640, HW MTU: 9216 (9216 configured) drop-type: drop, xon: 0, xoff: 240640 Statistics: Pkts received over the port : 20 Ucast pkts sent to the cross-bar : 20 Mcast pkts sent to the cross-bar : 0 Ucast pkts received from the cross-bar : 1 Pkts sent to the port : 1 Pkts discarded on ingress : 0 Per-priority-pause status : Rx (Inactive), Tx (Inactive) qos-group 1 q-size: 79360, HW MTU: 2158 (2158 configured) drop-type: no-drop, xon: 20480, xoff: 40320 Statistics: Pkts received over the port : 7837323 Ucast pkts sent to the cross-bar : 7837323 Mcast pkts sent to the cross-bar : 0 Ucast pkts received from the cross-bar : 4552726 Pkts sent to the port : 4552726 Pkts discarded on ingress : 0 Per-priority-pause status : Rx (Inactive), Tx (Inactive) qos-group 4 q-size: 90240, HW MTU: 9216 (9216 configured) drop-type: no-drop, xon: 17280, xoff: 37120 Statistics: Pkts received over the port : 0 Ucast pkts sent to the cross-bar : 0 Mcast pkts sent to the cross-bar : 0 Ucast pkts received from the cross-bar : 0 Pkts sent to the port : 0 Pkts discarded on ingress : 0 Per-priority-pause status : Rx (Inactive), Tx (Inactive)
Silver(qos-group 4)のqサイズが90240に増え、drop-typeがno-dropに変更、Best Effort qos-group 0が240640に減っていることに注意してください。
ベストエフォートqos-group 0バッファ領域は、他のQoSクラスに再割り当てされます。
Nexus 5000のデフォルトのqos設定は類似していますが、正確ではありません。
P10-5k-a# show running-config ipqos policy-map type network-qos jumbo class type network-qos class-fcoe pause no-drop mtu 2158 class type network-qos class-default mtu 9216 multicast-optimize system qos service-policy type network-qos jumbo
Nexus 5000はデフォルトオプションを隠すため、設定全体を表示するにはshow running-config ipqos allが必要です。
P10-5k-a# show queuing interface Ethernet1/1 queuing information: TX Queuing qos-group sched-type oper-bandwidth 0 WRR 100 1 WRR 0 RX Queuing qos-group 0 q-size: 360640, HW MTU: 9216 (9216 configured) drop-type: drop, xon: 0, xoff: 360640 Statistics: Pkts received over the port : 16 Ucast pkts sent to the cross-bar : 16 Mcast pkts sent to the cross-bar : 0 Ucast pkts received from the cross-bar : 0 Pkts sent to the port : 0 Pkts discarded on ingress : 0 Per-priority-pause status : Rx (Inactive), Tx (Inactive) qos-group 1 q-size: 79360, HW MTU: 2158 (2158 configured) drop-type: no-drop, xon: 20480, xoff: 40320 Statistics: Pkts received over the port : 0 Ucast pkts sent to the cross-bar : 0 Mcast pkts sent to the cross-bar : 0 Ucast pkts received from the cross-bar : 0 Pkts sent to the port : 0 Pkts discarded on ingress : 0 Per-priority-pause status : Rx (Inactive), Tx (Inactive)
UCS(Ethernet1/1 - 2)にダウンしているポートでは、PFCがオフ(Auto Off)になっています。
P10-5k-a(config-if-range)# show interface priority-flow-control ============================================================ Port Mode Oper(VL bmap) RxPPP TxPPP ============================================================ Ethernet1/1 Auto Off 0 0 Ethernet1/2 Auto Off 0 0 Ethernet1/3 Auto Off 0 0 Ethernet1/4 Auto Off 0 0 Ethernet1/5 Auto Off 0 0 Ethernet1/6 Auto Off 0 0 Ethernet1/7 Auto Off 0 0 Ethernet1/8 Auto Off 0 0 Ethernet1/9 Auto Off 0 0 Ethernet1/10 Auto On (0) 0 0 Ethernet1/11 Auto On (0) 0 0 Ethernet1/12 Auto On (0) 0 0 Ethernet1/13 Auto On (0) 0 0
..snip..
これらのポリシーはNexus 5000にはデフォルトで存在しますが、有効になっていないため、使用するだけです。
system qos service-policy type queuing input fcoe-default-in-policy service-policy type queuing output fcoe-default-out-policy service-policy type qos input fcoe-default-in-policy
UCS(Ethernet1/1 - 2)にダウンしているポートのPFCはオン(Auto On)になっています。
P10-5k-a(config-sys-qos)# sh int priority-flow-control ============================================================ Port Mode Oper(VL bmap) RxPPP TxPPP ============================================================ Ethernet1/1 Auto On (8) 0 0 Ethernet1/2 Auto On (8) 0 0 Ethernet1/3 Auto Off 0 0 Ethernet1/4 Auto Off 0 0
..snip..
PFC(802.1Qbb)は、Nexus/UCSデバイスがデータセンターブリッジング(DCBX)の一部としてロスレスファブリックを作成する方法です。FCoEにはロスレスファブリックが必要です。特にマルチホップFCoEは、この設定の問題が発生する傾向があります。アップストリームスイッチ(通常はNexus 5000)は、UCSで設定されたQoS設定と一致する必要があります。
前述したように、PFCは、隣接するスイッチに対して、追加のフレームの送信を停止するように通知する方法です。複数のスイッチが複数のポート(複数のバッファ)を入力するトラフィックが隣接スイッチに存在する可能性があるため、これはパス1(送信元1/宛先1)のバッファを追加するだけではありません。 IPストレージを使用する場合はPFCは必要ありませんが、このバッファ乗算効果によってパフォーマンスが大幅に向上し、不要なパケット損失を防ぐことができます。
優れたPFC/DCBXの概要
一方のスイッチでQoSクラスがno-dropとして定義され、もう一方のスイッチではno-dropとして定義されていない場合、PFCはネゴシエートしません。UCSはPlatinumをno-dropとして設定しますが、すぐに無効にするので、Platinumが有効になっている場合にこれが頻繁に発生します。
キューイングの入力とキューイングの出力とqosの入力が一致しない場合、PFCはネゴシエートしません。
NetAppファイラーはデフォルトですべてのIPストレージトラフィックを送信します。これは、CoS 4(Gold)のNetAppによってタグ付けされたVLANです。 NetAppがアクセスポートに接続されている場合、CoSビットは。1qヘッダーにあるため、NetAppトラフィックはベストエフォートに入ります。
一般的な設定ミスは、UCSからNetwork File System(NFS;ネットワークファイルシステム)NFSトラフィックをに送信し、NetAppからNFSトラフィックをGoldに戻すために、別のCoSカラー(Silver)を選択することです。トラフィックは次のようになります。
サーバ | UCS | Nexus 5000 | NetApp |
送信 | シルバー> | シルバー> | ベスト エフォート |
受信 | <ゴールド | <ゴールド | <ゴールド |
UCSでSilverをジャンボに設定し、Goldに設定しないと、問題が発生します。
QoSクラス(Platinum/Gold/Silver/Bronze)が有効になっていない場合、UCSおよびNexusデバイスはこれらのパケットをベストエフォートとして扱い、qos-group 0に入れます。
サーバ | UCS | Nexus 5000 | NetApp |
送信 | シルバー> | ベストエフォート> | ベスト エフォート |
受信 | <ゴールド | <ベストエフォート | <ゴールド |
注:パケット上のCoSビットは変更/再マーキングされませんが、パケットの扱いは異なります。
VCE QoS設計は理想的なものではありません。
Nexus 1000 | UCS | Nexus 5000 | |
BE/CoS 0 | 1,500 | 1,500 | 1600 |
FC/CoS 1 | - | 2158(ドロップなし) | - |
COS 6 |
mgmt | - | - |
プラチナ/CoS 5 |
- | 1500(ドロップなし) | 1,500 |
ゴールド/CoS 4 | vmotion | 1,500 | 1,500 |
シルバー/CoS 2 | NFS | - | 9216(ドロップなし) |
あるレベルでCoSクラスが定義されているが、別のレベルでは無視される場合は複雑で、意図したとおりに動作しない可能性があります。たとえば、VCEはNFSにSilverを使用しますが、UCSにSilverが定義されていない場合、このトラフィックはベストエフォートでキューイングされます。これはジャンボではなく、NFSトラフィックのドロップまたはフラグメント化の原因になります。no-dropポリシーの不一致によりPFCがネゴシエートされませんが、イーサネットではPFCが必要ないため、これは正常です。
インターネットプロトコル(IP)ベースのストレージプロトコルはすべて非常にバーストプロトコルで、多くの場合9000 MTUで設定されます。そのため、29760 qサイズ/9000 MTUでは、テールドロップが発生する前に3パケットしかバッファに入れることができないため、Platinum/Gold/Silver/Bronzeのパフォーマンスが低下します。
UCSイーサネットポリシーでは、vNICバッファ(リングサイズ)を増やすことができます。デフォルトは512で、最大値は4096です。この値を最大値に変更すると、バッファ全体の遅延(##KB / 10Gbps)が0.4ミリ秒から3.2ミリ秒に増加します。したがって、このバッファを変更すると、ドロップ数が少なくなりますが、遅延が増加します。
ジャンボフレームの設定のポイントは、エンドポイントデバイスが9000バイトのレイヤ3パケットを使用して別のエンドポイントデバイスと通信できるようにすることです。レイヤ2カプセル化技術を使用する場合、エンドポイントデバイス間のスイッチとルータは、カプセル化のオーバーヘッドを考慮して、9,000 MTUレイヤ3パケットよりも少し大きなレイヤ2フレームを処理できる必要があります。疑わしい場合は、スイッチで9216 MTUを許可します。
新しいパケットがキューイングされると、バッファがいっぱいになります。
バッファが20kに達すると、バッファがいっぱいになり続けます。
バッファが40kになると、スイッチはこのキューがno-dropの場合にPPP一時停止を送信します。これは、リモートスイッチがトラフィックの送信を停止することを示します。
理想的には、リモート側がトラフィックの送信を近々停止し、バッファの残りの部分(79360-40320)が着信インフライトパケットを保持します。
「Pkts discarded on ingress」カウンタは、バッファがいっぱいになると増加します。
FCおよびFCoEは、リモートスイッチがトラフィックの送信を停止し、バッファレベルが最終的に低下して20 kに到達する理想的な状況におけるロスレスプロトコルです。スイッチは、このno-dropキューに対して別のPPP unpauseを送信します。これにより、リモートスイッチにトラフィックの再送信を開始するよう指示します。
現在、この設定に関する特定のトラブルシューティング情報はありません。