中断時の vPC の動作における FlexPod Nexus 5k
内容
概要
このドキュメントでは、仮想ポート チャネル（vPC）を中心として、さまざまな中断に対する反応でのネットワークのオンライン動作を示します。
典型的な中断としては、リロード、リンク損失、または接続損失があります。
このドキュメントの目的は、一般的なシナリオでのパケット損失を説明することです。
トポロジ
別途記載がない限り、テスト中、次のトポロジが使用されます。
緑と青の線は、各ファブリック インターコネクトから両方の Nexus スイッチへの vPC ポート チャネルを示しています。
アウト オブ バンド管理ネットワークについての概要は示されていません。
これは、以下のような FlexPod の配備で一般に推奨されるシンプルなトポロジです。
http://www.cisco.com/c/en/us/td/docs/unified_computing/ucs/UCS_CVDs/flexpod_esxi51_ucsm2.html
使用するコンポーネント
2 つの Nexus 5548P スイッチ。
2.2(4b) ソフトウェアを実行している 2 つの Unified Computing System（UCS）6120 ファブリック インターコネクト。
1 つの 5108 UCS シャーシ。
2.2(4) ソフトウェアが実行されている VIC 1240 アダプタを備えた 2 つの B200M3 ブレード。
接続テストを実行および検証するため、2 つのブレードが取り付けられ、RedHat Enterprise Linux 7.1 オペレーティング システムがインストールされています。
設定
vPC とポート チャネル設定の両方でデフォルトが使用されています。
feature vpc
vpc domain 75
role priority 3000
peer-keepalive destination 10.48.43.79 source 10.48.43.78
delay restore 150
peer-gateway
interface port-channel1
description vPC Peer-Link
switchport mode trunk
spanning-tree port type network
vpc peer-link
UCS ファブリック インターコネクト（FI）に至る vPC の例（この例では bdsol-6120-05--A）
interface port-channel101
description bdsol-6120-05-A
switchport mode trunk
spanning-tree port type edge trunk
vpc 101
テスト
次のテストが実行されます。
- データ リンク損失
- アップグレード中断
In-Service Software Upgrade（ISSU）
- ピア キープアライブ リンクの損失 - このトポロジ/設定では mgmt0 インターフェイス。
- ピア ポートチャネルの損失 - この設定のポート チャネル 1。
- vPC 機能を無効にする
基本的なトラフィック フロー。
単一 iperf3 セッションを使用することにより、移行時にフレーム損失を確認するための 6.5 ギガビット/秒のテスト TCP トラフィックが生成されます。
RedHat2 はファブリック インターコネクト B に固定されており、RedHat1 はファブリック インターコネクト A に固定されています。その結果、スイッチング部分を通る必要のあるトラフィックが発生します。
Iperf3 のパラメータ：
- [Server]：iperf3 -s -i 1
- クライアント：iperf3 -c 10.37.9.131 -t 0 -i 1 -w 1M -V
高速トラフィックを可能にし、パケット損失を特定しやすくするため、上記のパラメータが選択されています。
TCP ウィンドウは、iperf でよく発生するデータ バーストを回避するために固定されています。iperf による固定解除の実行を許可すると、QoS の設定によっては、パス上の入力バッファでデータが時々失われることがあります。上記のパラメータは、フレーム損失のない 6 ～ 7 Gbps の持続レートを有効にします。
これを確認するため、インターフェイス上のトラフィックの累積率を確認できます。
bdsol-n5548-07# show interface ethernet 1/1-2 | i rate
30 seconds input rate 5612504 bits/sec, 9473 packets/sec
30 seconds output rate 7037817832 bits/sec, 578016 packets/sec
input rate 5.60 Mbps, 9.38 Kpps; output rate 7.01 Gbps, 576.10 Kpps
30 seconds input rate 7037805336 bits/sec, 578001 packets/sec
30 seconds output rate 5626064 bits/sec, 9489 packets/sec
input rate 7.01 Gbps, 575.71 Kpps; output rate 6.56 Mbps, 9.79 Kpps
上記の出力では、インターフェイス Ethernet 1/2 には 7 Gbps のトラフィックが到着し、インターフェイス Ethernet 1/1 では出力されていることが示されています。
データ リンク損失
このテストは、vPC を構成するリンクがシャットダウンされると、データがどのように動作するかをテストするように指定されています。
この例では、データ トラフィック用の出力インターフェイスである Ethernet 1/1 が使用され、コマンド ラインを使用してシャットダウンされます。
bdsol-n5548-07# conf t
Enter configuration commands, one per line. End with CNTL/Z.
bdsol-n5548-07(config)# int et1/1
bdsol-n5548-07(config-if)# shut
この場合、大量の 6.5 Gbps ストリームのうち、1 つのパケットのみが失われています。
トラフィックは、UCS 上のポートチャネル内の残りのリンクの間でほぼ即座にバランス調整されます。この場合は、Nexus 5548 B を宛先とする UCS FI B の Ethernet 1/8 の（残っている唯一の）ポートを使用して、そこから Ethernet 1/1 を使用して UCS Fl A に転送されます。
bdsol-n5548-08# show interface ethernet 1/1-2 | i rate
30 seconds input rate 5575896 bits/sec, 9413 packets/sec
30 seconds output rate 6995947064 bits/sec, 574567 packets/sec
input rate 2.21 Mbps, 3.70 Kpps; output rate 2.78 Gbps, 227.99 Kpps
30 seconds input rate 6995940736 bits/sec, 574562 packets/sec
30 seconds output rate 5581920 bits/sec, 9418 packets/sec
input rate 2.78 Gbps, 227.99 Kpps; output rate 2.22 Mbps, 3.71 Kpps
アップグレードまたはリロードの中断
データとコントロール プレーン中断の組み合わせは、中断アップグレード bdsol-n5548-07（プライマリ vPC）を実行することによりエミュレートできます。
トラフィックの損失が予期されます。
このテストは、機能的には、vPC ピアをリロードすることと同じです。
bdsol-n5548-07# install all kickstart bootflash:n5000-uk9-kickstart.7.1.0.N1.1a.bin system bootflash:n5000-uk9.7.1.0.N1.1a.bin
(...)
Compatibility check is done:
Module bootable Impact Install-type Reason
------ -------- -------------- ------------ ------
1 yes disruptive reset Incompatible image
(...)
Switch will be reloaded for disruptive upgrade.
Do you want to continue with the installation (y/n)? [n] y
Install is in progress, please wait.
Performing runtime checks.
[####################] 100% -- SUCCESS
Setting boot variables.
[####################] 100% -- SUCCESS
Performing configuration copy.
[####################] 100% -- SUCCESS
Finishing the upgrade, switch will reboot in 10 seconds.
10 秒後に、そのパケット損失が発生します。
その間の損失は 55 個のパケットのみです（6.6 Gbps ストリームのうち）。
iperf3 が再起動したらすぐにオペレータは、トラフィックが実際に bdsol-n5548-08 に切り替わっていることを確認できます。
bdsol-n5548-08# show interface ethernet 1/1-2 | i rate
30 seconds input rate 5601392 bits/sec, 9455 packets/sec
30 seconds output rate 7015307760 bits/sec, 576159 packets/sec
input rate 2.25 Mbps, 3.77 Kpps; output rate 2.81 Gbps, 231.14 Kpps
30 seconds input rate 7015303696 bits/sec, 576152 packets/sec
30 seconds output rate 5605280 bits/sec, 9462 packets/sec
input rate 2.81 Gbps, 231.14 Kpps; output rate 2.25 Mbps, 3.77 Kpps
速度カウンタは 30 秒間についての平均が取られるため、トラフィック速度は 6 Gbps 未満を示しています。
vPC ピア リンクがダウンする
この例では、設定変更をきっかけとして vPC ピア リンクがダウンします。
その時点でトラフィックは、vPC セカンダリとして動作する bdsol-n5548-07 によって処理されています。
一連のイベント。
port-channel 1 がダウンします。
2015 Jul 10 15:00:25 bdsol-n5548-07 %ETHPORT-5-IF_DOWN_CFG_CHANGE:Interface port-channel1 is down(Config change)
bdsol-n5548-07 がセカンダリとして動作しており、ループレス トポロジを保証できないため、vPC が中断されます。
2015 Jul 10 15:00:28 bdsol-n5548-07 %VPC-2-VPC_SUSP_ALL_VPC: Peer-link going down, suspending all vPCs on secondary
2015 Jul 10 15:00:28 bdsol-n5548-07 %ETHPORT-5-IF_DOWN_INITIALIZING: Interface port-channel928 is down (Initializing)
2015 Jul 10 15:00:28 bdsol-n5548-07 %ETHPORT-5-IF_DOWN_INITIALIZING: Interface port-channel102 is down (Initializing)
2015 Jul 10 15:00:28 bdsol-n5548-07 %ETHPORT-5-IF_DOWN_INITIALIZING: Interface port-channel101 is down (Initializing)
この間に iperf3 はトラフィックの一部、90 パケットを失いました。
しかし、比較的速く回復することができました。
vPC が bdsol-n5548-07 で中断されているため、すべてのトラフィックは bdsol-n5548-08 で処理されます。
bdsol-n5548-08# show int ethernet 1/1-2 | i rate
30 seconds input rate 5623248 bits/sec, 9489 packets/sec
30 seconds output rate 7036030160 bits/sec, 577861 packets/sec
input rate 2.83 Mbps, 4.74 Kpps; output rate 3.54 Gbps, 290.64 Kpps
30 seconds input rate 7036025712 bits/sec, 577854 packets/sec
30 seconds output rate 5627216 bits/sec, 9498 packets/sec
input rate 3.54 Gbps, 290.64 Kpps; output rate 2.83 Mbps, 4.75 Kpps
この場合も、負荷平均の計算のため、速度として 6.5 ギガビット/秒が即座には表示されません。
vPC リンク ダウンからの回復
vPC ピア リンクが再びアクティブになると、トラフィックは複数リンクの間でバランスが再調整され、トポロジの変更による短期間のパケット損失が予期されます。
このラボ テストの場合、1 パケットが失われました。
In-Service Software Upgrade（ISSU）
このテストでは、トラフィックの中断を確認するため、ISSU アップグレードが実行されました。
このテストでの vPC の役割は、次のとおりです。
bdsol-n5548-07 - プライマリ
bdsol-n5548-08 - セカンダリ
ISSU を実行するには、定義されている基準が満たされている必要があります。
これらの基準をチェックし、ISSU を実行するために使用されるコマンドに関する情報を検索するために、次のガイドが使用されました。
まずプライマリ vPC ピア上、その後にセカンダリ vPC ピア上で ISSU が実行された後、パケットの損失はありませんでした。
これは、ISSU のすべてのデータ プレーン機能は中断されないまま残り、コントロール プレーン トラフィックのみに影響したという事実によります。
ISSU での既知の問題
レイヤ 3 の機能およびライセンス
ISSU テスト中に、解決する必要がある問題がいくつか検出されました。「show install all impact ...」 コマンドでは、ISSU を実行できないという出力が、以下の説明とともに示される場合があります。「Non-disruptive install not supported if L3 was enabled.」 テスト環境においてこれは、インストールされているライセンス ファイルで使用中の LAN_BASE_SERVICES_PKG が原因でした。
LAN_BASE_SERVICES_PKG には L3 機能が含まれており、ISSU を実行するには、このパッケージは未使用でなければならず、「clear license LICENSEFILE」コマンドを使用することによって、デバイスからライセンス ファイルをクリアする必要があります。現在、ライセンス ファイルがデバイスで使用中になっている可能性があります。そのようなライセンス ファイルをクリアするには、「show license usage」を使用し、それらのパッケージの機能を無効にすることによって、どのパケットが使用中かをチェックすることが重要です。
非エッジ STP ポート
テスト中に、ノースバウンド ポートチャネルをシャットダウンする必要もありました。これは、「show spanning-tree issu-impact」の非エッジ、基準 3 チェックに合格せず、中断アップグレードの原因となることがあるからです。このノースバウンド ポートチャネルは、「show spanning-tree vlan 1」コマンドで、vPC エッジではないものとして、リストされていました。
ピア キープアライブ リンクの損失
ピア キープアライブ mgmt0 リンクの損失後は、トラフィックの中断が記録されていません。このトポロジでは、管理インターフェイス（mgmt0）がキープアライブ リンクとして使用されているため、テスト中に生成されるデータ トラフィックに影響を与えることはありません。
デバイスは、mgmt0 インターフェイスがダウンし、ピア キープアライブに失敗したことを認識しますが、ピア リンクはアップ状態なので、データ場所通信は続行できます。
2015 Jul 14 12:11:28 bdsol-n5548-07 %IM-5-IM_INTF_STATE: mgmt0 is DOWN in vdc 1
2015 Jul 14 12:11:32 bdsol-n5548-07 %VPC-2-PEER_KEEP_ALIVE_RECV_FAIL: In domain 75, VPC peer keep-alive receive has failed
2015 Jul 14 12:12:07 bdsol-n5548-07 %IM-5-IM_INTF_STATE: mgmt0 is UP in vdc 1
vPC 機能を無効にする
このテストでは、ライブ データ転送中にスイッチの 1 つで vPC を無効にするとどうなるかについて説明します。
VPC 機能は、グローバル設定モードで次のコマンドを使用することにより、無効にすることができます。
bdsol-n5548-07(config)# no feature vpc
プライマリまたはセカンダリのいずれかの vPC ピア上で vPC 機能を無効にすると、データ接続が即座に失われます。これは、vPC のピア ベースの性質によるものです。機能が無効になると、すぐに、スイッチ上の vPC 機能すべてが機能を停止し、ピア リンクがダウンし、vPC キープアライブ ステータスが [Suspended] になり、テスト環境のポートチャネル 101 がダウンします。これは、まだ vPC 機能が有効なピア スイッチの show vPC の出力で明らかです。
bdsol-n5548-07# show vpc
Legend:
(*) - local vPC is down, forwarding via vPC peer-link
vPC domain id : 75
Peer status : peer link is down
vPC keep-alive status : Suspended (Destination IP not reachable)
...
vPC status
----------------------------------------------------------------------------
id Port Status Consistency Reason Active vlans
------ ----------- ------ ----------- -------------------------- -----------
101 Po101 down success success -
前と同じように、トラフィックの中断は短期間だけです。
上記のテスト条件で、単一セッションで 50 ～ 80 パケットが失われました。
「remove feature vpc」コマンドも、vPC 設定がポート チャネルから削除される原因になっていました。
この設定を再度追加する必要があります。
結論
vPC 機能は、ポート チャネル内のデータ トラフィックを複数のデバイスの間に分割することにより、復元力パフォーマンスをもたらすように設計されています。
このシンプルなアイデアでは、複雑なコントロール プレーンの実装が必要です。
上記のテストは、機能のライフサイクルにおいて発生する可能性のあるコントロール プレーンおよびデータ プレーンの両方の中断を示すことを目的としたものでした。
予期されたとおり、データ プレーンの中断は、ほとんど即座に検出され、修正されました。テストでの損失は単一パケットでした。
コントロール プレーン中断のテストは、コントロール プレーンが影響を受けている間も、vPC がまだサブセカンド コンバージェンスの時間を維持することを示していました。
実行された中断テストとして最も破壊的だったのは、vPC ピア リンクのシャットダウンであり、データ プレーンとコントロール プレーンの両方の障害の組み合わせの結果である可能性があります。それでも、高速のコンバージェンス時間が示されました。
フィードバック