NXOSのVXLAN vPCファブリックピアリングの設定およびトラブルシューティング
内容
はじめに
このドキュメントでは、NXOSおよびBUMトラフィックフローのvPCファブリックピアリングを設定、確認する方法について説明します。
前提条件
要件
次の項目に関する知識があることが推奨されます。
- vPC（仮想ポートチャネル）
- 仮想拡張LAN(VXLAN)
使用するコンポーネント
このドキュメントの情報は、次のソフトウェアとハードウェアのバージョンに基づいています。
- リーフスイッチ用N9K-C93240YC-FX2バージョン：10.3(3)
- スパインスイッチバージョン用N9K-C9336C-FX2:10.3(3)
このドキュメントの情報は、特定のラボ環境にあるデバイスに基づいて作成されました。このドキュメントで使用するすべてのデバイスは、クリアな（デフォルト）設定で作業を開始しています。本稼働中のネットワークでは、各コマンドによって起こる可能性がある影響を十分確認してください。
ネットワーク図
vPCファブリックピアリングは、vPCピアリンクの物理ポートを無駄にせずに、強化されたデュアルホーミングアクセスソリューションを提供します。この機能は、従来のvPCのすべての特性を維持します。
この導入では、リーフ3とリーフ4を、ファブリックピアリングを使用したvPCとして設定します。
コンフィギュレーション
TCAMの設定
設定の前に、TCAMメモリの確認があります。
LEAF-4(config-if)# sh hardware access-list tcam region
NAT ACL[nat] size = 0
Ingress PACL [ing-ifacl] size = 0
VACL [vacl] size = 0
Ingress RACL [ing-racl] size = 2304
Ingress L2 QOS [ing-l2-qos] size = 256
Ingress L3/VLAN QOS [ing-l3-vlan-qos] size = 512
Ingress SUP [ing-sup] size = 512
Ingress L2 SPAN filter [ing-l2-span-filter] size = 256
Ingress L3 SPAN filter [ing-l3-span-filter] size = 256
Ingress FSTAT [ing-fstat] size = 0
span [span] size = 512
Egress RACL [egr-racl] size = 1792
Egress SUP [egr-sup] size = 256
Ingress Redirect [ing-redirect] size = 0
Egress L2 QOS [egr-l2-qos] size = 0
Egress L3/VLAN QOS [egr-l3-vlan-qos] size = 0
Ingress Netflow/Analytics [ing-netflow] size = 512
Ingress NBM [ing-nbm] size = 0
TCP NAT ACL[tcp-nat] size = 0
Egress sup control plane[egr-copp] size = 0
Ingress Flow Redirect [ing-flow-redirect] size = 0 <<<<<<<<
Ingress PACL IPv4 Lite [ing-ifacl-ipv4-lite] size = 0
Ingress PACL IPv6 Lite [ing-ifacl-ipv6-lite] size = 0
Ingress CNTACL [ing-cntacl] size = 0
Egress CNTACL [egr-cntacl] size = 0
MCAST NAT ACL[mcast-nat] size = 0
Ingress DACL [ing-dacl] size = 0
Ingress PACL Super Bridge [ing-pacl-sb] size = 0
Ingress Storm Control [ing-storm-control] size = 0
Ingress VACL redirect [ing-vacl-nh] size = 0
Egress PACL [egr-ifacl] size = 0
Egress Netflow [egr-netflow] size = 0
vPCファブリックピアリングでは、領域ing-flow-redirectのTCAMカービングを適用する必要があります。 TCAMカービングでは、この機能を使用する前に、設定を保存してスイッチをリロードする必要があります。
TCAMのこのスペースは2倍の幅なので、割り当てることができる最小値は512です。
TCAMカービング
このシナリオでは、ing-raclには512を取り、その512をing-flow-redirectに割り当てるのに十分なスペースがあります。
LEAF-4(config-if)# hardware access-list tcam region ing-racl 1792
Please save config and reload the system for the configuration to take effect
LEAF-4(config)# hardware access-list tcam region ing-flow-redirect 512
Please save config and reload the system for the configuration to take effect
注:DCNMを介してvPCファブリックピアリングを設定する場合、TCAMカービングは実行されますが、有効にするにはリロードが必要です
変更が完了すると、コマンドに反映されます。
513E-B-11-N9K-C93240YC-FX2-4# sh hardware access-list tcam region
NAT ACL[nat] size = 0
Ingress PACL [ing-ifacl] size = 0
VACL [vacl] size = 0
Ingress RACL [ing-racl] size = 2304
Ingress L2 QOS [ing-l2-qos] size = 256
Ingress L3/VLAN QOS [ing-l3-vlan-qos] size = 512
Ingress SUP [ing-sup] size = 512
Ingress L2 SPAN filter [ing-l2-span-filter] size = 256
Ingress L3 SPAN filter [ing-l3-span-filter] size = 256
Ingress FSTAT [ing-fstat] size = 0
span [span] size = 512
Egress RACL [egr-racl] size = 1792
Egress SUP [egr-sup] size = 256
Ingress Redirect [ing-redirect] size = 0
Egress L2 QOS [egr-l2-qos] size = 0
Egress L3/VLAN QOS [egr-l3-vlan-qos] size = 0
Ingress Netflow/Analytics [ing-netflow] size = 512 <<<<<
Ingress NBM [ing-nbm] size = 0
TCP NAT ACL[tcp-nat] size = 0
Egress sup control plane[egr-copp] size = 0
Ingress Flow Redirect [ing-flow-redirect] size = 0
Ingress PACL IPv4 Lite [ing-ifacl-ipv4-lite] size = 0
Ingress PACL IPv6 Lite [ing-ifacl-ipv6-lite] size = 0
Ingress CNTACL [ing-cntacl] size = 0
Egress CNTACL [egr-cntacl] size = 0
MCAST NAT ACL[mcast-nat] size = 0
Ingress DACL [ing-dacl] size = 0
Ingress PACL Super Bridge [ing-pacl-sb] size = 0
Ingress Storm Control [ing-storm-control] size = 0
Ingress VACL redirect [ing-vacl-nh] size = 0
Egress PACL [egr-ifacl] size = 0
注意:TCAMでの変更後にデバイスがリロードされていることを確認してください。リロードされていないと、変更がTCAMに適用されないためにVPCが起動しなくなります。
vPCの設定
VPCドメイン
VPCドメインのLEAF-3およびLEAF-4で、キープアライブと仮想ピアリンクのIPアドレスを指定するように設定します
vpc domain 1
peer-keepalive destination 192.168.1.1 source 192.168.1.2 vrf management
virtual peer-link destination 10.10.10.2 source 10.10.10.1 dscp 56
interface port-channel1
vpc peer-link
Keep-alive
vPCピア間の直接レイヤ3リンクは、ピアキープアライブのためだけに使用する必要があります。キープアライブ専用の別のVRFに存在する必要があるこのシナリオでは、スイッチのインターフェイス管理を使用しています。
LEAF-3
interface mgmt0
vrf member management
ip address 192.168.1.1/24
LEAF-4
interface mgmt0
vrf member management
ip address 192.168.1.2/24
仮想ピアリンクのレイヤ3インターフェイス
仮想ピアリンクに使用するレイヤ3インターフェイスは、キープアライブに使用するインターフェイスと同じであってはなりません。アンダーレイに使用するループバックと同じものを使用することも、Nexus上の専用ループバックにすることもできます
ここで、loopback0はアンダーレイ用で、loopback2は仮想ピアリンク専用のループバックです。loopback1は、インターフェイスNVEに関連付けられたインターフェイスです。
LEAF-3
interface loopback0
ip address 10.1.1.1/32
ip router ospf 1 area 0.0.0.0
ip pim sparse-mode
interface loopback1
ip address 172.16.1.2/32
ip address 172.16.1.1/32 secondary
ip router ospf 1 area 0.0.0.0
ip pim sparse-mode
interface loopback2
ip address 10.10.10.2/32
ip router ospf 1 area 0.0.0.0
LEAF-4
interface loopback0
ip address 10.1.1.2/32
ip router ospf 1 area 0.0.0.0
ip pim sparse-mode
interface loopback1
ip address 172.16.1.3/32
ip address 172.16.1.1/32 secondary
ip router ospf 1 area 0.0.0.0
ip pim sparse-mode
interface loopback2
ip address 10.10.10.1/32
ip router ospf 1 area 0.0.0.0
VPCピアリンク
物理インターフェイスをポートチャネルに割り当てない場合でも、ピアリンクにポートチャネルを割り当てる必要があります。
LEAF-3(config-if)# sh run interface port-channel 1 membership
interface port-channel1
switchport
switchport mode trunk
spanning-tree port type network
vpc peer-link
アップリンク
設定の最後の部分は、port-type fabricコマンドを使用して、スパインに向かう両方のリーフのリンクを設定することです。
interface Ethernet1/49
port-type fabric <<<<<<<<
medium p2p
ip unnumbered loopback0
ip router ospf 1 area 0.0.0.0
ip pim sparse-mode
no shutdown
注：ポートタイプファブリックを設定しないと、Nexusによって生成されるキープアライブを確認できません
SPINESの設定
vPCファブリックピアリングピアリンクはトランスポートネットワークを介して確立されるため、スパインでは、VPCドメインに設定されたDSCP値と一致するようにQoSを設定することをお勧めします。
ポート状態情報、VLAN情報、VLANからVNIへのマッピング、ホストのMACアドレス、およびIGMPスヌーピンググループの同期に使用されるコントロールプレーン情報CFSメッセージは、ファブリックを介して送信されます。CFSメッセージは適切なDSCP値でマークされます。この値は、トランスポートネットワークで保護する必要があります。
class-map type qos match-all CFS
match dscp 56
policy-map type qos CFS
class CFS
Set qos-group 7 <<< Depending on the platform it can be 4
interface Ethernet 1/35-36
service-policy type qos input CFS
入力複製カプセル化によるブロードキャスト、不明なユニキャスト、およびマルチキャストトラフィック
ブロードキャストが必要なパケットをNexusが受信すると、パケットのコピーが2つ生成されます。
1. ローカルアクセスポートを含む、VNIのフラッドリスト内のすべてのリモートVTEP
2. リモートVPCピアへ
最初のコピーでは、NexusはセカンダリIPアドレスの送信元IPとリモートVTEPの宛先IP、およびローカルアクセスポートを使用してトラフィックをカプセル化しました。
2番目のコピーはリモートVPCピアに送信され、送信元IPはループバックのプライマリになり、宛先IPはリモートVPCピアのPIPになります。
スパインからパケットを受信すると、リモートVTEPは孤立状態のポートだけにパケットを転送します。
入力複製のカプセル化解除を伴うブロードキャスト、不明なユニキャスト、およびマルチキャストトラフィック
別のVTEPから受信したBUMトラフィックの宛先IPは、いずれかのVPCデバイスにハッシュされるVIPであるため、パケットのカプセル化を解除してアクセスポートに送信します。
トラフィックがリモートVPCピアに接続されている孤立ポートに到達するように、Nexusはパケットのコピーを生成し、プライマリIPアドレスを送信元/宛先IPとして使用して、パケットをリモートVPCにのみ送信します。
リモートvpcピアで受信すると、nexusはトラフィックのカプセル化を解除し、孤立状態のポートにのみ転送します。
ブロードキャスト、不明なユニキャスト、およびマルチキャストカプセル化を使用したマルチキャストトラフィック
ブロードキャストが必要なパケットをNexusが受信すると、パケットのコピーが2つ生成されます。
1. パケットは、ローカルアクセスポートを含むマルチキャストS,Gエントリ内のすべてのOIFに送信されます
2. リモートVPCピアへ
最初のコピーでは、Nexusは、セカンダリIPアドレスの送信元IPと設定されたマルチキャストグループの宛先IPを使用してトラフィックをカプセル化しました。
2番目のコピーはリモートVPCピアに送信され、送信元IPはループバックのセカンダリになり、宛先IPはリモートVPCピアのPIPになります。
スパインからパケットを受信すると、リモートVTEPは、そのパケットを孤立状態のポートにのみ転送します。
ブロードキャスト、不明なユニキャスト、およびマルチキャストのカプセル化解除を伴うマルチキャストトラフィック
カプセル化解除プロセスでは、パケットは両方のVPCピアに到着します。1つのVPCデバイスだけがVPCポートチャネルを介してトラフィックを転送します。これは、コマンドで表示されるフォワーダによって決定されます。
module-1# show forwarding internal vpc-df-hash
VPC DF: FORWARDER
確認
VPCがアップしていることを確認するには、次のコマンドを実行します。
仮想ピアリンクに使用されるIPアドレスの到達可能性を確認します。
LEAF-3# sh ip route 10.10.10.1
IP Route Table for VRF "default"
'*' denotes best ucast next-hop
'**' denotes best mcast next-hop
'[x/y]' denotes [preference/metric]
'%<string>' in via output denotes VRF <string>
10.10.10.1/32, ubest/mbest: 1/0
*via 192.168.120.1, Eth1/49, [110/3], 01:15:01, ospf-1, intra
LEAF-3# ping 10.10.10.1
PING 10.10.10.1 (10.10.10.1): 56 data bytes
64 bytes from 10.10.10.1: icmp_seq=0 ttl=253 time=0.898 ms
64 bytes from 10.10.10.1: icmp_seq=1 ttl=253 time=0.505 ms
64 bytes from 10.10.10.1: icmp_seq=2 ttl=253 time=0.433 ms
64 bytes from 10.10.10.1: icmp_seq=3 ttl=253 time=0.465 ms
64 bytes from 10.10.10.1: icmp_seq=4 ttl=253 time=0.558 ms
LEAF-3(config-if)# show vpc brief
Legend:
(*) - local vPC is down, forwarding via vPC peer-link
vPC domain id : 1
Peer status : peer adjacency formed ok <<<<
vPC keep-alive status : peer is alive <<<<
Configuration consistency status : success
Per-vlan consistency status : success
Type-2 consistency status : success
vPC role : secondary
Number of vPCs configured : 0
Peer Gateway : Disabled
Dual-active excluded VLANs : -
Graceful Consistency Check : Enabled
Auto-recovery status : Disabled
Delay-restore status : Timer is off.(timeout = 30s)
Delay-restore SVI status : Timer is off.(timeout = 10s)
Delay-restore Orphan-port status : Timer is off.(timeout = 0s)
Operational Layer3 Peer-router : Disabled
Virtual-peerlink mode : Enabled <<<<<<<
vPC Peer-link status
---------------------------------------------------------------------
id Port Status Active vlans
-- ---- ------ -------------------------------------------------
1 Po1 up 1,10,50,600-604,608,610-611,614-618,638-639,
662-663,701-704
VPCのロールを確認するには、次のコマンドを実行します。
LEAF-3(config-if)# sh vpc role
vPC Role status
----------------------------------------------------
vPC role : secondary <<<<
Dual Active Detection Status : 0
vPC system-mac : 00:23:04:ee:be:01
vPC system-priority : 32667
vPC local system-mac : d0:e0:42:e2:09:6f
vPC local role-priority : 32667
vPC local config role-priority : 32667
vPC peer system-mac : 2c:4f:52:3f:46:df
vPC peer role-priority : 32667
vPC peer config role-priority : 32667
ピアリンクポートチャネルで許可されるすべてのVLANは、VNIにマッピングする必要があります。マッピングしない場合は、矛盾していると表示されます
LEAF-3(config-if)# show vpc virtual-peerlink vlan consistency
Following vlans are inconsistent
1 608 610 611 614 615 616 617 618 638 639 701 702 703 704
アップリンクの設定が正しくプログラムされていることを確認するには、次のコマンドを実行します。
LEAF-3(config-if)# show vpc fabric-ports
Number of Fabric port : 1
Number of Fabric port active : 1
Fabric Ports State
-------------------------------------
Ethernet 1/49 UP
注:NVEとそれに関連付けられているループバックインターフェイスは、VPCがアップしていない限り表示されます。
関連情報
更新履歴
| 改定 | 発行日 | コメント |
|---|---|---|
1.0 |
05-Oct-2023 |
初版 |
フィードバック