為NXOS配置VXLAN vPC交換矩陣對等並對其進行故障排除
簡介
本文檔介紹如何為NXOS和BUM流量配置和驗證vPC交換矩陣對等。
必要條件
需求
思科建議瞭解以下主題：
- vPC（虛擬埠通道）
- 虛擬可擴充LAN(VXLAN)
採用元件
本文中的資訊係根據以下軟體和硬體版本：
- 適用於枝葉交換93240的N9K-C-YC-FX2版本：10.3(3)
- 適用於主幹交換機的N9K-C9336C-FX2版本：10.3(3)
本文中的資訊是根據特定實驗室環境內的裝置所建立。文中使用到的所有裝置皆從已清除（預設）的組態來啟動。如果您的網路運作中，請確保您瞭解任何指令可能造成的影響。
網路圖表
vPC交換矩陣對等提供增強型雙歸屬接入解決方案，而不會為vPC對等鏈路浪費物理埠。此功能保留了傳統vPC的所有特徵。
在此部署中，我們將Leaf-3和Leaf-4配置為具有交換矩陣對等的vPC。
組態
TCAM配置
在配置之前，將檢查TCAM記憶體：
LEAF-4(config-if)# sh hardware access-list tcam region
NAT ACL[nat] size = 0
Ingress PACL [ing-ifacl] size = 0
VACL [vacl] size = 0
Ingress RACL [ing-racl] size = 2304
Ingress L2 QOS [ing-l2-qos] size = 256
Ingress L3/VLAN QOS [ing-l3-vlan-qos] size = 512
Ingress SUP [ing-sup] size = 512
Ingress L2 SPAN filter [ing-l2-span-filter] size = 256
Ingress L3 SPAN filter [ing-l3-span-filter] size = 256
Ingress FSTAT [ing-fstat] size = 0
span [span] size = 512
Egress RACL [egr-racl] size = 1792
Egress SUP [egr-sup] size = 256
Ingress Redirect [ing-redirect] size = 0
Egress L2 QOS [egr-l2-qos] size = 0
Egress L3/VLAN QOS [egr-l3-vlan-qos] size = 0
Ingress Netflow/Analytics [ing-netflow] size = 512
Ingress NBM [ing-nbm] size = 0
TCP NAT ACL[tcp-nat] size = 0
Egress sup control plane[egr-copp] size = 0
Ingress Flow Redirect [ing-flow-redirect] size = 0 <<<<<<<<
Ingress PACL IPv4 Lite [ing-ifacl-ipv4-lite] size = 0
Ingress PACL IPv6 Lite [ing-ifacl-ipv6-lite] size = 0
Ingress CNTACL [ing-cntacl] size = 0
Egress CNTACL [egr-cntacl] size = 0
MCAST NAT ACL[mcast-nat] size = 0
Ingress DACL [ing-dacl] size = 0
Ingress PACL Super Bridge [ing-pacl-sb] size = 0
Ingress Storm Control [ing-storm-control] size = 0
Ingress VACL redirect [ing-vacl-nh] size = 0
Egress PACL [egr-ifacl] size = 0
Egress Netflow [egr-netflow] size = 0
vPC交換矩陣對等需要應用區域ing-flow-redirect的TCAM雕刻。 TCAM雕刻需要在使用該功能之前儲存配置並重新載入交換機。
TCAM上的此空間是雙寬度，因此我們可以分配的最小值為512。
TCAM雕刻
在此情況中，Ring-racl有足夠的空間來佔用512並將那些512分配給Ing-flow-redirect。
LEAF-4(config-if)# hardware access-list tcam region ing-racl 1792
Please save config and reload the system for the configuration to take effect
LEAF-4(config)# hardware access-list tcam region ing-flow-redirect 512
Please save config and reload the system for the configuration to take effect
注意：通過DCNM配置vPC交換矩陣對等時，將完成TCAM雕刻，但需要重新載入才能生效
一旦完成更改，就會反映在命令上：
513E-B-11-N9K-C93240YC-FX2-4# sh hardware access-list tcam region
NAT ACL[nat] size = 0
Ingress PACL [ing-ifacl] size = 0
VACL [vacl] size = 0
Ingress RACL [ing-racl] size = 2304
Ingress L2 QOS [ing-l2-qos] size = 256
Ingress L3/VLAN QOS [ing-l3-vlan-qos] size = 512
Ingress SUP [ing-sup] size = 512
Ingress L2 SPAN filter [ing-l2-span-filter] size = 256
Ingress L3 SPAN filter [ing-l3-span-filter] size = 256
Ingress FSTAT [ing-fstat] size = 0
span [span] size = 512
Egress RACL [egr-racl] size = 1792
Egress SUP [egr-sup] size = 256
Ingress Redirect [ing-redirect] size = 0
Egress L2 QOS [egr-l2-qos] size = 0
Egress L3/VLAN QOS [egr-l3-vlan-qos] size = 0
Ingress Netflow/Analytics [ing-netflow] size = 512 <<<<<
Ingress NBM [ing-nbm] size = 0
TCP NAT ACL[tcp-nat] size = 0
Egress sup control plane[egr-copp] size = 0
Ingress Flow Redirect [ing-flow-redirect] size = 0
Ingress PACL IPv4 Lite [ing-ifacl-ipv4-lite] size = 0
Ingress PACL IPv6 Lite [ing-ifacl-ipv6-lite] size = 0
Ingress CNTACL [ing-cntacl] size = 0
Egress CNTACL [egr-cntacl] size = 0
MCAST NAT ACL[mcast-nat] size = 0
Ingress DACL [ing-dacl] size = 0
Ingress PACL Super Bridge [ing-pacl-sb] size = 0
Ingress Storm Control [ing-storm-control] size = 0
Ingress VACL redirect [ing-vacl-nh] size = 0
Egress PACL [egr-ifacl] size = 0
注意：請確保在TCAM上更改後重新載入裝置，否則VPC不會啟動，因為未在TCAM上應用更改。
vPC配置
VPC域
在VPC域中的LEAF-3和LEAF-4上，配置是為保持連線鏈路和虛擬對等鏈路指定IP地址
vpc domain 1
peer-keepalive destination 192.168.1.1 source 192.168.1.2 vrf management
virtual peer-link destination 10.10.10.2 source 10.10.10.1 dscp 56
interface port-channel1
vpc peer-link
Keep-alive
vPC對等體之間的任何直接第3層鏈路必須僅用於保持對等體的活動狀態。它必須位於專用於保持活動狀態的獨立VRF中。在此案例中，我們將使用交換器的介面管理。
LEAF-3
interface mgmt0
vrf member management
ip address 192.168.1.1/24
LEAF-4
interface mgmt0
vrf member management
ip address 192.168.1.2/24
虛擬對等連結的第3層介面
用於虛擬對等鏈路的第3層介面不能與用於保持連線的第3層介面相同，您可以使用用於底層介面的相同環回，也可以是Nexus上的專用環回
這裡，loopback0用於底層，loopback2是虛擬對等鏈路的專用環回，而loopback1是與介面NVE關聯的介面。
LEAF-3
interface loopback0
ip address 10.1.1.1/32
ip router ospf 1 area 0.0.0.0
ip pim sparse-mode
interface loopback1
ip address 172.16.1.2/32
ip address 172.16.1.1/32 secondary
ip router ospf 1 area 0.0.0.0
ip pim sparse-mode
interface loopback2
ip address 10.10.10.2/32
ip router ospf 1 area 0.0.0.0
LEAF-4
interface loopback0
ip address 10.1.1.2/32
ip router ospf 1 area 0.0.0.0
ip pim sparse-mode
interface loopback1
ip address 172.16.1.3/32
ip address 172.16.1.1/32 secondary
ip router ospf 1 area 0.0.0.0
ip pim sparse-mode
interface loopback2
ip address 10.10.10.1/32
ip router ospf 1 area 0.0.0.0
VPC對等鏈路
即使我們不打算將物理介面分配給port-channel，對等鏈路也需要分配埠通道。
LEAF-3(config-if)# sh run interface port-channel 1 membership
interface port-channel1
switchport
switchport mode trunk
spanning-tree port type network
vpc peer-link
上行鏈路
配置的最後一部分是使用port-type fabric命令配置指向SPINE的兩個枝葉上的鏈路。
interface Ethernet1/49
port-type fabric <<<<<<<<
medium p2p
ip unnumbered loopback0
ip router ospf 1 area 0.0.0.0
ip pim sparse-mode
no shutdown
註：如果不配置埠型別交換矩陣，您將看不到Nexus正在生成的保持連線
SPINES配置
建議在spines上設定QoS以匹配VPC域上配置的DSCP值，因為vPC交換矩陣對等對等鏈路是通過傳輸網路建立的。
控制平面資訊CFS消息用於同步埠狀態資訊、VLAN資訊、VLAN到VNI對映、主機MAC地址和IGMP監聽組，這些消息通過交換矩陣傳輸。CFS消息使用適當的DSCP值進行標籤，必須在傳輸網路中對其進行保護。
class-map type qos match-all CFS
match dscp 56
policy-map type qos CFS
class CFS
Set qos-group 7 <<< Depending on the platform it can be 4
interface Ethernet 1/35-36
service-policy type qos input CFS
採用輸入複製封裝的廣播、未知的單點傳播和多點傳播流量
當nexus收到需要廣播的資料包時，會生成該資料包的2個副本。
1.對VNI泛洪清單中的所有遠端VTEP（包括本地接入埠）
2.到遠端VPC對等裝置
對於第一個副本，Nexus使用輔助IP地址的源IP和遠端VTEP的目標IP以及本地訪問埠封裝流量。
對於第二個副本，它將傳送到遠端VPC對等裝置，源IP將成為環回的主要，而目標IP是遠端VPC對等裝置的PIP。
收到來自主幹的資料包後，遠端VTEP只會將資料包轉發到孤立埠。
使用入口複製解除封裝的廣播、未知的單點傳播和多點傳播流量
由於從另一個VTEP接收的BUM流量的目的地IP是流量雜湊到其中一個VPC裝置的VIP，因此它會解除封包封裝，並將其傳送至存取連線埠。
為了使流量到達遠端對等路由器上連線的孤立埠，nexus會生成資料包的副本，並且只將資料包傳送到使用主IP地址作為源/目標IP的遠端VPC。
一旦在遠端vpc對等裝置上接收，nexus會解除封裝流量，並僅將其轉發到孤立埠。
採用多點傳送封裝的廣播、未知的單點傳送和多點傳送流量
當nexus收到需要廣播的資料包時，會生成該資料包的2個副本。
1.資料包將傳送到組播S、G條目中的所有OIF，包括本地接入埠
2.到遠端VPC對等裝置
對於第一個副本，Nexus使用配置的輔助IP地址的源IP和組播組的目標IP來封裝流量。
對於第二個副本，它將傳送到遠端VPC對等裝置，源IP將是環回的輔助裝置，目標IP是遠端VPC對等裝置的PIP。
收到來自主幹的資料包後，遠端VTEP僅將資料包轉發到孤立埠。
使用多點傳送解除封裝的廣播、未知的單點傳送和多點傳送流量
在解除封裝過程中，封包將到達兩個VPC對等路由器。只有一台VPC裝置通過VPC埠通道轉發流量。這由命令中顯示的轉發器決定。
module-1# show forwarding internal vpc-df-hash
VPC DF: FORWARDER
驗證
要確保VPC已啟動，請運行以下命令：
驗證用於虛擬對等鏈路的IP地址的可達性。
LEAF-3# sh ip route 10.10.10.1
IP Route Table for VRF "default"
'*' denotes best ucast next-hop
'**' denotes best mcast next-hop
'[x/y]' denotes [preference/metric]
'%<string>' in via output denotes VRF <string>
10.10.10.1/32, ubest/mbest: 1/0
*via 192.168.120.1, Eth1/49, [110/3], 01:15:01, ospf-1, intra
LEAF-3# ping 10.10.10.1
PING 10.10.10.1 (10.10.10.1): 56 data bytes
64 bytes from 10.10.10.1: icmp_seq=0 ttl=253 time=0.898 ms
64 bytes from 10.10.10.1: icmp_seq=1 ttl=253 time=0.505 ms
64 bytes from 10.10.10.1: icmp_seq=2 ttl=253 time=0.433 ms
64 bytes from 10.10.10.1: icmp_seq=3 ttl=253 time=0.465 ms
64 bytes from 10.10.10.1: icmp_seq=4 ttl=253 time=0.558 ms
LEAF-3(config-if)# show vpc brief
Legend:
(*) - local vPC is down, forwarding via vPC peer-link
vPC domain id : 1
Peer status : peer adjacency formed ok <<<<
vPC keep-alive status : peer is alive <<<<
Configuration consistency status : success
Per-vlan consistency status : success
Type-2 consistency status : success
vPC role : secondary
Number of vPCs configured : 0
Peer Gateway : Disabled
Dual-active excluded VLANs : -
Graceful Consistency Check : Enabled
Auto-recovery status : Disabled
Delay-restore status : Timer is off.(timeout = 30s)
Delay-restore SVI status : Timer is off.(timeout = 10s)
Delay-restore Orphan-port status : Timer is off.(timeout = 0s)
Operational Layer3 Peer-router : Disabled
Virtual-peerlink mode : Enabled <<<<<<<
vPC Peer-link status
---------------------------------------------------------------------
id Port Status Active vlans
-- ---- ------ -------------------------------------------------
1 Po1 up 1,10,50,600-604,608,610-611,614-618,638-639,
662-663,701-704
要檢查VPC的角色，請運行命令：
LEAF-3(config-if)# sh vpc role
vPC Role status
----------------------------------------------------
vPC role : secondary <<<<
Dual Active Detection Status : 0
vPC system-mac : 00:23:04:ee:be:01
vPC system-priority : 32667
vPC local system-mac : d0:e0:42:e2:09:6f
vPC local role-priority : 32667
vPC local config role-priority : 32667
vPC peer system-mac : 2c:4f:52:3f:46:df
vPC peer role-priority : 32667
vPC peer config role-priority : 32667
對等鏈路埠通道中允許的所有VLAN必須對映到VNI，以防它們顯示不一致
LEAF-3(config-if)# show vpc virtual-peerlink vlan consistency
Following vlans are inconsistent
1 608 610 611 614 615 616 617 618 638 639 701 702 703 704
要確認上行鏈路上的配置已正確程式設計，請運行命令：
LEAF-3(config-if)# show vpc fabric-ports
Number of Fabric port : 1
Number of Fabric port active : 1
Fabric Ports State
-------------------------------------
Ethernet 1/49 UP
註：除VPC處於開啟狀態外，NVE或與其關聯的環回介面都會顯示。
相關資訊
修訂記錄
| 修訂 | 發佈日期 | 意見 |
|---|---|---|
1.0 |
05-Oct-2023 |
初始版本 |
意見