通過DCNM 11.2(1)部署EVPN VXLAN、多站點

簡介

本文說明如何部署兩個單獨的EVPN VXLAN交換矩陣，以及如何使用Cisco Data Center Manager(DCNM)11.2(1)將這兩個交換矩陣合併到EVPN多站點交換矩陣部署中。

多站點域(MSD)是在DCNM 11.0(1)版本中引入的，是一個多交換矩陣容器，建立它來管理多個成員交換矩陣。這是定義重疊網路和虛擬路由和轉發(VRF)的單一控制點，這些定義在成員結構之間共用。

註：本文檔不介紹DCNM中每個頁籤的功能/屬性的詳細資訊。請參見結尾處的參考資料，其中確實包括詳細的說明。

  

必要條件

需求

思科建議您瞭解以下主題：

• 用於部署DCNM虛擬機器的vCenter/UCS

• 熟悉NX-OS和Nexus 9000

• 以枝葉/主幹方式連線的Nexus 9000ToRs和EoR

採用元件

本檔案中的資訊是根據以下軟體和硬體：

• DCNM 11.2(1)
• NX-OS 7.0(3)I7(7)和NX-OS 9.2(3)
• 主幹：N9K-C9508 / N9K-X97160YC-EX和N9K-C9508 / N9K-X9636PQ
• 枝葉：N9K-C9372TX、N9K-C93180YC-EX、N9K-C9372TX-E、N9K-C92160YC-X
• 邊界網關：N9K-C93240YC-FX2和N9K-C93180YC-FX
• 7K「主機」：N77-C7709

本文中的資訊是根據特定實驗室環境內的裝置所建立。文中使用到的所有裝置皆從已清除（預設）的組態來啟動。如果您的網路運作中，請確保您瞭解任何指令可能造成的影響。

物理拓撲已建立

在vCenter中部署OVA/OVF

步驟1.在vCenter下，在您選擇的伺服器/主機中部署開放式虛擬化格式(OVF)模板，如下圖所示。

1. 在本地擁有OVA/OVF等檔案，並通過Choose Files進行選擇，如下圖所示：

2. 按照其餘提示（VM名稱、哪個主機、網路設定，如圖所示）按一下Finish。

步驟2.完成後，啟動DCNM VM，如此處所示。

步驟3.啟動Web控制檯，一旦進入控制檯，您應該會看到以下提示（IP不同，因為此提示特定於您的環境和配置）：

步驟4.轉到https://<your IP>:2443（這是您之前在OVA部署期間配置的IP），然後按一下Get Started。在本示例中，介紹全新安裝。

步驟5.配置管理員密碼後，必須選擇要安裝的交換矩陣型別。在LAN或FAB之間進行選擇，因為每種型別具有不同的用途，因此請確保正確理解和選擇。在本例中，使用LAN光纖，適用於大多數VXLAN-EVPN部署。

步驟6.按照安裝程式提示使用網路的DNS、網路時間協定(NTP)伺服器、DCNM主機名等。

步驟7.配置管理IP和管理網關。管理網路提供與DCNM伺服器的連線（SSH、SCP、HTTP和HTTPS）。這也是用於連線GUI的IP。IP地址應該從之前完成的OVA安裝中預先配置。

步驟8.配置帶內網路。帶內網路用於端點定位器等應用，端點定位器要求前面板埠連線到交換矩陣中的9K，以在DCNM和9K之間建立邊界網關協定(BGP)會話。 

步驟9.配置內部應用服務網路 —

從DCNM 11.0版本開始，DCNM支援使用DCNM LAN OVA/ISO安裝的應用程式框架(AFW)。該框架使用Docker在群集和非群集環境中將應用程式作為微服務進行協調，以實現橫向擴展體系結構。

預設情況下隨DCNM一起提供的其他應用程式套件括Endpoint Locator、Watch Tower、Virtual Machine Manager外掛、Config Compliance等。AFW負責這些應用的生命週期管理，包括提供網路、儲存、身份驗證、安全等。AFW還管理Network Insights應用程式（即NIR和NIA）的部署和生命週期。如果您啟用了NIA/NIR，則此子網用於Docker服務。

如何安裝NIA/NIR將在第2天操作部分中介紹。

附註：此子網不應與分配給eth0/eth1/eth2介面的網路重疊（分配給DCNM和計算節點）。此外，此子網不應與分配給交換機或DCNM管理的其他裝置的IP重疊。安裝DCNM主節點和輔助節點時（在本機HA部署的情況下），所選子網應保持一致。

  

步驟10.檢查並確認所有配置詳細資訊並開始安裝。

步驟11.在完全安裝DCNM後，登入到GUI（先前配置的IP地址或主機名）。

部署第一個交換矩陣 — RTP交換矩陣

步驟1.在DCNM GUI中導航到Fabric Builder。「控制」>「結構」>「結構生成器」，以便建立第一個結構。

步驟2.點選建立交換矩陣，並根據網路需要填寫表格 — Easy Fabric是本地EVPN VXLAN部署的正確模板：

步驟3.填寫交換矩陣的底層、重疊、vPC、複製、資源等要求。

本節介紹通過DCNM所需的全部底層、重疊、vPC、複製等設定。這取決於網路編址方案、要求等。在本例中，大多數欄位保留為預設值。L2VNI和L3VNI已變更，使得L2VNI以2開始，而L3VNI以3開始，以便稍後進行疑難排解。還啟用雙向轉發檢測(BFD)以及其他功能。

步驟4.在Bootstrap配置下，配置您希望DCNM在POAP過程中分配給交換矩陣內的交換機的DHCP地址範圍。配置適當的（現有）預設網關。完成後，按一下Save，現在您可以繼續將交換機新增到交換矩陣中。

將交換機新增到交換矩陣

步驟1.導航到控制>結構>結構構建器，然後選擇結構。在左側面板上，按一下Add Switches，如下圖所示。

您可以通過使用種子IP（表示必須手動配置每台交換機的mgmt0 IP）來發現交換機，也可以通過POAP來發現交換機，並讓DCNM為您配置所有mgmt0 IP地址、VRF管理等。在本示例中，我們將使用POAP。

步驟2.當您看到您感興趣的交換機後，輸入希望DCNM使用的所需IP地址和主機名，輸入Admin PW，然後點選Bootstrap，如下圖所示。

成功的啟動日誌應如下圖所示，從交換機控制檯開始。

步驟3.在部署整個交換矩陣的配置之前，請確保之前已使用裝置憑證配置DCNM。您登入時，GUI中應該出現一個彈出視窗。如果沒有，您可以始終通過管理>憑證管理> LAN憑證來訪問它。 

附註：如果缺少裝置憑證，DCNM無法將配置推送到交換機。

  

部署交換矩陣的配置

步驟1。使用相同的步驟發現給定交換矩陣的所有交換機後，導航到Control > Fabric > Fabric Builder > <您選擇的交換矩陣>。您應該在此處看到您的交換機及其所有鏈路。按一下「Save & Deploy」。

步驟2.在Config Deployment視窗中，檢視每台交換機DCNM推送的配置行數。如果需要，您也可以預覽配置，並比較之前和之後的配置：

確保所有交換機狀態均為已完成，100%沒有任何錯誤 — 如果有任何錯誤，請確保一次解決一個錯誤(有關示例，請參閱在此部署過程中遇到的問題部分)

步驟3.（可選）此時您可以登入裝置，並發出任何show run CLI，以驗證DCNM是否已成功推送配置。

範例：

部署第二個交換矩陣 — SJ

對RTP交換矩陣執行與之前相同的步驟，對BGP AS等使用不同的值。

步驟1。導覽至Control > Fabric > Fabric Builder > Create Fabric > Name it!

本部分介紹所有需要的Underlay、Overlay、vPC、Replication等設定。這取決於網路編址方案、要求等。

附註：如果使用了多站點，則此處的任播網關MAC應與另一個交換矩陣匹配，但稍後不支援不同的任播網關MAC。稍後在「多站點部署」部分對此進行了更正（由於篇幅簡短，未顯示在文章中）。

步驟2.如前所述配置Bootstrap部分。再次瀏覽Add Switches。發現所有配置後，按一下Save & Deploy部署配置。這全部在RTP交換矩陣部署部分中介紹（此處省略是為了簡潔起見）。

最後從Fabric Builder的角度看拓撲。

理想情況下，所有交換機及其鏈路都應顯示為綠色。此圖顯示了DCNM中不同的狀態顏色。

步驟3.配置並部署兩個交換矩陣後，確保儲存配置並重新載入，以便TCAM更改生效。請轉到控制>結構>結構構建器> <您的結構>，導航到表格檢視，如下圖所示。

步驟4.然後按一下power 按鈕（這會同時重新載入所有交換器）：

建立網路(VLAN/L2VNI)和VRF(L3VNI)

步驟1。導覽至Control > Fabric > Networks，如下圖所示。

步驟2.如圖所示，選擇Scope以進行更改。即，此配置需要應用到哪個交換矩陣？

步驟3.按一下+符號，如下圖所示。

步驟4. DCNM將引導您完成建立交換機虛擬介面(SVI)（或純L2 VLAN）的過程。 如果在此階段未建立VRF，請再次按一下+按鈕，這將臨時將您帶到VRF瀏覽，然後繼續使用SVI設定。

您可以在Advanced 索引標籤下設定這些功能： 

• ARP抑制
• 輸入複製
• 多點傳送群組
• DCHP
• 路由標籤
• TRM
• L2 VNI路由目標
• 在邊界上啟用第3層網關

步驟5.按一下Continue以部署網路/VRF組態。

步驟6.按兩下拓撲檢視中的裝置（或裝置）（DCNM會自動將您帶到此處），以將其選擇用於適用的配置。按一下「Save」，如下圖所示。

步驟7.選擇後，交換機應顯示為藍色（準備部署），如下圖所示。

注意：如果您要在部署之前驗證CLI的配置，可以按一下Detailed View而不是Deploy，然後在下一個螢幕上按一下Preview。 

應用配置時，交換機變為黃色，配置完成後將返回綠色。

步驟8.（可選）如果需要，可以登入CLI驗證配置（請記住使用expand-port-profile選項）：

多站點配置

對於此全新部署，MSD交換矩陣通過邊界網關(BGW)之間的直接對等進行部署。 另一種方法是使用集中式路由伺服器，本文檔未對此進行說明。

步驟1。導覽至Control > Fabric Builder > Create Fabric，如下圖所示。

步驟2.為您的多站點交換矩陣指定一個名稱，並在交換矩陣模板的下拉選單中選擇MSD_Fabric_11_。

步驟3.在General下，確保您的L2和L3 VNI範圍與您的單個交換矩陣所使用的相匹配。此外，兩個交換矩陣上的任播網關MAC必須匹配（在本例中為RTP/SJ）。如果網關MAC不匹配，並且需要在MSD部署前進行更正，則DCNM會給出一個錯誤。

步驟4.按一下Save，然後導覽至MSD光纖，然後按一下Save & Deploy。成功完成之後，您的拓撲應如下所示（所有交換機+鏈路為綠色）：

部署主機訪問/中繼策略

在本示例中，配置兩個不同VTEP對的vPC中繼並測試本地RTP交換矩陣內的連線。相關拓撲，如下圖所示：

步驟1。導覽至Control > Fabric > Interfaces，如下圖所示。

步驟2.按一下+以進入「Add an Interface」嚮導，如下圖所示。

在本示例中，在N7K的下游建立了一個vPC中繼，用於在此引導中ping測試。

步驟3.選擇適當的vPC對、物理介面、LACP開/關、BPDUGuard等。

步驟4.完成後按一下Save。或者，您可以直接部署，如圖所示。

步驟5.（可選）檢視要應用的配置。

步驟6.（可選）7K上的手動配置：

步驟7.（可選）在N7K上建立測試SVI以對RTP中的VTEP執行ping操作(VTEP在VRF中具有10.212.20.1的任播網關(_red):

步驟8.（可選）驗證RTP中的其他VTEP是否透過EVPN/HMM看到此主機：

步驟9.（可選）對seoul-bb11/12重複相同的過程（建立vPC埠通道，建立SVI 2300）。 從RTP-Left向RTP-Right執行ping操作以確認RTP交換矩陣內通過EVPN的L2連線：

在Add Interfaces上下文中可以執行類似的步驟來建立非vPC埠通道、訪問介面等。

第2天運營

通過DCNM升級NX-OS軟體

步驟1。上傳映像（或一組映像到DCNM的伺服器），然後導覽至Control > Image Management > Image Upload，如下圖所示。

步驟2.按照提示進行本機上傳，然後檔案應如下圖所示：

步驟3.上傳檔案後，如果交換器需要升級，您可以前往安裝與升級。導覽至Control > Image Management > Install & Upgrade，如下圖所示。

步驟4.選擇要升級的交換機。在本示例中，升級了整個RTP交換矩陣。

步驟5.選擇要將交換機升級至哪個NX-OS版本（最佳實踐是將所有交換機升級到同一NX-OS版本）：

步驟6.按一下下一步,DCNM通過安裝前檢查運行交換機。此視窗可能需要相當長的時間，因此您也可以選擇Finish Installation Later，並在您離開時安排升級。

完成任務後，此命令將任務排隊，其顯示與如下圖所示。

註：上述情況的例外情況是，其中一台RTP交換機沒有足夠空間用於NX-OS映像。

步驟7.完成相容性後，按一下同一視窗中的完成安裝，如下圖所示。

步驟8.您可以選擇要併發（所有同時進行）或按順序（一次進行）進行的升級。 由於這是實驗室環境，因此選擇是併發。

任務建立後會顯示IN PROGRESS，如下圖所示。

此處顯示選擇影象的另一種方式。

安裝終結點定位器

要使DCNM應用正常工作，您必須在DCNM伺服器和前面板埠之間具有到交換矩陣中某個Nexus 9000的帶內連線。在本示例中，DCNM伺服器連線到RTP交換矩陣中一個主幹的Ethernet1/5。

步驟1.將此CLI手動新增到Nexus 9000:

步驟2.確保您可以ping通DCNM伺服器，反之亦然。

步驟3.導覽至DCNM GUI > Control > Endpoint Locator > Configure，如下圖所示。

步驟4.選擇要啟用終端定位器的結構，如下圖所示。

步驟5.如圖所示，選擇骨幹。

步驟6.（可選）。 繼續下一步之前，通過DCNM伺服器上的此CLI將eth2的IP從原始部署更改（如果DCNM伺服器全新安裝期間配置的原始IP仍然正確，則不需要執行此步驟）：

步驟7.檢驗帶內介面配置。此專案應與上一步中設定的專案相符。

步驟8.檢視配置後，按一下Configure。此步驟可能需要幾分鐘時間：

完成後，系統會顯示通知，如下圖所示。

請注意，DCNM已在L2VPN EVPN系列中的所選主幹上配置了BGP鄰居。

步驟9.您現在可以使用終端定位器。導航至Monitor > Endpoint Locator > Explore。

在本例中，您可以看到為RTP交換矩陣中的本地ping測試配置的兩台主機：

部署過程中遇到的問題

纜線連線錯誤

一對交換機佈線錯誤，導致vPC對等鏈路埠通道500出現捆綁錯誤。示例:

步驟1.導航回控制 > Fabric Builder，並檢視錯誤：

步驟2.關於port-channel500命令失敗的第一個錯誤 — 通過show cdp neighbors驗證到vPC對等體的連線是在10G和40G埠上（不相容）。 已物理刪除10G埠並從DCNM中刪除該鏈路：

未能配置功能

第二個錯誤與「feature ngoam」配置失敗有關 — 交換機已升級到支援「feature ngoam」的較新NX-OS版本，然後再次按一下Save & Deploy。這兩個問題均已解決。

重疊不同交換矩陣的管理子網

當部署第二個交換矩陣(SJ)時，使用了相同的子網（如果物理上是獨立的，則應該可以正常使用）；但是，DCNM會記錄衝突並且POAP失敗。這是因為SJ交換矩陣被置於不同的管理VLAN中並更改了DHCP地址的範圍。

分組介面

步驟1.對於某些交換機中的分支介面（請參閱拓撲），已為T2主幹手動新增此CLI:

步驟2.導覽至Control > Interfaces，然後刪除父介面：

實際使用的介面是Eth1/6/1-4和Eth1/7/1-4。如果您不更正此問題，儲存和部署稍後將失敗。有一個方法可以通過DCNM本身進行突破(+符號旁邊的按鈕；但是，本文未涉及)

部署到不受支援的功能時出現結構錯誤

SJ交換矩陣中的某些機箱(T2)不支援TRM，因此，當DCNM嘗試推送此配置時，它無法前進。TRM支援如下：https://www.cisco.com/c/en/us/td/docs/switches/datacenter/nexus9000/sw/92x/vxlan-92x/configuration/guide/b-cisco-nexus-9000-series-nx-os-vxlan-configuration-guide-92x/b_Cisco_Nexus_9000_Series_NX-OS_VXLAN_Configuration_Guide_9x_chapter_01001.html#concept_vw1_syb_zfb

已取消選中Network和VRF Edit視窗下的TRM Enable框，如下圖所示。

在Control > Fabric Builder > VRF下重複相同的過程。

  

按前所述分別按一下Continue和Deploy。

DCNM 11.2中有哪些新功能？

• vPC光纖對等

• 基於eBGP的路由結構

  • 在頂部啟用EVPN

• 簡易光纖棕色場增強功能

  • 邊界骨幹/邊界網關骨幹

  • PIM Bidir

  • 租戶路由多點傳送

• 使用外部DHCP伺服器的第0天/載入程式

第2天運營：

• 網路洞察資源

• 網路洞察顧問

• 適用於外部存取的IPv6支援(eth0)

• UCS-FI的VMM計算可視性

• 拓撲檢視增強功能

• 從11.0/11.1進行內嵌升級

使用DCNM從傳統vPC改為無MCT vPC:

無MCT vPC的優勢：

• 增強型雙歸屬解決方案，不會浪費物理埠

• 保留傳統vPC特徵

• 使用PIP為單一宿主終端最佳化路由

相關資訊

• Cisco DCNM LAN光纖組態設定指南11.2(1)版
  https://www.cisco.com/c/en/us/td/docs/switches/datacenter/sw/11_2_1/config_guide/lanfabric/b_dcnm_fabric_lan/control.html
  
  
• 章節：VXLAN BGP EVPN交換矩陣中的邊界調配使用案例 — 多站點
  https://www.cisco.com/c/en/us/td/docs/switches/datacenter/sw/11_2_1/config_guide/lanfabric/b_dcnm_fabric_lan/border-provisioning-multisite.html
  
• 使用vPC邊界網關的VXLAN EVPN多站點下一代DCI白皮書
  https://www.cisco.com/c/en/us/products/collateral/switches/nexus-9000-series-switches/whitepaper-c11-742114.html#_Toc5275096
  
  
• 章節：DCNM應用
  https://www.cisco.com/c/en/us/td/docs/switches/datacenter/sw/11_2_1/config_guide/lanfabric/b_dcnm_fabric_lan/applications.html