Nexus 5500 VM-FEX配置示例
簡介
本文說明如何在Cisco Nexus 5500交換機上配置、運行虛擬機器交換矩陣擴展器(VM-FEX)功能和對其進行故障排除。
必要條件
需求
思科建議您瞭解這些主題的基本知識。
- Nexus虛擬連線埠通道(VPC)
- VMware vSphere
採用元件
本檔案中的資訊是根據以下硬體和軟體版本：
- 執行5.2(1)N1(4)版的Nexus 5548UP
- 整合運算系統(UCS)-C C210 M2機架式伺服器，搭載執行韌體版本1.4(2)的UCS P81E虛擬介面卡
- vSphere 5.0版（ESXi和vCenter）
本文中的資訊是根據特定實驗室環境內的裝置所建立。文中使用到的所有裝置皆從已清除（預設）的組態來啟動。如果您的網路運作中，請確保您已瞭解任何指令或封包擷取設定可能造成的影響。
VM-FEX概述
VM-FEX將虛擬和物理網路結合到單個基礎架構中。它允許您在統一基礎設施中調配、配置和管理虛擬機器網路流量和裸機網路流量。
VM-FEX軟體通過以下功能將思科交換矩陣擴展器技術擴展到虛擬機器：
- 每個虛擬機器在父交換機上都有一個專用介面。
- 所有虛擬機器流量都直接傳送到交換機上的專用介面。
- 虛擬機器監控程式中的標準vSwitch將被淘汰。
VM-FEX是一種分散式虛擬交換機（DVS或VDS）。 DVS抽象化了多個ESX伺服器之間的單個交換機，這些伺服器是vCenter中同一資料中心容器的一部分。虛擬機器(VM)虛擬網路介面控制器(VNIC)配置從集中位置（VM-FEX中的Nexus 5000或UCS，本文檔說明了基於Nexus 5000的VM-FEX）進行維護。
VM-FEX可以在兩種模式下運行：
- 直通：這是預設模式，其中VEM參與VM流量的資料路徑。
- 高效能：VM流量不由VEM處理，而是直接傳遞到網路IO虛擬化(NIV)介面卡。
為了使用高效能模式，埠配置檔案配置應請求該模式，VM作業系統及其虛擬介面卡應支援該模式。本文檔稍後將提供有關此操作的詳細資訊。
定義
- 虛擬乙太網路模組(VEM)。 在ESX虛擬機器監控程式內運行並在單個軟體包中提供VNLink實施的思科軟體模組
- 網路IO虛擬化(NIV)使用VNtagging透過同一個實體乙太網路通道部署多個虛擬網路連結(VN-Link)
- 資料中心橋接功能交換(DCBX)
- VNIC介面控制(VIC)
- 虛擬NIC(VNIC)，表示主機端點。它可以與活動VIF或備用VIF關聯
- 分散式虛擬連線埠(DVPort)。VNIC連線到VEM中的DVPort
- NIV虛擬介面(VIF)，在網路端點指示
- 虛擬乙太網路(vEth)介面表示交換器上的VIF
- 直通交換機(PTS)。安裝在虛擬機器監控程式中的VEM模組
設定
該拓撲是UCS-C伺服器，帶有雙宿主P81E VIC到兩台Nexus 5548 VPC交換機。
網路圖表
這些必需元件必須已經到位：
- VPC在兩個Nexus 5000交換機之間正確配置和初始化。
- VMWare vCenter已安裝並通過vSphere客戶端連線到。
- ESXi安裝在UCS-C伺服器上並新增到vCenter。
配置步驟概述如下：
- 在伺服器介面卡上啟用NIV模式：
- 通過HTTP連線到思科整合管理控制器(CIMC)介面，並使用管理員憑據登入。
- 選擇Inventory > Network Adapters > Modify Adapter Properties。
- 啟用NIV模式，設定VM FEX介面數量，並儲存更改。
- 關閉電源，然後開啟伺服器。
伺服器重新聯機後，驗證是否已啟用NIV:
- 通過HTTP連線到思科整合管理控制器(CIMC)介面，並使用管理員憑據登入。
- 在伺服器上建立兩個靜態路徑。
要建立兩個VNIC，請選擇Inventory > Network Adapters > VNICs > Add。
以下是需要定義的最重要欄位：
- 要使用的VIC上行鏈路埠（P81E有兩個稱為0和1的上行鏈路埠）。
- 通道號：這是介面卡上VNIC的唯一通道ID。在Nexus 5000上的vEth介面下的bind命令中會引用此內容。通道號的範圍僅限於VNTag物理鏈路。該通道可視為交換機與伺服器介面卡之間的物理鏈路上的「虛擬鏈路」。
- Port-profile:可以選擇上游Nexus 5000上定義的埠配置檔案清單。如果使用vEthernet auto-create命令配置Nexus 5000，則在Nexus 5000上自動建立vEth介面。請注意，僅將vEthernet埠配置檔名稱傳遞給伺服器（埠配置檔案配置不是）。 在VNTag鏈路連線建立並在交換機和伺服器介面卡之間執行初始握手和協商步驟後，會發生這種情況。
- 啟用上行鏈路故障切換：如果配置的上行鏈路埠離線，VNIC將故障切換到另一個P81E上行鏈路埠。
- 要使用的VIC上行鏈路埠（P81E有兩個稱為0和1的上行鏈路埠）。
- 重新啟動伺服器。
- 在ESXi主機上安裝VEM。
有關在ESXi主機上安裝VEM的示例，請參閱Cisco UCS Manager VM-FEX for VMware GUI配置指南2.1版中的在ESX或ESXi主機上安裝或升級Cisco VEM軟體捆綁包。 - 啟用虛擬化功能集以及VM-FEX和HTTP功能：
(config)# install feature-set virtualization
(config)# feature-set virtualization
(config)# feature vmfex
(config)# feature http-server
(Optional) Allow the Nexus 5000 to auto-create its Vethernet interfaces when the
corresponding vNICs are defined on the server:
(config)# vethernet auto-create - 在主機介面上啟用VNTag。
Configure the N5k interface that connects to the servers in VNTAG mode:
(config)# interface Eth 1/1
(config-if)# switchport mode vntag
(config-if)# no shutdown - 調出靜態路徑。
在兩台Nexus 5500交換機上，啟用應連線到伺服器VIC上啟用的兩個靜態VNIC的靜態vEth虛擬介面。
在Nexus 5548-A上，輸入：interface vethernet 1
bind interface eth 1/1 channel 10
no shutdown
在Nexus 5548-B上，輸入：interface vethernet 2
bind interface eth 1/1 channel 11
no shutdown
或者，也可以使用vethernet auto-create命令自動建立這些vEth介面。
以下提供範例。
在兩台Nexus 5000上，分別配置：interface Vethernet1
description server_uplink1
bind interface Ethernet101/1/1 channel 11
bind interface Ethernet102/1/1 channel 11
interface Vethernet2
description server_uplink2
bind interface Ethernet101/1/1 channel 12
bind interface Ethernet102/1/1 channel 12 - 配置與vCenter的SVS連線並連線。
在兩台Nexus 5500交換機上，配置：svs connection <name>
protocol vmware-vim
remote ip address <vCenter-IP> vrf <vrf>
dvs-name <custom>
vmware dvs datacenter-name <VC_DC_name>
僅在VPC主交換機上，連線到vCenter:svs connection <name>
connect
Sample configuration on VPC primary:
svs connection MyCon
protocol vmware-vim
remote ip address 10.2.8.131 port 80 vrf management
dvs-name MyVMFEX
vmware dvs datacenter-name MyVC
connect
以下是VPC輔助交換機上的配置示例：svs connection MyCon
protocol vmware-vim
remote ip address 10.2.8.131 port 80 vrf management
dvs-name MyVMFEX
vmware dvs datacenter-name MyVC - 在Nexus 5000上建立埠配置檔案。
在兩台Nexus 5500交換機上，為VM-FEX VNIC配置埠配置檔案。這些埠配置檔案在vCenter中顯示為DVS交換機的埠組。
以下是範例：vlan 10,20
port-profile type vethernet VM1
dvs-name all
switchport mode access
switchport access vlan 10
no shutdown
state enabled
port-profile type vethernet VM2
dvs-name all
switchport mode access
switchport access vlan 20
no shutdown
state enabled
VM高效能模式
為了實施高效能模式(DirectPath IO)並繞過VM流量的虛擬機器監控程式，請使用high-performance host-network命令配置vEthernet port-profile。在VPC拓撲的情況下，應始終在兩個VPC對等交換機上編輯埠配置檔案。例如：port-profile type vethernet VM2
high-performance host-netio
為了使高效能模式正常運行，您的VM必須具備以下附加先決條件：
- VM虛擬介面卡的型別應為vmxnet3(請簽入vCenter:按一下右鍵右選單上的VM >編輯設定>網路介面卡>介面卡型別)。
- 虛擬機器必須具有完全記憶體保留(在vCenter中：按一下右鍵VM > Edit settings > Resources頁籤> Memory > Slide reservation slider（最右側）。
- 在VM上運行的作業系統應支援此功能。
以下是使用高效能模式(DirectPath IO)時的驗證方式。
在「VM硬體」設定下，當使用VM高效能模式時，右選單中的DirectPath I/O欄位顯示為「活動」，而當使用預設的VM傳遞模式時，該欄位顯示為「非活動」。
- VM虛擬介面卡的型別應為vmxnet3(請簽入vCenter:按一下右鍵右選單上的VM >編輯設定>網路介面卡>介面卡型別)。
- 在vCenter中註冊VPC主Nexus 5548:
通過HTTP連線到VPC主Nexus 5548並下載擴展XML檔案：
然後，在vCenter中註冊該擴展外掛：選擇Plug-ins > Manage Plug-ins > Right click > New Plug-in。 - 連線到vCenter。（請參見步驟8。）
- 驗證Nexus 5000作為vDS註冊到vSphere:
在Nexus 5000上，驗證是否在vCenter下建立名為svs connection下的dvs-name中定義的名稱：選擇Home > Inventory > Networking。
在Nexus 5000 VPC主交換機上，使用以下命令驗證SVS連線是否聯機：n5k1# show svs connections
Local Info:
-----------
connection MyCon:
ip address: 10.2.8.131
remote port: 80
vrf: management
protocol: vmware-vim https
certificate: default
datacenter name: MyVC
extension key: Cisco_Nexus_1000V_126705946
dvs name: MyVMFEX
DVS uuid: 89 dd 2c 50 b4 81 57 e4-d1 24 f5 28 df e3 d2 70
config status: Enabled
operational status: Connected
sync status: in progress
version: VMware vCenter Server 5.0.0 build-455964
Peer Info:
----------
connection MyCon:
ip address: 10.2.8.131
remote port: 80
vrf: management
protocol: vmware-vim https
extension key: Cisco_Nexus_1000V_126705946
certificate: default
certificate match: TRUE
datacenter name: MyVC
dvs name: MyVMFEX
DVS uuid: -
config status: Disabled
operational status: Disconnected
n5k1# - 確保VM埠組在vCenter中可用。
在Nexus 5000上定義的vEthernet埠配置檔案應作為埠組出現在網路檢視的DVS下：
- 將ESXi主機遷移到DVS。
在VSphere中，選擇Home > Inventory > Networking，按一下右鍵DVS名稱，然後按一下Add Host以將ESXi主機新增到DVS。
Adapter-FEX虛擬介面是ESXi主機上行鏈路。為這些上行鏈路埠選擇預設上行鏈路埠組(unused_or_quarantine_uplink)。 - 調配VM。
為VM的網路介面卡選擇VM-FEX埠組(在右選單中按一下右鍵VM >編輯設定>網路介面卡>網路標籤)。 - 已調配VM VNIC。
- 介面卡向交換機啟動VIC介面建立。
當VM網路介面卡對映到VM-FEX埠組時，會在Nexus 5000上動態建立vEthernet介面。動態建立的vEth介面範圍從32769開始。
可通過以下命令檢查這些介面：# show interface virtual status
# show interface virtual summary
驗證和疑難排解
使用本節內容，驗證您的組態是否正常運作，並對您遇到的任何問題進行疑難排解。
- 要驗證UCS-C伺服器的兩個靜態VNIC是否已通過VN-Link連線到Nexus 5500上的靜態固定vEth介面，請輸入以下命令：
n5k1# show system internal dcbx info interface e1/1
Interface info for if_index: 0x1a001000(Eth1/1)
tx_enabled: TRUE
rx_enabled: TRUE
dcbx_enabled: TRUE
DCX Protocol: CEE
DCX CEE NIV extension: enabled
<output omitted> - 如果有兩個雙宿主FEX使用主用/備用拓撲，請確保兩個Nexus 5000 VPC交換機上的vEth介面顯示為主用或備用模式。
在此模式顯示為unknown:
n5k1# show int virtual status
Interface VIF-index Bound If Chan Vlan Status Mode Vntag
-------------------------------------------------------------------------
Veth1 VIF-16 Eth101/1/1 11 1 Up Active 2
Veth1 None Eth102/1/1 11 0 Init Unknown 0
Veth2 None Eth101/1/1 12 0 Init Unknown 0
Veth2 None Eth102/1/1 12 0 Init Unknown 0
Veth3 VIF-18 Eth101/1/2 11 1 Up Active 2
Veth3 None Eth102/1/2 11 0 Init Unknown 0
Veth4 None Eth101/1/2 12 0 Init Unknown 0
Veth4 VIF-19 Eth102/1/2 12 1 Up Active 3
如果遇到未知模式，請確保在VNIC上啟用上行鏈路故障切換模式。此外，請確保您在CIMC中指定的通道號與在vEthernet配置中指定的通道號匹配。
正確的輸出應如下所示：n5k1# show int virtual status
Interface VIF-index Bound If Chan Vlan Status Mode Vntag
-------------------------------------------------------------------------
Veth1 VIF-27 Eth101/1/1 11 1 Up Active 2
Veth1 VIF-35 Eth102/1/1 11 1 Up Standby 2
Veth2 VIF-36 Eth101/1/1 12 1 Up Standby 3
Veth2 VIF-33 Eth102/1/1 12 1 Up Active 3
Veth3 VIF-30 Eth101/1/2 11 1 Up Active 2
Veth3 VIF-21 Eth102/1/2 11 1 Up Standby 2
Veth4 VIF-24 Eth101/1/2 12 1 Up Standby 3
Veth4 VIF-31 Eth102/1/2 12 1 Up Active 3 - 交換機上未顯示vEth介面。
在UCS-C伺服器CIMC HTTP選單中，驗證：
- 介面卡上啟用NIV。
- 介面卡上配置的VM-FEX介面數量非零。
- 在VNIC上啟用介面卡故障切換。
- 進行上述配置後，UCS-C伺服器重新啟動。
- 介面卡上啟用NIV。
- 乙太網介面無法聯機。
檢查VIF_CREATE是否出現在此命令中：# show system internal vim info logs interface veth 1
03/28/2014 16:31:47.770137: RCVD VIF CREATE request on If Eth1/32 <<<<<<<
03/28/2014 16:31:53.405004: On Eth1/32 - VIC CREATE sending rsp for msg_id 23889
to completion code SUCCESS
03/28/2014 16:32:35.739252: On Eth1/32 - RCVD VIF ENABLE. VIF-index 698 msg id 23953
VIF_ID: 0, state_valid: n, active
03/28/2014 16:32:35.802019: On Eth1/32 - VIC ENABLE sending rsp for msg_id 23953 to
completion code SUCCESS
03/28/2014 16:32:36.375495: On Eth1/32 - Sent VIC SET, INDEX: 698, msg_id 23051, up,
enabled, active, cos 0VIF_ID: 50 vlan:
1 rate 0xf4240, burst_size 0xf
03/28/2014 16:32:36.379441: On Eth1/32 - RCVD VIC SET resp, INDEX: 698, msg_id 23051,
up, enabled,active, cos 0, completion
code: 100
如果未出現VIF_CREATE或交換機未正確響應，請完成以下步驟：
- 在vCenter中，檢查DVS交換機是否已正確配置了ESX主機的兩個物理上行鏈路(按一下右鍵DVS switch >管理主機>選擇物理適配器)。
- 在vCenter中，檢查VMNIC是否選擇了正確的網路標籤/埠配置檔案(按一下右鍵VM >編輯設定>按一下網路介面卡>檢查網路標簽)。
- 在vCenter中，檢查DVS交換機是否已正確配置了ESX主機的兩個物理上行鏈路(按一下右鍵DVS switch >管理主機>選擇物理適配器)。
- 與vCenter的SVS連線無法聯機。
如上一節的步驟12所示，使用此過程驗證Nexus 5000是否已連線到vCenter:
- 在vCenter上，驗證DVS是否出現在網路檢視下。
- 在Nexus 5000 VPC主交換機上，驗證SVS是否已連線(使用show svs connection命令)。
如果沒有建立連線，請驗證：
- 兩個VPC對等體上的SVS配置相同。
- VPC已初始化，角色已正確建立。
- VPC主交換機XML證書安裝在vCenter中。
- VPC主交換機在「svs連線」配置模式下配置了「連線」。
- 資料中心名稱與vCenter上使用的名稱匹配。
- 在SVS remote命令中配置了正確的虛擬路由和轉發(VRF)，並且交換機與vCenter IP地址具有IP連線。
如果滿足所有這些條件，但SVS連線仍不成功，請收集此輸出並聯絡思科技術支援中心(TAC):show msp port-profile vc sync-status
show msp internal errors
show msp internal event-history msgs
show vms internal errors
show vms internal event-history msgs - 在vCenter上，驗證DVS是否出現在網路檢視下。
- 無法通過HTTP訪問Nexus 5500交換機。
確認http-server功能已啟用：n5k1# show feature | i http
http-server 1 disabled
n5k1# conf t
Enter configuration commands, one per line. End with CNTL/Z.
n5k1(config)# feature http-server
n5k1(config)#
修訂記錄
| 修訂 | 發佈日期 | 意見 |
|---|---|---|
1.0 |
15-May-2014 |
初始版本 |
意見