排除ACI VMM整合故障

簡介

本文檔介紹瞭解ACI Virtual Machine Manager整合(VMM)並對其進行故障排除的步驟。

背景資訊

本文檔中的內容摘自思科以應用為中心的基礎設施故障排除第二版一書，尤其是VMM整合-概述、VMM整合- vCenter連線、VMM整合-主機動態發現和VMM整合- Hypervisor上行鏈路負載平衡章節。

Virtual Machine Manager概述

ACI控制器能夠與第三方虛擬機器管理器(VMM)整合。

這是ACI的關鍵功能之一，因為它可以簡化和自動化交換矩陣和與之連線的工作負載的端到端網路配置操作。ACI提供單一重疊策略模型，可跨多種工作負載型別（即虛擬機器、裸機伺服器和容器）進行擴展。

本章將專門介紹與VMware vCenter VMM整合相關的一些典型故障排除方案。

讀者將瀏覽以下內容：

• 調查vCenter通訊故障。
• 主機和VM動態發現過程和故障場景。
• 虛擬機器監控程式負載均衡演算法。

vCenter連線

角色型存取控制(RBAC)

APIC能夠與vCenter控制器進行介面的機制取決於與給定VMM域關聯的使用者帳戶。概述與VMM域關聯的vCenter使用者的特定要求，以確保APIC能夠在vCenter上成功執行操作，無論是推送和檢索資產和配置，還是監控和偵聽受管資產相關事件。

消除對這些要求的擔憂的最簡單方法是使用具有完全訪問許可權的管理員vCenter帳戶；但是，ACI管理員並不總是能夠使用此種自由。

自ACI版本4.2起，自定義使用者帳戶的最低許可權如下：

• 警報
  • APIC在資料夾上建立兩個警報。一個用於DVS，另一個用於埠組。在APIC上刪除EPG或VMM域策略時，會引發警報，但是vCenter無法刪除相應的埠組或DVS，因為已連線了VM。
• 分散式交換機
• dvPort組
• 資料夾
• 網路
  • APIC管理網路設定，例如增加或刪除埠組、設定主機/DVS MTU、LLDP/CDP、LACP等。
• 主機
  • 如果另外使用AVS，則使用者需要APIC將建立DVS的資料中心的Host許可權。
  • Host.Configuration.Advanced設定
  • Host.Local operations.重新配置虛擬機器
  • 主機。配置。網路配置
  • AVS和虛擬第4層到第7層服務VM的自動放置功能需要此功能。對於AVS，APIC建立VMK介面，並將其置於用於OpFlex的VTEP埠組中。
• 虛擬機器器
  • 如果正在使用服務圖，則還需要虛擬裝置的虛擬機器許可權。
  • 虛擬機器。配置。修改裝置設定
  • 虛擬機器。配置。設定

疑難排解RBAC相關問題

RBAC問題最常發生在VMM域的初始設定期間，但如果vCenter管理員在初始設定完成之後修改與VMM域關聯的使用者帳戶的許可權，則可能會遇到此問題。

症狀可能以下列方式呈現：

• 部分或完全無法部署新服務（DVS建立、埠組建立，某些對象已成功部署，但並非全部）。
• ACI管理員檢視中的運行資產不完整或缺失。
• 針對不支援的vCenter作業或任何案例（例如連線埠群組部署失敗）所發生的故障。
• vCenter控制器報告為離線，故障表明存在連線或憑證相關問題。

RBAC相關問題的解決方案

驗證是否已將所有許可權授予在VMM域中配置的vCenter使用者。

另一種方法是使用VMM域配置中定義的相同憑證直接登入到vCenter，並嘗試類似的操作（包括建立埠組）。如果使用者在直接登入vCenter時無法執行這些操作，則顯然不會向使用者授予正確的許可權。

連線故障排除

在對VMM連線相關問題進行故障排除時，請務必注意ACI如何與vCenter通訊的一些基本行為。

第一個也是最相關的行為是集群中只有一個APIC在任意指定點傳送配置和收集資產。此APIC稱為此VMM域的分片領導者。但是，多個APIC正在偵聽vCenter事件，以確定分片領導者由於任何原因而錯過事件的場景。按照相同的APIC分散式架構，給定VMM域將有一個APIC處理主資料和功能（在本例中為分片領導者）和兩個副本(在VMM中，它們稱為追隨者)。要跨APIC分配VMM通訊和功能的處理，任何兩個VMM域可以具有相同的或不同的共用領導者。

透過導航到GUI中感興趣的VMM控制器或使用下面列出的CLI命令，可以找到vCenter連線狀態：

VMware VMM域- vCenter連線狀態

apic2# show vmware domain name VDS_Site1 vcenter 10.48.176.69
Name                         : bdsol-aci37-vc
Type                         : vCenter
Hostname or IP               : 10.48.176.69
Datacenter                   : Site1
DVS Version                  : 6.0
Status                       : online
Last Inventory Sync          : 2019-10-02 09:27:23
Last Event Seen              : 1970-01-01 00:00:00
Username                     : administrator@vsphere.local
Number of ESX Servers        : 2
Number of VMs                : 2
Faults by Severity           : 0, 0, 0, 0
Leader                       : bdsol-aci37-apic1

Managed Hosts:
ESX              VMs       Adjacency   Interfaces
---------------  --------  ----------  ------------------------------------------------
10.48.176.66     1         Direct      leaf-101 eth1/11, leaf-102 eth1/11
10.48.176.67     1         Direct      leaf-301 eth1/11, leaf-302 eth1/11

如果VMM控制器指示為離線，則會引發類似以下情況的故障：

Fault fltCompCtrlrConnectFailed
Rule ID:130
Explanation:
This fault is raised when the VMM Controller is marked offline. Recovery is in process.
Code: F0130
Message: Connection to VMM controller: hostOrIp with name name in datacenter rootContName in domain: domName is failing repeatedly with error: [remoteErrMsg]. Please verify network connectivity of VMM controller hostOrIp and check VMM controller user credentials are valid.

這些步驟可用於排除VC和APIC之間的連線故障。

1. 辨識分片導引者

排除APIC和vCenter之間的連線問題的第一步是瞭解哪個APIC是給定VMM域的共用領導者。確定此資訊的最簡單的方法是在任何APIC上運行show vmware domain name <domain>命令。

apic1# show vmware domain name VDS_Site1
Domain Name                        : VDS_Site1
Virtual Switch Mode                : VMware Distributed Switch
Vlan Domain                        : VDS_Site1 (1001-1100)
Physical Interfaces                : leaf-102 eth1/11, leaf-301 eth1/11, leaf-302 eth1/11,
                                   leaf-101 eth1/11
Number of EPGs                     : 2
Faults by Severity                 : 0, 0, 0, 0
LLDP override                      : RX: enabled, TX: enabled
CDP override                       : no
Channel Mode override              : mac-pinning
NetFlow Exporter Policy            : no
Health Monitoring                  : no

vCenters:
Faults: Grouped by severity (Critical, Major, Minor, Warning)
vCenter               Type      Datacenter            Status    ESXs   VMs    Faults
--------------------  --------  --------------------  --------  -----  -----  ---------------
10.48.176.69          vCenter   Site1                 online    2      2      0,0,0,0

APIC Owner:
Controller    APIC      Ownership
------------  --------  ---------------
bdsol-        apic1     Leader
aci37-vc 
bdsol-        apic2     NonLeader
aci37-vc 
bdsol-        apic3     NonLeader
aci37-vc   

2. 驗證與vCenter的連線

確定與vCenter積極通訊的APIC後，使用ping等工具驗證IP連線。

apic1# ping 10.48.176.69
PING 10.48.176.69 (10.48.176.69) 56(84) bytes of data.
64 bytes from 10.48.176.69: icmp_seq=1 ttl=64 time=0.217 ms
64 bytes from 10.48.176.69: icmp_seq=2 ttl=64 time=0.274 ms
64 bytes from 10.48.176.69: icmp_seq=3 ttl=64 time=0.346 ms
64 bytes from 10.48.176.69: icmp_seq=4 ttl=64 time=0.264 ms
64 bytes from 10.48.176.69: icmp_seq=5 ttl=64 time=0.350 ms
^C
--- 10.48.176.69 ping statistics ---
5 packets transmitted, 5 received, 0% packet loss, time 4084ms
rtt min/avg/max/mdev = 0.217/0.290/0.350/0.052 ms

如果使用FQDN而不是IP地址配置vCenter，則可以使用nslookup 命令驗證名稱解析。

apic1:~> nslookup bdsol-aci37-vc
Server: 10.48.37.150
Address: 10.48.37.150#53
Non-authoritative answer:
Name: bdsol-aci37-vc.cisco.com
Address: 10.48.176.69

3. 檢查是否使用了OOB或INB

檢查APIC路由表，驗證是否首選帶外或帶內連線，以及使用哪個網關：

apic1# bash
admin@apic1:~> route
Kernel IP routing table
Destination     Gateway         Genmask         Flags Metric Ref    Use Iface
default         10.48.176.1     0.0.0.0         UG    16     0        0 oobmgmt

4. 確保所有APIC和vCenter（包括通訊路徑中的任何防火牆）之間允許使用埠443。

vCenter <-> APIC - HTTPS（TCP埠443） -通訊

使用curl可以測試從APIC到vCenter的常規HTTPS可接通性：

apic2# curl -v -k https://10.48.176.69
* Rebuilt URL to: https://10.48.176.69/*   Trying 10.48.176.69...
* TCP_NODELAY set
* Connected to 10.48.176.69 (10.48.176.69) port 443 (#0)
...

使用netstat命令驗證分片領導已在埠443上建立了TCP連線。

apic1:~> netstat -tulaen | grep 10.48.176.69
tcp 0 0 10.48.176.57:40806 10.48.176.69:443 ESTABLISHED 600 13062800

5. 執行資料包捕獲

如果可能，請沿著分片導引線和vCenter之間的路徑執行資料包捕獲，以辨識任一裝置是否正在傳送和接收流量。

VMware清單

此表顯示了VMWare VDS引數清單，並指定這些引數是否由APIC配置。

由APIC管理的VMware VDS引數

VMware VDS	預設值	是否可使用思科APIC策略進行配置？
名稱	VMM域名	是（衍生自領域）
說明	'APIC虛擬交換機'	否
資料夾名稱	VMM域名	是（衍生自領域）
版本	vCenter支援的最高版本	是
探索通訊協定	LLDP	是
上行鏈路埠和上行鏈路名稱	8	是(來自思科APIC版本4.2(1))
上行鏈路名稱字首	上行鏈路	是(來自思科APIC版本4.2(1))
最大MTU	9000	是
LACP策略	停用	是
連線埠映象	0個會話	是
警報	在資料夾級別增加了2個警報	否

此表顯示了VMWare VDS埠組引數的清單，並指定這些引數是否由APIC配置。

APIC管理的VMWare VDS埠組引數

VMware VDS埠組	預設值	可使用APIC策略進行配置
名稱	租戶名稱 | 應用程式設定檔名稱 | EPG名稱	是（衍生自EPG）
連線埠繫結	靜態繫結	否
VLAN	從VLAN集區選取	是
負載均衡演算法	根據APIC上的埠通道策略派生	是
混雜模式	停用	是
偽造的傳輸	停用	是
MAC更改	停用	是
封鎖所有連線埠	FALSE	否

VMware庫存故障排除

發生資產同步事件是為了確保APIC知道需要APIC動態更新策略的vCenter事件。在vCenter和APIC之間可以發生兩種型別的資產同步事件：完全資產同步和基於事件的資產同步。APIC和vCenter之間的完整資產同步的預設計畫是每24小時一次，但是也可以手動觸發這些計畫。基於事件的庫存同步通常與觸發任務（如vMotion）關聯。在此場景中，如果虛擬機器從一台主機移動到另一台主機，並且這些主機連線到兩台不同的枝葉交換機，APIC將偵聽VM遷移事件，在按需部署即時性的場景中，取消對源枝葉上的EPG程式設計，然後在目標枝葉上程式設計EPG。

根據與VMM域關聯的EPG的部署即時性，無法從vCenter提取庫存可能會產生不良後果。在清查未能完成或部分完成的情況下，將始終引發錯誤，指示導致故障的一個或多個對象。

案例1 -支援無效的虛擬機器器：

如果虛擬機器從一個vCenter移動到另一個，或者確定虛擬機器具有無效備份（例如，連線到舊/已刪除的DVS的埠組），則系統會報告vNIC存在操作問題。

Fault fltCompVNicOperationalIssues
Rule ID:2842
Explanation:
This fault is raised when ACI controller failed to update the properties of a VNIC (for instance, it can not find the EPG that the VNIC attached to).
Code: F2842
Message: Operational issues detected for VNic name on VM name in VMM controller: hostOrIp with name name in datacenter rootContName in domain: domName due to error: issues.
Resolution:
Remediate the virtual machines indicated in the fault by assigning a valid port group on the affected vNIC of the VM.

方案2 — vCenter管理員修改了vCenter上的VMM託管對象：

不支援從vCenter修改APIC管理的對象。如果在vCenter上執行了不受支援的操作，則會出現此故障。

Fault fltCompCtrlrUnsupportedOperation
Rule ID:133
Explanation:
This fault is raised when deployment of given configuration fails for a Controller.
Code: F0133
Message: Unsupported remote operation on controller: hostOrIp with name name in datacenter rootContName in domain domName detected, error: [deployIssues]
Resolution:
If this scenario is encountered, try to undo the unsupported change in vCenter and then trigger an 'inventory sync' manually.

VMware VMM域- vCenter控制器-觸發清單同步

VMware DVS版本

建立作為VMM域一部分的新vCenter控制器時，DVS版本的預設設定將使用「vCenter預設值」。  選擇此項時，將使用vCenter版本建立DVS版本。

VMWare VMM域- vCenter控制器建立

這意味著，在運行6.5的vCenter和運行6.0的ESXi伺服器的示例中，APIC將使用版本6.5建立DVS，因此vCenter管理員無法將運行6.0的ESXi伺服器增加到ACI DVS中。

APIC託管DVS - vCenter主機增加-空清單

APIC託管DVS - vCenter主機增加-不相容的主機

因此，在建立VMM域時，請確保選擇正確的「DVS版本」，以便可以將所需的ESXi伺服器增加到DVS中。

主機動態發現

主機/VM發現過程

ACI中的VMM整合將自身與手動調配區分開來，因為交換矩陣可以動態發現主機和適用虛擬機器連線到的位置，從而高效地部署策略。透過此動態過程，ACI可以最佳化枝葉交換機上硬體資源的利用率，因為VLAN、SVI、分割槽規則等只有在連線了需要策略的終端時才會部署在節點上。從易於使用的角度來看，網路管理員的優勢是ACI將調配VLAN/策略，使虛擬機器以自動方式連線。為了確定必須在何處部署策略，APIC將使用來自多個源的資訊。此圖表概述使用基於DVS的VMM域時主機發現過程的基本步驟。

VMWare VMM域—部署工作流

簡言之，當發生以下情況時，將採取以下關鍵步驟：

• LLDP或CDP在Hypervisor和枝葉交換機之間交換。
• 主機向vCenter報告鄰接資訊。
• vCenter通知APIC鄰接資訊：
  • APIC透過資產同步瞭解主機。
• APIC將策略推送到枝葉埠：
  • 請檢視解決方法立即性子部分以進一步瞭解這些情況。
• 如果vCenter鄰接資訊丟失，APIC可以刪除策略。

可以看到，CDP/LLDP在發現過程中扮演著關鍵角色，必須確保配置正確，並且兩端使用相同的協定。

交換矩陣鬆散節點/中間交換機-使用案例

在使用刀片機箱的部署中，在枝葉交換機和Hypervisor之間使用中間交換機，APIC需要「縫合」鄰接關係。在此場景中，可以使用多個發現協定，因為中間交換機與主機具有不同的協定要求。

在使用刀鋒伺服器和中間交換機（即刀片機箱交換機）的安裝中，ACI可以檢測中間交換機並對映其後的虛擬機器監控程式。在ACI中，中間交換機稱為LooseNode或「非託管交換矩陣節點」。可以在Fabric > Inventory > Fabric Membership > Unmanaged Fabric Nodes下檢視檢測到的LooseNodes。透過在GUI中導航到這些型別的伺服器之一，使用者可以檢視從枝葉到中間交換機到主機的路徑。

APIC UI -非託管交換矩陣節點（鬆散節點）

LLDP或CDP發現到位後，ACI可以確定這種LooseNodes的拓撲，因為中間交換機下游的Hypervisor透過VMM整合進行管理，並且枝葉自身與下游的中間交換機具有鄰接關係。

此圖說明了此概念：

APIC UI -非託管交換矩陣節點路徑

立即解決問題

在關鍵服務使用整合VMM的DVS的情況下（例如與vCenter/ESXi的管理連線），謹慎使用預調配解決方案即時性。透過此設定，動態主機發現機制被刪除，而是在面向主機的介面上靜態程式設計策略/VLAN。在此配置中，VMM VLAN將始終部署到與VMM域引用的AEP相關聯的所有介面。這消除了由於發現協定相關的鄰接事件而從埠刪除關鍵VLAN（例如管理）的可能性。

請參閱此圖表：

預調配部署示例

如果在ACI_VDS1 VMM域中為EPG設定了預配置，則將在伺服器1而不是伺服器2的鏈路上部署VLAN，因為伺服器2的AEP不包括ACI_VDS1 VMM域。

要彙總解析度立即性設定，請執行以下操作：

• 按需 -在枝葉和主機與連線到埠組的虛擬機器之間建立鄰接關係時部署策略。
• Immediate -在枝葉和主機之間建立鄰接關係時部署策略。
• 預配置- 策略使用包含VMM域的AEP部署到所有埠，無需鄰接。

疑難排解案例

VM無法為其預設網關解析ARP

在此場景中，已配置VMM整合，並將DVS增加到Hypervisor，但VM無法解析ACI中其網關的ARP。要使VM具有網路連線，請驗證已建立鄰接關係並部署了VLAN。

首先，使用者可以檢查枝葉是否檢測到主機，方法是在枝葉上使用show lldp neighbors或show cdp neighbors，具體取決於選擇的協定。

Leaf101# show lldp neighbors
Capability codes:
  (R) Router, (B) Bridge, (T) Telephone, (C) DOCSIS Cable Device
  (W) WLAN Access Point, (P) Repeater, (S) Station, (O) Other
Device ID            Local Intf      Hold-time  Capability  Port ID
bdsol-aci37-apic1     Eth1/1          120                    eth2-1
bdsol-aci37-apic2     Eth1/2          120                    eth2-1
bdsol-aci37-os1       Eth1/11         180        B           0050.565a.55a7
S1P1-Spine201         Eth1/49         120        BR          Eth1/1
S1P1-Spine202         Eth1/50         120        BR          Eth1/1
Total entries displayed: 5

從故障排除的角度來看，如果需要，可以從ESXi端在CLI和GUI上進行驗證：

[root@host:~] esxcli network vswitch dvs vmware list
VDS_Site1
   Name: VDS_Site1
 ...
   Uplinks: vmnic7, vmnic6
   VMware Branded: true
   DVPort:
         Client: vmnic6
         DVPortgroup ID: dvportgroup-122
         In Use: true
         Port ID: 0

         Client: vmnic7
         DVPortgroup ID: dvportgroup-122
         In Use: true
         Port ID: 1

[root@host:~] esxcfg-nics  -l
Name    PCI          Driver      Link Speed     Duplex MAC Address       MTU    Description
vmnic6  0000:09:00.0 enic        Up   10000Mbps Full   4c:77:6d:49:cf:30 9000   Cisco Systems Inc Cisco VIC Ethernet NIC
vmnic7  0000:0a:00.0 enic        Up   10000Mbps Full   4c:77:6d:49:cf:31 9000   Cisco Systems Inc Cisco VIC Ethernet NIC

[root@host:~] vim-cmd hostsvc/net/query_networkhint --pnic-name=vmnic6 | grep -A2 "System Name"
               key = "System Name",
               value = "Leaf101"
            }

vCenter Web客戶端-主機- vmnic LLDP/CDP鄰接關係詳細資訊

如果從ESXi主機看不到枝葉LLDP鄰接關係，這通常是因為使用配置為生成LLDPDU而不是ESXi OS的網路介面卡造成的。請確認網路介面卡是否啟用LLDP，因此會使用所有LLDP資訊。如果是這種情況，請務必在介面卡本身停用LLDP，以便透過vSwitch原則來控制LLDP。

另一個原因可能是枝葉和ESXi Hypervisor之間使用的發現協定之間不一致。確保在兩端使用相同的發現協定。

要檢查APIC UI中的ACI和DVS之間是否對CDP/LLDP設定進行了配對，請導航到虛擬網路> VMM域> VMWare >策略> vSwitch策略。請確保僅啟用LLDP或CDP策略，因為它們是互斥的。

APIC UI - VMWare VMM域- vSwitch策略

在vCenter中，轉到網路> VDS >配置。

vCenter Web客戶端UI - VDS屬性

如果需要，請更正LLDP/CDP設定。

然後驗證APIC是否在UI中的虛擬網路> VMM域> VMWare >策略>控制器> Hypervisor >常規下針對枝葉交換機觀察到ESXi主機的LLDP/CDP鄰居關係。

APIC UI - VMWare VMM域- Hypervisor詳細資訊

如果這顯示預期值，則使用者可以驗證VLAN是否存在於指向主機的埠上。

S1P1-Leaf101# show vlan encap-id 1035

 VLAN Name                             Status    Ports
 ---- -------------------------------- --------- -------------------------------
 12   Ecommerce:Electronics:APP        active    Eth1/11

 VLAN Type  Vlan-mode
 ---- ----- ----------
 12   enet  CE

vCenter/ESXi管理VMK連線到APIC推送的DVS

在vCenter或ESXi管理流量需要使用VMM整合DVS的場景中，必須格外小心，避免在啟用動態鄰接和啟用所需的VLAN時陷入僵局。

對於通常在配置VMM整合之前構建的vCenter，必須使用物理域和靜態路徑確保vCenter VM封裝VLAN始終在枝葉交換機上程式設計，以便在VMM整合完全設定之前使用。即使在設定VMM整合之後，建議保留此靜態路徑，以確保此EPG的可用性。

對於ESXi Hypervisor，根據Cisco.com上的思科ACI虛擬化指南，在遷移到vDS時，必須確保將連線VMK介面的EPG部署為立即使用解析度設定為「預配置」。這將確保始終在枝葉交換機上對VLAN進行程式設計，而不依賴ESXi主機的LLDP/CDP發現。

在LooseNode後未發現主機鄰接關係

導致LooseNode發現問題的典型原因包括：

• CDP/LLDP未啟用
  • 中間交換機、枝葉交換機和ESXi主機之間必須交換CDP/LLDP
  • 對於Cisco UCS，這透過vNIC上的網路控制策略來實現
• LLDP/CDP鄰居的管理IP發生更改會中斷連線
  • vCenter將在LLDP/CDP鄰接中看到新的管理IP，但不會更新APIC
  • 觸發要修復的手動資產同步
• VMM VLAN未增加到中間交換機
  • APIC不程式設計第三方刀片/中間交換機。
  • Cisco UCSM整合應用(ExternalSwitch)在4.1(1)版本中提供。
  • 必須配置VLAN並將其中繼到連線到ACI枝葉節點的上行鏈路和連線到主機的下行鏈路

F606391 -主機上的物理介面卡缺少鄰接關係

發生此故障時：

Affected Object: comp/prov-VMware/ctrlr-[DVS-DC1-ACI-LAB]-DVS1/hv-host-104
Fault delegate: [FSM:FAILED]: Get LLDP/CDP adjacency information for the physical adapters on the host: bdsol-aci20-os3 (TASK:ifc:vmmmgr:CompHvGetHpNicAdj)

請檢視VM無法為其預設網關解析ARP部分中的工作流，因為這意味著缺少CDP/LLDP鄰接關係。這些鄰接關係可以端對端驗證。

Hypervisor上行鏈路負載平衡

當將ESXi等Hypervisor連線到ACI交換矩陣時，它們通常會連線到多個上行鏈路。事實上，建議將ESXi主機連線到至少兩個枝葉交換機。這樣可將故障情形或升級的影響降至最低。

為了最佳化在Hypervisor上運行的工作負載使用上行鏈路的方式，VMware vCenter配置允許為Hypervisor上行鏈路的VM生成流量配置多個負載平衡演算法。

讓所有Hypervisor和ACI交換矩陣與相同的負載平衡演算法配置保持一致，以確保實現正確的連線，這一點至關重要。否則可能會導致ACI交換矩陣中的流量間歇性丟棄和終端移動。

在ACI交換矩陣中，透過過度警報可以看到這一點，例如：

F3083 fault
ACI has detected multiple MACs using the same IP address 172.16.202.237.
MACs: Context: 2981888. fvCEps:
uni/tn-BSE_PROD/ap-202_Voice/epg-VLAN202_Voice/cep-00:50:56:9D:55:B2;
uni/tn-BSE_PROD/ap-202_Voice/epg-VLAN202_Voice/cep-00:50:56:9D:B7:01;
or
[F1197][raised][bd-limits-exceeded][major][sys/ctx-[vxlan-2818048]/bd-[vxlan-16252885]/fault-F1197] 
Learning is disabled on BD Ecommerce:BD01

本章將介紹到ACI的VMWare ESXi主機連線，但適用於大多數虛擬機器監控程式。

機架式伺服器

在檢視ESXi主機可以連線到ACI交換矩陣的各種方法時，它們被分為兩個組，即與交換機相關的負載平衡演算法和與交換機無關的負載平衡演算法。

與交換機無關的負載均衡演算法是在不需要特定交換機配置的情況下進行連線的方法。對於與交換機相關的負載均衡，需要特定於交換機的配置。

確保驗證vSwitch策略是否符合下表所示的ACI訪問策略組要求：

成組和ACI vSwitch策略

VMware成組和故障切換模式	ACI vSwitch策略	說明	ACI訪問策略組-需要埠通道
基於源虛擬埠的路由	MAC固定	根據交換機上的虛擬埠ID選擇上行鏈路。虛擬交換器為虛擬機器器或VMKernel介面卡選取上行鏈路後，一律會透過此虛擬機器器或VMKernel介面卡的相同上行鏈路來轉送流量。	否
基於源MAC雜湊的路由	NA	根據源MAC地址的雜湊值選擇上行鏈路	NA
明確的容錯移轉順序	使用明確容錯移轉模式	從作用中介面卡清單中，永遠使用透過容錯移轉偵測標準的最高順序上行鏈路。此選項不會執行任何實際的負載平衡。	否
連結聚合(LAG) -基於IP雜湊	靜態通道-模式開啟	根據每個資料包的源IP地址和目的IP地址的雜湊值選擇上行鏈路。對於非IP資料包，交換機使用這些欄位的資料計算雜湊。基於IP的分組要求在ACI端埠通道/VPC配置為「模式打開」。	是（頻道模式設定為「開啟」）
連結集合(LAG) - LACP	LACP主動/被動	根據選定的雜湊選擇上行鏈路（20個不同的可用雜湊選項）。基於LACP的分組要求在ACI端將埠通道/VPC配置為啟用LACP。確保在ACI中建立增強型Lag策略，並將其應用於VSwitch策略。	是（通道模式設定為「LACP主動/被動」）
基於物理網絡卡負載(LBT)的路由	MAC固定-物理NIC負載	適用於分散式連線埠群組或分散式連線埠。根據連線到埠組或埠的物理網路介面卡的當前負載選擇上行鏈路。如果上行鏈路在30秒內以75%或更高速率保持忙碌，主機vSwitch會將部分虛擬機器流量移至具有可用容量的物理介面卡。	否

檢視此螢幕截圖，瞭解如何驗證埠通道策略，作為vSwitch策略的一部分。

ACI vSwitch策略-埠通道策略

注意：有關VMware網路功能的更多詳細說明，請訪問https://docs.vmware.com/en/VMware-vSphere/6.5/com.vmware.vsphere.networking.doc/GUID-D34B1ADD-B8A7-43CD-AA7E-2832A0F7EE76.html檢視vSphere網路

Cisco UCS B系列使用案例

在使用Cisco UCS B系列伺服器時，必須注意的是，這些伺服器在其機箱內連線到沒有統一資料平面的UCS交換矩陣互聯(FI)。此使用案例同樣適用於採用類似拓撲的其他供應商。因此，從ACI枝葉交換機端和vSwitch端使用的負載均衡方法可能會有所不同。

這是具有ACI的UCS FI拓撲：

帶ACI枝葉交換機的Cisco UCS FI -拓撲

需要注意的關鍵事項：

• 每個Cisco UCS FI都有一個通向ACI枝葉交換機的埠通道。
• UCS FI僅出於檢測訊號目的而直接互連（不用於資料平面）。
• 每個刀鋒伺服器的vNIC都固定到特定的UCS FI或使用UCS交換矩陣故障切換（主用-備用）使用通往其中一個FI的路徑。
• 在ESXi主機vSwitch上使用IP雜湊演算法將在UCS FI上導致MAC抖動。

若要正確設定此選項：

在ACI中將埠通道策略上的MAC固定配置為vSwitch策略的一部分時，VDS上埠組的組配置將顯示為「基於源虛擬埠的路由」。

ACI -作為vSwitch策略一部分的埠通道策略

本示例中使用的埠通道策略由嚮導自動命名，因此它稱為「CDS_lacpLagPol」，儘管我們使用「MAC Pinning」模式。

VMWare vCenter — ACI VDS —埠組—負載均衡設定