排除虚拟机上的基本网络问题

简介

本文档介绍如何解决虚拟机上的基本网络连接问题。

先决条件

要求

Cisco 建议您了解以下主题：

• 统一计算系统管理器域(UCSM)
• Cisco Unified Computing System Manager(UCSM)命令行界面(CLI)
• Cisco UCS B系列和C系列服务器
• 网络基本概念
• ESXi

使用的组件

本文档中的信息基于以下软件版本：

• Cisco UCS Manager版本2.x及更高版本
• Cisco UCS 6200、6300、6400和6500系列交换矩阵互联
• Cisco UCS 2200、2300和2400系列交换矩阵扩展器I/O模块

本文档中的信息都是基于特定实验室环境中的设备编写的。本文档中使用的所有设备最初均采用原始（默认）配置。如果您的网络处于活动状态，请确保您了解所有命令的潜在影响。

背景信息

基础设施管理员部署网络或配置更改的一个常见场景是丢失其虚拟机上的网络连接。本文档旨在为找出最常见问题的故障排除流程提供指导。

了解问题

最常见的问题是在虚拟机之间丢失ping。要了解全貌，我们可以开始询问：

• 两台虚拟机是否都托管在UCS服务器中？
• 两台虚拟机是否位于同一个UCSM域中？
• 虚拟机是否尝试在同一个VLAN上通信？
• 我们在虚拟机监控程序端使用哪种网络配置？（ESXi分布式交换机、网卡组合等。）
• 上游交换机的型号是什么？

测试场景

两台新虚拟机已配置并配置为使用VLAN 70，但它们无法相互执行ping操作或其默认网关。

虚拟机

• IMM-Transition-4.0.1
• Alma Linux 9

虚拟机监控程序

• VMware ESXi、7.0.3、20842708

收集信息

两台虚拟机的MAC和IP地址：

• IMM-Transition-4.0.1
  • MAC: 00:50:56:ba:28:53
  • IP:192.168.70.23
  • 主机IP:10.31.123.38

• Alma Linux 9
  • MAC: 00:50:56:ba:46:96
  • IP:192.168.70.24
  • 主机IP:10.31.123.40

跟踪FI上的MAC地址

FI-A # connect nxos
FI-A(nxos)# show mac address-table vlan 70
Legend:
* - primary entry, G - Gateway MAC, (R) - Routed MAC, O - Overlay MAC
age - seconds since last seen,+ - primary entry using vPC Peer-Link
VLAN MAC Address Type age Secure NTFY Ports/SWID.SSID.LID
---------+-----------------+--------+---------+------+----+------------------
* 70 0050.56ba.4696 dynamic 30 F F Veth725 ------------------------------------------->>> VM Alma Linux 9 is learned on FI-A veth725 and VLAN 70 as expected

FI-B # connect nxos
FI-B(nxos)# show mac address-table vlan 70
Legend:
* - primary entry, G - Gateway MAC, (R) - Routed MAC, O - Overlay MAC
age - seconds since last seen,+ - primary entry using vPC Peer-Link
VLAN MAC Address Type age Secure NTFY Ports/SWID.SSID.LID
---------+-----------------+--------+---------+------+----+------------------
* 70 0050.56ba.2853 dynamic 10 F F Veth688 ---------------------------------------->>> VM IMM-Transition-4.0.1 is learned on FI-B veth688 and VLAN 70 as expected

确定托管虚拟机的服务器

FI-A(nxos)# show running-config interface vethernet725

!Command: show running-config interface Vethernet725
!Time: Thu Feb 1 11:59:39 2024

version 5.0(3)N2(4.13k)

interface Vethernet725
description server 1/3, VNIC vnic_a1 ---------------------------------------->>> VM Alma Linux 9 is hosted on Server 1/3 and the vnic name is vnic_a1
switchport mode trunk
no lldp transmit
no lldp receive
no pinning server sticky
pinning server pinning-failure link-down
no cdp enable
switchport trunk allowed vlan 69-70,72,470
bind interface port-channel1287 channel 725
service-policy type queuing input org-root/ep-qos-BestEffort
no shutdown

FI-B(nxos)# show running-config interface vethernet 688

!Command: show running-config interface Vethernet688
!Time: Thu Feb 1 12:06:44 2024

version 5.0(3)N2(4.13k)

interface Vethernet688
description server 1/5, VNIC vnic_b1 ---------------------------------------->>> VM IMM-Transition-4.0.1 is hosted on Server 1/5 and the vnic name is vnic_b1
switchport mode trunk
switchport trunk allowed vlan 69-70,72,470
no lldp transmit
no lldp receive
no pinning server sticky
pinning server pinning-failure link-down
no cdp enable
service-policy type queuing input org-root/ep-qos-BestEffort
bind interface port-channel1282 channel 688
no shutdown

收集有关上游交换机的信息

FI-A(nxos)# show cdp neighbors
Capability Codes: R - Router, T - Trans-Bridge, B - Source-Route-Bridge
S - Switch, H - Host, I - IGMP, r - Repeater,
V - VoIP-Phone, D - Remotely-Managed-Device,
s - Supports-STP-Dispute


Device-ID                    Local Intrfce Hldtme   Capability   Platform   Port ID
MGMT-SWITCH
                             mgmt0        140       R S I    WS-C3650-12X4  Gig1/0/35
Nexus-1
                             Eth1/1       158       R S I s  N5K-C5672UP-1  Eth1/3
Nexus-2
                             Eth1/2       133       R S I s  N5K-C5672UP-1  Eth1/3

FI-A(nxos)# show cdp neighbors
Capability Codes: R - Router, T - Trans-Bridge, B - Source-Route-Bridge
S - Switch, H - Host, I - IGMP, r - Repeater,
V - VoIP-Phone, D - Remotely-Managed-Device,
s - Supports-STP-Dispute

Device-ID                    Local Intrfce   Hldtme   Capability   Platform   Port ID
MGMT-SWITCH
                            mgmt0           139        R S I    WS-C3650-12X4 Gig1/0/36
Nexus-1
                           Eth1/1           167        R S I s  N5K-C5672UP-1 Eth1/4
Nexus-2
                           Eth1/2           132        R S I s  N5K-C5672UP-1 Eth1/4

摘要

• 虚拟机MAC地址分别在FI-A和FI-B以及VLAN 70上获取。
• 虚拟机托管在不同的UCS服务器中，但托管在同一个UCSM域中。
• 上游交换机是N5K-C5672UP-1，并连接到两个交换矩阵互联中的接口ethernet1-2。

定义流量

• 如果源地址和目的地址在同一个子网或VLAN中，则流量会在同一个广播域中转发。
• 如果源和目标位于不同的子网或vlan中，流量将转发到另一个广播域。
• 如果源设备和目的设备在同一交换矩阵互联中获知，流量将由交换矩阵互联进行本地交换。
• 如果在不同的交换矩阵互联中获知源和目标，则流量在上游转发。

对于此特定场景：

• 源和目标位于同一个广播域中，但通过不同的交换矩阵互联获知，因此流量会发送到上游网络。

仅测试UCS网络

因此，为了测试交换矩阵互联的本地交换（不涉及流量流上的上游网络），可以强制故障转移在同一交换矩阵互联中学习两台虚拟机。在本示例中，VM IMM-Transition-4.0.1将移动到FI-A。

• 从之前的故障排除开始：
  • VM Alma Linux 9托管在Server 1/3上，在FI-A上学习并使用veth725（即vnic_a1）。
  • VM IMM-Transition-4.0.1托管在服务器1/5上，在FI-B上学习并使用veth688（即vnic_b1）。
• 在UCSM上：

• 服务器1/5在FI-A上有2个vNIC，在FI-B上有2个vNIC
• 要强制重新定位到FI-A，请从VM使用的vNIC开始，禁用B端的vNIC，因为此场景禁用了vnic_b0和vnic_b1。

• 在FI-B上禁用所有vNIC后，VM IMM-Transition-4.0.1现在与VM Alma Linux 9一起在FI-A上学习。

FI-A(nxos)# show mac address-table vlan 70
Legend:
* - primary entry, G - Gateway MAC, (R) - Routed MAC, O - Overlay MAC
age - seconds since last seen,+ - primary entry using vPC Peer-Link
VLAN MAC Address Type age Secure NTFY Ports/SWID.SSID.LID
---------+-----------------+--------+---------+------+----+------------------
* 70 0050.56ba.2853 dynamic 0 F F Veth686 ------------------------------------->>> VM Alma Linux 9
* 70 0050.56ba.4696 dynamic 10 F F Veth725 ------------------------------------>>> VM IMM-Transition-4.0.1

• 在UCS端的所有其他设备都按预期配置的情况下，Ping现在工作正常，因为流量由FI-A进行本地交换。因此，需要继续对上游网络进行调查。

交换矩阵互联中未获知的MAC地址

• 验证vNIC上的VLAN配置是否正确。

• 验证上行链路上的VLAN是否配置正确。

FI-A(nxos)# show running-config interface port-channel 1

!Command: show running-config interface port-channel1
!Time: Fri Feb 2 13:05:59 2024

version 5.0(3)N2(4.13k)

interface port-channel1
description U: Uplink
switchport mode trunk
pinning border
switchport trunk allowed vlan 1,69-70,72,470
speed 1000

• 验证ESXi上的VLAN是否配置正确。

• 验证ESXi主机上的虚拟机使用的vmnic。使用esxtopwith选n项获取绑定。

• 虚拟机正在主机1/3上使用vmnic1和vmnic2。
• 将MAC地址从ESXi vNIC映射到UCS vNIC

[root@esx38:~] esxcfg-nics -l
Name PCI Driver Link Speed Duplex MAC Address MTU Description
vmnic0 0000:06:00.0 nenic Up 20000Mbps Full 00:25:b5:04:38:a0 9000 Cisco Systems Inc Cisco VIC Ethernet NIC
vmnic1 0000:07:00.0 nenic Up 20000Mbps Full 00:25:b5:04:38:a1 9000 Cisco Systems Inc Cisco VIC Ethernet NIC
vmnic2 0000:08:00.0 nenic Up 20000Mbps Full 00:25:b5:04:38:b0 9000 Cisco Systems Inc Cisco VIC Ethernet NIC
vmnic3 0000:09:00.0 nenic Up 20000Mbps Full 00:25:b5:04:38:b1 9000 Cisco Systems Inc Cisco VIC Ethernet NIC

• 操作系统是否正在转发帧？（通过数据包捕获确认。）
• VIC适配器
• IOM（HIF和NIF）

相关信息

• 思科技术支持和下载