Introducción
Este documento describe cómo resolver problemas básicos de conectividad de red en máquinas virtuales.
Prerequisites
Requirements
Cisco recomienda que tenga conocimiento sobre estos temas:
- Dominio de Unified Computing System Manager (UCSM)
- Interfaz de línea de comandos (CLI) de Cisco Unified Computing System Manager (UCSM)
- Servidores de las series B y C de Cisco UCS
- Conceptos básicos de redes
- ESXi
Componentes Utilizados
La información que contiene este documento se basa en estas versiones de software:
- Cisco UCS Manager versión 2.x y posterior
- Fabric Interconnect Cisco UCS series 6200, 6300, 6400 y 6500
- Módulo de E/S del Fabric Extender de las series Cisco UCS 2200, 2300 y 2400
La información que contiene este documento se creó a partir de los dispositivos en un ambiente de laboratorio específico. Todos los dispositivos que se utilizan en este documento se pusieron en funcionamiento con una configuración verificada (predeterminada). Si tiene una red en vivo, asegúrese de entender el posible impacto de cualquier comando.
Antecedentes
Un escenario común para los administradores de infraestructura que implementan cambios en la red o la configuración es perder la conectividad de red en sus máquinas virtuales. Este documento tiene como objetivo proporcionar orientación sobre el proceso de resolución de problemas para identificar los problemas más habituales.
Comprensión del problema
El problema más común es perder el ping entre las máquinas virtuales. Para obtener una imagen completa, podemos empezar a preguntar:
- ¿Ambas máquinas virtuales están alojadas en servidores UCS?
- ¿Están ambas máquinas virtuales en el mismo dominio UCSM?
- ¿Las máquinas virtuales están intentando comunicarse en la misma VLAN?
- ¿Qué tipo de configuración de red utilizamos en el hipervisor? (Switch distribuido ESXi, agrupación de NIC, etc.)
- ¿Cuál es el modelo de los switches ascendentes?
Escenario de prueba
Se aprovisionaron y configuraron dos nuevas máquinas virtuales para utilizar VLAN 70; sin embargo, no pueden realizar ping entre ellas ni con su gateway predeterminado.
Máquinas virtuales
- IMM-Transition-4.0.1
- Linux 9 de Alma
Hipervisor
- VMware ESXi, 7.0.3, 20842708
Recopilación de información
Direcciones MAC e IP de ambas máquinas virtuales:
- IMM-Transition-4.0.1
- MAC: 00:50:56:ba:28:53
- IP: 192.168.70.23
- IP de host: 10.31.123.38
- Linux 9 de Alma
- MAC: 00:50:56:ba:46:96
- IP: 192.168.70.24
- IP de host: 10.31.123.40
Seguimiento de direcciones MAC en los FI
FI-A # connect nxos
FI-A(nxos)# show mac address-table vlan 70
Legend:
* - primary entry, G - Gateway MAC, (R) - Routed MAC, O - Overlay MAC
age - seconds since last seen,+ - primary entry using vPC Peer-Link
VLAN MAC Address Type age Secure NTFY Ports/SWID.SSID.LID
---------+-----------------+--------+---------+------+----+------------------
* 70 0050.56ba.4696 dynamic 30 F F Veth725 ------------------------------------------->>> VM Alma Linux 9 is learned on FI-A veth725 and VLAN 70 as expected
FI-B # connect nxos
FI-B(nxos)# show mac address-table vlan 70
Legend:
* - primary entry, G - Gateway MAC, (R) - Routed MAC, O - Overlay MAC
age - seconds since last seen,+ - primary entry using vPC Peer-Link
VLAN MAC Address Type age Secure NTFY Ports/SWID.SSID.LID
---------+-----------------+--------+---------+------+----+------------------
* 70 0050.56ba.2853 dynamic 10 F F Veth688 ---------------------------------------->>> VM IMM-Transition-4.0.1 is learned on FI-B veth688 and VLAN 70 as expected
Determinación del servidor que aloja la máquina virtual
FI-A(nxos)# show running-config interface vethernet725
!Command: show running-config interface Vethernet725
!Time: Thu Feb 1 11:59:39 2024
version 5.0(3)N2(4.13k)
interface Vethernet725
description server 1/3, VNIC vnic_a1 ---------------------------------------->>> VM Alma Linux 9 is hosted on Server 1/3 and the vnic name is vnic_a1
switchport mode trunk
no lldp transmit
no lldp receive
no pinning server sticky
pinning server pinning-failure link-down
no cdp enable
switchport trunk allowed vlan 69-70,72,470
bind interface port-channel1287 channel 725
service-policy type queuing input org-root/ep-qos-BestEffort
no shutdown
FI-B(nxos)# show running-config interface vethernet 688
!Command: show running-config interface Vethernet688
!Time: Thu Feb 1 12:06:44 2024
version 5.0(3)N2(4.13k)
interface Vethernet688
description server 1/5, VNIC vnic_b1 ---------------------------------------->>> VM IMM-Transition-4.0.1 is hosted on Server 1/5 and the vnic name is vnic_b1
switchport mode trunk
switchport trunk allowed vlan 69-70,72,470
no lldp transmit
no lldp receive
no pinning server sticky
pinning server pinning-failure link-down
no cdp enable
service-policy type queuing input org-root/ep-qos-BestEffort
bind interface port-channel1282 channel 688
no shutdown
Recopilación de Información sobre los Switches Ascendentes
FI-A(nxos)# show cdp neighbors
Capability Codes: R - Router, T - Trans-Bridge, B - Source-Route-Bridge
S - Switch, H - Host, I - IGMP, r - Repeater,
V - VoIP-Phone, D - Remotely-Managed-Device,
s - Supports-STP-Dispute
Device-ID Local Intrfce Hldtme Capability Platform Port ID
MGMT-SWITCH
mgmt0 140 R S I WS-C3650-12X4 Gig1/0/35
Nexus-1
Eth1/1 158 R S I s N5K-C5672UP-1 Eth1/3
Nexus-2
Eth1/2 133 R S I s N5K-C5672UP-1 Eth1/3
FI-A(nxos)# show cdp neighbors
Capability Codes: R - Router, T - Trans-Bridge, B - Source-Route-Bridge
S - Switch, H - Host, I - IGMP, r - Repeater,
V - VoIP-Phone, D - Remotely-Managed-Device,
s - Supports-STP-Dispute
Device-ID Local Intrfce Hldtme Capability Platform Port ID
MGMT-SWITCH
mgmt0 139 R S I WS-C3650-12X4 Gig1/0/36
Nexus-1
Eth1/1 167 R S I s N5K-C5672UP-1 Eth1/4
Nexus-2
Eth1/2 132 R S I s N5K-C5672UP-1 Eth1/4
Summary
- Las direcciones MAC de la máquina virtual se aprenden en FI-A y FI-B respectivamente y en VLAN 70.
- Las máquinas virtuales se alojan en diferentes servidores UCS, pero en el mismo dominio UCSM.
- Los switches ascendentes son N5K-C5672UP-1 y se conectan a las interfaces ethernet1-2 en ambas Fabric Interconnects.
Definición del flujo de tráfico
- Si el origen y el destino están en la misma subred o VLAN, el tráfico se reenvía en el mismo dominio de difusión.
- Si el origen y el destino están en una subred o vlan diferente, el tráfico se reenvía a otro dominio de difusión.
- Si el origen y el destino se aprenden en el mismo Fabric Interconnect, el tráfico es conmutado localmente por el Fabric Interconnect.
- Si el origen y el destino se aprenden en un Fabric Interconnect diferente, el tráfico se reenvía en sentido ascendente.
Para este escenario en particular:
- El origen y el destino se encuentran en el mismo dominio de difusión, pero se detectan en diferentes Fabric Interconnects, por lo que el tráfico se envía a la red ascendente.
Prueba solo de la red UCS
Por lo tanto, para probar el switching local de la fabric interconectada sin que la red ascendente esté involucrada en el flujo de tráfico, se puede forzar una conmutación por error para que ambas máquinas virtuales se aprendan en la misma fabric interconectada. En este ejemplo, VM IMM-Transition-4.0.1 se va a mover a FI-A.
- De la resolución de problemas anterior:
- VM Alma Linux 9 se aloja en el servidor 1/3, se aprende en FI-A y utiliza veth725, que es vnic_a1.
- VM IMM-Transition-4.0.1 se aloja en el servidor 1/5, se detecta en FI-B y se utiliza veth688, que es vnic_b1.
- En UCSM:
- El servidor 1/5 tiene 2 vNIC en FI-A y 2 en FI-B
- Para forzar el reinicio a FI-A, inhabilite las vNICs en el lado B, comenzando con la vNIC utilizada por la VM, para este escenario vnic_b0 y vnic_b1 fueron inhabilitadas.
- Con todas las vNIC en FI-B desactivadas, VM IMM-Transition-4.0.1 se aprende ahora en FI-A, junto con VM Alma Linux 9.
FI-A(nxos)# show mac address-table vlan 70
Legend:
* - primary entry, G - Gateway MAC, (R) - Routed MAC, O - Overlay MAC
age - seconds since last seen,+ - primary entry using vPC Peer-Link
VLAN MAC Address Type age Secure NTFY Ports/SWID.SSID.LID
---------+-----------------+--------+---------+------+----+------------------
* 70 0050.56ba.2853 dynamic 0 F F Veth686 ------------------------------------->>> VM Alma Linux 9
* 70 0050.56ba.4696 dynamic 10 F F Veth725 ------------------------------------>>> VM IMM-Transition-4.0.1
- Con todo lo demás en el lado de UCS configurado como se esperaba, el ping funciona ahora ya que el tráfico está siendo conmutado localmente por FI-A. Por lo tanto, la investigación debe continuar en la red ascendente.
Direcciones MAC no aprendidas en las Fabric Interconnects
- Verifique si la VLAN está configurada correctamente en las vNIC.
- Verifique si la VLAN está configurada correctamente en los links ascendentes.
FI-A(nxos)# show running-config interface port-channel 1
!Command: show running-config interface port-channel1
!Time: Fri Feb 2 13:05:59 2024
version 5.0(3)N2(4.13k)
interface port-channel1
description U: Uplink
switchport mode trunk
pinning border
switchport trunk allowed vlan 1,69-70,72,470
speed 1000
- Verifique si la VLAN está configurada correctamente en ESXi.
- Valide el vmnic utilizado por la máquina virtual en el host de ESXi. Utilice la opción
esxtop
withn
para obtener el enlace.
- Las máquinas virtuales están utilizando vmnic1 y vmnic2 en el host 1/3.
- Asignación de direcciones MAC de vmnic de ESXi a vNIC de UCS
[root@esx38:~] esxcfg-nics -l
Name PCI Driver Link Speed Duplex MAC Address MTU Description
vmnic0 0000:06:00.0 nenic Up 20000Mbps Full 00:25:b5:04:38:a0 9000 Cisco Systems Inc Cisco VIC Ethernet NIC
vmnic1 0000:07:00.0 nenic Up 20000Mbps Full 00:25:b5:04:38:a1 9000 Cisco Systems Inc Cisco VIC Ethernet NIC
vmnic2 0000:08:00.0 nenic Up 20000Mbps Full 00:25:b5:04:38:b0 9000 Cisco Systems Inc Cisco VIC Ethernet NIC
vmnic3 0000:09:00.0 nenic Up 20000Mbps Full 00:25:b5:04:38:b1 9000 Cisco Systems Inc Cisco VIC Ethernet NIC
- ¿El sistema operativo está reenviando la trama? (Confirme con una captura de paquetes.)
- adaptador VIC
- OIM (HIF y NIF)
Información Relacionada