El conjunto de documentos para este producto aspira al uso de un lenguaje no discriminatorio. A los fines de esta documentación, "no discriminatorio" se refiere al lenguaje que no implica discriminación por motivos de edad, discapacidad, género, identidad de raza, identidad étnica, orientación sexual, nivel socioeconómico e interseccionalidad. Puede haber excepciones en la documentación debido al lenguaje que se encuentra ya en las interfaces de usuario del software del producto, el lenguaje utilizado en función de la documentación de la RFP o el lenguaje utilizado por un producto de terceros al que se hace referencia. Obtenga más información sobre cómo Cisco utiliza el lenguaje inclusivo.
Cisco ha traducido este documento combinando la traducción automática y los recursos humanos a fin de ofrecer a nuestros usuarios en todo el mundo contenido en su propio idioma. Tenga en cuenta que incluso la mejor traducción automática podría no ser tan precisa como la proporcionada por un traductor profesional. Cisco Systems, Inc. no asume ninguna responsabilidad por la precisión de estas traducciones y recomienda remitirse siempre al documento original escrito en inglés (insertar vínculo URL).
Este documento describe un Nexus 5000 en una configuración de Virtual Port Channel (VPC) para un almacenamiento de NetApp para lograr Fibre Channel over Ethernet (FCoE).
Cisco recomienda tener conocimientos de Unified Computing System (UCS) y Nexus 5000.
La información que contiene este documento se basa en las siguientes versiones de software y hardware.
La información que contiene este documento se creó a partir de los dispositivos en un ambiente de laboratorio específico. Todos los dispositivos que se utilizan en este documento se pusieron en funcionamiento con una configuración verificada (predeterminada). Si tiene una red en vivo, asegúrese de entender el posible impacto de cualquier comando.
Este documento describe la configuración del switch Nexus 5000 en una configuración de Virtual Port Channel (VPC) para un almacenamiento de NetApp con el fin de lograr Fibre Channel over Ethernet (FCoE).
Todos los diagramas de este documento se crearon con App Diagrams.
Esta configuración pretende ser una referencia simple. Utiliza enlaces únicos aunque los canales de puerto mencionados se pueden ampliar fácilmente con más enlaces para proporcionar más ancho de banda.
Entre los UCS FI y los Nexus 5000 solo hay un enlace en cada lado. Entre cada Nexus 5000 y cada NetApp también hay un enlace vinculado a las VPC asociadas.
En este caso, VSAN 70 se utiliza para el lado izquierdo del fabric y VSAN 80 para el lado derecho. Respectivamente, las VLAN 970 y 980 son las VLAN FCoE.
La mayor parte de la complejidad de esta configuración se concentra en la plataforma Nexus 5000. La configuración de UCS y NetApp es bastante sencilla.
Esta configuración tiene muchas similitudes con el ejemplo de configuración de Nexus 5000 NPIV FCoE con FCoE NPV Attached UCS.
Activar las funciones
En ambos Nexus 5000:
feature npiv
feature fcoe
feature lacp
Creación de la red de área de almacenamiento virtual (VSAN)
bdsol-n5548-05
vsan database
vsan 70
bdsol-n5548-06
vsan database
vsan 80
Agregar nuevas VLAN para transportar tráfico FCoE
bdsol-n5548-05
vlan 970
fcoe vsan 70
bdsol-n5548-06
vlan 980
fcoe vsan 80
Configuración de conectividad física
Este tipo de configuración le permite tener FCoE y otra VLAN en un solo tronco. En este caso, las VPC llevan VLAN 3380, configurada como VLAN de Network File System (NFS) en el lado de NetApp, como se muestra más adelante.
La configuración se toma de bdsol-n5548-05.
Configuración de VPC en NetApp-B:
interface Ethernet1/5
switchport mode trunk
switchport trunk allowed vlan 970,3380
spanning-tree port type edge trunk
channel-group 105 mode active
interface port-channel105
switchport mode trunk
switchport trunk allowed vlan 970,3380
vpc 105
Configuración de VPC en NetApp-A:
interface Ethernet1/6
switchport mode trunk
switchport trunk allowed vlan 970,3380
spanning-tree port type edge trunk
channel-group 106 mode active
interface port-channel106
switchport mode trunk
switchport trunk allowed vlan 970,3380
vpc 106
Configuración del canal de puerto que conduce a UCS:
interface Ethernet1/3
switchport mode trunk
switchport trunk allowed vlan 970
spanning-tree port type edge trunk
spanning-tree bpdufilter enable
channel-group 103 mode active
interface port-channel103
switchport mode trunk
switchport trunk allowed vlan 970
Esta configuración se refleja en el switch bdsol-n5548-06. La única diferencia es que la VLAN 980 se transporta en trunks y no en 970.
Creación y enlace de la configuración de VSAN
Ahora que se ha configurado la conectividad física, las interfaces de canal de fibra virtual (VFC) recién configuradas deben vincularse a los canales de puerto creados anteriormente.
Nota: esta configuración pertenece a UCS cuando funciona en modo de host final de fabric, no en switching Fibre Channel (FC). Cuando ejecute el modo de switching FC en su UCS, recuerde cambiar el modo VFC de estructura troncal (TF) predeterminada a E_port troncal (TE).
La configuración de bdsol-n5548-05 a NetApp:
interface vfc105
bind interface port-channel105
switchport trunk allowed vsan 70
no shutdown
interface vfc106
bind interface port-channel106
switchport trunk allowed vsan 70
no shutdown
La configuración de FCoE bdsol-n5548-05 para UCS:
interface vfc103
bind interface port-channel103
switchport trunk allowed vsan 70
no shutdown
Como se ha mencionado en la introducción a este documento, esta configuración representa un único enlace en el canal de puerto entre los switches UCS y Nexus. Se utiliza solo como referencia y se puede ampliar a enlaces adicionales.
La configuración anterior se refleja en bdsol-n5548-06. El único cambio es utilizar VSAN 80 en lugar de VSAN 70.
Canal de puerto de enlace de par
En esta configuración, cada lado del fabric solo tiene una VLAN FCoE. Las VLAN no pueden conectarse mediante trunking entre Nexus 5000.
En función de los estándares de configuración y las prácticas recomendadas, se puede completar de la siguiente manera:
Agregar los VFC a la base de datos de VSAN
Los VFC recién configurados se agregan a la base de datos VSAN.
bdsol-n5548-05
vsan database
vsan 70 interface vfc103
vsan 70 interface vfc105
vsan 70 interface vfc106
bdsol-n5548-06
vsan database
vsan 80 interface vfc103
vsan 80 interface vfc105
vsan 80 interface vfc106
Esta configuración tiene un perfil de QoS simple, que se entiende como una referencia.
Para habilitar el control de flujo de prioridad (PFC), que permite una transmisión sin pérdidas necesaria para FCoE, la configuración de QoS debe coincidir.
En este caso, sólo se utilizan dos clases. Uno para tráfico FC/FCoE y otro para tráfico NFS que permite tramas gigantes.
bdsol-n5548-05# show running-config ipqos
class-map type qos class-fcoe
class-map type queuing class-fcoe
match qos-group 1
class-map type network-qos class-fcoe
match qos-group 1
policy-map type network-qos jumbo
class type network-qos class-fcoe
pause no-drop
mtu 2158
class type network-qos class-default
mtu 9216
multicast-optimize
system qos
service-policy type network-qos jumbo
service-policy type queuing input fcoe-default-in-policy
service-policy type queuing output fcoe-default-out-policy
service-policy type qos input fcoe-default-in-policy
Puede encontrar una guía paso a paso que muestra cómo configurar los uplinks FCoE en Ejemplo de Configuración de Uplink FCoE de UCS.
Como se mencionó anteriormente, en este ejemplo se utiliza un solo link, pero esta configuración se puede extender a varios links en un canal de puerto.
Configuración de canal de puerto
El ejemplo anterior muestra el punto de vista de UCS. Cada lado del fabric tiene un canal de puerto, número 2, basado en el puerto ethernet1/21.
En este ejemplo, las únicas VSAN que existen son 70 y 80, por lo que es seguro asumir que son las que tienen enlaces.
bdsol-6248-03-A(nxos)# show vlan fcoe
Original VLAN ID Translated VSAN ID Association State
---------------- ------------------ -----------------
970 70 Operational
4048 1 Operational
interface Ethernet1/21
description UF: UnifiedUplink
pinning border
switchport mode trunk
switchport trunk native vlan 4049
switchport trunk allowed vlan 1,970,4048-4049
udld disable
channel-group 2 mode active
no shutdown
interface port-channel2
description UF: UnifiedUplink
switchport mode trunk
switchport trunk native vlan 4049
switchport trunk allowed vlan 1,970,4048-4049
pinning border
speed 10000
La VLAN 970 se conecta mediante el canal de puerto 2.
Configuración de QoS
Como se ha mencionado, en la configuración de QoS del Nexus 5000, una configuración de QoS integral permite que funcione PFC.
En este ejemplo, sólo se habilitan dos clases. La clase predeterminada que transporta tramas jumbo (MTU 9216) y la clase FC.
Coincide con lo configurado en el lado de Nexus en los pasos anteriores. Hay otras clases presentes, pero no habilitadas.
En este ejemplo, NetApp funciona en modo 7. Puede encontrar una guía paso a paso sobre cómo configurar el lado de NetApp en la Guía de implementación de almacenamiento de NetApp.
Licencia
Debe haber al menos una licencia de FC/FCoE (FC/FCoE) para que FCoE funcione.
Configuración
No es necesario agregar las VLAN de FCoE a ninguna parte de NetApp. Se detectan en la etapa de detección de VLAN de la negociación FCoE.
Como se ha mencionado anteriormente, durante la configuración de Nexus 5000, el NFS también se gestiona mediante los mismos enlaces ascendentes.
bdsol-3220-01-A> rdfile /etc/rc
ifgrp create lacp dvif -b ip e1a e1b
vlan create dvif 3380
ifconfig e0M `hostname`-e0M flowcontrol full netmask 255.255.255.128 partner
e0M mtusize 1500
ifconfig dvif-3380 `hostname`-dvif-3380 netmask 255.255.255.0 partner dvif-3380
mtusize 9000 trusted
route add default 10.48.43.100 1
routed on
La configuración muestra que el canal de puerto LACP (ifgroup) se crea a partir de las interfaces e1a y e1b y se agrega la interfaz virtual para VLAN 3380.
La misma configuración de la GUI muestra:
Configuración del Grupo de Interfaz
bdsol-3220-01-A> ifgrp status
default: transmit 'IP Load balancing', Ifgrp Type 'multi_mode', fail 'log'
dvif: 2 links, transmit 'IP Load balancing', Ifgrp Type 'lacp' fail 'default'
Ifgrp Status Up Addr_set
up:
e1a: state up, since 28Sep2014 00:48:23 (142+11:23:01)
mediatype: auto-10g_twinax-fd-up
flags: enabled
active aggr, aggr port: e1b
input packets 766192514, input bytes 2560966346135
input lacp packets 410301, output lacp packets 410438
output packets 615632, output bytes 81875375
up indications 9, broken indications 5
drops (if) 0, drops (link) 1
indication: up at 28Sep2014 00:48:23
consecutive 0, transitions 14
e1b: state up, since 28Sep2014 00:48:22 (142+11:23:02)
mediatype: auto-10g_twinax-fd-up
flags: enabled
active aggr, aggr port: e1b
input packets 246965410, input bytes 702882508932
input lacp packets 410301, output lacp packets 410442
output packets 615646, output bytes 81876343
up indications 9, broken indications 5
drops (if) 0, drops (link) 2
indication: up at 28Sep2014 00:48:22
consecutive 0, transitions 15
Nota: solo los usuarios registrados de Cisco pueden acceder a la información y las herramientas internas de Cisco.
Use esta sección para confirmar que su configuración funciona correctamente. El Analizador de Cisco CLI soporta ciertos comandos show. Utilice el Analizador de Cisco CLI para ver un análisis de los resultados del comando show.
Las secciones Verificación y Troubleshooting de este documento se centran en los switches Nexus 5000, ya que son fundamentales para esta configuración.
bdsol-n5548-05# show int vfc 105
vfc105 is trunking
Bound interface is port-channel105
Hardware is Ethernet
Port WWN is 20:68:00:2a:6a:28:68:7f
Admin port mode is F, trunk mode is on
snmp link state traps are enabled
Port mode is TF
Port vsan is 70
Trunk vsans (admin allowed and active) (70)
Trunk vsans (up) (70)
Trunk vsans (isolated) ()
Trunk vsans (initializing) ()
1 minute input rate 0 bits/sec, 0 bytes/sec, 0 frames/sec
1 minute output rate 0 bits/sec, 0 bytes/sec, 0 frames/sec
65 frames input, 6904 bytes
0 discards, 0 errors
65 frames output, 9492 bytes
0 discards, 0 errors
El resultado anterior muestra que VSAN 70 está activo y se conecta mediante trunks en VFC y que efectivamente funciona en el modo esperado - TF.
Verifique la base de datos de flogi en los switches.
bdsol-n5548-05# show flogi database
--------------------------------------------------------------------------------
INTERFACE VSAN FCID PORT NAME NODE NAME
--------------------------------------------------------------------------------
vfc103 70 0xa00020 22:c8:54:7f:ee:f2:d6:bf 20:46:54:7f:ee:f2:d6:81
vfc105 70 0xa00000 50:0a:09:81:98:fd:66:a5 50:0a:09:80:88:fd:66:a5
[bdsol-3220-01-B-1a]
vfc106 70 0xa00001 50:0a:09:81:88:fd:66:a5 50:0a:09:80:88:fd:66:a5
[bdsol-3220-01-A-1a]
El resultado anterior muestra que cada VFC tiene un dispositivo conectado. Esto se espera en una configuración muy básica.
En caso de duda, puede comprobar el estado en el lado de UCS. En el modo de host final, se puede utilizar la función NPV.
bdsol-6248-03-A(nxos)# show npv status
npiv is enabled
disruptive load balancing is disabled
External Interfaces:
====================
Interface: vfc713, State: Trunking
VSAN: 1, State: Waiting For VSAN Up
VSAN: 70, State: Up, FCID: 0xa00020
Nota: el FCID (0xa00020) en NPV coincide con el que ve el switch Nexus.
VSAN1 no está activo en el tronco ni configurado, por lo que se puede ignorar. Aquí tiene la verificación del VFC 713 en el UCS.
bdsol-6248-03-A(nxos)# show interface vfc 713
vfc713 is trunking (Not all VSANs UP on the trunk)
Bound interface is port-channel2
Hardware is Ethernet
Port WWN is 22:c8:54:7f:ee:f2:d6:bf
Admin port mode is NP, trunk mode is on
snmp link state traps are enabled
Port mode is TNP
Port vsan is 1
Trunk vsans (admin allowed and active) (1,70)
Trunk vsans (up) (70)
Trunk vsans (isolated) ()
Trunk vsans (initializing) (1)
1 minute input rate 2523680 bits/sec, 315460 bytes/sec, 163 frames/sec
1 minute output rate 1114056 bits/sec, 139257 bytes/sec, 69 frames/sec
134861480 frames input, 159675768364 bytes
0 discards, 0 errors
405404675 frames output, 792038498124 bytes
0 discards, 0 errors
Este resultado muestra que VSAN 70 está activo y que el puerto funciona en el puerto de nodo en el modo VPN (NP). Esto es de esperar, ya que UCS funciona en modo de host final.
NetApp
Como se mencionó anteriormente, esta configuración se ejecuta en modo 7. El comando cluster mode puede ser diferente.
El estado de FCP en las interfaces es:
bdsol-3220-01-A> fcp topology show
Switches connected on adapter 1a:
Switch Name: bdsol-n5548-05
Switch Vendor: Cisco Systems, Inc.
Switch Release: 5.2(1)N1(1b)
Switch Domain: 160
Switch WWN: 20:46:00:2a:6a:28:68:41
Port Count: 5
(...)
Switches connected on adapter 1b:
Switch Name: bdsol-n5548-06
Switch Vendor: Cisco Systems, Inc.
Switch Release: 5.2(1)N1(1b)
Switch Domain: 35
Switch WWN: 20:50:00:2a:6a:28:6e:41
Port Count: 5
En esta sección encontrará información que puede utilizar para solucionar problemas de configuración. El Analizador de Cisco CLI soporta ciertos comandos show. Utilice el Analizador de Cisco CLI para ver un análisis de los resultados del comando show.
Nota: solo los usuarios registrados de Cisco pueden acceder a la información y las herramientas internas.
Asegúrese de que todas las funciones necesarias están activadas.
bdsol-n5548-05# show feature | i npiv|fcoe|lacp
fcoe 1 enabled
fcoe-npv 1 disabled
lacp 1 enabled
npiv 1 enabled
Verifique la existencia de la VLAN FCoE y dónde se envía.
show vlan fcoe
show vlan id X
Aquí se muestra un ejemplo del lado izquierdo del fabric:
bdsol-n5548-05# show vlan fcoe
Original VLAN ID Translated VSAN ID Association State
---------------- ------------------ -----------------
970 70 Operational
bdsol-n5548-05# show vlan id 970
VLAN Name Status Ports
---- -------------------------------- --------- -------------------------------
970 VLAN0970 active Po1, Po103, Po105, Po106, Po107
Po202, Po203, Po204, Eth1/3
Eth1/5, Eth1/6, Eth1/7, Eth1/8
La VLAN 970 existe y se enlaza a los puertos descritos en la configuración, así como la confirmación de que transporta VSAN 70.
Las VLAN FCoE son un caso especial y no deben existir en el árbol de expansión.
bdsol-n5548-05# show spanning-tree vlan 970
Spanning tree instance(s) for vlan does not exist.
Existe un caso especial para el árbol de extensión múltiple (MST) y las VLAN FCoE. Se debe crear una instancia de MST para transportar VLAN FCoE, y no otras VLAN. Consulte Instancias de MST para implementaciones FCoE de fabric dual.
En el ejemplo anterior, las VLAN FCoE se agregan en VPC y las VPC se encuentran en dos dispositivos diferentes. La configuración para el enlace troncal es ligeramente diferente para cada VPC.
Las VLAN FCoE no pueden aparecer como VLAN permitidas en la comprobación de coherencia de VPC.
bdsol-n5548-05# show vpc consistency-parameters vpc 105
Legend:
Type 1 : vPC will be suspended in case of mismatch
Name Type Local Value Peer Value
------------- ---- ---------------------- -----------------------
Shut Lan 1 No No
STP Port Type 1 Default Default
STP Port Guard 1 None None
STP MST Simulate PVST 1 Default Default
lag-id 1 [(1, 2-a0-98-40-ba-fa, [(1, 2-a0-98-40-ba-fa,
1, 0, 0), (7f9b, 1, 0, 0), (7f9b,
0-23-4-ee-be-35, 8069, 0-23-4-ee-be-35, 8069,
0, 0)] 0, 0)]
mode 1 active active
Speed 1 10 Gb/s 10 Gb/s
Duplex 1 full full
Port Mode 1 trunk trunk
Native Vlan 1 1 1
MTU 1 1500 1500
Admin port mode 1
Allowed VLANs - 3380 3380
Local suspended VLANs - - -
Esto es de esperar.
Para verificar que las VLAN de FCoE estén conectadas mediante trunking, verifique el trunking por interfaz.
bdsol-n5548-05# show interface port-channel 105 trunk
--------------------------------------------------------------------------------
Port Native Status Port
Vlan Channel
--------------------------------------------------------------------------------
Po105 1 trunking --
--------------------------------------------------------------------------------
Port Vlans Allowed on Trunk
--------------------------------------------------------------------------------
Po105 970,3380
--------------------------------------------------------------------------------
Port STP Forwarding
--------------------------------------------------------------------------------
Po105 3380
Como se mencionó, las VLAN FCoE no participan en el árbol de expansión y no son visibles como VLAN de reenvío STP. Sin embargo, pueden aparecer como enlaces.
El control de flujo de prioridad es crucial para el funcionamiento de FCoE. Para que el PFC esté operativo, la configuración de QoS debe coincidir de extremo a extremo.
Para verificar el estado por interfaz:
bdsol-n5548-05# show interface ethernet 1/3 priority-flow-control
============================================================
Port Mode Oper(VL bmap) RxPPP TxPPP
============================================================
Ethernet1/3 Auto On (8) 2852 13240218
El resultado anterior muestra que la PFC está operativa (activada) y que las tramas de pausa por prioridad (PPP) se han recibido y transmitido.
Para una vista de todo el dispositivo, el administrador puede ingresar el comando show int priority-flow-control:
bdsol-n5548-05# show int priority-flow-control
============================================================
Port Mode Oper(VL bmap) RxPPP TxPPP
============================================================
Ethernet1/1 Auto Off 4 0
Ethernet1/2 Auto Off 4 0
Ethernet1/3 Auto On (8) 2852 13240218
Ethernet1/5 Auto On (8) 0 0
Ethernet1/6 Auto On (8) 0 0
(...)
Las interfaces que se describieron en este documento, Ethernet 1/3, 1/5 y 1/6, tienen PFC habilitado y operativo.
Las VFC configuradas asociadas deben formar parte de la VSAN correcta. Este ejemplo muestra que las interfaces virtuales configuradas son parte de la VSAN correcta.
bdsol-n5548-05# show vsan membership
vsan 1 interfaces:
fc2/15
vsan 70 interfaces:
fc2/16 vfc103 vfc105 vfc106
Inicio de FCoE
FCoE Initiation Protocol (Protocolo de inicio de FCoE) sigue varios pasos para activar el enlace entre el host final y el switch.
Lo que es importante recordar es que para activar la interfaz correctamente, es necesario que se realicen un par de acciones diferentes como se describe en este diagrama.
Enode es un nodo final, mientras que FCF es el switch.
Para verificar los pasos de uno de los dispositivos, se puede utilizar la función fcoe_mgr (administrador FCoE). En este caso es vfc 105.
bdsol-n5548-05# show platform software fcoe_mgr info interface vfc 105
vfc105(0x841e4c4), if_index: 0x1e000068, VFC RID vfc105
FSM current state: FCOE_MGR_VFC_ST_PHY_UP
PSS Runtime Config:-
Type: 3
Bound IF: Po105
FCF Priority: 128 (Global)
Disable FKA: 0
PSS Runtime Data:-
IOD: 0x00000000, WWN: 20:68:00:2a:6a:28:68:7f
Created at: Sat Sep 27 22:45:05 2014
FC Admin State: up
Oper State: up, Reason: down
Eth IF Index: Po105
Port Vsan: 70
Port Mode: F port
Config Vsan: 70
Oper Vsan: 70
Solicits on vsan: 70
Isolated Vsan:
FIP Capable ? : TRUE
UP using DCBX ? : FALSE
Peer MAC : 00:c0:dd:22:79:39
PSS VN Port data:-
FC ID 0xA00000 -
vfc index 503316584 vfc name vfc105
vsan id 70
enode_mac 00:c0:dd:22:79:39
vfc wwn 50:0a:09:81:98:fd:66:a5
El producto es continuo.
El resultado contiene algunos datos útiles. Verifica el estado actual, muestra el enlace real entre VFC y portchannel y el estado real del VFC en la VSAN. Muestra las transiciones entre los diferentes estados descritos en el diagrama antes de que aparezca la interfaz. Se realiza la detección de VLAN y se recibe y contesta la solicitud de FIP, lo que permite que se active la VFC.
Continuación del resultado anterior:
17) FSM:<vfc105> Transition at 554094 usecs after Sat Sep 27 22:48:06 2014
Previous state: [FCOE_MGR_VFC_ST_PHY_UP]
Triggered event: [FCOE_MGR_VFC_EV_BRING_UP]
Next state: [FSM_ST_NO_CHANGE]
18) FSM:<vfc105> Transition at 685820 usecs after Sat Sep 27 22:48:07 2014
Previous state: [FCOE_MGR_VFC_ST_PHY_UP]
Triggered event: [FCOE_MGR_VFC_EV_FIP_VLAN_DISCOVERY]
Next state: [FSM_ST_NO_CHANGE]
19) FSM:<vfc105> Transition at 686781 usecs after Sat Sep 27 22:48:07 2014
Previous state: [FCOE_MGR_VFC_ST_PHY_UP]
Triggered event: [FCOE_MGR_VFC_EV_FIP_SOLICITATION]
Next state: [FSM_ST_NO_CHANGE]
Curr state: [FCOE_MGR_VFC_ST_PHY_UP]
El equipo del Data Center Networking Solutions Technical Assistance Center observa un par de problemas conocidos y habituales con la configuración de FCoE que se repiten.
bdsol-n5548-05# show trunk protocol
Trunk Protocol is enabled.
Revisión | Fecha de publicación | Comentarios |
---|---|---|
2.0 |
15-Nov-2022 |
Versión inicial |
1.0 |
10-Mar-2015 |
Versión inicial |