O conjunto de documentação deste produto faz o possível para usar uma linguagem imparcial. Para os fins deste conjunto de documentação, a imparcialidade é definida como uma linguagem que não implica em discriminação baseada em idade, deficiência, gênero, identidade racial, identidade étnica, orientação sexual, status socioeconômico e interseccionalidade. Pode haver exceções na documentação devido à linguagem codificada nas interfaces de usuário do software do produto, linguagem usada com base na documentação de RFP ou linguagem usada por um produto de terceiros referenciado. Saiba mais sobre como a Cisco está usando a linguagem inclusiva.
A Cisco traduziu este documento com a ajuda de tecnologias de tradução automática e humana para oferecer conteúdo de suporte aos seus usuários no seu próprio idioma, independentemente da localização. Observe que mesmo a melhor tradução automática não será tão precisa quanto as realizadas por um tradutor profissional. A Cisco Systems, Inc. não se responsabiliza pela precisão destas traduções e recomenda que o documento original em inglês (link fornecido) seja sempre consultado.
Este documento descreve um Nexus 5000 em uma configuração de Virtual Port Channel (VPC) para um armazenamento NetApp para obter Fibre Channel over Ethernet (FCoE).
A Cisco recomenda que você conheça o Unified Computing System (UCS) e o Nexus 5000.
As informações neste documento são baseadas nestas versões de software e hardware:
As informações neste documento foram criadas a partir de dispositivos em um ambiente de laboratório específico. Todos os dispositivos utilizados neste documento foram iniciados com uma configuração (padrão) inicial. Se a rede estiver ativa, certifique-se de que você entenda o impacto potencial de qualquer comando.
Este documento descreve a configuração do switch Nexus 5000 em uma configuração de Virtual Port Channel (VPC) para um armazenamento NetApp para obter Fibre Channel over Ethernet (FCoE).
Todos os diagramas neste documento foram criados com o App Diagrams.
Essa configuração deve ser uma referência simples. Ele utiliza links únicos, embora os port channels mencionados possam ser facilmente estendidos com mais links para fornecer mais largura de banda.
Entre os UCS FIs e os Nexus 5000s, há apenas um único link em cada lado. Entre cada Nexus 5000 e cada NetApp, também há um link vinculado aos VPCs associados.
Nesse caso, o VSAN 70 é usado para o lado esquerdo da estrutura e o VSAN 80 para o lado direito. Respectivamente, as VLANs 970 e 980 são as VLANs FCoE.
A maior parte da complexidade dessa configuração está concentrada na plataforma Nexus 5000. A configuração do UCS e da NetApp é bastante simples.
Essa configuração tem muitas semelhanças com o NPIV FCoE do Nexus 5000 com o exemplo de configuração de UCS anexado ao NPV do FCoE.
Ativar os recursos
Nos dois Nexus 5000s:
feature npiv
feature fcoe
feature lacp
Criar a VSAN (Virtual Storage Area Network, rede de armazenamento de dados virtual)
bdsol-n5548-05
vsan database
vsan 70
bdsol-n5548-06
vsan database
vsan 80
Adicionar novas VLANs para transportar o tráfego FCoE
bdsol-n5548-05
vlan 970
fcoe vsan 70
bdsol-n5548-06
vlan 980
fcoe vsan 80
Configuração de conectividade física
Esse tipo de configuração permite que o FCoE e outra VLAN sejam transportados em um único tronco. Nesse caso, os VPCs transportam a VLAN 3380, configurada como a VLAN NFS (Network File System) no lado da NetApp, como visto mais adiante.
A configuração é obtida de bdsol-n5548-05.
Configure o VPC para NetApp-B:
interface Ethernet1/5
switchport mode trunk
switchport trunk allowed vlan 970,3380
spanning-tree port type edge trunk
channel-group 105 mode active
interface port-channel105
switchport mode trunk
switchport trunk allowed vlan 970,3380
vpc 105
Configure o VPC para NetApp-A:
interface Ethernet1/6
switchport mode trunk
switchport trunk allowed vlan 970,3380
spanning-tree port type edge trunk
channel-group 106 mode active
interface port-channel106
switchport mode trunk
switchport trunk allowed vlan 970,3380
vpc 106
Configure o Port Channel que leva ao UCS:
interface Ethernet1/3
switchport mode trunk
switchport trunk allowed vlan 970
spanning-tree port type edge trunk
spanning-tree bpdufilter enable
channel-group 103 mode active
interface port-channel103
switchport mode trunk
switchport trunk allowed vlan 970
Essa configuração é refletida no switch bdsol-n5548-06. A única diferença é que a VLAN 980 é transportada em troncos e não 970.
Criar e vincular a configuração da VSAN
Agora que a conectividade física está configurada, as interfaces de Fibre Channel virtual (VFC) recém-configuradas devem ser vinculadas aos port channels criados anteriormente.
Observação: essa configuração se refere ao UCS quando ele opera no modo Fabric End Host, não no switching Fibre Channel (FC). Ao executar o modo de switching FC no UCS, lembre-se de alterar o modo VFC de Estrutura de Entroncamento (TF) padrão para E_port de Entroncamento (TE).
A configuração bdsol-n5548-05 para NetApp:
interface vfc105
bind interface port-channel105
switchport trunk allowed vsan 70
no shutdown
interface vfc106
bind interface port-channel106
switchport trunk allowed vsan 70
no shutdown
A configuração FCoE bdsol-n5548-05 para o UCS:
interface vfc103
bind interface port-channel103
switchport trunk allowed vsan 70
no shutdown
Como mencionado na introdução a este documento, essa configuração representa um único link no canal de porta entre os switches UCS e Nexus. Ele é usado apenas como referência e pode ser estendido para links adicionais.
A configuração anterior é refletida em bdsol-n5548-06. A única alteração é usar o VSAN 80 em vez do VSAN 70.
Canal de Porta de Link de Par
Nessa configuração, cada lado da estrutura tem apenas uma VLAN FCoE. As VLANs não podem ser entroncadas entre Nexus 5000s.
Dependendo dos padrões de configuração e das práticas recomendadas, isso pode ser concluído por:
Adicionar os VFCs ao banco de dados VSAN
As VFCs recém-configuradas são adicionadas ao banco de dados VSAN.
bdsol-n5548-05:
vsan database
vsan 70 interface vfc103
vsan 70 interface vfc105
vsan 70 interface vfc106
bdsol-n5548-06:
vsan database
vsan 80 interface vfc103
vsan 80 interface vfc105
vsan 80 interface vfc106
Essa configuração tem um perfil de QoS simples, que serve como referência.
Para que o PFC (Priority Flow Control, controle de fluxo de prioridade) seja ativado, o que permite a transmissão sem perda necessária para FCoE, a configuração de QoS precisa corresponder.
Nesse caso, somente duas classes são usadas. Uma para FC/FCoE e outra para tráfego NFS que permite quadros jumbo.
bdsol-n5548-05# show running-config ipqos
class-map type qos class-fcoe
class-map type queuing class-fcoe
match qos-group 1
class-map type network-qos class-fcoe
match qos-group 1
policy-map type network-qos jumbo
class type network-qos class-fcoe
pause no-drop
mtu 2158
class type network-qos class-default
mtu 9216
multicast-optimize
system qos
service-policy type network-qos jumbo
service-policy type queuing input fcoe-default-in-policy
service-policy type queuing output fcoe-default-out-policy
service-policy type qos input fcoe-default-in-policy
Um guia passo a passo que mostra como configurar uplinks FCoE pode ser encontrado no Exemplo de Configuração de Uplink FCoE do UCS.
Como mencionado anteriormente, neste exemplo, um único link é usado apenas, mas essa configuração pode ser estendida para vários links em um canal de porta.
Configuração do canal de porta
O exemplo anterior mostra o ponto de vista do UCS. Cada lado da estrutura tem um canal de porta, número 2, baseado na porta ethernet1/21.
Neste exemplo, as únicas VSANs existentes são 70 e 80, portanto, é seguro supor que elas sejam aquelas com tronco.
bdsol-6248-03-A(nxos)# show vlan fcoe
Original VLAN ID Translated VSAN ID Association State
---------------- ------------------ -----------------
970 70 Operational
4048 1 Operational
interface Ethernet1/21
description UF: UnifiedUplink
pinning border
switchport mode trunk
switchport trunk native vlan 4049
switchport trunk allowed vlan 1,970,4048-4049
udld disable
channel-group 2 mode active
no shutdown
interface port-channel2
description UF: UnifiedUplink
switchport mode trunk
switchport trunk native vlan 4049
switchport trunk allowed vlan 1,970,4048-4049
pinning border
speed 10000
A VLAN 970 está em tronco através do port channel 2.
Configuração de QoS
Como mencionado, na configuração de QoS no Nexus 5000, uma configuração de QoS de ponta a ponta permite que o PFC funcione.
Neste exemplo, apenas duas classes são ativadas. A classe padrão que transporta quadros jumbo (MTU 9216) e a classe FC.
Isso corresponde ao que foi configurado no lado do Nexus nas etapas anteriores. Outras classes estão presentes, mas não habilitadas.
Neste exemplo, a NetApp opera no modo 7. Um guia passo a passo sobre como configurar o lado do NetApp pode ser encontrado no Guia de implantação de armazenamento do NetApp.
Licença
Pelo menos a licença FCP (FC/FCoE) deve estar presente para permitir que o FCoE funcione.
Configuração
As VLANs FCoE não precisam ser adicionadas em nenhum lugar da NetApp. Eles são descobertos no estágio de descoberta de VLAN da negociação de FCoE.
Como mencionado anteriormente, durante a configuração do Nexus 5000, o NFS também é processado pelos mesmos Uplinks.
bdsol-3220-01-A> rdfile /etc/rc
ifgrp create lacp dvif -b ip e1a e1b
vlan create dvif 3380
ifconfig e0M `hostname`-e0M flowcontrol full netmask 255.255.255.128 partner
e0M mtusize 1500
ifconfig dvif-3380 `hostname`-dvif-3380 netmask 255.255.255.0 partner dvif-3380
mtusize 9000 trusted
route add default 10.48.43.100 1
routed on
A configuração mostra que o canal de porta do LACP (ifgroup) é criado a partir das interfaces e1a e e1b e a interface virtual para a VLAN 3380 é adicionada.
A mesma configuração da GUI mostra:
Configuração do grupo de interface
bdsol-3220-01-A> ifgrp status
default: transmit 'IP Load balancing', Ifgrp Type 'multi_mode', fail 'log'
dvif: 2 links, transmit 'IP Load balancing', Ifgrp Type 'lacp' fail 'default'
Ifgrp Status Up Addr_set
up:
e1a: state up, since 28Sep2014 00:48:23 (142+11:23:01)
mediatype: auto-10g_twinax-fd-up
flags: enabled
active aggr, aggr port: e1b
input packets 766192514, input bytes 2560966346135
input lacp packets 410301, output lacp packets 410438
output packets 615632, output bytes 81875375
up indications 9, broken indications 5
drops (if) 0, drops (link) 1
indication: up at 28Sep2014 00:48:23
consecutive 0, transitions 14
e1b: state up, since 28Sep2014 00:48:22 (142+11:23:02)
mediatype: auto-10g_twinax-fd-up
flags: enabled
active aggr, aggr port: e1b
input packets 246965410, input bytes 702882508932
input lacp packets 410301, output lacp packets 410442
output packets 615646, output bytes 81876343
up indications 9, broken indications 5
drops (if) 0, drops (link) 2
indication: up at 28Sep2014 00:48:22
consecutive 0, transitions 15
Observação: somente usuários registrados da Cisco podem acessar ferramentas e informações internas da Cisco.
Use esta seção para confirmar se a sua configuração funciona corretamente. O Cisco CLI Analyzer suporta determinados comandos show. Use o Cisco CLI Analyzer para visualizar uma análise da saída do comando show.
As seções Verificar e solucionar problemas deste documento se concentram nos switches Nexus 5000, já que eles são centrais para essa configuração.
bdsol-n5548-05# show int vfc 105
vfc105 is trunking
Bound interface is port-channel105
Hardware is Ethernet
Port WWN is 20:68:00:2a:6a:28:68:7f
Admin port mode is F, trunk mode is on
snmp link state traps are enabled
Port mode is TF
Port vsan is 70
Trunk vsans (admin allowed and active) (70)
Trunk vsans (up) (70)
Trunk vsans (isolated) ()
Trunk vsans (initializing) ()
1 minute input rate 0 bits/sec, 0 bytes/sec, 0 frames/sec
1 minute output rate 0 bits/sec, 0 bytes/sec, 0 frames/sec
65 frames input, 6904 bytes
0 discards, 0 errors
65 frames output, 9492 bytes
0 discards, 0 errors
A saída anterior mostra que a VSAN 70 está ativada e os troncos em VFC e que ela opera de fato no modo esperado - TF.
Verifique o banco de dados de flogi nos switches.
bdsol-n5548-05# show flogi database
--------------------------------------------------------------------------------
INTERFACE VSAN FCID PORT NAME NODE NAME
--------------------------------------------------------------------------------
vfc103 70 0xa00020 22:c8:54:7f:ee:f2:d6:bf 20:46:54:7f:ee:f2:d6:81
vfc105 70 0xa00000 50:0a:09:81:98:fd:66:a5 50:0a:09:80:88:fd:66:a5
[bdsol-3220-01-B-1a]
vfc106 70 0xa00001 50:0a:09:81:88:fd:66:a5 50:0a:09:80:88:fd:66:a5
[bdsol-3220-01-A-1a]
A saída anterior mostra que cada VFC tem um dispositivo conectado. Isso é esperado em uma configuração muito básica.
Em caso de dúvida, você pode verificar o status no UCS. No modo de host final, o recurso NPV pode ser usado.
bdsol-6248-03-A(nxos)# show npv status
npiv is enabled
disruptive load balancing is disabled
External Interfaces:
====================
Interface: vfc713, State: Trunking
VSAN: 1, State: Waiting For VSAN Up
VSAN: 70, State: Up, FCID: 0xa00020
Nota:O FCID (0xa00020) no VPL corresponde ao visto pelo switch Nexus.
A VSAN1 não está ativa no tronco nem configurada, portanto, pode ser ignorada. Esta é a verificação do VFC 713 no UCS.
bdsol-6248-03-A(nxos)# show interface vfc 713
vfc713 is trunking (Not all VSANs UP on the trunk)
Bound interface is port-channel2
Hardware is Ethernet
Port WWN is 22:c8:54:7f:ee:f2:d6:bf
Admin port mode is NP, trunk mode is on
snmp link state traps are enabled
Port mode is TNP
Port vsan is 1
Trunk vsans (admin allowed and active) (1,70)
Trunk vsans (up) (70)
Trunk vsans (isolated) ()
Trunk vsans (initializing) (1)
1 minute input rate 2523680 bits/sec, 315460 bytes/sec, 163 frames/sec
1 minute output rate 1114056 bits/sec, 139257 bytes/sec, 69 frames/sec
134861480 frames input, 159675768364 bytes
0 discards, 0 errors
405404675 frames output, 792038498124 bytes
0 discards, 0 errors
Essa saída mostra que a VSAN 70 está ativa e que a porta opera na porta Node no modo NPV (NP). Isso é esperado já que o UCS opera no modo de host de host final.
NetApp
Como mencionado anteriormente, essa configuração é executada no modo 7. O comando cluster mode pode ser diferente.
O status de FCP nas interfaces é:
bdsol-3220-01-A> fcp topology show
Switches connected on adapter 1a:
Switch Name: bdsol-n5548-05
Switch Vendor: Cisco Systems, Inc.
Switch Release: 5.2(1)N1(1b)
Switch Domain: 160
Switch WWN: 20:46:00:2a:6a:28:68:41
Port Count: 5
(...)
Switches connected on adapter 1b:
Switch Name: bdsol-n5548-06
Switch Vendor: Cisco Systems, Inc.
Switch Release: 5.2(1)N1(1b)
Switch Domain: 35
Switch WWN: 20:50:00:2a:6a:28:6e:41
Port Count: 5
Esta seção fornece informações que podem ser usadas para o troubleshooting da sua configuração. O Cisco CLI Analyzer suporta determinados comandos show. Use o Cisco CLI Analyzer para visualizar uma análise da saída do comando show.
Observação: somente usuários registrados da Cisco podem acessar ferramentas e informações internas.
Verifique se todos os recursos necessários estão habilitados.
bdsol-n5548-05# show feature | i npiv|fcoe|lacp
fcoe 1 enabled
fcoe-npv 1 disabled
lacp 1 enabled
npiv 1 enabled
Verifique a existência da VLAN FCoE e para onde ela é enviada.
show vlan fcoe
show vlan id X
Um exemplo para o lado esquerdo da estrutura é mostrado aqui:
bdsol-n5548-05# show vlan fcoe
Original VLAN ID Translated VSAN ID Association State
---------------- ------------------ -----------------
970 70 Operational
bdsol-n5548-05# show vlan id 970
VLAN Name Status Ports
---- -------------------------------- --------- -------------------------------
970 VLAN0970 active Po1, Po103, Po105, Po106, Po107
Po202, Po203, Po204, Eth1/3
Eth1/5, Eth1/6, Eth1/7, Eth1/8
A VLAN 970 existe e está entroncada nas portas descritas na configuração, bem como na confirmação de que transporta a VSAN 70.
As VLANs FCoE são um caso especial e não devem existir na spanning tree.
bdsol-n5548-05# show spanning-tree vlan 970
Spanning tree instance(s) for vlan does not exist.
Existe um caso especial para VLANs MST (Multiple Spanning Tree) e FCoE. Uma instância de MST precisa ser criada para transportar VLANs FCoE, e não outras VLANs. Consulte Instâncias do MST para implantações de FCoE de malha dupla.
No exemplo anterior, as VLANs FCoE são adicionadas em VPCs e os VPCs estão em dois dispositivos diferentes. A configuração de entroncamento é ligeiramente diferente para cada VPC.
As VLANs FCoE não podem ser exibidas como VLANs permitidas na verificação de consistência de VPC.
bdsol-n5548-05# show vpc consistency-parameters vpc 105
Legend:
Type 1 : vPC will be suspended in case of mismatch
Name Type Local Value Peer Value
------------- ---- ---------------------- -----------------------
Shut Lan 1 No No
STP Port Type 1 Default Default
STP Port Guard 1 None None
STP MST Simulate PVST 1 Default Default
lag-id 1 [(1, 2-a0-98-40-ba-fa, [(1, 2-a0-98-40-ba-fa,
1, 0, 0), (7f9b, 1, 0, 0), (7f9b,
0-23-4-ee-be-35, 8069, 0-23-4-ee-be-35, 8069,
0, 0)] 0, 0)]
mode 1 active active
Speed 1 10 Gb/s 10 Gb/s
Duplex 1 full full
Port Mode 1 trunk trunk
Native Vlan 1 1 1
MTU 1 1500 1500
Admin port mode 1
Allowed VLANs - 3380 3380
Local suspended VLANs - - -
Isso é esperado.
Para verificar se as VLANs FCoE estão em tronco, verifique o entroncamento por interface.
bdsol-n5548-05# show interface port-channel 105 trunk
--------------------------------------------------------------------------------
Port Native Status Port
Vlan Channel
--------------------------------------------------------------------------------
Po105 1 trunking --
--------------------------------------------------------------------------------
Port Vlans Allowed on Trunk
--------------------------------------------------------------------------------
Po105 970,3380
--------------------------------------------------------------------------------
Port STP Forwarding
--------------------------------------------------------------------------------
Po105 3380
Como mencionado, as VLANs FCoE não participam da spanning tree e não são visíveis como uma VLAN de encaminhamento de STP. No entanto, eles podem aparecer como entroncamento.
O controle de fluxo prioritário é crucial para a operação do FCoE. Para que o PFC esteja operacional, a configuração de QoS deve corresponder de ponta a ponta.
Para verificar o estado em uma base por interface:
bdsol-n5548-05# show interface ethernet 1/3 priority-flow-control
============================================================
Port Mode Oper(VL bmap) RxPPP TxPPP
============================================================
Ethernet1/3 Auto On (8) 2852 13240218
A saída anterior mostra que o PFC está operacional (Ligado) e que os quadros Per Priority Pause (PPP) foram recebidos e transmitidos.
Para uma visualização de todo o dispositivo, o administrador pode inserir o comando show int priority-flow-control:
bdsol-n5548-05# show int priority-flow-control
============================================================
Port Mode Oper(VL bmap) RxPPP TxPPP
============================================================
Ethernet1/1 Auto Off 4 0
Ethernet1/2 Auto Off 4 0
Ethernet1/3 Auto On (8) 2852 13240218
Ethernet1/5 Auto On (8) 0 0
Ethernet1/6 Auto On (8) 0 0
(...)
As interfaces que foram descritas neste documento, Ethernet 1/3, 1/5 e 1/6, têm o PFC ativado e operacional.
Os VFCs configurados associados precisam fazer parte da VSAN correta. Este exemplo mostra que as interfaces virtuais configuradas fazem parte da VSAN correta.
bdsol-n5548-05# show vsan membership
vsan 1 interfaces:
fc2/15
vsan 70 interfaces:
fc2/16 vfc103 vfc105 vfc106
Iniciação de FCoE
O FCoE Initiation Protocol passa por várias etapas para ativar o link entre o host final e o switch.
O que é importante lembrar é que, para ativar a interface corretamente, algumas ações diferentes precisam ocorrer conforme descrito neste diagrama.
Enode é um nó final, enquanto FCF é o switch.
Para verificar as etapas de um dos dispositivos, o recurso fcoe_mgr (gerenciador FCoE) pode ser usado. Nesse caso, é vfc 105.
bdsol-n5548-05# show platform software fcoe_mgr info interface vfc 105
vfc105(0x841e4c4), if_index: 0x1e000068, VFC RID vfc105
FSM current state: FCOE_MGR_VFC_ST_PHY_UP
PSS Runtime Config:-
Type: 3
Bound IF: Po105
FCF Priority: 128 (Global)
Disable FKA: 0
PSS Runtime Data:-
IOD: 0x00000000, WWN: 20:68:00:2a:6a:28:68:7f
Created at: Sat Sep 27 22:45:05 2014
FC Admin State: up
Oper State: up, Reason: down
Eth IF Index: Po105
Port Vsan: 70
Port Mode: F port
Config Vsan: 70
Oper Vsan: 70
Solicits on vsan: 70
Isolated Vsan:
FIP Capable ? : TRUE
UP using DCBX ? : FALSE
Peer MAC : 00:c0:dd:22:79:39
PSS VN Port data:-
FC ID 0xA00000 -
vfc index 503316584 vfc name vfc105
vsan id 70
enode_mac 00:c0:dd:22:79:39
vfc wwn 50:0a:09:81:98:fd:66:a5
A saída continua.
A saída contém algumas informações úteis. Ele verifica o status atual, mostra a vinculação real entre o VFC e o portchannel e o estado real do VFC na VSAN. Ele mostra transições entre diferentes estados descritos no diagrama antes da interface ser ativada. A descoberta de VLAN é executada e a solicitação de FIP é recebida e respondida, o que permite que o VFC seja ativado.
Continuação da saída anterior:
17) FSM:<vfc105> Transition at 554094 usecs after Sat Sep 27 22:48:06 2014
Previous state: [FCOE_MGR_VFC_ST_PHY_UP]
Triggered event: [FCOE_MGR_VFC_EV_BRING_UP]
Next state: [FSM_ST_NO_CHANGE]
18) FSM:<vfc105> Transition at 685820 usecs after Sat Sep 27 22:48:07 2014
Previous state: [FCOE_MGR_VFC_ST_PHY_UP]
Triggered event: [FCOE_MGR_VFC_EV_FIP_VLAN_DISCOVERY]
Next state: [FSM_ST_NO_CHANGE]
19) FSM:<vfc105> Transition at 686781 usecs after Sat Sep 27 22:48:07 2014
Previous state: [FCOE_MGR_VFC_ST_PHY_UP]
Triggered event: [FCOE_MGR_VFC_EV_FIP_SOLICITATION]
Next state: [FSM_ST_NO_CHANGE]
Curr state: [FCOE_MGR_VFC_ST_PHY_UP]
Há alguns problemas conhecidos e comuns na configuração de FCoE que a equipe do Centro de assistência técnica de soluções de rede do data center vê novamente.
bdsol-n5548-05# show trunk protocol
Trunk Protocol is enabled.
Revisão | Data de publicação | Comentários |
---|---|---|
2.0 |
15-Nov-2022 |
Versão inicial |
1.0 |
10-Mar-2015 |
Versão inicial |