Exemple de configuration de la carte Nexus 5500 Adapter-FEX

Introduction

Ce document décrit comment configurer, exploiter et dépanner la fonctionnalité d'extension de fabric d'adaptateur (FEX) sur les commutateurs Nexus 5500.

Conditions préalables

Conditions requises

Aucune spécification déterminée n'est requise pour ce document.

Components Used

Les informations contenues dans ce document sont basées sur les versions de matériel et de logiciel suivantes :

• Nexus 5548UP qui exécute la version 5.2(1)N1(4)
• Serveur rack C210 M2 Unified Computing System (UCS) série C avec carte d'interface virtuelle (VIC) UCS P81E qui exécute le microprogramme version 1.4(2)

The information in this document was created from the devices in a specific lab environment. All of the devices used in this document started with a cleared (default) configuration. Si votre réseau est actif, assurez-vous de bien comprendre l'impact potentiel de toute commande ou configuration de capture de paquets.

Informations générales

Présentation de Adapter-FEX

Cette fonctionnalité permet à un commutateur Nexus 5500 de gérer des interfaces virtuelles (à la fois des contrôleurs d'interface réseau virtuel Ethernet (vNIC) et des adaptateurs de bus hôte virtuel Fibre Channel (FC vHBA)) sur la carte d'interface virtuelle du serveur. Ceci est indépendant de tout hyperviseur qui s'exécute sur le serveur. Les interfaces virtuelles créées seront visibles par le système d'exploitation principal installé sur le serveur (à condition que le système d'exploitation dispose des pilotes appropriés).

Les plates-formes prises en charge se trouvent dans cette section du Guide d'exploitation FEX de la carte NX-OS de la gamme Cisco Nexus 5000, version 5.1(3)N1(1).

Les topologies prises en charge pour Adapter-FEX se trouvent dans cette section du Guide d'exploitation de la carte NX-OS de la gamme Cisco Nexus 5000, version 5.1(3)N1(1).

Les topologies prises en charge sont les suivantes :

• Serveur à connexion unique vers un commutateur Nexus 5500
• Serveur à résidence unique vers un FEX droit
• Serveur à résidence unique vers un FEX actif/actif
• Serveur à double résidence via des liaisons ascendantes actives/de secours vers une paire de commutateurs Nexus 5500
• Serveur à double résidence via des liaisons ascendantes actives/de secours vers une paire de FEX actifs/actifs de canal de port virtuel (vPC)

La section de configuration suivante traite de l'option Serveur à double résidence via des liaisons ascendantes actives/de secours vers une paire de commutateurs Nexus 5500, représentée ici :

Chaque vNIC dispose d'une interface Ethernet virtuelle correspondante sur le Nexus 5000. De même, chaque vHBA dispose d'une interface VFC (Virtual Fibre Channel) correspondante sur le Nexus 5000.

Configuration

Note: Utilisez l'Outil de recherche de commande (clients inscrits seulement) pour obtenir plus d'informations sur les commandes utilisées dans cette section.

Configuration des vNIC Ethernet

Complétez ces étapes sur les deux commutateurs Nexus 5000 :

1. Normalement, vPC est défini et opérationnel sur les deux commutateurs Nexus 5000. Vérifiez que le domaine vPC est défini, que le peer-keepalive est UP et que le peer-link est UP.
2. Entrez ces commandes afin d'activer le jeu de fonctions de virtualisation.

   (config)# install feature-set virtualization
   (config)# feature-set virtualization

3. (Facultatif) Autorisez le Nexus 5000 à créer automatiquement ses interfaces Ethernet virtuelles lorsque les vNIC correspondantes sont définies sur le serveur. Notez que cela ne s'applique pas aux interfaces VFC qui ne peuvent être définies manuellement que sur le Nexus 5000.

   (config)# vethernet auto-create

4. Configurez l'interface Nexus 5000 qui se connecte aux serveurs en mode VNTag (Virtual Network Tag).

   (config)# interface Eth 1/10
   (config-if)# switchport mode vntag
   (config-if)# no shutdown

5. Configurez le ou les profils de port à appliquer aux vNIC.

   Les profils de port sont des modèles de configuration qui peuvent être appliqués (hérités) par les interfaces de commutateur. Dans le contexte de Adapter-FEX, les profils de port peuvent être appliqués aux interfaces Ethernet virtuelles définies manuellement ou à celles qui sont automatiquement créées lorsque les vNIC sont configurées sur l'interface graphique utilisateur du contrôleur de gestion intégré Cisco (CIMC) UCS série C.

   Le profil de port est de type 'vethernet'.

   Voici un exemple de configuration de profil de port :

   (config)# port-profile type vethernet VNIC1
   (config-port-prof)# switchport mode access
   (config-port-prof)# switchport access vlan 10
   (config-port-prof)# no shutdown
   (config-port-prof)# state enabled

Exécutez les étapes suivantes sur le serveur UCS série C :

1. Connectez-vous à l'interface CIMC via HTTP et connectez-vous avec les informations d'identification de l'administrateur.
2. Choisissez Inventory > Network Adapters > Modify Adapter Properties.
3. Cochez la case Activer le mode NIV.
4. Cliquez sur Enregistrer les modifications.
5. Mettez le serveur hors tension, puis sous tension.

   

6. Une fois le serveur activé, choisissez Inventory > Network Adapters > vNIC > Add afin de créer des vNIC. Les champs les plus importants à définir sont les suivants :
   1. Port de liaison ascendante VIC à utiliser (le P81E dispose de 2 ports de liaison ascendante référencés par 0 et 1).
   2. Channel Number (Numéro de canal) : ID de canal unique de la vNIC sur la carte. Ceci est référencé dans la commande bind sous l'interface Ethernet virtuelle sur le Nexus 5000. La portée du numéro de canal est limitée à la liaison physique VNTag. Le canal peut être considéré comme une 'liaison virtuelle' sur la liaison physique entre le commutateur et la carte serveur.
   3. Profil de port : la liste des profils de port définis sur le Nexus 5000 en amont peut être sélectionnée. Une interface Ethernet virtuelle sera automatiquement créée sur le Nexus 5000 si le Nexus 5000 est configuré avec la commande vethernet auto-create. Notez que seuls les noms de profil de port Ethernet virtuel (configuration de profil de port non) sont transmis au serveur. Cela se produit après l'établissement de la connectivité de la liaison VNTag et l'exécution des étapes initiales de connexion et de négociation entre le commutateur et la carte serveur.

      

7. Cliquez sur Enregistrer les modifications.
8. Mettez le serveur hors tension, puis sous tension à nouveau.

Configuration des vHBA

Lorsque vous créez des vHBA sur la carte serveur, les interfaces de commutateur correspondantes ne sont pas créées automatiquement. Au lieu de cela, ils doivent être définis manuellement. Les étapes pour le commutateur et le serveur sont indiquées ici.

Effectuez ces étapes côté commutateur :

1. Créez une interface de liaison Ethernet virtuelle liée au canal de l'interface VNTag de l'interface vHBA du serveur. Le VLAN Fibre Channel over Ethernet (FCoE) ne doit pas être le VLAN natif. Les numéros Ethernet virtuels doivent être uniques sur les deux commutateurs Nexus 5000.

   Exemple :

   (config)# interface veth 10
   (config-if)# switchport mode trunk
   (config-if)# switchport trunk allowed vlan 1,100
   (config-if)# bind interface eth1/1 channel 3
   (config-if)# no shutdown

2. Créez une interface VFC liée à l'interface Ethernet virtuelle définie précédemment.

   Exemple :

   (config)# interface vfc10
   (config-if)# bind interface veth 10
   (config-if)# no shut

   L'appartenance au réseau de stockage virtuel (VSAN) pour cette interface est définie dans la base de données VSAN :

   (config)# vsan database
   (config-vsan-db)# vsan 100 interface vfc10
   (config-vsan-db)# vlan 100
   (config-vlan)# fcoe vsan 100
   (config-vlan)# show vlan fcoe

Effectuez ces étapes côté serveur :

1. Choisissez Inventory > Network Adapters > vHBA afin de créer une interface vHBA.

   Les principaux champs à définir sont les suivants :

   • Port World Wide Name (pWWN)/Node World Wide Name (nWWN)
   • VLAN FCOE
   • ID de liaison ascendante
   • Numéro de canal
   • Démarrage à partir du réseau de stockage SAN (Storage Area Network) si utilisé
2. Mettez le serveur hors tension puis sous tension.

Vérification

Référez-vous à cette section pour vous assurer du bon fonctionnement de votre configuration.

La liste des interfaces Ethernet virtuelles peut être affichée avec les commandes suivantes :

n5k1# show interface virtual summary
Veth       Bound        Channel/  Port        Mac                VM
Interface  Interface    DV-Port   Profile     Address            Name
-------------------------------------------------------------------------
Veth32770  Eth1/2       1         UPLINK
Total 1 Veth Interfaces
n5k1#
n5k1# show interface virtual status
Interface VIF-index   Bound If      Chan  Vlan  Status     Mode     Vntag
-------------------------------------------------------------------------
Veth32770 VIF-17      Eth1/2           1    10  Up         Active   2
Total 1 Veth Interfaces

Les interfaces Ethernet virtuelles créées automatiquement apparaissent dans la configuration en cours et sont enregistrées dans la configuration de démarrage lorsque le démarrage de la copie est effectué :

n5k1# show run int ve32770

!Command: show running-config interface Vethernet32770
!Time: Thu Apr 10 12:56:23 2014

version 5.2(1)N1(4)

interface Vethernet32770
  inherit port-profile UPLINK
  bind interface Ethernet1/2 channel 1

n5k1# show int ve32770 brief

--------------------------------------------------------------------------------
Vethernet     VLAN   Type Mode   Status  Reason                    Speed
--------------------------------------------------------------------------------
Veth32770     10     virt access up      none                     auto
n5k1#

Dépannage

Cette section fournit des informations que vous pouvez utiliser pour dépanner votre configuration.

L'interface Ethernet virtuelle ne s'affiche pas

Vérifiez les informations DCBX (Data Center Bridging Capabilities Exchange Protocol) pour l'interface VNTag du commutateur à l'aide de la commande suivante :

# show system internal dcbx info interface ethernet <>

Vérifiez que :

• Le protocole DCX (Data Center Bridging Exchange) est Converged Ethernet (CEE)
• L'extension CEE Network IO Virtualization (NIV) est activée
• La valeur de longueur de type NIV (TLV) est présente

Comme indiqué ci-dessous :

n5k1# show sys int dcbx info interface e1/2

Interface info for if_index: 0x1a001000(Eth1/2)
tx_enabled: TRUE
rx_enabled: TRUE
dcbx_enabled: TRUE
DCX Protocol: CEE   <<<<<<<
DCX CEE NIV extension: enabled  <<<<<<<<<
<output omitted>

Feature type NIV (7)   <<<<<<<
feature type 7(DCX CEE-NIV)sub_type 0
Feature State Variables: oper_version 0 error 0 local error 0 oper_mode 1
     feature_seq_no 0 remote_feature_tlv_present 1 remote_tlv_aged_out 0
     remote_tlv_not_present_notification_sent 0
Feature Register Params: max_version 0, enable 1, willing 0 advertise 1
     disruptive_error 0 mts_addr_node 0x2201 mts_addr_sap 0x193
Other server mts_addr_node 0x2301, mts_addr_sap 0x193

Desired config cfg length: 8 data bytes:9f   ff   68   ef   bd   f7   4f   c6

Operating config cfg length: 8 data bytes:9f   ff   68   ef   bd   f7   4f   c6

Peer config cfg length: 8 data bytes:10   00   00   22   bd   d6   66   f8

Les problèmes courants sont les suivants :

• Le protocole DCX est CIN
  
  • Rechercher les problèmes L1 : câbles, SFP, port up, adaptateur.
  • Vérifiez la configuration du commutateur : ensemble de fonctions, switchport VNTag, enable LLDP/DCBX (Link Layer Discovery Protocol).
• NIV TLV est absent
  • Vérifiez que le mode NIV est activé dans la configuration de la carte.
  • Vérifiez que la communication VIC (VNIC Interface Control) est terminée et que les informations de profil de port ont été échangées. Vérifiez que l'état actuel de l'événement VIM (Virtual Interface Manager) est VIM_NIV_PHY_FSM_ST_UP_OPENED_PP.

n5k1# show sys int vim event-history interface e1/2

>>>>FSM: <Ethernet1/2> has 18 logged transitions<<<<<

1) FSM:<Ethernet1/2> Transition at 327178 usecs after Thu Apr 10 12:22:27 2014
    Previous state: [VIM_NIV_PHY_FSM_ST_WAIT_DCBX]
    Triggered event: [VIM_NIV_PHY_FSM_EV_PHY_DOWN]
    Next state: [VIM_NIV_PHY_FSM_ST_WAIT_DCBX]

2) FSM:<Ethernet1/2> Transition at 327331 usecs after Thu Apr 10 12:22:27 2014
    Previous state: [VIM_NIV_PHY_FSM_ST_WAIT_DCBX]
    Triggered event: [VIM_NIV_PHY_FSM_EV_DOWN_DONE]
    Next state: [VIM_NIV_PHY_FSM_ST_WAIT_DCBX]

3) FSM:<Ethernet1/2> Transition at 255216 usecs after Thu Apr 10 12:26:15 2014
    Previous state: [VIM_NIV_PHY_FSM_ST_WAIT_DCBX]
    Triggered event: [VIM_NIV_PHY_FSM_EV_RX_DCBX_CC_NUM]
    Next state: [VIM_NIV_PHY_FSM_ST_WAIT_3SEC]

4) FSM:<Ethernet1/2> Transition at 250133 usecs after Thu Apr 10 12:26:18 2014
    Previous state: [VIM_NIV_PHY_FSM_ST_WAIT_3SEC]
    Triggered event: [VIM_NIV_PHY_FSM_EV_DCX_3SEC_EXP]
    Next state: [VIM_NIV_PHY_FSM_ST_WAIT_ENCAP]

5) FSM:<Ethernet1/2> Transition at 262008 usecs after Thu Apr 10 12:26:18 2014
    Previous state: [VIM_NIV_PHY_FSM_ST_WAIT_ENCAP]
    Triggered event: [VIM_NIV_PHY_FSM_EV_VIC_OPEN_RECEIVED]
    Next state: [FSM_ST_NO_CHANGE]

6) FSM:<Ethernet1/2> Transition at 60944 usecs after Thu Apr 10 12:26:19 2014
    Previous state: [VIM_NIV_PHY_FSM_ST_WAIT_ENCAP]
    Triggered event: [VIM_NIV_PHY_FSM_EV_ENCAP_RESP]
    Next state: [VIM_NIV_PHY_FSM_ST_UP]

7) FSM:<Ethernet1/2> Transition at 62553 usecs after Thu Apr 10 12:26:19 2014
    Previous state: [VIM_NIV_PHY_FSM_ST_UP]
    Triggered event: [VIM_NIV_PHY_FSM_EV_VIC_OPEN_ACKD]
    Next state: [FSM_ST_NO_CHANGE]

8) FSM:<Ethernet1/2> Transition at 62605 usecs after Thu Apr 10 12:26:19 2014
    Previous state: [VIM_NIV_PHY_FSM_ST_UP]
    Triggered event: [VIM_NIV_PHY_FSM_EV_VIC_OPEN_DONE]
    Next state: [VIM_NIV_PHY_FSM_ST_UP_OPENED]

9) FSM:<Ethernet1/2> Transition at 62726 usecs after Thu Apr 10 12:26:19 2014
    Previous state: [VIM_NIV_PHY_FSM_ST_UP_OPENED]
    Triggered event: [VIM_NIV_PHY_FSM_EV_PP_SEND]
    Next state: [VIM_NIV_PHY_FSM_ST_UP_OPENED_PP]

10) FSM:<Ethernet1/2> Transition at 475253 usecs after Thu Apr 10 12:51:45 2014
    Previous state: [VIM_NIV_PHY_FSM_ST_UP_OPENED_PP]
    Triggered event: [VIM_NIV_PHY_FSM_EV_PHY_DOWN]
    Next state: [VIM_NIV_PHY_FSM_ST_WAIT_VETH_DN]

11) FSM:<Ethernet1/2> Transition at 475328 usecs after Thu Apr 10 12:51:45 2014
    Previous state: [VIM_NIV_PHY_FSM_ST_WAIT_VETH_DN]
    Triggered event: [VIM_NIV_PHY_FSM_EV_DOWN_DONE]
    Next state: [VIM_NIV_PHY_FSM_ST_WAIT_DCBX]

12) FSM:<Ethernet1/2> Transition at 983154 usecs after Thu Apr 10 12:53:06 2014
    Previous state: [VIM_NIV_PHY_FSM_ST_WAIT_DCBX]
    Triggered event: [VIM_NIV_PHY_FSM_EV_RX_DCBX_CC_NUM]
    Next state: [VIM_NIV_PHY_FSM_ST_WAIT_3SEC]

13) FSM:<Ethernet1/2> Transition at 992590 usecs after Thu Apr 10 12:53:09 2014
    Previous state: [VIM_NIV_PHY_FSM_ST_WAIT_3SEC]
    Triggered event: [VIM_NIV_PHY_FSM_EV_DCX_3SEC_EXP]
    Next state: [VIM_NIV_PHY_FSM_ST_WAIT_ENCAP]

14) FSM:<Ethernet1/2> Transition at 802877 usecs after Thu Apr 10 12:53:10 2014
    Previous state: [VIM_NIV_PHY_FSM_ST_WAIT_ENCAP]
    Triggered event: [VIM_NIV_PHY_FSM_EV_ENCAP_RESP]
    Next state: [VIM_NIV_PHY_FSM_ST_UP]

15) FSM:<Ethernet1/2> Transition at 804263 usecs after Thu Apr 10 12:53:10 2014
    Previous state: [VIM_NIV_PHY_FSM_ST_UP]
    Triggered event: [VIM_NIV_PHY_FSM_EV_VIC_OPEN_ACKD]
    Next state: [FSM_ST_NO_CHANGE]

16) FSM:<Ethernet1/2> Transition at 992390 usecs after Thu Apr 10 12:53:11 2014
    Previous state: [VIM_NIV_PHY_FSM_ST_UP]
    Triggered event: [VIM_NIV_PHY_FSM_EV_VIC_OPEN_RECEIVED]
    Next state: [FSM_ST_NO_CHANGE]

17) FSM:<Ethernet1/2> Transition at 992450 usecs after Thu Apr 10 12:53:11 2014
    Previous state: [VIM_NIV_PHY_FSM_ST_UP]
    Triggered event: [VIM_NIV_PHY_FSM_EV_VIC_OPEN_DONE]
    Next state: [VIM_NIV_PHY_FSM_ST_UP_OPENED]

18) FSM:<Ethernet1/2> Transition at 992676 usecs after Thu Apr 10 12:53:11 2014
    Previous state: [VIM_NIV_PHY_FSM_ST_UP_OPENED]
    Triggered event: [VIM_NIV_PHY_FSM_EV_PP_SEND]
    Next state: [VIM_NIV_PHY_FSM_ST_UP_OPENED_PP]


    Curr state: [VIM_NIV_PHY_FSM_ST_UP_OPENED_PP]  <<<<<<<<<<
n5k1#

Si l'interface Ethernet virtuelle est un Ethernet virtuel fixe, vérifiez si VIC_CREATE apparaît dans cette commande :

# show system internal vim info niv msg logs fixed interface e 1/16 ch 1
Eth1/16(Chan: 1) VIF Index: 605
   REQ MsgId: 56630, Type: VIC ENABLE, CC: SUCCESS
   RSP MsgId: 56630, Type: VIC ENABLE, CC: SUCCESS
   REQ MsgId: 4267, Type: VIC SET, CC: SUCCESS
   RSP MsgId: 4267, Type: VIC SET, CC: SUCCESS
   REQ MsgId: 62725, Type: VIC CREATE, CC: SUCCESS  <<<<<<<
   RSP MsgId: 62725, Type: VIC CREATE, CC: SUCCESS  <<<<<<<
   REQ MsgId: 62789, Type: VIC ENABLE, CC: SUCCESS
   RSP MsgId: 62789, Type: VIC ENABLE, CC: SUCCESS
   REQ MsgId: 21735, Type: VIC SET, CC: SUCCESS
   RSP MsgId: 21735, Type: VIC SET, CC: SUCCESS

Notez qu'une interface Ethernet virtuelle fixe est une interface virtuelle qui ne prend pas en charge la migration entre les interfaces physiques. Lors de la discussion de Adapter-FEX, la portée est toujours sur Ethernet virtuel fixe, car Adapter-FEX fait référence à l'utilisation de la virtualisation du réseau par un seul système d'exploitation (non virtualisé).

Si VIC_CREATE ne s'affiche pas :

1. Si l'adaptateur est un adaptateur Cisco NIV, vérifiez la configuration de la carte VNIC côté adaptateur (ID de canal, port UIF de liaison ascendante correct, toute validation en attente (redémarrage du serveur nécessaire pour toute modification de configuration). Un vHBA n'active pas l'Ethernet virtuel sur les deux commutateurs dans la topologie FEX AA. Un vHBA fixe Virtual Ethernet a besoin d'un pilote de système d'exploitation pour activer ce paramètre (attendez que le système d'exploitation charge le pilote et démarre complètement).
2. Si l'adaptateur est un adaptateur Broadcom NIV, vérifiez si les interfaces sont actives du côté du système d'exploitation (par exemple, sous Linux, activez l'interface ifconfig eth2 up).
3. Si VIC_CREATE apparaît, mais que le commutateur répond par ERR_INTERNAL :
   • Vérifiez les profils de port sur les côtés du commutateur et de l'adaptateur. Voir si les chaînes de profils de port ne correspondent pas.
   • Pour les réseaux Ethernet virtuels fixes dynamiques, vérifiez la configuration 'veth auto-create'.
4. Si le problème persiste, collectez les informations ci-dessous et contactez le centre d'assistance technique Cisco (TAC).
   

   # show system internal vim log
   # attach fex <number>
   # test vic_proxy dump trace

Collecter les informations d'assistance technique de l'adaptateur côté serveur

1. Connectez-vous à CIMC à partir d'un navigateur.
2. Cliquez sur l'onglet Admin.
3. Cliquez sur Utilitaires.
4. Cliquez sur Exporter les données d'assistance technique vers TFTP ou Générer des données d'assistance technique pour le téléchargement local.