Nexus 5500适配器 — FEX配置示例

下载选项

  • PDF     (451.1 KB)
    在各种设备上使用 Adobe Reader 查看
  • ePub     (176.6 KB)
    在 iPhone、iPad、Android、Sony Reader 或 Windows Phone 上使用各种应用查看
  • Mobi (Kindle)     (180.7 KB)
    在 Kindle 设备上查看或在多个设备上使用 Kindle 应用查看
已更新: 2014 年 9 月 4 日
文档 ID:117691

非歧视性语言

此产品的文档集力求使用非歧视性语言。在本文档集中，非歧视性语言是指不隐含针对年龄、残障、性别、种族身份、族群身份、性取向、社会经济地位和交叉性的歧视的语言。由于产品软件的用户界面中使用的硬编码语言、基于 RFP 文档使用的语言或引用的第三方产品使用的语言，文档中可能无法确保完全使用非歧视性语言。 深入了解思科如何使用包容性语言。

关于此翻译

思科采用人工翻译与机器翻译相结合的方式将此文档翻译成不同语言，希望全球的用户都能通过各自的语言得到支持性的内容。 请注意：即使是最好的机器翻译，其准确度也不及专业翻译人员的水平。 Cisco Systems, Inc. 对于翻译的准确性不承担任何责任，并建议您总是参考英文原始文档（已提供链接）。

简介

本文档介绍如何在Nexus 5500交换机上配置、运行适配器交换矩阵扩展器(FEX)功能并排除故障。

先决条件

要求

本文档没有任何特定的要求。

使用的组件

本文档中的信息基于以下软件和硬件版本：

  • 运行5.2(1)N1(4)版的Nexus 5548UP
  • 统一计算系统(UCS)C系列C210 M2机架式服务器，带运行固件版本1.4(2)的UCS P81E虚拟接口卡(VIC)

本文档中的信息都是基于特定实验室环境中的设备编写的。本文档中使用的所有设备最初均采用原始（默认）配置。如果您的网络处于活动状态，请确保您了解任何命令或数据包捕获设置的潜在影响。

背景信息

适配器 — FEX概述

此功能允许Nexus 5500交换机在服务器的VIC上管理虚拟接口(以太网虚拟网络接口控制器(vNIC)和光纤通道虚拟主机总线适配器(FC vHBA))。这独立于服务器上运行的任何虚拟机监控程序。创建的任何虚拟接口都对服务器上安装的主操作系统(OS)可见（前提是操作系统具有相应的驱动程序）。

支持的平台可在Cisco Nexus 5000系列NX-OS适配器FEX操作指南5.1(3)N1(1)版中找到。

适用于适配器 — FEX的支持拓扑可在Cisco Nexus 5000系列NX-OS适配器FEX操作指南5.1(3)N1(1)版中的此部分找到。

支持的拓扑包括：

  • 服务器单宿主到Nexus 5500交换机
  • 服务器单宿主到直通FEX
  • 服务器单宿主到主用/主用FEX
  • 通过主用/备用上行链路到一对Nexus 5500交换机的服务器双宿主
  • 通过主用/备用上行链路将服务器双宿主连接到一对虚拟端口通道(vPC)主用/主用FEX

后续配置部分讨论“通过主用/备用上行链路到一对Nexus 5500交换机的服务器双宿主”，如下所示：

每个vNIC在Nexus 5000上都有相应的虚拟以太网接口。同样，每个vHBA在Nexus 5000上都将有相应的虚拟光纤通道(VFC)接口。

配置

注意：使用命令查找工具（仅限注册用户）可获取有关本部分所使用命令的详细信息。

以太网vNIC配置

在两台Nexus 5000交换机上完成以下步骤：

  1. 通常，vPC在两台Nexus 5000交换机上定义并运行。验证vPC域已定义、对等保持连接为UP且对等链路为UP。
  2. 输入以下命令以启用虚拟化功能集。
    (config)# install feature-set virtualization
    (config)# feature-set virtualization
  3. （可选）当在服务器上定义相应的vNIC时，允许Nexus 5000自动创建其虚拟以太网接口。请注意，这不适用于VFC接口，这些接口只能在Nexus 5000上手动定义。
    (config)# vethernet auto-create
  4. 在虚拟网络标记(VNTag)模式下配置连接到服务器的Nexus 5000接口。
    (config)# interface Eth 1/10
    (config-if)# switchport mode vntag
    (config-if)# no shutdown
  5. 配置要应用到vNIC的端口配置文件。

    端口配置文件是交换机接口可应用（继承）的配置模板。在适配器 — FEX的环境中，端口配置文件可以应用于手动定义的虚拟以太网接口，也可以应用于在UCS C系列思科集成管理控制器(CIMC)GUI接口上配置vNIC时自动创建的虚拟以太网接口。

    port-profile的类型为“vethernet”。

    端口配置文件配置示例如下所示：
    (config)# port-profile type vethernet VNIC1
    (config-port-prof)# switchport mode access
    (config-port-prof)# switchport access vlan 10
    (config-port-prof)# no shutdown
    (config-port-prof)# state enabled

在UCS C系列服务器上完成以下步骤：

  1. 通过HTTP连接到CIMC接口，并使用管理员凭证登录。
  2. 选择Inventory > Network Adapters > Modify Adapter Properties。
  3. 选中启用NIV模式复选框。
  4. 点击Save Changes。
  5. 关闭电源，然后打开服务器电源。

  6. 在服务器启动后，选择Inventory > Network Adapters > vNICs > Add 以创建vNIC。要定义的最重要字段包括：
    1. 要使用的VIC上行链路端口（P81E有2个上行链路端口，被引用为0和1）。
    2. 通道号 — 适配器上vNIC的唯一通道ID。这在Nexus 5000上虚拟以太网接口下的bind命令中引用。信道号的范围仅限于VNTag物理链路。该通道可视为交换机和服务器适配器之间物理链路上的“虚拟链路”。
    3. 端口配置文件 — 可以选择上游Nexus 5000上定义的端口配置文件列表。如果Nexus 5000配置了vethernet auto-create命令，则Nexus 5000上将自动创建虚拟以太网接口。请注意，只有虚拟以太网端口配置文件名称（端口配置文件配置不是）才会传递到服务器。在建立VNTag链路连接并在交换机和服务器适配器之间执行初始握手和协商步骤后，会发生这种情况。

  7. 点击Save Changes。
  8. 关闭电源，然后再次打开服务器。

vHBA配置

在服务器适配器上创建vHBA时，不会自动创建相应的交换机接口。相反，应手动定义它们。交换机和服务器端的步骤如下所示。

在交换机端完成以下步骤：

  1. 创建绑定到服务器vHBA接口的VNTag接口通道的虚拟以太网中继接口。以太网光纤通道(FCoE)VLAN不应是本征VLAN。虚拟以太网编号在两台Nexus 5000交换机上应是唯一的。

    示例：

    (config)# interface veth 10
    (config-if)# switchport mode trunk
    (config-if)# switchport trunk allowed vlan 1,100
    (config-if)# bind interface eth1/1 channel 3
    (config-if)# no shutdown
  2. 创建绑定到之前定义的虚拟以太网接口的VFC接口。

    示例：

    (config)# interface vfc10
    (config-if)# bind interface veth 10
    (config-if)# no shut

    此接口的虚拟存储区域网络(VSAN)成员资格在VSAN数据库下定义：

    (config)# vsan database
    (config-vsan-db)# vsan 100 interface vfc10
    (config-vsan-db)# vlan 100
    (config-vlan)# fcoe vsan 100
    (config-vlan)# show vlan fcoe

在服务器端完成以下步骤：

  1. 选择Inventory > Network Adapters > vHBAs以创建vHBA接口。

    要定义的主要字段包括：

    • 端口全球通用名称(pWWN)/节点全球通用名称(nWWN)
    • FCOE VLAN
    • 上行链路ID
    • 信道编号
    • 从存储区域网络(SAN)启动（如果使用）
  2. 重新打开服务器电源。

验证

使用本部分可确认配置能否正常运行。

可使用以下命令显示虚拟以太网接口列表：

n5k1# show interface virtual summary
Veth       Bound        Channel/  Port        Mac                VM
Interface  Interface    DV-Port   Profile     Address            Name
-------------------------------------------------------------------------
Veth32770  Eth1/2       1         UPLINK
Total 1 Veth Interfaces
n5k1#
n5k1# show interface virtual status
Interface VIF-index   Bound If      Chan  Vlan  Status     Mode     Vntag
-------------------------------------------------------------------------
Veth32770 VIF-17      Eth1/2           1    10  Up         Active   2
Total 1 Veth Interfaces

自动创建的虚拟以太网接口会显示在运行配置中，并在执行复制运行启动时保存到启动配置：

n5k1# show run int ve32770

!Command: show running-config interface Vethernet32770
!Time: Thu Apr 10 12:56:23 2014

version 5.2(1)N1(4)

interface Vethernet32770
  inherit port-profile UPLINK
  bind interface Ethernet1/2 channel 1

n5k1# show int ve32770 brief

--------------------------------------------------------------------------------
Vethernet     VLAN   Type Mode   Status  Reason                    Speed
--------------------------------------------------------------------------------
Veth32770     10     virt access up      none                     auto
n5k1#

故障排除

本部分提供的信息可用于对配置进行故障排除。

虚拟以太网接口未启动

使用以下命令验证交换机VNTag接口的数据中心桥接功能交换协议(DCBX)信息：

# show system internal dcbx info interface ethernet <>

检验：

  • 数据中心桥接交换(DCX)协议是融合以太网(CEE)
  • 已启用CEE网络IO虚拟化(NIV)扩展
  • 存在NIV类型长度值(TLV)

如下所示：

n5k1# show sys int dcbx info interface e1/2

Interface info for if_index: 0x1a001000(Eth1/2)
tx_enabled: TRUE
rx_enabled: TRUE
dcbx_enabled: TRUE
DCX Protocol: CEE   <<<<<<<
DCX CEE NIV extension: enabled  <<<<<<<<<
<output omitted>

Feature type NIV (7)   <<<<<<<
feature type 7(DCX CEE-NIV)sub_type 0
Feature State Variables: oper_version 0 error 0 local error 0 oper_mode 1
     feature_seq_no 0 remote_feature_tlv_present 1 remote_tlv_aged_out 0
     remote_tlv_not_present_notification_sent 0
Feature Register Params: max_version 0, enable 1, willing 0 advertise 1
     disruptive_error 0 mts_addr_node 0x2201 mts_addr_sap 0x193
Other server mts_addr_node 0x2301, mts_addr_sap 0x193

Desired config cfg length: 8 data bytes:9f   ff   68   ef   bd   f7   4f   c6

Operating config cfg length: 8 data bytes:9f   ff   68   ef   bd   f7   4f   c6

Peer config cfg length: 8 data bytes:10   00   00   22   bd   d6   66   f8

常见问题包括：

  • DCX协议为CIN
    • 检查L1问题：电缆、SFP、端口启动、适配器。
    • 检查交换机配置：功能集、switchport VNTag、启用链路层发现协议(LLDP)/DCBX。
  • NIV TLV不存在
    • 检查适配器配置下是否启用了NIV模式。
    • 检查VNIC接口控制(VIC)通信已完成，并且端口配置文件信息已交换。确保当前虚拟接口管理器(VIM)事件状态为VIM_NIV_PHY_FSM_ST_UP_OPENED_PP。
n5k1# show sys int vim event-history interface e1/2

>>>>FSM: <Ethernet1/2> has 18 logged transitions<<<<<

1) FSM:<Ethernet1/2> Transition at 327178 usecs after Thu Apr 10 12:22:27 2014
    Previous state: [VIM_NIV_PHY_FSM_ST_WAIT_DCBX]
    Triggered event: [VIM_NIV_PHY_FSM_EV_PHY_DOWN]
    Next state: [VIM_NIV_PHY_FSM_ST_WAIT_DCBX]

2) FSM:<Ethernet1/2> Transition at 327331 usecs after Thu Apr 10 12:22:27 2014
    Previous state: [VIM_NIV_PHY_FSM_ST_WAIT_DCBX]
    Triggered event: [VIM_NIV_PHY_FSM_EV_DOWN_DONE]
    Next state: [VIM_NIV_PHY_FSM_ST_WAIT_DCBX]

3) FSM:<Ethernet1/2> Transition at 255216 usecs after Thu Apr 10 12:26:15 2014
    Previous state: [VIM_NIV_PHY_FSM_ST_WAIT_DCBX]
    Triggered event: [VIM_NIV_PHY_FSM_EV_RX_DCBX_CC_NUM]
    Next state: [VIM_NIV_PHY_FSM_ST_WAIT_3SEC]

4) FSM:<Ethernet1/2> Transition at 250133 usecs after Thu Apr 10 12:26:18 2014
    Previous state: [VIM_NIV_PHY_FSM_ST_WAIT_3SEC]
    Triggered event: [VIM_NIV_PHY_FSM_EV_DCX_3SEC_EXP]
    Next state: [VIM_NIV_PHY_FSM_ST_WAIT_ENCAP]

5) FSM:<Ethernet1/2> Transition at 262008 usecs after Thu Apr 10 12:26:18 2014
    Previous state: [VIM_NIV_PHY_FSM_ST_WAIT_ENCAP]
    Triggered event: [VIM_NIV_PHY_FSM_EV_VIC_OPEN_RECEIVED]
    Next state: [FSM_ST_NO_CHANGE]

6) FSM:<Ethernet1/2> Transition at 60944 usecs after Thu Apr 10 12:26:19 2014
    Previous state: [VIM_NIV_PHY_FSM_ST_WAIT_ENCAP]
    Triggered event: [VIM_NIV_PHY_FSM_EV_ENCAP_RESP]
    Next state: [VIM_NIV_PHY_FSM_ST_UP]

7) FSM:<Ethernet1/2> Transition at 62553 usecs after Thu Apr 10 12:26:19 2014
    Previous state: [VIM_NIV_PHY_FSM_ST_UP]
    Triggered event: [VIM_NIV_PHY_FSM_EV_VIC_OPEN_ACKD]
    Next state: [FSM_ST_NO_CHANGE]

8) FSM:<Ethernet1/2> Transition at 62605 usecs after Thu Apr 10 12:26:19 2014
    Previous state: [VIM_NIV_PHY_FSM_ST_UP]
    Triggered event: [VIM_NIV_PHY_FSM_EV_VIC_OPEN_DONE]
    Next state: [VIM_NIV_PHY_FSM_ST_UP_OPENED]

9) FSM:<Ethernet1/2> Transition at 62726 usecs after Thu Apr 10 12:26:19 2014
    Previous state: [VIM_NIV_PHY_FSM_ST_UP_OPENED]
    Triggered event: [VIM_NIV_PHY_FSM_EV_PP_SEND]
    Next state: [VIM_NIV_PHY_FSM_ST_UP_OPENED_PP]

10) FSM:<Ethernet1/2> Transition at 475253 usecs after Thu Apr 10 12:51:45 2014
    Previous state: [VIM_NIV_PHY_FSM_ST_UP_OPENED_PP]
    Triggered event: [VIM_NIV_PHY_FSM_EV_PHY_DOWN]
    Next state: [VIM_NIV_PHY_FSM_ST_WAIT_VETH_DN]

11) FSM:<Ethernet1/2> Transition at 475328 usecs after Thu Apr 10 12:51:45 2014
    Previous state: [VIM_NIV_PHY_FSM_ST_WAIT_VETH_DN]
    Triggered event: [VIM_NIV_PHY_FSM_EV_DOWN_DONE]
    Next state: [VIM_NIV_PHY_FSM_ST_WAIT_DCBX]

12) FSM:<Ethernet1/2> Transition at 983154 usecs after Thu Apr 10 12:53:06 2014
    Previous state: [VIM_NIV_PHY_FSM_ST_WAIT_DCBX]
    Triggered event: [VIM_NIV_PHY_FSM_EV_RX_DCBX_CC_NUM]
    Next state: [VIM_NIV_PHY_FSM_ST_WAIT_3SEC]

13) FSM:<Ethernet1/2> Transition at 992590 usecs after Thu Apr 10 12:53:09 2014
    Previous state: [VIM_NIV_PHY_FSM_ST_WAIT_3SEC]
    Triggered event: [VIM_NIV_PHY_FSM_EV_DCX_3SEC_EXP]
    Next state: [VIM_NIV_PHY_FSM_ST_WAIT_ENCAP]

14) FSM:<Ethernet1/2> Transition at 802877 usecs after Thu Apr 10 12:53:10 2014
    Previous state: [VIM_NIV_PHY_FSM_ST_WAIT_ENCAP]
    Triggered event: [VIM_NIV_PHY_FSM_EV_ENCAP_RESP]
    Next state: [VIM_NIV_PHY_FSM_ST_UP]

15) FSM:<Ethernet1/2> Transition at 804263 usecs after Thu Apr 10 12:53:10 2014
    Previous state: [VIM_NIV_PHY_FSM_ST_UP]
    Triggered event: [VIM_NIV_PHY_FSM_EV_VIC_OPEN_ACKD]
    Next state: [FSM_ST_NO_CHANGE]

16) FSM:<Ethernet1/2> Transition at 992390 usecs after Thu Apr 10 12:53:11 2014
    Previous state: [VIM_NIV_PHY_FSM_ST_UP]
    Triggered event: [VIM_NIV_PHY_FSM_EV_VIC_OPEN_RECEIVED]
    Next state: [FSM_ST_NO_CHANGE]

17) FSM:<Ethernet1/2> Transition at 992450 usecs after Thu Apr 10 12:53:11 2014
    Previous state: [VIM_NIV_PHY_FSM_ST_UP]
    Triggered event: [VIM_NIV_PHY_FSM_EV_VIC_OPEN_DONE]
    Next state: [VIM_NIV_PHY_FSM_ST_UP_OPENED]

18) FSM:<Ethernet1/2> Transition at 992676 usecs after Thu Apr 10 12:53:11 2014
    Previous state: [VIM_NIV_PHY_FSM_ST_UP_OPENED]
    Triggered event: [VIM_NIV_PHY_FSM_EV_PP_SEND]
    Next state: [VIM_NIV_PHY_FSM_ST_UP_OPENED_PP]


    Curr state: [VIM_NIV_PHY_FSM_ST_UP_OPENED_PP]  <<<<<<<<<<
n5k1#

如果虚拟以太网接口是固定虚拟以太网，请检查VIC_CREATE是否显示在此命令中：

# show system internal vim info niv msg logs fixed interface e 1/16 ch 1
Eth1/16(Chan: 1) VIF Index: 605
   REQ MsgId: 56630, Type: VIC ENABLE, CC: SUCCESS
   RSP MsgId: 56630, Type: VIC ENABLE, CC: SUCCESS
   REQ MsgId: 4267, Type: VIC SET, CC: SUCCESS
   RSP MsgId: 4267, Type: VIC SET, CC: SUCCESS
   REQ MsgId: 62725, Type: VIC CREATE, CC: SUCCESS  <<<<<<<
   RSP MsgId: 62725, Type: VIC CREATE, CC: SUCCESS  <<<<<<<
   REQ MsgId: 62789, Type: VIC ENABLE, CC: SUCCESS
   RSP MsgId: 62789, Type: VIC ENABLE, CC: SUCCESS
   REQ MsgId: 21735, Type: VIC SET, CC: SUCCESS
   RSP MsgId: 21735, Type: VIC SET, CC: SUCCESS

请注意，固定虚拟以太网接口是不支持跨物理接口迁移的虚拟接口。讨论适配器 — FEX时，范围始终在固定虚拟以太网上，因为适配器 — FEX是指通过单个（即非虚拟化）操作系统使用网络虚拟化。

如果VIC_CREATE未显示：

  1. 如果适配器是Cisco NIV适配器，请检查适配器端的VNIC配置(通道ID、正确的上行链路UIF端口、任何挂起的提交（任何配置更改都需要服务器重新启动）。vHBA不会在AA FEX拓扑中的两台交换机上启用虚拟以太网。vHBA固定虚拟以太网需要操作系统驱动程序来启动此功能（等待操作系统加载驱动程序并完全启动）。
  2. 如果适配器是Broadcom NIV适配器，请检查接口是否从操作系统端打开（例如，在Linux中，打开接口“ifconfig eth2 up”）。
  3. 如果显示VIC_CREATE，但交换机以ERR_INTERNAL响应：
    • 检查交换机和适配器端口的端口配置文件。查看是否有任何端口配置文件字符串不匹配。
    • 对于动态固定虚拟以太网，请检查“veth auto-create”配置。
  4. 如果问题仍然存在，请收集下面列出的输出并联系思科技术支持中心(TAC)。
    # show system internal vim log
    # attach fex <number>
    # test vic_proxy dump trace

从服务器端收集适配器技术支持信息

  1. 从浏览器登录CIMC。
  2. 单击“管理”选项卡。
  3. 单击“实用程序”。
  4. 单击Export Technical Support Data to TFTP(将技术支持数据导出到TFTP)或Generate Technical Support Data for Local Download(生成用于本地下载的技术支持数据)。

修订历史记录

版本 发布日期 备注
1.0
04-Sep-2014
初始版本
TAC Authored

由思科工程师提供

  • Charles Youssef
    Cisco TAC Engineer.

此文档是否有帮助?

Feedback反馈

联系我们

本文档适用于以下产品