UCS机架式服务器上VIC适配器与Nexus 5500交换机之间的FCoE配置

下载选项

  • PDF     (1.0 MB)
    在各种设备上使用 Adobe Reader 查看
  • ePub     (880.9 KB)
    在 iPhone、iPad、Android、Sony Reader 或 Windows Phone 上使用各种应用查看
  • Mobi (Kindle)     (533.2 KB)
    在 Kindle 设备上查看或在多个设备上使用 Kindle 应用查看
已更新: 2014 年 3 月 25 日
文档 ID:117280

非歧视性语言

此产品的文档集力求使用非歧视性语言。在本文档集中，非歧视性语言是指不隐含针对年龄、残障、性别、种族身份、族群身份、性取向、社会经济地位和交叉性的歧视的语言。由于产品软件的用户界面中使用的硬编码语言、基于 RFP 文档使用的语言或引用的第三方产品使用的语言，文档中可能无法确保完全使用非歧视性语言。 深入了解思科如何使用包容性语言。

关于此翻译

思科采用人工翻译与机器翻译相结合的方式将此文档翻译成不同语言，希望全球的用户都能通过各自的语言得到支持性的内容。 请注意：即使是最好的机器翻译，其准确度也不及专业翻译人员的水平。 Cisco Systems, Inc. 对于翻译的准确性不承担任何责任，并建议您总是参考英文原始文档（已提供链接）。

简介

本文档介绍如何在安装在思科统一计算系统(UCS)机架式服务器上的虚拟接口卡(VIC)适配器与Cisco Nexus 5500(Nexus 5K)系列交换机之间配置以太网光纤通道(FCoE)连接。两个示例拓扑包括思科交换矩阵扩展器(FEX)设备，而一个示例拓扑不包括。

先决条件

要求

Cisco 建议您了解以下主题：

  • 思科 Nexus 5500 系列交换机
  • Cisco UCS机架式服务器 — 思科集成管理控制器(CIMC)配置
  • 对FCoE的基本了解

此配置存在于环境中：

  • 配置存储区域网络(SAN)阵列，以便为Cisco VIC卡上的虚拟主机总线适配器(vHBA)提供对逻辑单元号(LUN)的访问。
  • Cisco Nexus 5K交换机上安装了Cisco Nexus 5.1(3)N1(1a)或更高版本。
  • Nexus 5K交换机上安装了必要的许可证。

有关限制和兼容性信息，请参阅每个特定硬件设备的配置指南。

使用的组件

本文档中的信息基于以下软件和硬件版本：

  • 带VIC 1225的Cisco UCS C220 M3服务器
  • CIMC 1.5.4固件套件
  • 带6.0(2)N2(1)版的Nexus 5548UP
  • FEX型号 — Nexus 2232PP

本文档中的信息都是基于特定实验室环境中的设备编写的。本文档中使用的所有设备最初均采用原始（默认）配置。如果您使用的是真实网络，请确保您已经了解所有命令的潜在影响。

概述

以下是配置过程的概述：

  1. 对于新设置，请在Nexus 5K交换机上执行基本配置。如果要向现有网络添加服务器，可以跳过此步骤。
  2. 在UCS服务器上配置VIC适配器。
  3. 根据拓扑配置Nexus 5K交换机。

服务器可以部署在以下三种拓扑之一：

  • 拓扑1 — 在Nexus 5K交换机上配置的虚拟端口通道(vPC)，以及直接连接到Nexus 5K交换机的融合网络适配器(CNA)端口
  • 拓扑2 — 以直通模式连接到Nexus 5K交换机的FEX，以及连接到FEX端口的CNA
  • 拓扑3 — 以增强的vPC模式连接到Nexus 5K交换机的FEX，以及连接到FEX端口的CNA

本文档提供每个拓扑的FCoE连接配置示例。

注意：

使用命令查找工具（仅限注册用户）可获取有关本部分所使用命令的详细信息。

命令输出解释程序工具（仅限注册用户）支持某些 show 命令。使用输出解释器工具来查看 show 命令输出的分析。

步骤 1：配置新设置

尽管本文档重点介绍VIC适配器和Nexus 5K交换机上的FCoE配置，但为了完整起见，它还包括vPC上所需的基本配置和FCoE功能。

本示例中的拓扑将虚拟存储区域网络(VSAN)100和VSAN 200用作两个SAN交换矩阵。这些VSAN在Nexus 5K交换机的A侧和B侧创建，并分别映射到FCoE VLAN 100和200。

对于新设置，此步骤介绍如何在Nexus 5K交换机上执行基本配置：

  1. 在Nexus 5K交换机上启用所需功能（链路层发现协议[LLDP]、链路聚合控制协议[LACP]、FCoE、FEX、vPC）。有关此步骤的示例，请参阅所需功能配置。
  2. 完成基本vPC配置：
    1. 创建vPC域。
    2. 创建vPC对等保持连接链路。
    3. 配置vPC对等链路。有关如何执行步骤1-3以及如何在两台Nexus 5K交换机上启用vPC的示例，请参阅基本vPC配置。
    4. 创建vPC或重新使用端口通道。
    5. 检验vPC。
  3. 配置VSAN。有关此步骤的示例，请参阅VSAN配置。

注意：如果要向现有网络添加服务器，可跳过这些步骤；继续执行步骤2:配置UCS服务器和VIC适配器。

所需功能配置

5548-switch# configure terminal
5548-switch(config)# feature lldp
5548-switch(config)# feature lacp 
5548-switch(config)# feature fcoe
5548-switch(config)# feature fex
5548-switch(config)# feature vpc
5548-switch(config)# end

基本vPC配置

5548-switch# configure terminal
5548-switch(config)# vpc domain 150
5548-switch (config-vpc-domain)# peer-keepalive destination <peer-switch-ip> 
   source <source-ip> vrf management
5548-switch(config-vpc-domain)# interface port-channel 150
5548-switch(config-if)# switchport mode trunk
5548-switch(config-if)# vpc peer-link
5548-switch(config-if)# no shut

VSAN配置

5548-switch-A # configure terminal
5548-switch-A(config)# vsan database
5548-switch-A(config-vsan-db)#vsan 100
5548-switch-A(config)#exit

5548-switch-A(config)#vlan 100
5548-switch-A(config-vlan)#fcoe vsan 100

5548-switch-B # configure terminal
5548-switch-B(config)#vsan database
5548-switch-B(config-vsan-db)#vsan 200
5548-switch-B(config)#exit

5548-switch-B(config)#vlan 200
5548-switch-B(config-vlan)#fcoe vsan 200

步骤 2：配置UCS服务器和VIC适配器

在UCS服务器上配置VIC适配器。此程序描述如何将此配置应用到所有Cisco VIC（P81E或VIC 1225或VIC 1225T）适配器：

  1. 使用主机更新实用程序将服务器硬件组件的固件更新为最新版本。请务必更新VIC固件。
  2. 默认情况下，VIC适配器在经典以太网(CE)模式下运行，并配置了两个虚拟网络接口控制器(vNIC)和两个vHBA。每个vNIC和vHBA都固定到上行链路DCE物理接口；即，fc0被固定到上行链路DCE端口0，而fc1被固定到适配器的上行链路DCE端口1:

    117280-config-fcoe-01.png
  3. 打开服务器电源，请注意VIC适配器详细信息填入资产部分。
  4. 单击vHBAs选项卡，然后选择vHBA接口（fc0或fc1）。
  5. 单击属性，然后在VIC适配器上配置FCoE属性。请务必在“默认VLAN”文本字段中定义FCoE VLAN ID:

    117280-config-fcoe-02.png

    如果计划从SAN启动，请选中FC SAN启动复选框，并将目标WWPN添加到启动表：

    117280-config-fcoe-03.png
  6. 重新启动服务器以使配置更改生效。

步骤 3：为不同拓扑配置Nexus 5K交换机

服务器可部署在三个拓扑之一。本节介绍如何根据拓扑配置Nexus 5K交换机。

所有三种拓扑的常见配置指南为：

  1. 虚拟光纤通道(VFC)接口绑定到端口通道的成员端口（物理以太网接口）。
  2. 交换机端口处于中继模式，并且FCoE VLAN配置为非本征VLAN。
  3. 交换机端口的生成树类型已配置，因此它们作为边缘中继连接到服务器。

本文档提供交换矩阵A的示例配置；您应在交换矩阵B的另一台交换机上执行类似配置。

拓扑 1:直接连接到Nexus 5K交换机的CNA端口

概述

在此场景中，Nexus 5K交换机位于vPC中，服务器CNA端口直接连接到两台Nexus 5K交换机。本步骤介绍此拓扑的配置：

  1. 将以太网接口关联到新的端口通道接口。
  2. 将端口通道配置为带有FCoE VLAN标记的中继，并将端口通道与vPC ID关联。
  3. 创建VFC接口，并将其绑定到端口通道成员（以太网接口）。
  4. 将VFC接口关联到相应的VSAN ID。有关步骤1-4的示例，请参阅Nexus 5K交换机一侧的配置示例。
  5. 重复步骤1-4以配置Nexus 5K交换机的B侧。
  6. 验证配置。

117280-config-fcoe-04.png

Nexus 5K交换机一端的配置示例

N5548UP-A(config)# int eth 1/1
N5548UP-A(config-if)# channel-group 1
N5548UP-A(config-if)# no shut
N5548UP-A(config-if)# exit
N5548UP-A# configure terminal 
N5548UP-A(config)# interface port-channel 1
N5548UP-A(config-if)# switchport mode trunk
N5548UP-A(config-if)# switchport trunk native vlan 10
N5548UP-A(config-if)# switchport trunk allowed vlan 10,100
N5548UP-A(config-if)# spanning-tree port type edge trunk
N5548UP-A(config-if)# vpc 1
N5548UP-A(config-if)# no shut
N5548UP-A(config-if)# exit
N5548UP-A(config)# int vfc 1
N5548UP-A(config-if)# bind interface ethernet 1/1
N5548UP-A(config-if)# switchport trunk allowed vsan 100
N5548UP-A(config-if)# no shut
N5548UP-A(config-if)# exitN5548UP-A(config)# vsan database
N5548UP-A(config-vsan-db)# vsan 100 interface vfc 1
N5548UP-A(config-vsan-db)# end

确认

N5548UP-A# show run int port-channel 1 membership

interface port-channel 1
 switchport mode trunk
 switchport trunk native vlan 10
 switchport trunk allowed vlan 10,100
 spanning-tree port type edge trunk
 speed 10000
 vpc 1
 interface Ethernet1/1
 switchport mode trunk
 switchport trunk native vlan 10
 switchport trunk allowed vlan 10,100
 channel-group 1
 
N5548UP-A# show run int vfc 1
interface vfc1
 bind interface Ethernet1/1
 switchport trunk allowed vsan 100
 no shutdown

拓扑 2:FEX以直通模式连接到Nexus 5K交换机，CNA连接到FEX端口

概述

在此场景中，FEX以直通模式连接到Nexus 5K交换机，CNA连接到FEX端口。本步骤介绍此拓扑的配置：

直通FEX配置:

  1. 分配FEX ID。
  2. 将以太网接口与新的端口通道接口ID关联，并使用FEX交换矩阵参数配置新的端口通道。有关步骤1-2的示例，请参阅配置示例。

    主机vPC配置:

  3. 将FEX主机接口(HIF)与新的端口通道接口ID关联，并配置端口通道参数。
  4. 将HIF端口通道关联到vPC接口。
  5. 创建VFC接口，并将其绑定到主机端口通道的成员（以太网）端口。有关步骤3-5的示例，请参阅主机vPC配置。
  6. 验证配置。

在Nexus 5K交换机的B侧重复步骤1-4，并在HIF端口通道下使用相同的vPC接口编号。

117280-config-fcoe-05.png

配置示例

N5548UP-A# configure terminal 
N5548UP-A(config)# fex 101
N5548UP-A(config-fex)# exit

N5548UP-A(config)# interface ethernet 1/5 - 6
N5548UP-A(config-if-range)# channel-group 210
N5548UP-A(config-if-range)#no shut
N5548UP-A(config-if-range)# exit

N5548UP-A(config)# interface port-channel 210
N5548UP-A(config-if)# switchport mode fex-fabric
N5548UP-A(config-if)# fex associate 101 
N5548UP-A(config-if)#no shut
N5548UP-A(config-if)# exit

主机vPC配置

<---Create HIF port-channel-->

N5548UP-A(config-if)# interface ethernet 101/1/1
N5548UP-A(config-if)# channel-group 1
N5548UP-A(config-if)# no shut
N5548UP-A(config-if)# exit

<---Configure port-channel parameters-->

N5548UP-A(config)# interface port-channel 1
N5548UP-A(config-if)#switchport mode trunk
N5548UP-A(config-if)# switchport trunk native vlan 10
N5548UP-A(config-if)# switchport trunk allowed vlan 10,100
N5548UP-A(config-if)# spanning-tree port type edge trunk 
N5548UP-A(config-if)# vpc 10
N5548UP-A(config-if)# no shut
N5548UP-A(config-if)# exit

<---Create vfc interfvace and bind to port-channel (Ethernet interface)-->

N5548UP-A(config)# int vfc 1
N5548UP-A(config-if)# bind interface ethernet 101/1/1
N5548UP-A(config-if)# switchport trunk allowed vsan 100
N5548UP-A(config-if)# no shut
N5548UP-A(config-if)# exit

<---Associate vfc interface to corresponding VSAN ID-->

N5548UP-A(config)# vsan database
N5548UP-A(config-vsan-db)# vsan 100 interface vfc 1
N5548UP-A(config-vsan-db)# end

确认

N5548UP-A# show run int port-channel 210 membership

interface port-channel210
 switchport mode fex-fabric
 fex associate 101

interface Ethernet1/5
 switchport mode fex-fabric
 fex associate 101
 channel-group 210

interface Ethernet1/6
 switchport mode fex-fabric
 fex associate 101
 channel-group 210

N5548UP-A# show int fex
 Fabric Fabric Fex FEX 
Fex Port Port State Uplink Model Serial 
---------------------------------------------------------------
101 Eth1/5 Active 1 N2K-C2232PP-10GE SSI142602QN
101 Eth1/6 Active 2 N2K-C2232PP-10GE SSI142602QN

N5548UP-A# show run int port-channel 1 membership

interface port-channel 1
 switchport mode trunk
 switchport trunk native vlan 10
 switchport trunk allowed vlan 10,100
 spanning-tree port type edge trunk
 speed 10000
 vpc 10

interface Ethernet101/1/1
 switchport mode trunk
 switchport trunk native vlan 10
 switchport trunk allowed vlan 10,100
 channel-group 1

N5548UP-A# show run int vfc 1
interface vfc1
 bind interface Ethernet101/1/1
 switchport trunk allowed vsan 100
 no shutdown

拓扑 3:FEX以增强型vPC模式连接到Nexus 5K交换机，CNA连接到FEX端口

概述

在此场景中，FEX以增强的vPC模式连接到Nexus 5K交换机，CNA连接到FEX端口。

SAN交换矩阵A流量(FCoE VLAN 100)与Nexus 5K交换机的FEX 101/A侧关联。SAN交换矩阵B流量(FCoE VLAN 200)与Nexus 5K交换机的FEX 102/B端关联。

对于两个成员的主机端口通道，必须在两台Nexus 5K交换机上的两台FEX设备上配置HIF端口；即总共需要四个HIF端口配置。

本步骤介绍此拓扑的配置：

活动 — 活动FEX配置:

  1. 分配FEX ID。
  2. 在每台Nexus 5K交换机的单个FEX下添加“fcoe”关键字，以启用SAN交换矩阵隔离。
  3. 创建FEX交换矩阵端口通道。
  4. 对同一Nexus 5K交换机上的其他FEX重复步骤1和3。
  5. 在Nexus 5K交换机的B侧重复步骤1-4。例如，请参阅Nexus 5K交换机B端FEX 102上的Active - Active FEX Configuration和FCoE关键字。

    主机vPC配置:

  6. 创建端口通道接口并配置必要的VLAN。
  7. 在两个FEX上配置HIF端口（连接到CNA的FEX接口），并允许FCoE VLAN和以太网VLAN，然后将HIF端口与步骤6中创建的主机端口通道ID关联。
  8. 创建VFC接口，并将其绑定到主机端口通道的成员（以太网）端口。
  9. 在Nexus 5K交换机的B侧重复步骤6-8，并使用相同的主机端口通道接口ID。有关示例，请参阅主机vPC配置。

    VFC接口配置:

  10. 创建VC接口，并将其绑定到端口通道成员(HIF)端口。
  11. 将VFC接口分配给相应的VSAN。
  12. 在Nexus 5K交换机的B侧重复步骤10-11。有关示例，请参阅VFC配置。
  13. 验证配置。

117280-config-fcoe-06.png

活动 — 活动FEX配置

N5548UP-A# configure terminal 
N5548UP-A(config)# fex 101
N5548UP-A(config-fex)# fcoe
N5548UP-A(config-fex)# exit

N5548UP-A(config)# interface ethernet 1/3 - 4
N5548UP-A(config-if-range)# channel-group 201
N5548UP-A(config-if-range)#no shut
N5548UP-A(config-if-range)# exit
N5548UP-A(config)# interface port-channel 201
N5548UP-A(config-if)# switchport mode fex-fabric
N5548UP-A(config-if)# fex associate 101 
N5548UP-A(config-if)# vpc 201
N5548UP-A(config-if)#no shut
N5548UP-A(config-if)# exit

N5548UP-A# configure terminal 
N5548UP-A(config)# fex 102
N5548UP-A(config-fex)# exit

N5548UP-A(config)# interface ethernet 1/5 - 6
N5548UP-A(config-if-range)# channel-group 202
N5548UP-A(config-if-range)#no shut
N5548UP-A(config-if-range)# exit

N5548UP-A(config)# interface port-channel 202
N5548UP-A(config-if)# switchport mode fex-fabric
N5548UP-A(config-if)# fex associate 102 
N5548UP-A(config-if)# vpc 202
N5548UP-A(config-if)#no shut
N5548UP-A(config-if)# exit

Nexus 5K交换机B侧FEX 102上的FCoE关键字

N5548UP-B# configure terminal 
N5548UP-B(config)# fex 102
N5548UP-B(config-fex)# fcoe
N5548UP-B(config-fex)# exit

主机vPC配置

N5548UP-A(config-if)# interface ethernet 101/1/1
N5548UP-A(config-if)# channel-group 1
N5548UP-A(config-if)# no shut
N5548UP-A(config-if)# exit

N5548UP-A(config)# interface ethernet 102/1/1
N5548UP-A(config-if)# channel-group 1
N5548UP-A(config-if)# no shut
N5548UP-A(config-if)# exit

N5548UP-A(config)# interface port-channel 1
N5548UP-A(config-if)#switchport mode trunk
N5548UP-A(config-if)# switchport trunk native vlan 10
N5548UP-A(config-if)# switchport trunk allowed vlan 10,100
N5548UP-A(config-if)# spanning-tree port type edge trunk 
N5548UP-A(config-if)# no shut
N5548UP-A(config-if)# exit

VFC配置

<---Create vfc interface and bind to port-channel member (ethernet interface)-->

N5548UP-A(config)# int vfc 1
N5548UP-A(config-if)# bind interface ethernet 101/1/1
N5548UP-A(config-if)# switchport trunk allowed vsan 100
N5548UP-A(config-if)# no shut
N5548UP-A(config-if)# exit

<---Associate vfc interface to corresponding VSAN ID-->

N5548UP-A(config)# vsan database
N5548UP-A(config-vsan-db)# vsan 100 interface vfc 1
N5548UP-A(config-vsan-db)# end

确认

N5548UP-A# show fex
 FEX FEX FEX FEX 
Number Description State Model Serial 
------------------------------------------------------------------------
101 FEX0101 Online N2K-C2232PP-10GE SSI142602QN
102 FEX0102 Online N2K-C2232PP-10GE SSI14260EVV

N5548UP-A# show interface fex
 Fabric Fabric Fex FEX 
Fex Port Port State Uplink Model Serial 
---------------------------------------------------------------
101 Eth1/3 Active 2 N2K-C2232PP-10GE SSI142602QN
102 Eth1/4 Active 1 N2K-C2232PP-10GE SSI14260EVV

N5548UP-A# show fex 101 detail 
FEX: 101 Description: FEX0101 state: Online
 FEX version: 6.0(2)N2(1) [Switch version: 6.0(2)N2(1)]
 FEX Interim version: 6.0(2)N2(1)
 Switch Interim version: 6.0(2)N2(1)
 Extender Serial: SSI142602QN
 FCoE Admin: true
 FCoE Oper: true
 FCoE FEX AA Configured: true

N5548UP-A# show run interface port-channel 1 membership

interface port-channel1
 switchport mode trunk
 switchport trunk native vlan 10
 switchport trunk allowed vlan 10,100
 spanning-tree port type edge trunk
 speed 10000

interface Ethernet102/1/1
 switchport mode trunk
 switchport trunk native vlan 10
 switchport trunk allowed vlan 10,100
 spanning-tree port type edge trunk
 channel-group 1

interface Ethernet101/1/1
 switchport mode trunk
 switchport trunk native vlan 10
 switchport trunk allowed vlan 10,100
 spanning-tree port type edge trunk
 channel-group 1

N5548UP-A# show int vfc 1
vfc1 is trunking
 Bound interface is Ethernet101/1/1
 Port WWN is 20:00:54:7f:ee:e1:6a:bf
 Admin port mode is F, trunk mode is on
 Port mode is TF
 Port vsan is 100
 Trunk vsans (admin allowed and active) (100)
 Trunk vsans (up) (100)
 Trunk vsans (isolated) ()
 Trunk vsans (initializing) ()

N5548UP-A# show run int port-channel 201 membership

interface port-channel201
 switchport mode fex-fabric
 fex associate 101
 vpc 201

interface Ethernet1/3
 switchport mode fex-fabric
 fex associate 101
 channel-group 201

interface Ethernet1/4
 switchport mode fex-fabric
 fex associate 101
 channel-group 201

N5548UP-A# show run int port-channel 202 membership

interface port-channel202
 switchport mode fex-fabric
 fex associate 102
 vpc 202

interface Ethernet1/5
 switchport mode fex-fabric
 fex associate 102
 channel-group 202

interface Ethernet1/6
 switchport mode fex-fabric
 fex associate 102
 channel-group 202

服务器启动序列的此屏幕截图验证交换机配置，因为VIC固件成功检测到LUN并更新启动表：

117280-config-fcoe-07.png

验证

配置示例中包含验证过程。

故障排除

本部分提供了可用于对配置进行故障排除的信息。

执行以下检查以确定VFC是否启动：

  1. 验证映射到vHBA的适配器端口之间的电缆连接是否正确，以及Nexus 5K交换机端口是否具有必要的VSAN。
  2. 确保接口未管理性关闭。
  3. 验证FCoE VLAN是否配置在受VFC限定的以太网接口上。

使用以下命令验证配置：

  • show run fcoe
  • show vsan
  • show vlan fcoe
  • show interface vfc ID
  • show vpc
  • show flogi database

相关信息

修订历史记录

版本 发布日期 备注
1.0
25-Mar-2014
初始版本
TAC Authored

由思科工程师提供

  • Padmanabhan
    Cisco TAC Engineer.

此文档是否有帮助?

Feedback反馈

联系我们

本文档适用于以下产品