UCS機架式伺服器上的VIC介面卡與Nexus 5500交換機之間的FCoE配置

下載選項

  • PDF     (1.0 MB)
    在多種裝置上使用 Adobe Reader 檢視
  • ePub     (881.0 KB)
    在 iPhone、iPad、Android、Sony Reader 或 Windows Phone 上的各種應用程式中檢視
  • Mobi (Kindle)     (533.4 KB)
    在 Kindle 裝置或多部裝置的 Kindle 應用程式上檢視
已更新: 2014 年 3 月 25 日
文件 ID:117280

無偏見用語

本產品的文件集力求使用無偏見用語。針對本文件集的目的，無偏見係定義為未根據年齡、身心障礙、性別、種族身分、民族身分、性別傾向、社會經濟地位及交織性表示歧視的用語。由於本產品軟體使用者介面中硬式編碼的語言、根據 RFP 文件使用的語言，或引用第三方產品的語言，因此本文件中可能會出現例外狀況。深入瞭解思科如何使用包容性用語。

關於此翻譯

思科已使用電腦和人工技術翻譯本文件，讓全世界的使用者能夠以自己的語言理解支援內容。請注意，即使是最佳機器翻譯，也不如專業譯者翻譯的內容準確。Cisco Systems, Inc. 對這些翻譯的準確度概不負責，並建議一律查看原始英文文件（提供連結）。

簡介

本文描述如何在安裝在Cisco Unified Computing System(UCS)機架式伺服器上的Virtual Interface Card(VIC)介面卡和Cisco Nexus 5500(Nexus 5K)系列交換機之間配置乙太網光纖通道(FCoE)連線。兩個示例拓撲包含思科交換矩陣擴展器(FEX)裝置，而一個示例拓撲不包含。

必要條件

需求

思科建議您瞭解以下主題：

  • Cisco Nexus 5500 系列交換器
  • Cisco UCS機架式伺服器 — 思科整合式管理控制器(CIMC)組態
  • 對FCoE的基本瞭解

此配置存在於環境中：

  • 儲存區域網路(SAN)陣列配置為提供對Cisco VIC卡上虛擬主機匯流排介面卡(vHBA)的邏輯單元號(LUN)的訪問。
  • Cisco Nexus 5.1(3)N1(1a)或更高版本安裝在Cisco Nexus 5K交換機上。
  • Nexus 5K交換機上安裝了必要的許可證。

有關限制和相容性資訊，請參閱每個特定硬體裝置的配置指南。

採用元件

本文中的資訊係根據以下軟體和硬體版本：

  • 採用VIC 1225的Cisco UCS C220 M3伺服器
  • CIMC 1.5.4韌體套件
  • Nexus 5548UP版本6.0(2)N2(1)
  • FEX型號 — Nexus 2232PP

本文中的資訊是根據特定實驗室環境內的裝置所建立。文中使用到的所有裝置皆從已清除（預設）的組態來啟動。如果您的網路正在作用，請確保您已瞭解任何指令可能造成的影響。

概觀

以下是組態程式的概觀：

  1. 對於新設定，請在Nexus 5K交換機上執行基本配置。如果要將伺服器新增到現有網路，可以跳過此步驟。
  2. 在UCS伺服器上配置VIC介面卡。
  3. 根據您的拓撲配置Nexus 5K交換機。

伺服器可以部署在以下三種拓撲中：

  • 拓撲1 — 在Nexus 5K交換機上配置的虛擬埠通道(vPC)，以及直接連線到Nexus 5K交換機的融合網路介面卡(CNA)埠
  • 拓撲2 — 以直通模式連線到Nexus 5K交換機的FEX，以及連線到FEX埠的CNA
  • 拓撲3 — 在增強型vPC模式下連線到Nexus 5K交換機的FEX，以及連線到FEX埠的CNA

本文檔提供了每個拓撲的FCoE連線配置示例。

附註：

使用命令查詢工具(僅供已註冊客戶使用)可獲取本節中使用的命令的更多資訊。

輸出直譯器工具(僅供已註冊客戶使用)支援某些show命令。使用輸出直譯器工具來檢視show命令輸出的分析。

第1步：配置新設定

儘管本文檔重點介紹VIC介面卡和Nexus 5K交換機上的FCoE配置，但它還包括vPC上所需的基本配置以及FCoE功能以實現完整性。

本示例中的拓撲將虛擬儲存區域網路(VSAN)100和VSAN 200用作兩個SAN結構。這些VSAN在Nexus 5K交換機的A端和B端建立，並分別對映到FCoE VLAN 100和200。

對於新設定，以下過程介紹如何在Nexus 5K交換機上執行基本配置：

  1. 在Nexus 5K交換機上啟用所需功能（鏈路層發現協定[LLDP]、鏈路聚合控制協定[LACP]、FCoE、FEX、vPC）。有關此步驟的示例，請參閱所需功能配置。
  2. 完成基本vPC配置：
    1. 建立vPC域。
    2. 建立vPC對等保持連線鏈路。
    3. 配置vPC對等鏈路。有關如何執行步驟1-3以及如何在Nexus 5K交換機上啟用vPC的示例，請參閱基本vPC配置。
    4. 建立vPC或重新使用埠通道。
    5. 檢驗vPC。
  3. 配置VSAN。有關此步驟的示例，請參見VSAN配置。

附註：如果要將伺服器新增到現有網路，可以跳過這些步驟；請繼續步驟2:配置UCS伺服器和VIC介面卡。

所需功能配置

5548-switch# configure terminal
5548-switch(config)# feature lldp
5548-switch(config)# feature lacp 
5548-switch(config)# feature fcoe
5548-switch(config)# feature fex
5548-switch(config)# feature vpc
5548-switch(config)# end

基本vPC配置

5548-switch# configure terminal
5548-switch(config)# vpc domain 150
5548-switch (config-vpc-domain)# peer-keepalive destination <peer-switch-ip> 
   source <source-ip> vrf management
5548-switch(config-vpc-domain)# interface port-channel 150
5548-switch(config-if)# switchport mode trunk
5548-switch(config-if)# vpc peer-link
5548-switch(config-if)# no shut

VSAN配置

5548-switch-A # configure terminal
5548-switch-A(config)# vsan database
5548-switch-A(config-vsan-db)#vsan 100
5548-switch-A(config)#exit

5548-switch-A(config)#vlan 100
5548-switch-A(config-vlan)#fcoe vsan 100

5548-switch-B # configure terminal
5548-switch-B(config)#vsan database
5548-switch-B(config-vsan-db)#vsan 200
5548-switch-B(config)#exit

5548-switch-B(config)#vlan 200
5548-switch-B(config-vlan)#fcoe vsan 200

第2步：配置UCS伺服器和VIC介面卡

在UCS伺服器上配置VIC介面卡。以下過程介紹了如何將此配置應用到所有Cisco VIC（P81E或VIC 1225或VIC 1225T）介面卡：

  1. 使用Host Update Utility將伺服器硬體元件的韌體更新為最新版本。請務必更新VIC韌體。
  2. 預設情況下，VIC介面卡在經典乙太網(CE)模式下運行，配置有兩個虛擬網路介面控制器(vNIC)和兩個vHBA。這些vNIC和vHBA中的每個vNIC都固定到上行鏈路DCE物理介面；即，fc0固定至上行DCE埠0,fc1固定至介面卡的上行DCE埠1:

    117280-config-fcoe-01.png
  3. 開啟伺服器電源，注意VIC介面卡詳細資訊已填寫在「清單」部分。
  4. 按一下vHBAs頁籤，然後選擇一個vHBA介面（fc0或fc1）。
  5. 按一下「屬性」，然後在VIC介面卡上配置FCoE屬性。確保在Default VLAN（預設VLAN）文本字段中定義FCoE VLAN ID:

    117280-config-fcoe-02.png

    如果計畫從SAN啟動，請選中FC SAN Boot覈取方塊，並將目標WWPN新增到啟動表中：

    117280-config-fcoe-03.png
  6. 重新啟動伺服器以使配置更改生效。

步驟3:為不同拓撲配置Nexus 5K交換機

伺服器可以部署為三種拓撲中的一種。本節介紹如何根據您的拓撲配置Nexus 5K交換機。

所有三種拓撲的通用配置准則如下：

  1. 虛擬光纖通道(VFC)介面繫結到埠通道的成員埠（物理乙太網介面）。
  2. 交換機埠處於中繼模式，FCoE VLAN配置為非本地VLAN。
  3. 交換機埠的生成樹型別被配置為作為邊緣中繼連線到伺服器。

本文檔提供交換矩陣A的配置示例；您應在交換矩陣B的另一台交換機上執行類似的配置。

拓撲1:CNA埠直接連線到Nexus 5K交換機

概觀

在此場景中，Nexus 5K交換機位於vPC中，伺服器CNA埠直接連線到兩台Nexus 5K交換機。以下過程介紹了此拓撲的配置：

  1. 將乙太網介面與新的埠通道介面關聯。
  2. 將埠通道配置為帶有FCoE VLAN標籤的中繼，並將埠通道與vPC ID相關聯。
  3. 建立VFC介面，並將其繫結到埠通道成員（乙太網介面）。
  4. 將VFC介面與相應的VSAN ID關聯。有關步驟1-4的示例，請參閱Nexus 5K交換機一端的配置示例。
  5. 重複步驟1-4以配置Nexus 5K交換機的B端。
  6. 驗證設定.

117280-config-fcoe-04.png

Nexus 5K交換機一端的示例配置

N5548UP-A(config)# int eth 1/1
N5548UP-A(config-if)# channel-group 1
N5548UP-A(config-if)# no shut
N5548UP-A(config-if)# exit
N5548UP-A# configure terminal 
N5548UP-A(config)# interface port-channel 1
N5548UP-A(config-if)# switchport mode trunk
N5548UP-A(config-if)# switchport trunk native vlan 10
N5548UP-A(config-if)# switchport trunk allowed vlan 10,100
N5548UP-A(config-if)# spanning-tree port type edge trunk
N5548UP-A(config-if)# vpc 1
N5548UP-A(config-if)# no shut
N5548UP-A(config-if)# exit
N5548UP-A(config)# int vfc 1
N5548UP-A(config-if)# bind interface ethernet 1/1
N5548UP-A(config-if)# switchport trunk allowed vsan 100
N5548UP-A(config-if)# no shut
N5548UP-A(config-if)# exitN5548UP-A(config)# vsan database
N5548UP-A(config-vsan-db)# vsan 100 interface vfc 1
N5548UP-A(config-vsan-db)# end

驗證

N5548UP-A# show run int port-channel 1 membership

interface port-channel 1
 switchport mode trunk
 switchport trunk native vlan 10
 switchport trunk allowed vlan 10,100
 spanning-tree port type edge trunk
 speed 10000
 vpc 1
 interface Ethernet1/1
 switchport mode trunk
 switchport trunk native vlan 10
 switchport trunk allowed vlan 10,100
 channel-group 1
 
N5548UP-A# show run int vfc 1
interface vfc1
 bind interface Ethernet1/1
 switchport trunk allowed vsan 100
 no shutdown

拓撲2:FEX以直通模式連線到Nexus 5K交換機，CNA連線到FEX埠

概觀

在此場景中，FEX以直通模式連線到Nexus 5K交換機，CNA連線到FEX埠。以下過程介紹了此拓撲的配置：

直通FEX配置:

  1. 分配FEX ID。
  2. 將乙太網介面與新的埠通道介面ID關聯，並使用FEX交換矩陣引數配置新的埠通道。有關步驟1-2的示例，請參閱示例配置。

    主機vPC配置:

  3. 將FEX主機介面(HIF)與新的埠通道介面ID關聯，並配置埠通道引數。
  4. 將HIF埠通道關聯到vPC介面。
  5. 建立VFC介面，並將其繫結到主機埠通道的成員（乙太網）埠。有關步驟3-5的示例，請參閱主機vPC配置。
  6. 驗證設定.

在Nexus 5K交換機的B端重複步驟1-4，並在HIF埠通道下使用相同的vPC介面號。

117280-config-fcoe-05.png

示例配置

N5548UP-A# configure terminal 
N5548UP-A(config)# fex 101
N5548UP-A(config-fex)# exit

N5548UP-A(config)# interface ethernet 1/5 - 6
N5548UP-A(config-if-range)# channel-group 210
N5548UP-A(config-if-range)#no shut
N5548UP-A(config-if-range)# exit

N5548UP-A(config)# interface port-channel 210
N5548UP-A(config-if)# switchport mode fex-fabric
N5548UP-A(config-if)# fex associate 101 
N5548UP-A(config-if)#no shut
N5548UP-A(config-if)# exit

主機vPC配置

<---Create HIF port-channel-->

N5548UP-A(config-if)# interface ethernet 101/1/1
N5548UP-A(config-if)# channel-group 1
N5548UP-A(config-if)# no shut
N5548UP-A(config-if)# exit

<---Configure port-channel parameters-->

N5548UP-A(config)# interface port-channel 1
N5548UP-A(config-if)#switchport mode trunk
N5548UP-A(config-if)# switchport trunk native vlan 10
N5548UP-A(config-if)# switchport trunk allowed vlan 10,100
N5548UP-A(config-if)# spanning-tree port type edge trunk 
N5548UP-A(config-if)# vpc 10
N5548UP-A(config-if)# no shut
N5548UP-A(config-if)# exit

<---Create vfc interfvace and bind to port-channel (Ethernet interface)-->

N5548UP-A(config)# int vfc 1
N5548UP-A(config-if)# bind interface ethernet 101/1/1
N5548UP-A(config-if)# switchport trunk allowed vsan 100
N5548UP-A(config-if)# no shut
N5548UP-A(config-if)# exit

<---Associate vfc interface to corresponding VSAN ID-->

N5548UP-A(config)# vsan database
N5548UP-A(config-vsan-db)# vsan 100 interface vfc 1
N5548UP-A(config-vsan-db)# end

驗證

N5548UP-A# show run int port-channel 210 membership

interface port-channel210
 switchport mode fex-fabric
 fex associate 101

interface Ethernet1/5
 switchport mode fex-fabric
 fex associate 101
 channel-group 210

interface Ethernet1/6
 switchport mode fex-fabric
 fex associate 101
 channel-group 210

N5548UP-A# show int fex
 Fabric Fabric Fex FEX 
Fex Port Port State Uplink Model Serial 
---------------------------------------------------------------
101 Eth1/5 Active 1 N2K-C2232PP-10GE SSI142602QN
101 Eth1/6 Active 2 N2K-C2232PP-10GE SSI142602QN

N5548UP-A# show run int port-channel 1 membership

interface port-channel 1
 switchport mode trunk
 switchport trunk native vlan 10
 switchport trunk allowed vlan 10,100
 spanning-tree port type edge trunk
 speed 10000
 vpc 10

interface Ethernet101/1/1
 switchport mode trunk
 switchport trunk native vlan 10
 switchport trunk allowed vlan 10,100
 channel-group 1

N5548UP-A# show run int vfc 1
interface vfc1
 bind interface Ethernet101/1/1
 switchport trunk allowed vsan 100
 no shutdown

拓撲3:在增強型vPC模式下連線到Nexus 5K交換機的FEX以及連線到FEX埠的CNA

概觀

在此場景中，FEX以增強型vPC模式連線到Nexus 5K交換機，CNA連線到FEX埠。

SAN交換矩陣A流量(FCoE VLAN 100)與Nexus 5K交換機的FEX 101/A端相關聯。SAN交換矩陣B流量(FCoE VLAN 200)與Nexus 5K交換機的FEX 102 / B端相關聯。

對於雙成員主機埠通道，必須在兩台Nexus 5K交換機上的兩台FEX裝置上配置HIF埠；也就是說，總共需要四個HIF埠配置。

以下過程介紹了此拓撲的配置：

活動 — 活動FEX配置:

  1. 分配FEX ID。
  2. 在每個Nexus 5K交換機上的單個FEX下新增「fcoe」關鍵字，以啟用SAN交換矩陣隔離。
  3. 建立FEX交換矩陣埠通道。
  4. 對同一Nexus 5K交換機上的其他FEX重複步驟1和3。
  5. 在Nexus 5K交換機的B端重複步驟1-4。如需範例，請參閱Nexus 5K交換器B側FEX 102上的Active - Active FEX Configuration和FCoE Keyword。

    主機vPC配置:

  6. 建立埠通道介面，並配置必要的VLAN。
  7. 在兩個FEX上配置HIF埠（連線到CNA的FEX介面），並允許FCoE VLAN和乙太網VLAN，然後將HIF埠與步驟6中建立的主機埠通道ID相關聯。
  8. 建立VFC介面，並將其繫結到主機埠通道的成員（乙太網）埠。
  9. 在Nexus 5K交換機的B端重複步驟6-8，並使用相同的主機埠通道介面ID。有關示例，請參見主機vPC配置。

    VFC介面配置:

  10. 建立VC介面，並將其繫結到埠通道成員(HIF)埠。
  11. 將VFC介面分配給適當的VSAN。
  12. 在Nexus 5K交換機的B端重複步驟10-11。有關示例，請參見VFC Configuration。
  13. 驗證設定.

117280-config-fcoe-06.png

活動 — 活動FEX配置

N5548UP-A# configure terminal 
N5548UP-A(config)# fex 101
N5548UP-A(config-fex)# fcoe
N5548UP-A(config-fex)# exit

N5548UP-A(config)# interface ethernet 1/3 - 4
N5548UP-A(config-if-range)# channel-group 201
N5548UP-A(config-if-range)#no shut
N5548UP-A(config-if-range)# exit
N5548UP-A(config)# interface port-channel 201
N5548UP-A(config-if)# switchport mode fex-fabric
N5548UP-A(config-if)# fex associate 101 
N5548UP-A(config-if)# vpc 201
N5548UP-A(config-if)#no shut
N5548UP-A(config-if)# exit

N5548UP-A# configure terminal 
N5548UP-A(config)# fex 102
N5548UP-A(config-fex)# exit

N5548UP-A(config)# interface ethernet 1/5 - 6
N5548UP-A(config-if-range)# channel-group 202
N5548UP-A(config-if-range)#no shut
N5548UP-A(config-if-range)# exit

N5548UP-A(config)# interface port-channel 202
N5548UP-A(config-if)# switchport mode fex-fabric
N5548UP-A(config-if)# fex associate 102 
N5548UP-A(config-if)# vpc 202
N5548UP-A(config-if)#no shut
N5548UP-A(config-if)# exit

Nexus 5K交換機B側FEX 102上的FCoE關鍵字

N5548UP-B# configure terminal 
N5548UP-B(config)# fex 102
N5548UP-B(config-fex)# fcoe
N5548UP-B(config-fex)# exit

主機vPC配置

N5548UP-A(config-if)# interface ethernet 101/1/1
N5548UP-A(config-if)# channel-group 1
N5548UP-A(config-if)# no shut
N5548UP-A(config-if)# exit

N5548UP-A(config)# interface ethernet 102/1/1
N5548UP-A(config-if)# channel-group 1
N5548UP-A(config-if)# no shut
N5548UP-A(config-if)# exit

N5548UP-A(config)# interface port-channel 1
N5548UP-A(config-if)#switchport mode trunk
N5548UP-A(config-if)# switchport trunk native vlan 10
N5548UP-A(config-if)# switchport trunk allowed vlan 10,100
N5548UP-A(config-if)# spanning-tree port type edge trunk 
N5548UP-A(config-if)# no shut
N5548UP-A(config-if)# exit

VFC配置

<---Create vfc interface and bind to port-channel member (ethernet interface)-->

N5548UP-A(config)# int vfc 1
N5548UP-A(config-if)# bind interface ethernet 101/1/1
N5548UP-A(config-if)# switchport trunk allowed vsan 100
N5548UP-A(config-if)# no shut
N5548UP-A(config-if)# exit

<---Associate vfc interface to corresponding VSAN ID-->

N5548UP-A(config)# vsan database
N5548UP-A(config-vsan-db)# vsan 100 interface vfc 1
N5548UP-A(config-vsan-db)# end

驗證

N5548UP-A# show fex
 FEX FEX FEX FEX 
Number Description State Model Serial 
------------------------------------------------------------------------
101 FEX0101 Online N2K-C2232PP-10GE SSI142602QN
102 FEX0102 Online N2K-C2232PP-10GE SSI14260EVV

N5548UP-A# show interface fex
 Fabric Fabric Fex FEX 
Fex Port Port State Uplink Model Serial 
---------------------------------------------------------------
101 Eth1/3 Active 2 N2K-C2232PP-10GE SSI142602QN
102 Eth1/4 Active 1 N2K-C2232PP-10GE SSI14260EVV

N5548UP-A# show fex 101 detail 
FEX: 101 Description: FEX0101 state: Online
 FEX version: 6.0(2)N2(1) [Switch version: 6.0(2)N2(1)]
 FEX Interim version: 6.0(2)N2(1)
 Switch Interim version: 6.0(2)N2(1)
 Extender Serial: SSI142602QN
 FCoE Admin: true
 FCoE Oper: true
 FCoE FEX AA Configured: true

N5548UP-A# show run interface port-channel 1 membership

interface port-channel1
 switchport mode trunk
 switchport trunk native vlan 10
 switchport trunk allowed vlan 10,100
 spanning-tree port type edge trunk
 speed 10000

interface Ethernet102/1/1
 switchport mode trunk
 switchport trunk native vlan 10
 switchport trunk allowed vlan 10,100
 spanning-tree port type edge trunk
 channel-group 1

interface Ethernet101/1/1
 switchport mode trunk
 switchport trunk native vlan 10
 switchport trunk allowed vlan 10,100
 spanning-tree port type edge trunk
 channel-group 1

N5548UP-A# show int vfc 1
vfc1 is trunking
 Bound interface is Ethernet101/1/1
 Port WWN is 20:00:54:7f:ee:e1:6a:bf
 Admin port mode is F, trunk mode is on
 Port mode is TF
 Port vsan is 100
 Trunk vsans (admin allowed and active) (100)
 Trunk vsans (up) (100)
 Trunk vsans (isolated) ()
 Trunk vsans (initializing) ()

N5548UP-A# show run int port-channel 201 membership

interface port-channel201
 switchport mode fex-fabric
 fex associate 101
 vpc 201

interface Ethernet1/3
 switchport mode fex-fabric
 fex associate 101
 channel-group 201

interface Ethernet1/4
 switchport mode fex-fabric
 fex associate 101
 channel-group 201

N5548UP-A# show run int port-channel 202 membership

interface port-channel202
 switchport mode fex-fabric
 fex associate 102
 vpc 202

interface Ethernet1/5
 switchport mode fex-fabric
 fex associate 102
 channel-group 202

interface Ethernet1/6
 switchport mode fex-fabric
 fex associate 102
 channel-group 202

當VIC韌體成功檢測LUN並更新啟動表時，從伺服器啟動序列中拍攝的此螢幕將驗證交換機配置：

117280-config-fcoe-07.png

驗證

驗證程式包括在配置示例中。

疑難排解

本節提供的資訊可用於對組態進行疑難排解。

執行以下檢查以確定VFC是否啟動：

  1. 驗證對映到vHBA的介面卡埠之間的電纜連線是否正確，以及Nexus 5K交換機埠是否具有必要的VSAN。
  2. 確保介面未被管理性關閉。
  3. 驗證在受VFC限制的乙太網介面上配置了FCoE VLAN。

使用以下命令驗證設定：

  • show run fcoe
  • show vsan
  • show vlan fcoe
  • show interface vfc ID
  • show vpc
  • show flogi database

相關資訊

修訂記錄

修訂 發佈日期 意見
1.0
25-Mar-2014
初始版本
TAC Authored

由思科工程師貢獻

  • Padmanabhan
    Cisco TAC Engineer.

這份文件是否有所幫助？

Feedback意見

讓思科協助您

本文件適用於這些產品