使用VPC和NetApp儲存配置FlexPod和FCoE

簡介

本文檔介紹在NetApp儲存中實現乙太網光纖通道(FCoE)的虛擬埠通道(VPC)配置中的Nexus 5000。

必要條件

需求

思科建議您瞭解統一計算系統(UCS)和Nexus 5000。

採用元件

本文中的資訊係根據以下軟體和硬體版本：

• 2個Nexus 5548 — 運行NXOS 5.2。稱為bdsol-n5548-05和–06-。
• 2個UCS 6248交換矩陣互聯(FI) — 運行2.2軟體。稱為bdsol-6248-03-、A和B。
• 2x NetApp 3220 — 運行版本8.1。稱為bdsol-3220-01-,A和B

本文中的資訊是根據特定實驗室環境內的裝置所建立。文中使用到的所有裝置皆從已清除（預設）的組態來啟動。如果您的網路運作中，請確保您瞭解任何指令可能造成的影響。

背景資訊

本文檔介紹如何在NetApp儲存中配置虛擬埠通道(VPC)配置中的Nexus 5000交換機，以便實現乙太網光纖通道(FCoE)。

組態

網路圖表

本文檔中的所有圖都是使用App Diagrams建立的。

物理網路

此配置旨在作為簡單參考。它利用單個鏈路，即使提到的埠通道可以輕鬆地擴展為更多的鏈路，以提供更多的頻寬。 

在UCS FI和Nexus 5000之間，每端只有一條鏈路。 在每個Nexus 5000和每個NetApp之間還有一個繫結到關聯VPC的連結。

邏輯VSAN檢視

在這種情況下，VSAN 70用於交換矩陣的左側，VSAN 80用於右側。 VLAN 970和980分別是FCoE VLAN。

平台配置

這一設定的大部分複雜性都集中在Nexus 5000平台上。UCS和NetApp配置非常簡單。

Nexus 5000

此配置與Nexus 5000 NPIV FCoE和FCoE NPV連線UCS配置示例有許多相似之處。

啟用功能

在兩台Nexus 5000上：

feature npiv
feature fcoe
feature lacp

建立虛擬儲存區域網路(VSAN)

bdsol-n5548-05

vsan database
 vsan 70

bdsol-n5548-06

vsan database
 vsan 80 

新增新的VLAN以傳輸FCoE流量

bdsol-n5548-05

vlan 970
  fcoe vsan 70

bdsol-n5548-06

vlan 980
  fcoe vsan 80

物理連線配置

這種型別的配置允許將FCoE和另一個VLAN承載在單個中繼中。在本例中，VPC承載VLAN 3380，在NetApp端配置為網路檔案系統(NFS)VLAN（如後所述）。

配置取自bdsol-n5548-05。

將VPC配置為NetApp-B:

interface Ethernet1/5
 switchport mode trunk
 switchport trunk allowed vlan 970,3380
 spanning-tree port type edge trunk
 channel-group 105 mode active

interface port-channel105
 switchport mode trunk
 switchport trunk allowed vlan 970,3380
 vpc 105

將VPC配置為NetApp-A:

interface Ethernet1/6
 switchport mode trunk
 switchport trunk allowed vlan 970,3380
 spanning-tree port type edge trunk
 channel-group 106 mode active

interface port-channel106
 switchport mode trunk
 switchport trunk allowed vlan 970,3380
 vpc 106

配置通向UCS的埠通道：

interface Ethernet1/3
 switchport mode trunk
 switchport trunk allowed vlan 970
 spanning-tree port type edge trunk
 spanning-tree bpdufilter enable
 channel-group 103 mode active

interface port-channel103
 switchport mode trunk
 switchport trunk allowed vlan 970

此配置反映在bdsol-n5548-06交換機上。唯一的區別是VLAN 980以TRUNK而不是970傳輸。

建立和繫結VSAN配置

現在配置了物理連線，新配置的虛擬光纖通道(VFC)介面必須繫結到之前建立的埠通道。 

註：此配置適用於UCS在交換矩陣終端主機模式下運行時，而不是光纖通道(FC)交換。在UCS上運行FC交換模式時，切記將VFC模式從預設中繼交換矩陣(TF)更改為中繼E_port(TE)。

NetApp的bdsol-n5548-05配置：

interface vfc105
 bind interface port-channel105
 switchport trunk allowed vsan 70
 no shutdown

interface vfc106
 bind interface port-channel106
 switchport trunk allowed vsan 70
 no shutdown

UCS的bdsol-n5548-05 FCoE配置：

interface vfc103
 bind interface port-channel103
 switchport trunk allowed vsan 70
 no shutdown

如本文檔的簡介所述，此配置描述了UCS和Nexus交換機之間的埠通道中的單個鏈路。它僅供參考，可以擴展到其他連結。

之前的配置反映在bdsol-n5548-06上。唯一的更改是使用VSAN 80而不是VSAN 70。

對等連結連線埠通道

在此配置中，交換矩陣的每一端只有一個FCoE VLAN。VLAN無法在Nexus 5000之間建立中繼。

根據配置標準和最佳實踐，可通過以下方式完成此操作：

• 沒有其他更改 — 由於不是在兩個Nexus 5000上建立VLAN，因此它們不能建立中繼。這些VLAN顯示在「Vlan Err-disabled on Trunk」下。
• 通過switchport trunk allowed vlan except命令從中繼中刪除VLAN。
• 明確提及允許哪些VLAN — 請勿提及FCoE VLAN。

將VFC新增到VSAN資料庫

新配置的VFC將新增到VSAN資料庫中。

bdsol-n5548-05:

vsan database
 vsan 70 interface vfc103
 vsan 70 interface vfc105
 vsan 70 interface vfc106

bdsol-n5548-06:

vsan database
 vsan 80 interface vfc103
 vsan 80 interface vfc105
 vsan 80 interface vfc106

服務品質(QoS)組態

此配置有一個簡單的QoS配置檔案，用作參考。

要啟用優先順序流控制(PFC)（它允許FCoE所需的無損失傳輸），QoS配置需要匹配。

這種情況下只使用兩個類。一個用於FC/FCoE，一個用於NFS流量，允許巨型幀。

bdsol-n5548-05# show running-config ipqos

class-map type qos class-fcoe

class-map type queuing class-fcoe
 match qos-group 1

class-map type network-qos class-fcoe
 match qos-group 1

policy-map type network-qos jumbo
 class type network-qos class-fcoe
  pause no-drop
  mtu 2158
 class type network-qos class-default
  mtu 9216
  multicast-optimize
system qos
 service-policy type network-qos jumbo
 service-policy type queuing input fcoe-default-in-policy
 service-policy type queuing output fcoe-default-out-policy
 service-policy type qos input fcoe-default-in-policy

UCS管理器

有關說明如何設定FCoE上行鏈路的分步指南，請參閱UCS FCoE上行鏈路配置示例。

如前所述，在此示例中，只使用單個鏈路，但是此配置可以擴展到埠通道中的多個鏈路。

埠通道配置

上一個示例顯示了UCS的視點。交換矩陣的每一端都有一個連線埠通道，編號為2（基於連線埠乙太網路1/21）。

在此示例中，僅存在的VSAN是70和80，因此可以安全地假設它們是中繼的。

bdsol-6248-03-A(nxos)# show vlan fcoe 

Original VLAN ID        Translated VSAN ID      Association State
----------------        ------------------      -----------------

      970                       70               Operational
      4048                      1                Operational


interface Ethernet1/21
 description UF: UnifiedUplink
 pinning border
 switchport mode trunk
 switchport trunk native vlan 4049
 switchport trunk allowed vlan 1,970,4048-4049
 udld disable
 channel-group 2 mode active
 no shutdown


interface port-channel2
 description UF: UnifiedUplink
 switchport mode trunk
 switchport trunk native vlan 4049
 switchport trunk allowed vlan 1,970,4048-4049
 pinning border
 speed 10000

VLAN 970通過埠通道2建立中繼。

QoS配置

如前所述，在Nexus 5000上的QoS配置中，端到端QoS配置允許PFC工作。

在此示例中，僅啟用兩個類。承載巨型幀(MTU 9216)的預設類和FC類。

這與前面的步驟中的Nexus端配置相匹配。其他類存在，但未啟用。

NetApp

在此示例中，NetApp以7模式運行。 有關如何設定NetApp端的分步指南可在NetApp儲存部署指南中找到。

授權

必須至少存在FCP(FC/FCoE)許可證，才能使FCoE正常工作。

組態

無需在NetApp的任何位置新增FCoE VLAN。它們是在FCoE協商的VLAN發現階段發現的。

如前所述，在Nexus 5000配置期間，NFS也通過相同的上行鏈路處理。

bdsol-3220-01-A> rdfile /etc/rc
ifgrp create lacp dvif -b ip e1a e1b
vlan create dvif 3380
ifconfig e0M `hostname`-e0M flowcontrol full netmask 255.255.255.128 partner
 e0M mtusize 1500
ifconfig dvif-3380 `hostname`-dvif-3380 netmask 255.255.255.0 partner dvif-3380
 mtusize 9000 trusted 
route add default 10.48.43.100 1
routed on

組態顯示，LACP portchannel(ifgroup)從介面e1a和e1b建立，且已新增VLAN 3380的虛擬介面。 

GUI中的相同組態顯示： 

介面群組組態 

bdsol-3220-01-A> ifgrp status
default: transmit 'IP Load balancing', Ifgrp Type 'multi_mode', fail 'log'
dvif: 2 links, transmit 'IP Load balancing', Ifgrp Type 'lacp' fail 'default'
  Ifgrp Status Up Addr_set 
 up:
 e1a: state up, since 28Sep2014 00:48:23 (142+11:23:01)
  mediatype: auto-10g_twinax-fd-up
  flags: enabled
  active aggr, aggr port: e1b
  input packets 766192514, input bytes 2560966346135
  input lacp packets 410301, output lacp packets 410438
  output packets 615632, output bytes 81875375
  up indications 9, broken indications 5
  drops (if) 0, drops (link) 1
  indication: up at 28Sep2014 00:48:23
  consecutive 0, transitions 14
 e1b: state up, since 28Sep2014 00:48:22 (142+11:23:02)
  mediatype: auto-10g_twinax-fd-up
  flags: enabled
  active aggr, aggr port: e1b
  input packets 246965410, input bytes 702882508932
  input lacp packets 410301, output lacp packets 410442
  output packets 615646, output bytes 81876343
  up indications 9, broken indications 5
  drops (if) 0, drops (link) 2
  indication: up at 28Sep2014 00:48:22
  consecutive 0, transitions 15

驗證

注意：只有註冊的思科使用者才能訪問內部思科工具和資訊。

使用本節內容，確認您的組態是否正常運作。 Cisco CLI Analyzer支援某些 show 指令。使用 Cisco CLI Analyzer 檢視 show 指令輸出的分析。

本文檔的驗證和故障排除部分圍繞Nexus 5000交換機為中心，因為它們是此配置的中心。 

檢查VFC介面的狀態

bdsol-n5548-05# show int vfc 105
vfc105 is trunking
 Bound interface is port-channel105
 Hardware is Ethernet 
 Port WWN is 20:68:00:2a:6a:28:68:7f
 Admin port mode is F, trunk mode is on
 snmp link state traps are enabled
 Port mode is TF
 Port vsan is 70
 Trunk vsans (admin allowed and active) (70)
 Trunk vsans (up) (70)
 Trunk vsans (isolated) ()
 Trunk vsans (initializing) ()
 1 minute input rate 0 bits/sec, 0 bytes/sec, 0 frames/sec
 1 minute output rate 0 bits/sec, 0 bytes/sec, 0 frames/sec
 65 frames input, 6904 bytes
 0 discards, 0 errors
 65 frames output, 9492 bytes
 0 discards, 0 errors

先前的輸出顯示，VSAN 70已啟動，在VFC上建立中繼，並且確實在預期模式(TF)下運行。

驗證NetApp和UCS已登入到交換矩陣 

檢查交換機上的浮點資料庫。

bdsol-n5548-05# show flogi database 
--------------------------------------------------------------------------------
INTERFACE        VSAN    FCID           PORT NAME               NODE NAME       
--------------------------------------------------------------------------------
vfc103           70    0xa00020  22:c8:54:7f:ee:f2:d6:bf 20:46:54:7f:ee:f2:d6:81
vfc105           70    0xa00000  50:0a:09:81:98:fd:66:a5 50:0a:09:80:88:fd:66:a5
                           [bdsol-3220-01-B-1a]
vfc106           70    0xa00001  50:0a:09:81:88:fd:66:a5 50:0a:09:80:88:fd:66:a5
                           [bdsol-3220-01-A-1a]

上一個輸出顯示每個VFC都有一個裝置登入。這是在一個非常基本的設定中預期的。

如果有疑問，您可以檢查UCS一端的狀態。在終端主機模式下，可以使用NPV裝置。

bdsol-6248-03-A(nxos)# show npv status
npiv is enabled
disruptive load balancing is disabled
External Interfaces:
====================
Interface: vfc713, State: Trunking
 VSAN: 1, State: Waiting For VSAN Up
 VSAN: 70, State: Up, FCID: 0xa00020

註:NPV中的FCID(0xa00020)與Nexus交換機看到的值相匹配。

VSAN1未在TRUNK上運行或未配置，因此可以將其忽略。以下是在UCS上驗證VFC 713。

bdsol-6248-03-A(nxos)# show interface vfc 713
vfc713 is trunking (Not all VSANs UP on the trunk)
 Bound interface is port-channel2
 Hardware is Ethernet 
 Port WWN is 22:c8:54:7f:ee:f2:d6:bf
 Admin port mode is NP, trunk mode is on
 snmp link state traps are enabled
 Port mode is TNP
 Port vsan is 1
 Trunk vsans (admin allowed and active) (1,70)
 Trunk vsans (up) (70)
 Trunk vsans (isolated) ()
 Trunk vsans (initializing) (1)
 1 minute input rate 2523680 bits/sec, 315460 bytes/sec, 163 frames/sec
 1 minute output rate 1114056 bits/sec, 139257 bytes/sec, 69 frames/sec
 134861480 frames input, 159675768364 bytes
 0 discards, 0 errors
 405404675 frames output, 792038498124 bytes
 0 discards, 0 errors

此輸出顯示VSAN 70已啟動，該埠在NPV模式(NP)下的節點埠中運行。這是預期結果，因為UCS在終端主機模式下運行。

NetApp

如前所述，此安裝程式在7模式下運行。cluster mode命令可以不同。

介面上的FCP狀態如下：

bdsol-3220-01-A> fcp topology show
Switches connected on adapter 1a:

   Switch Name: bdsol-n5548-05
 Switch Vendor: Cisco Systems, Inc.
Switch Release: 5.2(1)N1(1b)
 Switch Domain: 160
    Switch WWN: 20:46:00:2a:6a:28:68:41
    Port Count: 5
(...)

Switches connected on adapter 1b:

   Switch Name: bdsol-n5548-06
 Switch Vendor: Cisco Systems, Inc.
Switch Release: 5.2(1)N1(1b)
 Switch Domain: 35
    Switch WWN: 20:50:00:2a:6a:28:6e:41
    Port Count: 5

疑難排解

本節提供的資訊可用於對組態進行疑難排解。 Cisco CLI Analyzer支援某些 show 指令。使用 Cisco CLI Analyzer 檢視 show 指令輸出的分析。

注意：只有註冊的思科使用者才能訪問內部工具和資訊。

已配置的功能

檢查以確保啟用所有必需的功能。

bdsol-n5548-05# show feature | i npiv|fcoe|lacp
 fcoe 1 enabled 
 fcoe-npv 1 disabled
 lacp 1 enabled 
 npiv 1 enabled 

VLAN和VSAN配置

檢查FCoE VLAN是否存在及其傳送位置。

show vlan fcoe
show vlan id X

交換矩陣左側的示例如下所示：

bdsol-n5548-05# show vlan fcoe 
Original VLAN ID        Translated VSAN ID      Association State
----------------        ------------------      -----------------
      970                       70               Operational

bdsol-n5548-05# show vlan id 970
VLAN Name                             Status    Ports
---- -------------------------------- --------- -------------------------------
970  VLAN0970                         active    Po1, Po103, Po105, Po106, Po107
                                                Po202, Po203, Po204, Eth1/3
                                                Eth1/5, Eth1/6, Eth1/7, Eth1/8

VLAN 970存在，並中繼到配置中列出的埠，以及確認它承載VSAN 70。

生成樹和FCoE VLAN

FCoE VLAN是一種特殊情況，不能在生成樹中存在。

bdsol-n5548-05# show spanning-tree vlan 970
 Spanning tree instance(s) for vlan does not exist.

多生成樹(MST)和FCoE VLAN存在特殊情況。需要建立MST例項以承載FCoE VLAN，而不是其他VLAN。請參閱雙交換矩陣FCoE部署的MST例項。

VPC和FCoE VLAN

在上一個示例中，FCoE VLAN新增在VPC上，而VPC位於兩個不同的裝置上。每個VPC的中繼配置略有不同。

FCoE VLAN無法在VPC一致性檢查中顯示為允許的VLAN。 

bdsol-n5548-05# show vpc consistency-parameters vpc 105

    Legend:
        Type 1 : vPC will be suspended in case of mismatch

Name                        Type  Local Value            Peer Value             
-------------               ----  ---------------------- -----------------------
Shut Lan                    1     No                     No                    
STP Port Type               1     Default                Default               
STP Port Guard              1     None                   None                  
STP MST Simulate PVST       1     Default                Default               
lag-id                      1     [(1, 2-a0-98-40-ba-fa, [(1, 2-a0-98-40-ba-fa,
                                   1, 0, 0), (7f9b,       1, 0, 0), (7f9b,     
                                  0-23-4-ee-be-35, 8069, 0-23-4-ee-be-35, 8069,
                                   0, 0)]                 0, 0)]               
mode                        1     active                 active                
Speed                       1     10 Gb/s                10 Gb/s               
Duplex                      1     full                   full                  
Port Mode                   1     trunk                  trunk                 
Native Vlan                 1     1                      1                     
MTU                         1     1500                   1500                  
Admin port mode             1                                                  
Allowed VLANs               -     3380                   3380                  
Local suspended VLANs       -     -                      -                     

這是意料之中的。

為了檢驗FCoE VLAN是否已建立中繼，請檢驗每個介面的中繼。 

bdsol-n5548-05# show interface port-channel 105 trunk 

--------------------------------------------------------------------------------
Port          Native  Status        Port
              Vlan                  Channel
--------------------------------------------------------------------------------
Po105         1       trunking      --

--------------------------------------------------------------------------------
Port          Vlans Allowed on Trunk
--------------------------------------------------------------------------------
Po105         970,3380

--------------------------------------------------------------------------------
Port          STP Forwarding
--------------------------------------------------------------------------------
Po105         3380

如前所述，FCoE VLAN不參與生成樹，並且不可作為STP轉發VLAN檢視。但是它們可以顯示為中繼。 

優先順序流量控制狀態

優先順序流量控制對於FCoE的運行至關重要。為了使PFC正常運行，QoS配置必須端對端匹配。

若要確認每個介面的狀態：

bdsol-n5548-05# show interface ethernet 1/3 priority-flow-control 
============================================================
Port Mode Oper(VL bmap) RxPPP TxPPP 
============================================================
Ethernet1/3 Auto On (8) 2852 13240218

上一個輸出顯示，PFC可運作（開啟），且已接收和傳輸每優先順序暫停(PPP)訊框。

對於裝置範圍的檢視，管理員可以輸入show int priority-flow-control命令：

bdsol-n5548-05# show int priority-flow-control 
============================================================
Port Mode Oper(VL bmap) RxPPP TxPPP 
============================================================

Ethernet1/1 Auto Off 4 0 
Ethernet1/2 Auto Off 4 0 
Ethernet1/3 Auto On (8) 2852 13240218 
Ethernet1/5 Auto On (8) 0 0 
Ethernet1/6 Auto On (8) 0 0 
(...)

本文檔中概述的介面Ethernet 1/3、1/5和1/6啟用了PFC且運行正常。

VSAN成員資格

關聯的已配置VFC必須是正確的VSAN的一部分。此示例顯示已配置的虛擬介面是正確VSAN的一部分。

bdsol-n5548-05# show vsan membership 
vsan 1 interfaces:
    fc2/15           

vsan 70 interfaces:
    fc2/16            vfc103            vfc105            vfc106           

FCoE啟動 

FCoE發起協定要經過幾個步驟，才能建立終端主機和交換機之間的鏈路。 

需要記住的重要一點是，要正確啟動介面，需要執行如下圖所示的一些不同操作。 

enode是終端節點，而FCF是交換機。 

為了驗證來自其中一個裝置的步驟，可以使用fcoe_mgr（FCoE管理器）工具。 在本例中為vfc 105。 

bdsol-n5548-05# show platform software fcoe_mgr info interface vfc 105

vfc105(0x841e4c4), if_index: 0x1e000068, VFC RID vfc105 
 FSM current state: FCOE_MGR_VFC_ST_PHY_UP
 PSS Runtime Config:-
 Type: 3
 Bound IF: Po105
 FCF Priority: 128 (Global)
 Disable FKA: 0
 PSS Runtime Data:-
 IOD: 0x00000000, WWN: 20:68:00:2a:6a:28:68:7f
 Created at: Sat Sep 27 22:45:05 2014

FC Admin State: up
 Oper State: up, Reason: down
 Eth IF Index: Po105
 Port Vsan: 70
 Port Mode: F port
 Config Vsan: 70
 Oper Vsan: 70
 Solicits on vsan: 70
 Isolated Vsan: 
 FIP Capable ? : TRUE
 UP using DCBX ? : FALSE
 Peer MAC : 00:c0:dd:22:79:39
 PSS VN Port data:-
 FC ID 0xA00000 -
 vfc index 503316584 vfc name vfc105 
 vsan id 70 
 enode_mac 00:c0:dd:22:79:39
 vfc wwn 50:0a:09:81:98:fd:66:a5

輸出將繼續。

輸出包含一些有用的資訊。它驗證當前狀態，顯示VFC和portchannel之間的實際繫結以及VSAN上VFC的實際狀態。它顯示介面啟動之前圖中所示的不同狀態之間的轉換。執行VLAN發現，並接收和應答FIP請求，從而允許VFC啟動。

繼續以前的產出：

17) FSM:<vfc105> Transition at 554094 usecs after Sat Sep 27 22:48:06 2014
 Previous state: [FCOE_MGR_VFC_ST_PHY_UP]
 Triggered event: [FCOE_MGR_VFC_EV_BRING_UP]
 Next state: [FSM_ST_NO_CHANGE]

18) FSM:<vfc105> Transition at 685820 usecs after Sat Sep 27 22:48:07 2014
 Previous state: [FCOE_MGR_VFC_ST_PHY_UP]
 Triggered event: [FCOE_MGR_VFC_EV_FIP_VLAN_DISCOVERY]
 Next state: [FSM_ST_NO_CHANGE]

19) FSM:<vfc105> Transition at 686781 usecs after Sat Sep 27 22:48:07 2014
 Previous state: [FCOE_MGR_VFC_ST_PHY_UP]
 Triggered event: [FCOE_MGR_VFC_EV_FIP_SOLICITATION]
 Next state: [FSM_ST_NO_CHANGE]

 Curr state: [FCOE_MGR_VFC_ST_PHY_UP]

已知和常見問題

資料中心網路解決方案技術支援中心團隊認為的FCoE配置存在一些已知和常見的問題。

• Trunk協定 — 中繼協定需要啟用。

bdsol-n5548-05# show trunk protocol 

Trunk Protocol is enabled.

• 運行NX-OS 7.x軟體的NetApp 8.2.2和Nexus 5500/5600。在撰寫文檔時，這兩個版本之間存在一個已知問題，Cisco和NetApp正在對此進行調查。6.x和5.x版的NX-OS與NetApp 8.2.2配合使用效果良好。

相關資訊

• 介面模式（連線埠說明）
• 思科技術支援與下載