この製品のドキュメントセットは、偏向のない言語を使用するように配慮されています。このドキュメントセットでの偏向のない言語とは、年齢、障害、性別、人種的アイデンティティ、民族的アイデンティティ、性的指向、社会経済的地位、およびインターセクショナリティに基づく差別を意味しない言語として定義されています。製品ソフトウェアのユーザインターフェイスにハードコードされている言語、RFP のドキュメントに基づいて使用されている言語、または参照されているサードパーティ製品で使用されている言語によりドキュメントに例外が存在する場合があります。シスコのインクルーシブ ランゲージの取り組みの詳細は、こちらをご覧ください。
シスコは世界中のユーザにそれぞれの言語でサポート コンテンツを提供するために、機械と人による翻訳を組み合わせて、本ドキュメントを翻訳しています。ただし、最高度の機械翻訳であっても、専門家による翻訳のような正確性は確保されません。シスコは、これら翻訳の正確性について法的責任を負いません。原典である英語版(リンクからアクセス可能)もあわせて参照することを推奨します。
このドキュメントでは、Fibre Channel over Ethernet(FCoE)を実現するために、仮想ポートチャネル(VPC)構成のNexus 5000をNetAppストレージに接続する方法について説明します。
Cisco では、ユニファイド コンピューティング システム(UCS)と Nexus 5000 に関する知識があることを推奨します。
このドキュメントの情報は、次のソフトウェアとハードウェアのバージョンに基づいています。
このドキュメントの情報は、特定のラボ環境にあるデバイスに基づいて作成されました。このドキュメントで使用するすべてのデバイスは、クリアな(デフォルト)設定で作業を開始しています。本稼働中のネットワークでは、各コマンドによって起こる可能性がある影響を十分確認してください。
このドキュメントでは、Fibre Channel over Ethernet(FCoE)を実現するために、仮想ポートチャネル(VPC)設定でNetAppストレージにNexus 5000スイッチを設定する方法について説明します。
このドキュメントのすべてのダイアグラムは、アプリケーションダイアグラムを使用して作成されています。
この構成は、単純な参照用です。これは、上記のポート チャネルが複数の帯域幅を提供する複数のリンクで容易に拡張できるにもかかわらず、単一のリンクを使用します。
UCS FI と Nexus 5000 間では、それぞれの側に単一のリンクのみがあります。 各Nexus 5000と各NetAppの間には、関連付けられたVPCにバインドされたリンクも1つあります。
この場合、VSAN 70 はファブリックの左側に使用され、VSAN 80 は右側に使用されます。 それぞれ、VLANs 970 と 980 は FCoE VLAN です。
この設定の複雑さの大部分は Nexus 5000 プラットフォームに集中しています。UCS と NetApp の設定は非常に簡単です。
この設定は、Nexus 5000 と UCS 間の FCoE を使用した NPIV と NPV の設定例と多くの類似性があります。
機能の有効化
両方の Nexus 5000 上で:
feature npiv
feature fcoe
feature lacp
仮想ストレージ エリア ネットワーク(VSAN)の作成
bdsol-n5548-05
vsan database
vsan 70
bdsol-n5548-06
vsan database
vsan 80
Carry FCoE トラフィックへの新しい VLAN の追加
bdsol-n5548-05
vlan 970
fcoe vsan 70
bdsol-n5548-06
vlan 980
fcoe vsan 80
物理接続設定
この設定の種類により、単一のトランクで伝送された FCoE と別の VLAN を持つことができます。この場合、VPC は、後で参照できるように NetApp 側でネットワーク ファイル システム(NFS)VLAN として設定された VLAN 3380 を伝送します。
設定は bdsol-n5548-05 から取得されます。
NetApp-B に VPC を設定:
interface Ethernet1/5
switchport mode trunk
switchport trunk allowed vlan 970,3380
spanning-tree port type edge trunk
channel-group 105 mode active
interface port-channel105
switchport mode trunk
switchport trunk allowed vlan 970,3380
vpc 105
NetApp-A に VPC を設定:
interface Ethernet1/6
switchport mode trunk
switchport trunk allowed vlan 970,3380
spanning-tree port type edge trunk
channel-group 106 mode active
interface port-channel106
switchport mode trunk
switchport trunk allowed vlan 970,3380
vpc 106
UCS につながるポート チャネルを設定:
interface Ethernet1/3
switchport mode trunk
switchport trunk allowed vlan 970
spanning-tree port type edge trunk
spanning-tree bpdufilter enable
channel-group 103 mode active
interface port-channel103
switchport mode trunk
switchport trunk allowed vlan 970
この設定は bdsol-n5548-06 スイッチで反映されます。唯一の違いは、VLAN 980 はトランク内で伝送されますが、970 は伝送されないという点です。
VSAN 設定の作成とバインド
物理接続が設定されたので、新しく設定した仮想ファイバチャネル(VFC)インターフェイスを、以前に作成したポートチャネルにバインドする必要があります。
注:この設定は、UCSがファイバチャネル(FC)スイッチングではなく、ファブリックエンドホストモードで動作する場合に適用されます。UCS 上で FC スイッチング モードを実行する場合は、VFC モードをデフォルトの Trunking Fabric(TF)から Trunking E_port(TE)に変更するのを忘れないでください。
NetAppへのbdsol-n5548-05設定:
interface vfc105
bind interface port-channel105
switchport trunk allowed vsan 70
no shutdown
interface vfc106
bind interface port-channel106
switchport trunk allowed vsan 70
no shutdown
UCSへのbdsol-n5548-05 FCoE設定:
interface vfc103
bind interface port-channel103
switchport trunk allowed vsan 70
no shutdown
このドキュメントの冒頭で述べたように、この構成は、UCS と Nexus スイッチ間のポート チャネルの単一のリンクを示しています。これは参照のみに使用され、追加リンクに拡張できます。
以前の設定は、bdsol-n5548-06 で反映されます。唯一の変更は、VSAN 70 の代わりに VSAN 80 を使用するという点です。
ピア リンク ポート チャネル
この設定では、ファブリックの各サイドには 1 つのみの FCoE VLAN があります。Nexus 5000間でVLANをトランクすることはできません。
設定の標準規格とベスト プラクティスに基づいて、これは次によって完了できます。
VSAN データベースへの VFC の追加
新しく設定した VFC は、VSAN データベースに追加されます。
bdsol-n5548-05:
vsan database
vsan 70 interface vfc103
vsan 70 interface vfc105
vsan 70 interface vfc106
bdsol-n5548-06:
vsan database
vsan 80 interface vfc103
vsan 80 interface vfc105
vsan 80 interface vfc106
この設定には、参照用の単純なQoSプロファイルが含まれています。
FCoE で必要な無損失伝送を可能にするプライオリティ フロー制御(PFC)を有効にするために、QoS の設定が一致する必要があります。
この場合、2 つのクラスのみが使用されます。1 つは FC/FCoE で、1 つはジャンボ フレームを可能にする NFS トラフィックです。
bdsol-n5548-05# show running-config ipqos
class-map type qos class-fcoe
class-map type queuing class-fcoe
match qos-group 1
class-map type network-qos class-fcoe
match qos-group 1
policy-map type network-qos jumbo
class type network-qos class-fcoe
pause no-drop
mtu 2158
class type network-qos class-default
mtu 9216
multicast-optimize
system qos
service-policy type network-qos jumbo
service-policy type queuing input fcoe-default-in-policy
service-policy type queuing output fcoe-default-out-policy
service-policy type qos input fcoe-default-in-policy
FCoE アップリンクをセットアップする方法を示した手順の詳細については、『UCS FCoE Uplink Configuration Example』から確認できます。
前述したように、この例では1つのリンクだけが使用されますが、この設定は1つのポートチャネル内の複数のリンクに拡張できます。
ポート チャネル設定
前の例は、UCSの視点を示しています。ファブリックの両側には、ポート イーサネット1/21 に基づいて、ポート チャネル、番号 2 があります。
この例では、存在する VSAN は 70 と 80 のみであるため、それらがトランクされたものであると仮定されても安全です。
bdsol-6248-03-A(nxos)# show vlan fcoe
Original VLAN ID Translated VSAN ID Association State
---------------- ------------------ -----------------
970 70 Operational
4048 1 Operational
interface Ethernet1/21
description UF: UnifiedUplink
pinning border
switchport mode trunk
switchport trunk native vlan 4049
switchport trunk allowed vlan 1,970,4048-4049
udld disable
channel-group 2 mode active
no shutdown
interface port-channel2
description UF: UnifiedUplink
switchport mode trunk
switchport trunk native vlan 4049
switchport trunk allowed vlan 1,970,4048-4049
pinning border
speed 10000
VLAN 970 はポート チャネル 2.を介してトランクされます。
QoS の設定
前述のとおり、Nexus 5000 の QoS 設定で、エンドツーエンドの QoS 設定は PFC の動作を可能にします。
この例では、2つのクラスだけが有効になっています。ジャンボ フレーム(MTU 9216)を伝送するデフォルト クラスと、FC クラスです。
これは、前の手順の Nexus 側で設定した内容に一致します。他のクラスは存在しますが、有効になっていません。
この例では、NetApp は 7 モードで動作します。 NetApp 側のセットアップを行う方法に関する手順の詳細については、『NetApp Storage Deployment Guide』から確認できます。
ライセンス
FCoEを機能させるには、少なくともFCP(FC/FCoE)ライセンスが必要です。
コンフィギュレーション
FCoE VLAN は、NetApp 上に追加する必要はありません。FCoEネゴシエーションのVLANディスカバリステージで検出されます。
前述のとおり、Nexus 5000 の設定中、NFS は同じアップリンクによっても処理されます。
bdsol-3220-01-A> rdfile /etc/rc
ifgrp create lacp dvif -b ip e1a e1b
vlan create dvif 3380
ifconfig e0M `hostname`-e0M flowcontrol full netmask 255.255.255.128 partner
e0M mtusize 1500
ifconfig dvif-3380 `hostname`-dvif-3380 netmask 255.255.255.0 partner dvif-3380
mtusize 9000 trusted
route add default 10.48.43.100 1
routed on
この設定は、LACP PortChannel(ifgroup)がインターフェイスe1aおよびe1bから作成され、VLAN 3380の仮想インターフェイスが追加されたことを示しています。
GUI から同一設定は、次を示しています。
インターフェイス グループの設定
bdsol-3220-01-A> ifgrp status
default: transmit 'IP Load balancing', Ifgrp Type 'multi_mode', fail 'log'
dvif: 2 links, transmit 'IP Load balancing', Ifgrp Type 'lacp' fail 'default'
Ifgrp Status Up Addr_set
up:
e1a: state up, since 28Sep2014 00:48:23 (142+11:23:01)
mediatype: auto-10g_twinax-fd-up
flags: enabled
active aggr, aggr port: e1b
input packets 766192514, input bytes 2560966346135
input lacp packets 410301, output lacp packets 410438
output packets 615632, output bytes 81875375
up indications 9, broken indications 5
drops (if) 0, drops (link) 1
indication: up at 28Sep2014 00:48:23
consecutive 0, transitions 14
e1b: state up, since 28Sep2014 00:48:22 (142+11:23:02)
mediatype: auto-10g_twinax-fd-up
flags: enabled
active aggr, aggr port: e1b
input packets 246965410, input bytes 702882508932
input lacp packets 410301, output lacp packets 410442
output packets 615646, output bytes 81876343
up indications 9, broken indications 5
drops (if) 0, drops (link) 2
indication: up at 28Sep2014 00:48:22
consecutive 0, transitions 15
注:シスコの内部ツールおよび情報にアクセスできるのは、登録ユーザのみです。
このセクションでは、設定が正常に動作していることを確認します。 Cisco CLIアナライザ(登録ユーザ専用)では、特定のshowコマンドがサポートされています。show コマンド出力の分析を表示するには、Cisco CLI アナライザを使用します。
このドキュメントの「検証」と「トラブルシューティング」のセクションでは、Nexus 5000 スイッチを中心に置いており、それは Nexus 5000 スイッチがこの設定の中心であるためです。
bdsol-n5548-05# show int vfc 105
vfc105 is trunking
Bound interface is port-channel105
Hardware is Ethernet
Port WWN is 20:68:00:2a:6a:28:68:7f
Admin port mode is F, trunk mode is on
snmp link state traps are enabled
Port mode is TF
Port vsan is 70
Trunk vsans (admin allowed and active) (70)
Trunk vsans (up) (70)
Trunk vsans (isolated) ()
Trunk vsans (initializing) ()
1 minute input rate 0 bits/sec, 0 bytes/sec, 0 frames/sec
1 minute output rate 0 bits/sec, 0 bytes/sec, 0 frames/sec
65 frames input, 6904 bytes
0 discards, 0 errors
65 frames output, 9492 bytes
0 discards, 0 errors
上記の出力は、VSAN 70 が VFC 上で起動しトランクしていることと、正常モード:TF で確かに動作していることを示しています。
スイッチの flogi データベースを確認します。
bdsol-n5548-05# show flogi database
--------------------------------------------------------------------------------
INTERFACE VSAN FCID PORT NAME NODE NAME
--------------------------------------------------------------------------------
vfc103 70 0xa00020 22:c8:54:7f:ee:f2:d6:bf 20:46:54:7f:ee:f2:d6:81
vfc105 70 0xa00000 50:0a:09:81:98:fd:66:a5 50:0a:09:80:88:fd:66:a5
[bdsol-3220-01-B-1a]
vfc106 70 0xa00001 50:0a:09:81:88:fd:66:a5 50:0a:09:80:88:fd:66:a5
[bdsol-3220-01-A-1a]
上記の出力は、各 VFC に 1 つのログイン済みデバイスがあることを示しています。これは非常に基本的な設定で、正常です。
疑わしい点がある場合は、UCS 側の状態を確認できます。エンド ホスト モードで NPV 機能が使用できます。
bdsol-6248-03-A(nxos)# show npv status
npiv is enabled
disruptive load balancing is disabled
External Interfaces:
====================
Interface: vfc713, State: Trunking
VSAN: 1, State: Waiting For VSAN Up
VSAN: 70, State: Up, FCID: 0xa00020
注:NPVのFCID(0xa00020)は、Nexusスイッチで認識されるFCIDと一致します。
VSAN1 は、トランク上で起動も設定もされていないので、無視できます。UCS 上の 713 VFC の検証を次に示します。
bdsol-6248-03-A(nxos)# show interface vfc 713
vfc713 is trunking (Not all VSANs UP on the trunk)
Bound interface is port-channel2
Hardware is Ethernet
Port WWN is 22:c8:54:7f:ee:f2:d6:bf
Admin port mode is NP, trunk mode is on
snmp link state traps are enabled
Port mode is TNP
Port vsan is 1
Trunk vsans (admin allowed and active) (1,70)
Trunk vsans (up) (70)
Trunk vsans (isolated) ()
Trunk vsans (initializing) (1)
1 minute input rate 2523680 bits/sec, 315460 bytes/sec, 163 frames/sec
1 minute output rate 1114056 bits/sec, 139257 bytes/sec, 69 frames/sec
134861480 frames input, 159675768364 bytes
0 discards, 0 errors
405404675 frames output, 792038498124 bytes
0 discards, 0 errors
この出力は、VSAN 70 が起動し、ノード ポート内のポートが NPV モード(NP)で動作していることを示しています。これは、UCS が End Host ホスト モードで動作するため、正常です。
NetApp
前述のとおり、この設定は 7 モードで動作します。cluster modeコマンドは異なっていてもかまいません。
インターフェイス上の FCP の状態は次のとおりです。
bdsol-3220-01-A> fcp topology show
Switches connected on adapter 1a:
Switch Name: bdsol-n5548-05
Switch Vendor: Cisco Systems, Inc.
Switch Release: 5.2(1)N1(1b)
Switch Domain: 160
Switch WWN: 20:46:00:2a:6a:28:68:41
Port Count: 5
(...)
Switches connected on adapter 1b:
Switch Name: bdsol-n5548-06
Switch Vendor: Cisco Systems, Inc.
Switch Release: 5.2(1)N1(1b)
Switch Domain: 35
Switch WWN: 20:50:00:2a:6a:28:6e:41
Port Count: 5
このセクションでは、設定のトラブルシューティングに役立つ情報を紹介します。 Cisco CLIアナライザ(登録ユーザ専用)では、特定のshowコマンドがサポートされています。show コマンド出力の分析を表示するには、Cisco CLI アナライザを使用します。
注:内部のツールや情報にアクセスできるのは、登録ユーザのみです。
すべての必須機能が有効になっていることを確認します。
bdsol-n5548-05# show feature | i npiv|fcoe|lacp
fcoe 1 enabled
fcoe-npv 1 disabled
lacp 1 enabled
npiv 1 enabled
FCoE VLAN の存在と、どこに送信されたかを確認します。
show vlan fcoe
show vlan id X
ファブリックの左側の例を次に示します。
bdsol-n5548-05# show vlan fcoe
Original VLAN ID Translated VSAN ID Association State
---------------- ------------------ -----------------
970 70 Operational
bdsol-n5548-05# show vlan id 970
VLAN Name Status Ports
---- -------------------------------- --------- -------------------------------
970 VLAN0970 active Po1, Po103, Po105, Po106, Po107
Po202, Po203, Po204, Eth1/3
Eth1/5, Eth1/6, Eth1/7, Eth1/8
VLAN 970 は、VSAN 70 の伝送確認と同様に、存在し設定内で概説されたポートにトランクされます。
FCoE VLANは特殊なケースであり、スパニングツリーに存在してはなりません。
bdsol-n5548-05# show spanning-tree vlan 970
Spanning tree instance(s) for vlan does not exist.
特殊なケースは、マルチ スパニング ツリー(MST)と FCoE VLAN 向けに存在します。MST のインスタンスは、FCoE VLAN を伝送するために作成される必要があり、他の VLAN では必要ありません。『デュアル ファブリック FCoE 導入のための MST インスタンス』を参照してください。
上記の例では、FCoE VLAN は VPC に追加され、VPC は 2 つの異なるデバイス上にあります。トランキングの設定は、各 VPC でわずかに異なります。
FCoE VLANは、VPC整合性検査で許可されるVLANとして表示されません。
bdsol-n5548-05# show vpc consistency-parameters vpc 105
Legend:
Type 1 : vPC will be suspended in case of mismatch
Name Type Local Value Peer Value
------------- ---- ---------------------- -----------------------
Shut Lan 1 No No
STP Port Type 1 Default Default
STP Port Guard 1 None None
STP MST Simulate PVST 1 Default Default
lag-id 1 [(1, 2-a0-98-40-ba-fa, [(1, 2-a0-98-40-ba-fa,
1, 0, 0), (7f9b, 1, 0, 0), (7f9b,
0-23-4-ee-be-35, 8069, 0-23-4-ee-be-35, 8069,
0, 0)] 0, 0)]
mode 1 active active
Speed 1 10 Gb/s 10 Gb/s
Duplex 1 full full
Port Mode 1 trunk trunk
Native Vlan 1 1 1
MTU 1 1500 1500
Admin port mode 1
Allowed VLANs - 3380 3380
Local suspended VLANs - - -
これは予想どおりの結果です。
FCoE VLAN がトランクされていることを確認するには、インターフェイスごとのトランキングを確認します。
bdsol-n5548-05# show interface port-channel 105 trunk
--------------------------------------------------------------------------------
Port Native Status Port
Vlan Channel
--------------------------------------------------------------------------------
Po105 1 trunking --
--------------------------------------------------------------------------------
Port Vlans Allowed on Trunk
--------------------------------------------------------------------------------
Po105 970,3380
--------------------------------------------------------------------------------
Port STP Forwarding
--------------------------------------------------------------------------------
Po105 3380
前述したように、FCoE VLAN はスパニング ツリーに参加せず、VLAN を転送する STP として表示されません。ただし、トランキングとして表示される場合があります。
プライオリティフロー制御は、FCoEの動作にとって非常に重要です。PFCを動作させるには、QoS設定がエンドツーエンドで一致している必要があります。
インターフェイス単位で状態を確認するには、次の手順を実行します。
bdsol-n5548-05# show interface ethernet 1/3 priority-flow-control
============================================================
Port Mode Oper(VL bmap) RxPPP TxPPP
============================================================
Ethernet1/3 Auto On (8) 2852 13240218
上記の出力は、PFC が動作可能(オン)で、Per Priority Pause(PPP)フレームで受信と伝送の両方が行われたことを示しています。
デバイス全体を表示する場合、管理者は show int priority-flow-control コマンドを入力できます。
bdsol-n5548-05# show int priority-flow-control
============================================================
Port Mode Oper(VL bmap) RxPPP TxPPP
============================================================
Ethernet1/1 Auto Off 4 0
Ethernet1/2 Auto Off 4 0
Ethernet1/3 Auto On (8) 2852 13240218
Ethernet1/5 Auto On (8) 0 0
Ethernet1/6 Auto On (8) 0 0
(...)
このドキュメントで概説されているインターフェイスは、イーサネット 1/3、1/5 および 1/6 で、PFC が有効で動作可能です。
関連する設定済みVFCは、適切なVSANの一部である必要があります。この例は、設定済みの仮想インターフェイスが適切な VSAN の一部であることを示しています。
bdsol-n5548-05# show vsan membership
vsan 1 interfaces:
fc2/15
vsan 70 interfaces:
fc2/16 vfc103 vfc105 vfc106
FCoE の開始
FCoE 開始プロトコルは、エンド ホストとスイッチの間のリンクを起動するために、いくつかの手順を経ます。
覚えておくべき重要な点は、正しくインターフェイスを起動するために、異なるアクションの組み合わせは、この図に示されるように発生する必要があるということです。
FCF がスイッチである一方で、Enode はエンド ノードです。
いずれかのデバイスで手順を確認するために、fcoe_mgr(FCoE マネージャ)機能を使用できます。 この場合は、これは vfc 105 です。
bdsol-n5548-05# show platform software fcoe_mgr info interface vfc 105
vfc105(0x841e4c4), if_index: 0x1e000068, VFC RID vfc105
FSM current state: FCOE_MGR_VFC_ST_PHY_UP
PSS Runtime Config:-
Type: 3
Bound IF: Po105
FCF Priority: 128 (Global)
Disable FKA: 0
PSS Runtime Data:-
IOD: 0x00000000, WWN: 20:68:00:2a:6a:28:68:7f
Created at: Sat Sep 27 22:45:05 2014
FC Admin State: up
Oper State: up, Reason: down
Eth IF Index: Po105
Port Vsan: 70
Port Mode: F port
Config Vsan: 70
Oper Vsan: 70
Solicits on vsan: 70
Isolated Vsan:
FIP Capable ? : TRUE
UP using DCBX ? : FALSE
Peer MAC : 00:c0:dd:22:79:39
PSS VN Port data:-
FC ID 0xA00000 -
vfc index 503316584 vfc name vfc105
vsan id 70
enode_mac 00:c0:dd:22:79:39
vfc wwn 50:0a:09:81:98:fd:66:a5
出力は続きます。
出力には、いくつかの有用な情報が含まれます。現在の状態を確認し、VFC とポート チャネル間の実際のバインディングと、VSAN 上の VFC の実際の状態を示します。インターフェイスが起動する前の、図で概説されるさまざまな状態間の伝送を示します。VLAN Discovery が実行され、VFC の起動を可能にする FIP 勧誘が受信されて応答されます。
前の出力の続き:
17) FSM:<vfc105> Transition at 554094 usecs after Sat Sep 27 22:48:06 2014
Previous state: [FCOE_MGR_VFC_ST_PHY_UP]
Triggered event: [FCOE_MGR_VFC_EV_BRING_UP]
Next state: [FSM_ST_NO_CHANGE]
18) FSM:<vfc105> Transition at 685820 usecs after Sat Sep 27 22:48:07 2014
Previous state: [FCOE_MGR_VFC_ST_PHY_UP]
Triggered event: [FCOE_MGR_VFC_EV_FIP_VLAN_DISCOVERY]
Next state: [FSM_ST_NO_CHANGE]
19) FSM:<vfc105> Transition at 686781 usecs after Sat Sep 27 22:48:07 2014
Previous state: [FCOE_MGR_VFC_ST_PHY_UP]
Triggered event: [FCOE_MGR_VFC_EV_FIP_SOLICITATION]
Next state: [FSM_ST_NO_CHANGE]
Curr state: [FCOE_MGR_VFC_ST_PHY_UP]
データセンター ネットワーキング ソリューションのテクニカル アシスタンス センターのチームが再発生を確認する FCoE 設定を使用した、いくつかの既知の問題と一般的な問題があります。
bdsol-n5548-05# show trunk protocol
Trunk Protocol is enabled.
改定 | 発行日 | コメント |
---|---|---|
2.0 |
15-Nov-2022 |
初版リリース |
1.0 |
10-Mar-2015 |
初版 |