MDS 9000中繼/埠通道鏈路故障排除
目錄
簡介
本文說明為什麼在中繼或連線埠通道中，Cisco多層次導向器交換器(MDS)和其他Cisco交換器之間的光纖通道(FC)連結無法啟動，但是當不在連線埠通道中且已停用中繼時，同一個連結可能啟動。
背景資訊
其中包括MDS交換機與其他MDS交換機、Nexus交換機以及統一計算系統(UCS)交換矩陣互聯(FI)之間的FC鏈路。
所有MDS交換機都可以通過埠通道將多個物理鏈路聚合到單個虛擬鏈路中，並且當與另一個Cisco裝置連線時，可通過具有中繼功能的鏈路傳輸多個虛擬儲存區域網路(VSAN)。
為了協商埠通道和中繼鏈路，MDS交換機使用Exchange對等引數(EPP)服務在交換機間鏈路(ISL)中的對等埠間通訊。 ISL交涉流程的一部分會驗證對等體是否為具有對等體組織唯一識別碼(OUI)的Cisco裝置。
如果Cisco交換機的OUI未作為思科OUI列在對等方的OUI資料庫中，則當鏈路新增到埠通道或介面上啟用了中繼時，鏈路將無法啟動。
排除MDS中繼/埠通道鏈路故障故障
如果鏈路處於port-channel中，請檢查port-channel interface has channel mode configured。
MDSswitch# show run interface port-channel 1
...
interface port-channel1
channel mode active <<<<
如果鏈路連線到N_Port虛擬化(NPV)交換機（如FI），請檢查是否啟用了NPIV和fport-channel-trunk功能。
MDSswitch# show feature | include npiv
npiv 1 enabled
MDSswitch# show feature | include fport
fport-channel-trunk 1 enabled
如果鏈路處於中繼狀態，請檢查是否已全域性啟用中繼協定。
MDSswitch# show trunk protocol
Trunk Protocol is enabled
檢查介面上是否已啟用中繼。
MDSswitch# show interface port-channel 1
port-channel1 is down (No operational members)
Hardware is Fibre Channel
Port WWN is xx:xx:00:2a:6a:xx:xx:xx
Admin port mode is auto, trunk mode is on <<<<
如果鏈路以8Gbps的速度連線，請確保鏈路兩端的填充模式或填充字必須配置相同。預設情況下，MDS、N5K/N6K和UCS FI 6300系列裝置使用ARBFF。N9K和UCS FI 6400系列僅支援IDLE作為8G填充模式。
使用以下命令確認MDS/N5K/N6K介面上的當前填充模式fc x/y:
slot x show hardware internal fcmac port y port-info | i填充
MDSswitch# slot 1 show hardware internal fcmac port 2 port-info | i FILL
FILL_WORD(raw) : ARBFF (0xbc94ffff)
當N9K或UCS FI 6400連線到預設情況下使用ARBFF的裝置時，必須將已連線裝置上的介面配置為使用IDLE。
MDSswitch# conf t
Enter configuration commands, one per line. End with CNTL/Z.
MDSswitch(config)# interface fc1/2MDSswitch(config-if)# switchport fill-pattern IDLE speed 8000
在UCS FI 6300系列上，您會看到FC上行鏈路的填充模式，並在UCS Manager(UCSM)的「常規」(SAN)>「SAN雲」(SAN Cloud)>「交換矩陣」(Fabric)>「上行鏈路FC介面」(Uplink FC Interfaces)>「FC介面」(FC Interface x/in the General)頁籤中進行了配置。
驗證
症狀
- 介面作為單埠運行，禁用了中繼，但不在埠通道中。
- 單個介面無法啟用中繼。
- 當處於埠通道中或新增到埠通道中時，介面會立即變為錯誤禁用。
日誌消息
對於MDS和Nexus交換機：
在OUI資料庫中沒有對等體OUI的交換機記錄「物理線路被拒絕，等待埠模式」和「EPP_SYNC」錯誤。
MDSswitch# show flogi internal event-history errors | include reject previous 1 next 1
...
10) Event:E_DEBUG, length:124, at 727676 usecs after Tue May 14 17:44:47 2013
[102] fs_fc2_msg_flogi: ifindex[0x12ae000] pwwn[xx:xx:00:2a:6a:xx:xx:xx] physical flogi rejected, waiting for the port mode
11) Event:E_DEBUG, length:124, at 661821 usecs after Tue May 14 17:44:39 2013
[102] fs_fc2_msg_flogi: ifindex[0x12ae000] pwwn[xx:xx:00:2a:6a:xx:xx:xx] physical flogi rejected, waiting for the port mode
12) Event:E_DEBUG, length:73, at 772303 usecs after Tue May 14 17:43:11 2013
[102] fs_flogi_send_flogi_reject: mts_q == 0, ifindex 0x12ae000, port 0x0
MDSswitch# show port internal event-history errors | include EPP previous 1 next 1
...
19) Event:E_DEBUG, length:48, at 465145 usecs after Tue May 14 17:44:49 2013
[102] epp_ac_accept_sync: Error sending EPP_SYNC
...
27) Event:E_DEBUG, length:48, at 280537 usecs after Tue May 14 17:44:43 2013
[102] epp_ac_accept_sync: Error sending EPP_SYNC
若要確認錯誤的介面，請使用show interface snmp-ifindexand filter by the ifindex in the error message來轉換索引。此示例使用在theshow flogi internal event-history errors中找到的ifindex 12ae000。
MDSswitch# show interface snmp-ifindex | include 12ae000
fc6/47 0019587072 (00012ae000)
對於UCS FI:在其OUI資料庫中沒有對等體OUI的FI會記錄「PI_FSM_EV_PORT_CONFIG_FAILURE」和「port fcx/y attempting vf tagging on non-cisco switch」錯誤。
UCS(nxos)# show port internal event-history errors
1) Event:E_DEBUG, length:117, at 225850 usecs after Wed Aug 1 10:18:26 2018
[102] pi_fsm_port_attr_change_init: Ifindex (fc1/47)0x102e000, Err disabled event (PI_FSM_EV_PORT_CONFIG_FAILURE)0xd7
2) Event:E_DEBUG, length:100, at 222587 usecs after Wed Aug 1 10:18:26 2018
[102] pm_process_fport_vf_tagging_capability: port fc1/47 attempting vf tagging on non-cisco switch
OUI資料庫
從每台交換機提取OUI。OUI是全球通用名稱(WWN)的第三、第四和第五個二進位制八位數。
peer-switch# show wwn switch
Switch WWN is xx:xx:00:2a:6a:xx:xx:xx
在本例中，交換機OUI為0x002A6A。
檢查交換機的OUI資料庫以查詢對等交換機的OUI。如果該命令沒有輸出，則資料庫中沒有該OUI。
MDSswitch# show wwn oui | include 0x002a6a
MDSswitch#
解決方法
通過交換機軟體升級更新交換機OUI資料庫。除非交換機可以升級到包含對等交換機的OUI的OUI資料庫的OUI軟體版本，否則請使用配置在禁用中繼埠通道外部的單個鏈路。
MDS和Nexus交換機上的wwn oui <hex oui>命令可以手動將Cisco OUI新增到交換機的OUI資料庫。
在MDS交換機上，NX-OS版本7.3(0)D1(1)及更高版本提供此功能。
在Nexus 5K/6K交換機上，此功能在NX-OS版本7.3(3)N1(1)及更高版本中新增。
在NX-OS 7.x上的Nexus 9000交換機上，NX-IS版本7.3(1)N1(1)及更高版本提供此功能。
在其他NX-OS版本上的Nexus 9000交換機上，NX-OS版本9.3(3)及更高版本提供此功能。
Example: MDSswitch# configure terminal
MDSswitch(config)# wwn oui 0x0000fc
MDSswitch# show wwn oui
OUI Vendor Default/Static
----------------------------------------------------
0x0000fc Cisco Static
ACI映像上的Nexus 9000交換機可以在15.0(1k)及更高版本的APIC運行時將OUI新增到庫中。
OUI資料庫新增
表1.1. MDS OUI資料庫新增
| OUI |
包含OUI的軟體 |
| 0x547FEE |
NX-OS 5.0(1)及更高版本的所有版本。 |
| 0x00351A 0x003A7D |
5.2(8h)及更高版本的NX-OS 5.x。 6.2(17)及更高版本的NX-OS 6.x。 7.3(1)D1(1)及更高版本的NX-OS 7.x。 NX-OS 8.3(1)及更高版本的所有版本。 |
| 0x0018BA 0x001B54 |
NX-OS 5.2(6)及更高版本的所有版本。 |
| 0x508789 0xFC5B39 |
NX-OS 6.2(11)及更高版本的所有版本。 |
| 0x000831 0x74A02F |
5.2(8g)及更高版本的NX-OS 5.x。 6.2(11c)及更高版本的NX-OS 6.x。 NX-OS 7.3(1)D1(1)及更高版本的所有版本。 |
| 0x70EA1A 0xC4F7D5 |
NX-OS 8.4(2)及更高版本的所有版本。 |
| 0x00FD22 0x10B3D5 |
6.2(33)及更高版本的NX-OS 6.x。 NX-OS 8.4(2)及更高版本的所有版本。 |
| 0xDC774C |
8.4(2c)及更高版本的NX-OS 8.4(x)。 9.2(1)及更高版本的NX-OS 9.x。 |
| 0x3C13CC 0x4CE176 |
待定 |
表1.2. Nexus 5000/5500/5600/6000 OUI資料庫新增
| OUI |
包含OUI的軟體 |
| 0x002A6A 0x00DEFB 0x8C604F |
5.1(3)N2(1)及更高版本的NX-OS 5.1。 5.2(1)N1(4)及更高版本的NX-OS 5.2。 NX-OS 6.0(2)N1(2)及更高版本的所有版本。 |
| 0x50EB1A 0x9371D5 |
NX-OS 7.3(7)N1(1)及更高版本的所有版本。 |
| 0x3C13CC 0x4CE176 0xDC774C |
NX-OS 7.3(10)N1(1)及更高版本的所有版本。 |
表1.3. Nexus 9000 OUI資料庫新增
| OUI |
包含OUI的軟體 |
||||
| 0x000831 0x001086 |
0x18E728 0x1C6A7A |
0x70DB98 0x70DF2F |
0xBADBAD 0xBC26C7 |
NX-OS9.2(4)及更高版本的所有版本。 |
|
| 0x3C13CC 0x4CE176 0xDC774C |
NX-OS10.1(2)及更高版本的所有版本。 |
||||
表1.4. UCS FI OUI資料庫新增
| OUI |
包含OUI的軟體 |
| 0x0018BA 0x001B54 |
捆綁軟體2.x(2.2(8j)及更高版本)。 捆綁軟體3.x(3.1(3b)和3.1(3h)及更高版本)。 捆綁軟體3.2(3d)及更高版本。 |
| 0x002651 |
捆綁軟體2.x(2.2(8j)及更高版本)。 捆綁軟體3.x(3.1(3h)及更高版本)。 捆綁軟體3.2(3d)及更高版本。 |
| 0x0025B5 0xA44C11 |
捆綁軟體3.x(3.1(3h)及更高版本)。 捆綁軟體3.2(3d)及更高版本。 |
| 0x000831 0x003A9C 0xD0A5A6 |
捆綁軟體3.x(3.2.(3h)及更高版本)。 4.0(1x)捆綁包軟體的所有版本。 捆綁軟體，4.0(2b)及更高版本。 |
| 0x6400F1 |
捆綁軟體3.3(5b)及更高版本。 |
| 0x00EEAB 0x0476B0 |
捆綁軟體4.1(3a)及更高版本。 |
| 0xAC7A56 |
捆綁軟體4.1(2a)及更高版本。 |
| 0x3C13CC 0x4CE176 0xDC774C |
捆綁軟體4.2(1d)及更高版本。 |
注意事項
思科錯誤ID CSCut41864 -介面> 64用於NPV-NPIV連線時，埠進程崩潰
思科漏洞ID CSCuz52695 - UCS FI FC上行鏈路錯誤禁用立即將NPV連線到MDS9396S
思科漏洞ID CSCvp95480 - 6454 FI — 在UCSM配置期間限制允許的WWxN地址（避免組播地址）
已歸檔多個錯誤，以記錄交換機的OUI庫中沒有的OUI。它們包括：
MDS/UCS錯誤
思科漏洞ID CSCtr01652 — 將N7K OUI新增到libui的已識別Cisco OUI清單中。MDS。
MDS/N5K/N6K錯誤
思科漏洞ID CSCty04686 — 為5k/UCS-FI新增MAC OUI「002a6a」、「8c604f」和「00defb」
MDS錯誤
思科漏洞ID CSCta97375 - GLDN:SABER:Saber oui不被識別為cisco oui 547FEE。
思科漏洞ID CSCur44218 — 將MiniUCS FI OUI新增到libui的已識別Cisco OUI清單中
思科漏洞ID CSCuz11494 - FC埠通道無法提供對等UCS OUI 00:c8:8b
思科錯誤ID CSCuu03717 — 將OUI新增到預設OUI清單中，該清單為00:3a:9c、00:08:31、d0:a5:a6
Cisco漏洞ID CSCuu26045 — 將MiniUCS FI OUI 0x74a02f新增到MDS可識別Cisco OUI清單中
思科錯誤ID CSCvx67383 — 使用交換機OUI 0x3C13CC(3C:13:CC)的ACI枝葉N9K的MDS埠通道未啟動或中繼
Cisco錯誤ID CSCvx49403 — 帶有Cisco交換機OUI 0xDC774C的Port-Channel未啟動或中繼。
思科錯誤ID CSCvr60193 — 將OUI C4:F7:D5新增到預設OUI清單中
思科錯誤ID CSCvp19788
- MDS 9000將OUI 70:EA:1A新增到OUI庫
思科錯誤ID CSCvt28351 — 將六個OUI新增到預設OUI清單中
Cisco錯誤ID CSCvw14504 — 將OUI 0x4CE176新增到OUI資料庫 — 埠通道和中繼不適用於OUI 0x4CE176
思科錯誤ID CSCvx67383 — 使用交換機OUI 0x3C13CC(3C:13:CC)的ACI枝葉N9K的MDS埠通道未啟動或中繼
N5K/N6K錯誤
思科錯誤ID CSCvx72821 — 帶有Cisco交換機OUI 0xDC774C或0x4CE176或0x3C13CC的埠通道未啟動或中繼。
思科錯誤ID CSCvp54881 — 無法在UCS和Nexus 56128p之間建立San埠通道
N9K錯誤
思科錯誤ID CSCvp21786 - Nexus 9000:：無法啟用MDS和N9K之間的F模式san埠通道或中繼
思科錯誤ID CSCvx68507 — 帶有Cisco交換機OUI 0xDC774C或0x4CE176或0x3C13CC的埠通道未啟動或中繼。
UCS錯誤
思科漏洞ID CSCvk63036 - UCS缺少OUI 003a9c、000831、d0a5a6 — 防止FC/FCoE埠通道形成
思科漏洞ID CSCvv70634 - UCS FI需要新增額外的N9K OUI
思科錯誤ID CSCvx68517 — 帶有Cisco交換機OUI 0xDC774C或0x4CE176或0x3C13CC的埠通道未啟動或中繼。思科錯誤 ID
修訂記錄
| 修訂 | 發佈日期 | 意見 |
|---|---|---|
1.0 |
23-Feb-2022 |
初始版本 |
意見