排除MDS 9000中继/端口通道链路无法接通的故障
目录
简介
本文档介绍为什么在中继或端口通道中，思科多层导向器交换机(MDS)和另一台思科交换机之间的光纤通道(FC)链路未启动，但是，当不在端口通道中并且禁用中继时，同一链路可能启动。
背景信息
这包括MDS交换机和其他MDS交换机、Nexus交换机和统一计算系统(UCS)交换矩阵互联(FI)之间的FC链路。
所有MDS交换机都可以通过端口通道将多个物理链路聚合到单个虚拟链路中，并在与另一台思科设备连接时通过具有中继功能的链路传输多个虚拟存储区域网络(VSAN)。
为了协商端口通道和中继链路，MDS交换机使用交换对等体参数(EPP)服务在交换机间链路(ISL)中的对等体端口之间通信。 ISL协商过程的一部分用于验证对等体是具有对等体组织唯一标识符(OUI)的Cisco设备。
如果Cisco交换机的OUI未作为Cisco OUI列在对等体的OUI数据库中，则当添加到端口通道或接口上启用中继时，链路将无法接通。
排除MDS中继/端口通道链路无法启动的故障
如果链路在端口通道中，请检查端口通道接口已配置haschannel模式活动。
MDSswitch# show run interface port-channel 1
...
interface port-channel1
channel mode active <<<<
如果链路与N_Port虚拟化(NPV)交换机（如FI）连接，请检查NPIV和fport-channel-trunk功能是否已启用。
MDSswitch# show feature | include npiv
npiv 1 enabled
MDSswitch# show feature | include fport
fport-channel-trunk 1 enabled
如果链路为中继，请检查中继协议是否全局启用。
MDSswitch# show trunk protocol
Trunk Protocol is enabled
检查接口上是否启用中继。
MDSswitch# show interface port-channel 1
port-channel1 is down (No operational members)
Hardware is Fibre Channel
Port WWN is xx:xx:00:2a:6a:xx:xx:xx
Admin port mode is auto, trunk mode is on <<<<
如果链路以8Gbps的速率连接，请确保链路两端的填充模式或填充字配置相同。默认情况下，MDS、N5K/N6K和UCS FI 6300系列设备使用ARBFF。N9K和UCS FI 6400系列仅支持IDLE作为8G填充模式。
使用以下命令确认MDS/N5K/N6K接口fc x/y上的当前填充模式：
slot x show hardware internal fcmac port y port-info |填写
MDSswitch# slot 1 show hardware internal fcmac port 2 port-info | i FILL
FILL_WORD(raw) : ARBFF (0xbc94ffff)
当N9K或UCS FI 6400默认连接到使用ARBFF的设备时，必须将连接设备上的接口配置为使用IDLE。
MDSswitch# conf t
Enter configuration commands, one per line. End with CNTL/Z.
MDSswitch(config)# interface fc1/2MDSswitch(config-if)# switchport fill-pattern IDLE speed 8000
在UCS FI 6300系列上，您会看到FC上行链路的填充模式，并在UCS Manager(UCSM)的“SAN”>“SAN云”>“交换矩阵”>“上行链路FC接口”>“FC接口x/in”选项卡中进行配置。
验证
症状
- 接口显示为禁用中继的单个端口，但不在端口通道中。
- 单个接口无法启用中继。
- 在端口通道中或添加到端口通道时，接口会立即变为错误禁用状态。
日志消息
对于MDS和Nexus交换机：
在其OUI数据库中没有对等体的OUI的交换机记录“物理flogi rejected， waiting the port mode”和“EPP_SYNC”错误。
MDSswitch# show flogi internal event-history errors | include reject previous 1 next 1
...
10) Event:E_DEBUG, length:124, at 727676 usecs after Tue May 14 17:44:47 2013
[102] fs_fc2_msg_flogi: ifindex[0x12ae000] pwwn[xx:xx:00:2a:6a:xx:xx:xx] physical flogi rejected, waiting for the port mode
11) Event:E_DEBUG, length:124, at 661821 usecs after Tue May 14 17:44:39 2013
[102] fs_fc2_msg_flogi: ifindex[0x12ae000] pwwn[xx:xx:00:2a:6a:xx:xx:xx] physical flogi rejected, waiting for the port mode
12) Event:E_DEBUG, length:73, at 772303 usecs after Tue May 14 17:43:11 2013
[102] fs_flogi_send_flogi_reject: mts_q == 0, ifindex 0x12ae000, port 0x0
MDSswitch# show port internal event-history errors | include EPP previous 1 next 1
...
19) Event:E_DEBUG, length:48, at 465145 usecs after Tue May 14 17:44:49 2013
[102] epp_ac_accept_sync: Error sending EPP_SYNC
...
27) Event:E_DEBUG, length:48, at 280537 usecs after Tue May 14 17:44:43 2013
[102] epp_ac_accept_sync: Error sending EPP_SYNC
要确认错误的接口，请在错误消息中使用show interface snmp-ifindex转换索引并通过ifindex过滤。本示例使用在show flogi内部事件历史记录错误中找到的ifindex 12ae000。
MDSswitch# show interface snmp-ifindex | include 12ae000
fc6/47 0019587072 (00012ae000)
对于UCS FI:FI在其OUI数据库中没有对等体的OUI时记录“PI_FSM_EV_PORT_CONFIG_FAILURE”和“port fcx/y attempting vf tagging on non-cisco switch”错误。
UCS(nxos)# show port internal event-history errors
1) Event:E_DEBUG, length:117, at 225850 usecs after Wed Aug 1 10:18:26 2018
[102] pi_fsm_port_attr_change_init: Ifindex (fc1/47)0x102e000, Err disabled event (PI_FSM_EV_PORT_CONFIG_FAILURE)0xd7
2) Event:E_DEBUG, length:100, at 222587 usecs after Wed Aug 1 10:18:26 2018
[102] pm_process_fport_vf_tagging_capability: port fc1/47 attempting vf tagging on non-cisco switch
OUI数据库
从每台交换机提取OUI。OUI是全球通用名称(WWN)的第三个、第四个和第五个二进制八位数。
peer-switch# show wwn switch
Switch WWN is xx:xx:00:2a:6a:xx:xx:xx
在本示例中，交换机OUI为0x002A6A。
检查交换机的OUI数据库以查找对等交换机的OUI。如果命令没有输出，则数据库中不存在OUI。
MDSswitch# show wwn oui | include 0x002a6a
MDSswitch#
解决
交换机OUI数据库通过交换机软件升级进行更新。在交换机可以升级到包含对等交换机OUI的OUI数据库的软件版本之前，请使用端口通道外部配置的单条链路并禁用中继。
MDS和Nexus交换机上的wwn oui <hex oui>命令可以手动将Cisco OUI添加到交换机的OUI数据库。
在MDS交换机上，此功能在NX-OS 7.3(0)D1(1)版及更高版本中可用。
在Nexus 5K/6K交换机上，此功能已添加到NX-OS 7.3(3)N1(1)版及更高版本中。
在NX-OS 7.x上的Nexus 9000交换机上，此功能在NX-IS 7.3(1)N1(1)版及更高版本中可用。
在NX-OS其他版本的Nexus 9000交换机上，此功能在NX-OS 9.3(3)版及更高版本中可用。
Example: MDSswitch# configure terminal
MDSswitch(config)# wwn oui 0x0000fc
MDSswitch# show wwn oui
OUI Vendor Default/Static
----------------------------------------------------
0x0000fc Cisco Static
ACI映像上的Nexus 9000交换机可以在运行时从APIC 15.0(1k)及更高版本向库添加OUI。
OUI数据库添加
表1.1. MDS OUI数据库添加
| OUI |
包含OUI的软件 |
| 0x547费用 |
NX-OS 5.0(1)及更高版本。 |
| 0x00351A 0x003A7D |
NX-OS 5.x(5.2(8h)及更高版本)。 NX-OS 6.x(6.2(17)及更高版本)。 7.3(1)D1(1)及更高版本的NX-OS 7.x。 NX-OS 8.3(1)及更高版本。 |
| 0x0018BA 0x001B54 |
NX-OS 5.2(6)及更高版本。 |
| 0x508789 0xFC5B39 |
NX-OS 6.2(11)及更高版本。 |
| 0x000831 0x74A02F |
NX-OS 5.x(5.2(8g)及更高版本)。 NX-OS 6.x(6.2(11c)及更高版本)。 NX-OS 7.3(1)D1(1)及更高版本。 |
| 0x70EA1A 0xC4F7D5 |
NX-OS 8.4(2)及更高版本。 |
| 0x00FD22 0x10B3D5 |
NX-OS 6.x(6.2(33)及更高版本)。 NX-OS 8.4(2)及更高版本。 |
| 0xDC774C |
NX-OS 8.4(x)(8.4(2c)及更高版本)。 NX-OS 9.x(9.2(1)及更高版本)。 |
| 0x3C13CC 0x4CE176 |
待确定 |
表1.2. Nexus 5000/5500/5600/6000 OUI数据库增加
| OUI |
包含OUI的软件 |
| 0x002A6A 0x00DEFB 0x8C604F |
NX-OS 5.1(5.1(3)N2(1)及更高版本)。 NX-OS 5.2(5.2(1)N1(4)及更高版本)。 NX-OS 6.0(2)N1(2)及更高版本。 |
| 0x50EB1A 0x9371D5 |
NX-OS 7.3(7)N1(1)及更高版本。 |
| 0x3C13CC 0x4CE176 0xDC774C |
NX-OS 7.3(10)N1(1)及更高版本。 |
表1.3. Nexus 9000 OUI数据库添加
| OUI |
包含OUI的软件 |
||||
| 0x000831 0x001086 |
0x18E728 0x1C6A7A |
0x70DB98 0x70DF2F |
0xBADBAD 0xBC26C7 |
所有NX-OS9.2(4)及更高版本。 |
|
| 0x3C13CC 0x4CE176 0xDC774C |
所有NX-OS10.1(2)及更高版本。 |
||||
表1.4. UCS FI OUI数据库添加
| OUI |
包含OUI的软件 |
| 0x0018BA 0x001B54 |
捆绑软件2.x(2.2(8j)及更高版本)。 捆绑软件3.x(3.1(3b)和3.1(3h)及更高版本。 套件软件3.2(3d)及更高版本。 |
| 0x002651 |
捆绑软件2.x(2.2(8j)及更高版本)。 捆绑软件3.x(3.1(3h)及更高版本)。 套件软件3.2(3d)及更高版本。 |
| 0x0025B5 0xA44C11 |
捆绑软件3.x(3.1(3h)及更高版本)。 套件软件3.2(3d)及更高版本。 |
| 0x000831 0x003A9C 0xD0A5A6 |
捆绑软件3.x(3.2.(3h)及更高版本。 4.0(1x)版捆绑软件的所有版本。 4.0(2b)及更高版本的捆绑软件。 |
| 0x6400F1 |
套件软件3.3(5b)及更高版本。 |
| 0x00EEAB 0x0476B0 |
捆绑软件4.1(3a)及更高版本。 |
| 0xAC7A56 |
捆绑软件4.1(2a)及更高版本。 |
| 0x3C13CC 0x4CE176 0xDC774C |
捆绑软件4.2(1d)及更高版本。 |
注意事项
Cisco Bug ID CSCut41864 — 当接口> 64用于NPV-NPIV连接时，端口进程崩溃
Cisco Bug ID CSCuz52695 - UCS FI FC上行链路错误禁用立即连接到MDS9396S的NPV
思科漏洞ID CSCvp95480 - 6454 FI — 在UCSM配置期间限制允许的WWxN地址（避免组播地址）
已提交多个错误以记录交换机OUI库中不存在的OUI。此类设备包括：
MDS/UCS错误
Cisco Bug ID CSCtr01652 — 将N7K OUI添加到liboui的已识别Cisco OUI列表。MDS
MDS/N5K/N6K错误
Cisco Bug ID CSCty04686 — 为5k/UCS-FI添加MAC OUI "002a6a"、"8c604f"、"00defb"
MDS错误
思科漏洞ID CSCta97375 - GLDN:SABER:Sabre oui未被确认为cisco oui 547FEE。
Cisco Bug ID CSCur44218 — 将MiniUCS FI OUI添加到liboui的已识别Cisco OUI列表
Cisco Bug ID CSCuz11494 - FC端口通道不提供对等UCS OUI 00:c8:8b
Cisco Bug ID CSCuu03717 — 将OUI 00:3a:9c、00:08:31、d0:a5:a6添加到默认OUI列表
Cisco Bug ID CSCuu26045 — 将MiniUCS FI OUI 0x74a02f添加到已识别Cisco OUI的MDS列表
Cisco Bug ID CSCvx67383 - MDS Port-Channel（MDS端口通道），指向交换机OUI 0x3C13CC(3C:13:CC)的ACI枝叶N9K
Cisco Bug ID CSCvx49403 - Port-Channel with Cisco switch OUI 0xDC774C does not up or trunk。
Cisco Bug ID CSCvr60193 — 将OUI C4:F7:D5添加到默认OUI列表
思科漏洞ID CSCvp19788
- MDS 9000将OUI 70:EA:1A添加到OUI库
Cisco Bug ID CSCvt28351 — 将六个OUI添加到默认OUI列表
Cisco Bug ID CSCvw14504 — 向OUI数据库添加OUI 0x4CE176 — 端口通道和中继不与OUI 0x4CE176配合使用
Cisco Bug ID CSCvx67383 - MDS Port-Channel（MDS端口通道），指向交换机OUI 0x3C13CC(3C:13:CC)的ACI枝叶N9K
N5K/N6K错误
Cisco Bug ID CSCvx72821 - Port-Channel with Cisco switch OUI 0xDC774C或0x4CE176或0x3C13CC未启动或中继。
Cisco Bug ID CSCvp54881 — 无法在UCS和Nexus 56128p之间创建San端口通道
N9K错误
Cisco Bug ID CSCvp21786 - Nexus 9000:::Unable to up F mode san-port-channel or trunking between MDS and N9K
Cisco Bug ID CSCvx68507 - Port-Channel with Cisco switch OUI 0xDC774C或0x4CE176或0x3C13CC未启动或中继。
UCS错误
Cisco Bug ID CSCvk63036 - UCS缺少OUI 003a9c、000831、d0a5a6 — 防止FC/FCoE端口通道形成
Cisco Bug ID CSCv70634 - UCS FI需要添加其他N9K OUI
Cisco Bug ID CSCvx68517 - Port-Channel with Cisco switch OUI 0xDC774C或0x4CE176或0x3C13CC未启动或中继。Cisco Bug ID
修订历史记录
| 版本 | 发布日期 | 备注 |
|---|---|---|
1.0 |
23-Feb-2022 |
初始版本 |
反馈