MDS 9000 트렁킹/포트-채널 링크 문제 해결
목차
소개
이 문서에서는 트렁킹 또는 포트 채널에서 Cisco MDS(Multilayer Director Switch)와 다른 Cisco 스위치 간의 FC(Fibre Channel) 링크가 나타나지 않는 이유를 설명합니다. 그러나 포트 채널에 있지 않고 트렁킹을 비활성화하면 동일한 링크가 나타날 수 있습니다.
배경 정보
여기에는 MDS 스위치와 기타 MDS 스위치, Nexus 스위치, UCS(Unified Computing System) FI(Fabric Interconnect) 간의 FC 링크가 포함됩니다.
모든 MDS 스위치는 포트 채널을 통해 여러 물리적 링크를 단일 가상 링크로 취합할 수 있으며, 다른 Cisco 디바이스와 연결할 경우 트렁킹 기능을 사용하여 여러 VSAN(Virtual Storage Area Network)을 하나의 링크로 전송할 수 있습니다.
포트 채널 및 트렁킹 링크를 협상하기 위해 MDS 스위치는 EPP(Exchange Peer Parameters) 서비스를 사용하여 ISL(Inter-Switch Link)의 피어 포트 간에 통신합니다. ISL 협상 프로세스의 일부에서 피어가 피어의 OUI(Organizational Unique Identifier)가 있는 Cisco 디바이스인지 확인합니다.
Cisco 스위치의 OUI가 피어의 OUI 데이터베이스에 Cisco OUI로 나열되지 않으면 포트 채널에 추가되거나 인터페이스에서 트렁킹이 활성화된 경우 링크가 나타나지 않습니다.
MDS 트렁킹/포트-채널 링크 문제 해결
링크가 포트 채널에 있는 경우 포트 채널 인터페이스 haschannel 모드 활성을 구성합니다.
MDSswitch# show run interface port-channel 1
...
interface port-channel1
channel mode active <<<<
링크가 FI와 같은 NPV(N_Port Virtualization) 스위치에 연결된 경우 NPIV 및 fport-channel-trunk 기능이 활성화되었는지 확인합니다.
MDSswitch# show feature | include npiv
npiv 1 enabled
MDSswitch# show feature | include fport
fport-channel-trunk 1 enabled
링크가 트렁킹되는 경우 트렁킹 프로토콜이 전역적으로 활성화되었는지 확인합니다.
MDSswitch# show trunk protocol
Trunk Protocol is enabled
확인 트렁킹이 인터페이스에서 활성화되어 있습니다.
MDSswitch# show interface port-channel 1
port-channel1 is down (No operational members)
Hardware is Fibre Channel
Port WWN is xx:xx:00:2a:6a:xx:xx:xx
Admin port mode is auto, trunk mode is on <<<<
링크가 8Gbps로 연결되어 있는 경우 링크 양쪽에 대해 채우기 패턴 또는 채우기 단어가 동일하게 구성되어야 합니다. 기본적으로 MDS, N5K/N6K 및 UCS FI 6300 시리즈 디바이스는 ARBFF를 사용합니다. N9K 및 UCS FI 6400 시리즈는 8G 채우기 패턴으로 IDLE만 지원합니다.
이 명령을 사용하여 MDS/N5K/N6K 인터페이스 fc x/y의 현재 채우기 패턴을 확인합니다.
슬롯 x show hardware internal fcmac port y port-info | 입력
MDSswitch# slot 1 show hardware internal fcmac port 2 port-info | i FILL
FILL_WORD(raw) : ARBFF (0xbc94ffff)
N9K 또는 UCS FI 6400이 기본적으로 ARBFF를 사용하는 디바이스에 연결되어 있는 경우 연결된 디바이스에서 IDLE를 사용하도록 인터페이스를 구성해야 합니다.
MDSswitch# conf t
Enter configuration commands, one per line. End with CNTL/Z.
MDSswitch(config)# interface fc1/2MDSswitch(config-if)# switchport fill-pattern IDLE speed 8000
UCS FI 6300 Series에서 FC 업링크의 채우기 패턴과 UCS Manager(UCSM)의 SAN > SAN Cloud > Fabric > Uplink FC Interfaces > FC Interface x/in the General(일반) 탭에서 구성됩니다.
다음을 확인합니다.
증상
- 인터페이스는 트렁킹이 비활성화되었지만 포트 채널에서는 비활성화되지 않은 단일 포트로 작동합니다.
- 트렁킹 활성화로 인해 단일 인터페이스가 작동하지 않습니다.
- 포트 채널에서 또는 포트 채널에 추가된 경우 인터페이스가 즉시 오류 비활성화됩니다.
로그 메시지
MDS 및 Nexus 스위치의 경우:
OUI 데이터베이스에서 피어의 OUI가 없는 스위치에는 "physical flogi rejected, waiting for the port mode" 및 "EPP_SYNC" 오류가 기록됩니다.
MDSswitch# show flogi internal event-history errors | include reject previous 1 next 1
...
10) Event:E_DEBUG, length:124, at 727676 usecs after Tue May 14 17:44:47 2013
[102] fs_fc2_msg_flogi: ifindex[0x12ae000] pwwn[xx:xx:00:2a:6a:xx:xx:xx] physical flogi rejected, waiting for the port mode
11) Event:E_DEBUG, length:124, at 661821 usecs after Tue May 14 17:44:39 2013
[102] fs_fc2_msg_flogi: ifindex[0x12ae000] pwwn[xx:xx:00:2a:6a:xx:xx:xx] physical flogi rejected, waiting for the port mode
12) Event:E_DEBUG, length:73, at 772303 usecs after Tue May 14 17:43:11 2013
[102] fs_flogi_send_flogi_reject: mts_q == 0, ifindex 0x12ae000, port 0x0
MDSswitch# show port internal event-history errors | include EPP previous 1 next 1
...
19) Event:E_DEBUG, length:48, at 465145 usecs after Tue May 14 17:44:49 2013
[102] epp_ac_accept_sync: Error sending EPP_SYNC
...
27) Event:E_DEBUG, length:48, at 280537 usecs after Tue May 14 17:44:43 2013
[102] epp_ac_accept_sync: Error sending EPP_SYNC
오류 인터페이스를 확인하려면 오류 메시지에서의 ifindexus로 show interface snmp-ifindexand 필터를 사용하여 인덱스를 변환합니다. 이 예에서는 show flogi 내부 이벤트 기록 오류에 있는 ifindex 12ae000을 사용합니다.
MDSswitch# show interface snmp-ifindex | include 12ae000
fc6/47 0019587072 (00012ae000)
UCS FI의 경우: OUI 데이터베이스에서 피어의 OUI가 없는 FI는 "PI_FSM_EV_PORT_CONFIG_FAILURE" 및 "port fcx/y trying vf tagging on non-cisco switch" 오류를 기록합니다.
UCS(nxos)# show port internal event-history errors
1) Event:E_DEBUG, length:117, at 225850 usecs after Wed Aug 1 10:18:26 2018
[102] pi_fsm_port_attr_change_init: Ifindex (fc1/47)0x102e000, Err disabled event (PI_FSM_EV_PORT_CONFIG_FAILURE)0xd7
2) Event:E_DEBUG, length:100, at 222587 usecs after Wed Aug 1 10:18:26 2018
[102] pm_process_fport_vf_tagging_capability: port fc1/47 attempting vf tagging on non-cisco switch
OUI 데이터베이스
각 스위치에서 OUI를 추출합니다. OUI는 WWN(World Wide Name)의 세 번째, 네 번째, 다섯 번째 8진수입니다.
peer-switch# show wwn switch
Switch WWN is xx:xx:00:2a:6a:xx:xx:xx
이 예에서 스위치 OUI는 0x002A6A입니다.
스위치의 OUI 데이터베이스에서 피어 스위치의 OUI를 확인합니다. 명령에 출력이 없으면 OUI가 데이터베이스에 없습니다.
MDSswitch# show wwn oui | include 0x002a6a
MDSswitch#
작업
스위치 OUI 데이터베이스는 스위치 소프트웨어 업그레이드를 통해 업데이트됩니다. 피어 스위치의 OUI를 포함하는 OUI 데이터베이스를 사용하여 스위치를 소프트웨어 버전으로 업그레이드할 수 있을 때까지 trunking이 비활성화된 포트 채널 외부에 구성된 단일 링크를 사용합니다.
MDS 및 Nexus 스위치의 wwn oui <hex oui> 명령은 스위치의 OUI 데이터베이스에 Cisco OUI를 수동으로 추가할 수 있습니다.
MDS 스위치에서 이 기능은 NX-OS 버전 7.3(0)D1(1) 이상에서 사용할 수 있습니다.
Nexus 5K/6K 스위치에서 이 기능은 NX-OS 버전 7.3(3)N1(1) 이상에서 추가되었습니다.
NX-OS 7.x의 Nexus 9000 스위치에서 이 기능은 NX-IS 버전 7.3(1)N1(1) 이상에서 사용할 수 있습니다.
다른 버전의 NX-OS의 Nexus 9000 스위치에서 이 기능은 NX-OS 버전 9.3(3) 이상에서 사용할 수 있습니다.
Example: MDSswitch# configure terminal
MDSswitch(config)# wwn oui 0x0000fc
MDSswitch# show wwn oui
OUI Vendor Default/Static
----------------------------------------------------
0x0000fc Cisco Static
ACI 이미지의 Nexus 9000 스위치는 런타임에 APIC in15.0(1k) 이상에서 라이브러리에 OUI를 추가할 수 있습니다.
OUI 데이터베이스 추가
표 1.1. MDS OUI 데이터베이스 추가
| OUI |
OUI를 포함하는 소프트웨어 |
| 0x547수수료 |
모든 버전의 NX-OS 5.0(1) 이상 |
| 0x00351A 0x003A7D |
5.2(8h) 이상에서 NX-OS 5.x 6.2(17) 이상에서 NX-OS 6.x NX-OS 7.x(7.3(1)D1(1) 이상) 모든 버전의 NX-OS 8.3(1) 이상 |
| 0x0018BA 0x001B54 |
모든 버전의 NX-OS 5.2(6) 이상 |
| 0x508789 0xFC5B39 |
모든 버전의 NX-OS 6.2(11) 이상 |
| 0x000831 0x74A02F |
5.2(8g) 이상에서 NX-OS 5.x 6.2(11c) 이상에서 NX-OS 6.x 모든 버전의 NX-OS 7.3(1)D1(1) 이상 |
| 0x70EA1A 0xC4F7D5 |
모든 버전의 NX-OS 8.4(2) 이상 |
| 0x00FD22 0x10B3D5 |
NX-OS 6.x(6.2(33) 이상) 모든 버전의 NX-OS 8.4(2) 이상 |
| 0xDC774C |
8.4(2c) 이상에서 NX-OS 8.4(x) 9.2(1) 이상에서 NX-OS 9.x |
| 0x3C13CC 0x4CE176 |
결정 예정 |
표 1.2. Nexus 5000/5500/5600/6000 OUI 데이터베이스 추가
| OUI |
OUI를 포함하는 소프트웨어 |
| 0x002A6A 0x00DEFB 0x8C604F |
5.1(3)N2(1) 이상에서 NX-OS 5.1 5.2(1)N1(4) 이상에서 NX-OS 5.2 모든 버전의 NX-OS 6.0(2)N1(2) 이상 |
| 0x50EB1A 0x9371D5 |
모든 버전의 NX-OS 7.3(7)N1(1) 이상 |
| 0x3C13CC 0x4CE176 0xDC774C |
모든 버전의 NX-OS 7.3(10)N1(1) 이상 |
표 1.3. Nexus 9000 OUI 데이터베이스 추가
| OUI |
OUI를 포함하는 소프트웨어 |
||||
| 0x000831 0x001086 |
0x18E728 0x1C6A7A |
0x70DB98 0x70DF2F |
0x배드 0xBC26C7 |
모든 버전의 NX-OS9.2(4) 이상 |
|
| 0x3C13CC 0x4CE176 0xDC774C |
모든 버전의 NX-OS10.1(2) 이상 |
||||
표 1.4. UCS FI OUI 데이터베이스 추가
| OUI |
OUI를 포함하는 소프트웨어 |
| 0x0018BA 0x001B54 |
소프트웨어 2.x(2.2(8j) 이상) 번들 소프트웨어 3.x(3.1(3b) 및 3.1(3h) 이상) 번들 소프트웨어 3.2(3d) 이상 번들 |
| 0x002651 |
소프트웨어 2.x(2.2(8j) 이상) 번들 소프트웨어 3.x(3.1(3h) 이상) 번들 소프트웨어 3.2(3d) 이상 번들 |
| 0x0025B5 0xA44C11 |
소프트웨어 3.x(3.1(3h) 이상) 번들 소프트웨어 3.2(3d) 이상 번들 |
| 0x000831 0x003A9C 0xD0A5A6 |
소프트웨어 3.x(3.2.(3h) 이상 번들 4.0(1x)의 모든 번들 소프트웨어 버전 4.0(2b) 이상의 번들 소프트웨어 |
| 0x6400F1 |
번들 소프트웨어 3.3(5b) 이상 |
| 0x00EAB 0x0476B0 |
번들 소프트웨어 4.1(3a) 이상 |
| 0xAC7A56 |
번들 소프트웨어 4.1(2a) 이상 |
| 0x3C13CC 0x4CE176 0xDC774C |
소프트웨어 4.2(1d) 이상 번들 |
주의 사항
Cisco 버그 ID CSCut41864 - NPV-NPIV 연결에 64개 이상의 인터페이스가 사용된 경우 포트 프로세스가 충돌합니다.
Cisco 버그 ID CSCuz52695 - UCS FI FC 업링크 오류 MDS9396S에 즉시 연결된 NPV 비활성화
Cisco 버그 ID CSCvp95480 - 6454 FI - UCSM 컨피그레이션 중 허용되는 WWxN 주소 제한(멀티캐스트 주소 제외)
스위치의 OUI 라이브러리에 없는 OUI를 문서화하기 위해 여러 버그가 발생했습니다. 여기에는 다음이 포함됩니다.
MDS/UCS 버그
Cisco 버그 ID CSCtr01652- 확인된 Cisco OUI의 목록에 N7K OUI를 추가합니다. MDS
MDS/N5K/N6K 버그
Cisco 버그 ID CSCty04686- 5k/UCS-FI의 경우 MAC OUI "002a6a", "8c604f", "00defb" 추가
MDS 버그
Cisco 버그 ID CSCta97375 - GLDN:SABER: Saboui는 cisco oui 547FEE로 인식되지 않습니다.
Cisco 버그 ID CSCur44218 - 확인된 Cisco OUI의 목록에 MiniUCS FI OUI 추가
Cisco 버그 ID CSCuz11494 - FC 포트 채널이 피어 UCS OUI 00:c8:8b와 함께 제공되지 않음
Cisco 버그 ID CSCuu03717 - 기본 OUI 목록에 OUI 00:3a:9c, 00:08:31, d0:a5:a6 추가
Cisco 버그 ID CSCuu26045 - 인식된 Cisco OUI의 MDS 목록에 MiniUCS FI OUI 0x74a02f 추가
Cisco 버그 ID CSCvx67383 - 스위치 OUI 0x3C13CC(3C:13:CC)가 작동하거나 트렁크를 지원하지 않는 ACI LEAF N9K를 향하는 MDS Port-Channel
Cisco 버그 ID CSCvx49403 - Port-Channel with Cisco 스위치 OUI 0xDC774C가 작동하거나 트렁크가 나타나지 않습니다.
Cisco 버그 ID CSCvr60193 - 기본 OUI 목록에 OUI C4:F7:D5 추가
Cisco 버그 ID CSCvp19788
- MDS 9000 OUI 라이브러리에 OUI 70:EA:1A 추가
Cisco 버그 ID CSCvt28351 - 6개의 OUI를 기본 OUI 목록에 추가
Cisco 버그 ID CSCvw14504 - OUI 데이터베이스에 OUI 0x4CE176 추가 - 포트 채널 및 OUI 0x4CE176에서 작동하지 않는 트렁킹
Cisco 버그 ID CSCvx67383 - 스위치 OUI 0x3C13CC(3C:13:CC)가 작동하거나 트렁크를 지원하지 않는 ACI LEAF N9K를 향하는 MDS Port-Channel
N5K/N6K 버그
Cisco 버그 ID CSCvx72821 - Port-Channel with Cisco switch OUI 0xDC774C or 0x4CE176 또는 0x3C13CC가 작동하거나 트렁크가 나타나지 않습니다.
Cisco 버그 ID CSCvp54881 - UCS 및 Nexus 56128p 간에 SAN 포트 채널을 생성할 수 없습니다.
N9K 버그
Cisco 버그 ID CSCvp21786 - Nexus 9000::MDS와 N9K 간의 F 모드 san-port-channel 또는 트렁킹을 시작할 수 없음
Cisco 버그 ID CSCvx68507 - Port-Channel with Cisco switch OUI 0xDC774C or 0x4CE176 또는 0x3C13CC가 작동하거나 트렁크가 나타나지 않습니다.
UCS 버그
Cisco 버그 ID CSCvk63036 - UCS에 OUI 003a9c, 000831, d0a5a6 누락 — FC/FCoE 포트-채널이 형성되지 않도록 방지
Cisco 버그 ID CSCvv70634 - UCS FI는 N9K OUI를 추가해야 합니다.
Cisco 버그 ID CSCvx68517 - Port-Channel with Cisco switch OUI 0xDC774C or 0x4CE176 또는 0x3C13CC가 작동하거나 트렁크가 나타나지 않습니다. Cisco 버그 ID
개정 이력
| 개정 | 게시 날짜 | 의견 |
|---|---|---|
1.0 |
23-Feb-2022 |
최초 릴리스 |
피드백