Nexus 5500 Adapter-FEX 컨피그레이션 예
목차
소개
이 문서에서는 Nexus 5500 스위치에서 FEX(Adapter-Fabric Extender) 기능을 구성, 작동 및 트러블슈팅하는 방법에 대해 설명합니다.
사전 요구 사항
요구 사항
이 문서에 대한 특정 요건이 없습니다.
사용되는 구성 요소
이 문서의 정보는 다음 소프트웨어 및 하드웨어 버전을 기반으로 합니다.
- 버전 5.2(1)N1(4)을 실행하는 Nexus 5548UP
- 펌웨어 버전 1.4(2)를 실행하는 UCS P81E VIC(Virtual Interface Card)가 포함된 UCS(Unified Computing System) C-Series C210 M2 Rack Server
이 문서의 정보는 특정 랩 환경의 디바이스를 토대로 작성되었습니다.이 문서에 사용된 모든 디바이스는 초기화된(기본) 컨피그레이션으로 시작되었습니다.네트워크가 작동 중인 경우 모든 명령 또는 패킷 캡처 설정의 잠재적인 영향을 이해해야 합니다.
배경 정보
Adapter-FEX 개요
이 기능을 사용하면 Nexus 5500 스위치가 서버 VIC에서 가상 인터페이스(vNIC(Ethernet Virtual Network Interface Controller)와 파이버 채널 vHBA(Virtual Host Bus Adapter)를 모두 관리할 수 있습니다.이는 서버에서 실행되는 하이퍼바이저와 독립적입니다.생성된 가상 인터페이스는 서버에 설치된 기본 운영 체제(OS)에 표시됩니다(OS에 적절한 드라이버가 있는 경우).
지원되는 플랫폼은 Cisco Nexus 5000 Series NX-OS Adapter FEX Operations Guide, Release 5.1(3)N1(1)의 이 섹션에서 찾을 수 있습니다.
Adapter-FEX에 대해 지원되는 토폴로지는 Cisco Nexus 5000 Series NX-OS Adapter FEX Operations Guide, Release 5.1(3)N1(1)의 이 섹션에서 확인할 수 있습니다.
지원되는 토폴로지는 다음과 같습니다.
- Nexus 5500 스위치에 대한 서버 싱글 홈
- 서버를 단일 홈으로 Straight-Through FEX에 연결
- 서버가 활성/활성 FEX에 연결됨
- 액티브/스탠바이 업링크를 통해 Nexus 5500 스위치 한 쌍에 서버 듀얼 홈
- vPC(Virtual Port Channel) 액티브/액티브 FEX 쌍에 대한 액티브/스탠바이 업링크를 통해 서버 듀얼 홈
후속 컨피그레이션 섹션에서는 다음과 같이 설명되는 '액티브/스탠바이 업링크를 통해 Nexus 5500 스위치 쌍으로 듀얼 홈(dual-homed)' 서버에 대해 설명합니다.
각 vNIC에는 Nexus 5000에 해당하는 가상 이더넷 인터페이스가 있습니다.마찬가지로 각 vHBA에는 Nexus 5000에 해당하는 VFC(Virtual Fibre Channel) 인터페이스가 있습니다.
구성
이더넷 vNIC 컨피그레이션
두 Nexus 5000 스위치 모두에서 다음 단계를 완료합니다.
- 일반적으로 vPC는 2개의 Nexus 5000 스위치에서 정의되고 작동합니다.vPC 도메인이 정의되어 있고 peer-keepalive가 UP이고 peer-link가 UP인지 확인합니다.
- 가상화 기능 집합을 활성화하려면 다음 명령을 입력합니다.
(config)# install feature-set virtualization
(config)# feature-set virtualization - (선택 사항) Nexus 5000에서 해당 vNIC가 서버에 정의된 경우 가상 이더넷 인터페이스를 자동으로 생성할 수 있습니다.이는 Nexus 5000에서만 수동으로 정의할 수 있는 VFC 인터페이스에는 적용되지 않습니다.
(config)# vethernet auto-create
- VNTag(Virtual Network Tag) 모드에서 서버에 연결하는 Nexus 5000 인터페이스를 구성합니다.
(config)# interface Eth 1/10
(config-if)# switchport mode vntag
(config-if)# no shutdown - vNIC에 적용할 포트 프로필을 구성합니다.
포트 프로필은 스위치 인터페이스에서 적용(상속)할 수 있는 구성 템플릿입니다.Adapter-FEX의 맥락에서 포트 프로파일을 수동으로 정의된 가상 이더넷 인터페이스에 적용하거나 vNIC가 UCS C-Series Cisco CIMC(Integrated Management Controller) GUI 인터페이스에 구성될 때 자동으로 생성되는 인터페이스에 적용할 수 있습니다.
포트 프로필의 유형은 'vethernet'입니다.
다음은 샘플 포트 프로필 컨피그레이션입니다.(config)# port-profile type vethernet VNIC1
(config-port-prof)# switchport mode access
(config-port-prof)# switchport access vlan 10
(config-port-prof)# no shutdown
(config-port-prof)# state enabled
UCS C-Series 서버에서 다음 단계를 완료합니다.
- HTTP를 통해 CIMC 인터페이스에 연결하고 관리자 자격 증명으로 로그인합니다.
- Inventory(인벤토리) > Network Adapters(네트워크 어댑터) > Modify Adapter Properties(어댑터 속성 수정)를 선택합니다.
- Enable NIV Mode(NIV 모드 활성화) 확인란을 선택합니다.
- Save Changes를 클릭합니다.
- 서버의 전원을 끈 다음 전원을 켜십시오.
- 서버가 나타나면 Inventory(인벤토리) > Network Adapters(네트워크 어댑터) > vNICs(vNIC) > Add(추가)를 선택하여 vNIC를 생성합니다.가장 중요한 필드는 다음과 같습니다.
- 사용할 VIC 업링크 포트(P81E에는 0과 1로 참조된 2개의 업링크 포트가 있음)
- Channel Number(채널 번호) - 어댑터에 있는 vNIC의 고유한 채널 ID입니다.이는 bind 명령에서 Nexus 5000의 가상 이더넷 인터페이스 아래에서 참조됩니다.채널 번호의 범위는 VNTag 물리적 링크로 제한됩니다.이 채널은 스위치와 서버 어댑터 사이의 물리적 링크에서 '가상 링크'로 간주할 수 있습니다.
- 포트 프로필 - 업스트림 Nexus 5000에 정의된 포트 프로필 목록을 선택할 수 있습니다.Nexus 5000이 vethernet auto-create 명령으로 구성된 경우 Nexus 5000에서 가상 이더넷 인터페이스가 자동으로 생성됩니다.가상 이더넷 포트 프로필 이름(포트 프로필 컨피그레이션이 아님)만 서버에 전달됩니다.이는 VNTag 링크 연결이 설정되고 스위치와 서버 어댑터 간에 초기 핸드셰이크 및 협상 단계가 수행된 후에 발생합니다.
- Save Changes를 클릭합니다.
- 전원을 끈 다음 서버를 다시 켜십시오.
vHBA 컨피그레이션
서버 어댑터에 vHBA를 생성하면 해당 스위치 인터페이스가 자동으로 생성되지 않습니다.대신 수동으로 정의해야 합니다.스위치 및 서버 측 단계는 여기에 나와 있습니다.
스위치 측에서 다음 단계를 완료합니다.
- 서버 vHBA 인터페이스의 VNTag 인터페이스 채널에 바인딩된 가상 이더넷 트렁크 인터페이스를 생성합니다.FCoE(Fibre Channel over Ethernet) VLAN은 네이티브 VLAN이 아니어야 합니다.가상 이더넷 번호는 두 Nexus 5000 스위치 전체에서 고유해야 합니다.
예:
(config)# interface veth 10
(config-if)# switchport mode trunk
(config-if)# switchport trunk allowed vlan 1,100
(config-if)# bind interface eth1/1 channel 3
(config-if)# no shutdown - 이전에 정의된 가상 이더넷 인터페이스에 바인딩된 VFC 인터페이스를 생성합니다.
예:
(config)# interface vfc10
(config-if)# bind interface veth 10
(config-if)# no shut이 인터페이스의 VSAN(Virtual Storage Area Network) 멤버십은 VSAN 데이터베이스 아래에 정의됩니다.
(config)# vsan database
(config-vsan-db)# vsan 100 interface vfc10
(config-vsan-db)# vlan 100
(config-vlan)# fcoe vsan 100
(config-vlan)# show vlan fcoe
서버 측에서 다음 단계를 완료합니다.
- vHBA 인터페이스를 생성하려면 Inventory(인벤토리) > Network Adapters(네트워크 어댑터) > vHBAs를 선택합니다.
정의할 기본 필드는 다음과 같습니다.
- 포트 WWN(World Wide Name)/노드 WWN(World Wide Name)
- FCOE VLAN
- 업링크 ID
- 채널 번호
- 사용 시 SAN(Storage Area Network)에서 부팅
- 서버의 전원을 껐다가 켜십시오.
다음을 확인합니다.
이 섹션을 사용하여 컨피그레이션이 제대로 작동하는지 확인합니다.
다음 명령을 사용하여 가상 이더넷 인터페이스 목록을 표시할 수 있습니다.
n5k1# show interface virtual summary
Veth Bound Channel/ Port Mac VM
Interface Interface DV-Port Profile Address Name
-------------------------------------------------------------------------
Veth32770 Eth1/2 1 UPLINK
Total 1 Veth Interfaces
n5k1#
n5k1# show interface virtual status
Interface VIF-index Bound If Chan Vlan Status Mode Vntag
-------------------------------------------------------------------------
Veth32770 VIF-17 Eth1/2 1 10 Up Active 2
Total 1 Veth Interfaces
자동으로 생성된 가상 이더넷 인터페이스는 실행 중인 컨피그레이션에 나타나며, 복사 실행 시작이 수행될 때 시작 컨피그레이션에 저장됩니다.
n5k1# show run int ve32770
!Command: show running-config interface Vethernet32770
!Time: Thu Apr 10 12:56:23 2014
version 5.2(1)N1(4)
interface Vethernet32770
inherit port-profile UPLINK
bind interface Ethernet1/2 channel 1
n5k1# show int ve32770 brief
--------------------------------------------------------------------------------
Vethernet VLAN Type Mode Status Reason Speed
--------------------------------------------------------------------------------
Veth32770 10 virt access up none auto
n5k1#
문제 해결
이 섹션에서는 컨피그레이션 문제를 해결하는 데 사용할 수 있는 정보를 제공합니다.
가상 이더넷 인터페이스가 작동하지 않음
다음 명령을 사용하여 스위치 VNTag 인터페이스에 대한 DCBX(Data Center Bridging Capabilities Exchange Protocol) 정보를 확인합니다.
# show system internal dcbx info interface ethernet <>
다음을 확인합니다.
- DCX(Data Center Bridging Exchange) 프로토콜은 CEE(Converged Ethernet)입니다.
- CEE NIV(Network IO Virtualization) 확장이 활성화됨
- NIV TLV(Type Length Value)가 있습니다.
아래에 강조 표시된 대로:
n5k1# show sys int dcbx info interface e1/2
Interface info for if_index: 0x1a001000(Eth1/2)
tx_enabled: TRUE
rx_enabled: TRUE
dcbx_enabled: TRUE
DCX Protocol: CEE <<<<<<<
DCX CEE NIV extension: enabled <<<<<<<<<
<output omitted>
Feature type NIV (7) <<<<<<<
feature type 7(DCX CEE-NIV)sub_type 0
Feature State Variables: oper_version 0 error 0 local error 0 oper_mode 1
feature_seq_no 0 remote_feature_tlv_present 1 remote_tlv_aged_out 0
remote_tlv_not_present_notification_sent 0
Feature Register Params: max_version 0, enable 1, willing 0 advertise 1
disruptive_error 0 mts_addr_node 0x2201 mts_addr_sap 0x193
Other server mts_addr_node 0x2301, mts_addr_sap 0x193
Desired config cfg length: 8 data bytes:9f ff 68 ef bd f7 4f c6
Operating config cfg length: 8 data bytes:9f ff 68 ef bd f7 4f c6
Peer config cfg length: 8 data bytes:10 00 00 22 bd d6 66 f8
일반적인 문제는 다음과 같습니다.
- DCX 프로토콜은 CIN입니다.
- L1 문제 확인:케이블, SFP, 포트 위로, 어댑터
- 스위치 구성을 확인합니다.기능 집합, switchport VNTag, LLDP(Link Layer Discovery Protocol)/DCBX 활성화
- NIV TLV가 없습니다.
- 어댑터 컨피그레이션에서 NIV 모드가 활성화되어 있는지 확인합니다.
- VNIC VIC(Interface Control) 통신이 완료되었으며 포트 프로필 정보가 교환되었는지 확인합니다.현재 VIM(Virtual Interface Manager) 이벤트 상태가 VIM_NIV_PHY_FSM_ST_UP_OPENED_PP인지 확인합니다.
n5k1# show sys int vim event-history interface e1/2
>>>>FSM: <Ethernet1/2> has 18 logged transitions<<<<<
1) FSM:<Ethernet1/2> Transition at 327178 usecs after Thu Apr 10 12:22:27 2014
Previous state: [VIM_NIV_PHY_FSM_ST_WAIT_DCBX]
Triggered event: [VIM_NIV_PHY_FSM_EV_PHY_DOWN]
Next state: [VIM_NIV_PHY_FSM_ST_WAIT_DCBX]
2) FSM:<Ethernet1/2> Transition at 327331 usecs after Thu Apr 10 12:22:27 2014
Previous state: [VIM_NIV_PHY_FSM_ST_WAIT_DCBX]
Triggered event: [VIM_NIV_PHY_FSM_EV_DOWN_DONE]
Next state: [VIM_NIV_PHY_FSM_ST_WAIT_DCBX]
3) FSM:<Ethernet1/2> Transition at 255216 usecs after Thu Apr 10 12:26:15 2014
Previous state: [VIM_NIV_PHY_FSM_ST_WAIT_DCBX]
Triggered event: [VIM_NIV_PHY_FSM_EV_RX_DCBX_CC_NUM]
Next state: [VIM_NIV_PHY_FSM_ST_WAIT_3SEC]
4) FSM:<Ethernet1/2> Transition at 250133 usecs after Thu Apr 10 12:26:18 2014
Previous state: [VIM_NIV_PHY_FSM_ST_WAIT_3SEC]
Triggered event: [VIM_NIV_PHY_FSM_EV_DCX_3SEC_EXP]
Next state: [VIM_NIV_PHY_FSM_ST_WAIT_ENCAP]
5) FSM:<Ethernet1/2> Transition at 262008 usecs after Thu Apr 10 12:26:18 2014
Previous state: [VIM_NIV_PHY_FSM_ST_WAIT_ENCAP]
Triggered event: [VIM_NIV_PHY_FSM_EV_VIC_OPEN_RECEIVED]
Next state: [FSM_ST_NO_CHANGE]
6) FSM:<Ethernet1/2> Transition at 60944 usecs after Thu Apr 10 12:26:19 2014
Previous state: [VIM_NIV_PHY_FSM_ST_WAIT_ENCAP]
Triggered event: [VIM_NIV_PHY_FSM_EV_ENCAP_RESP]
Next state: [VIM_NIV_PHY_FSM_ST_UP]
7) FSM:<Ethernet1/2> Transition at 62553 usecs after Thu Apr 10 12:26:19 2014
Previous state: [VIM_NIV_PHY_FSM_ST_UP]
Triggered event: [VIM_NIV_PHY_FSM_EV_VIC_OPEN_ACKD]
Next state: [FSM_ST_NO_CHANGE]
8) FSM:<Ethernet1/2> Transition at 62605 usecs after Thu Apr 10 12:26:19 2014
Previous state: [VIM_NIV_PHY_FSM_ST_UP]
Triggered event: [VIM_NIV_PHY_FSM_EV_VIC_OPEN_DONE]
Next state: [VIM_NIV_PHY_FSM_ST_UP_OPENED]
9) FSM:<Ethernet1/2> Transition at 62726 usecs after Thu Apr 10 12:26:19 2014
Previous state: [VIM_NIV_PHY_FSM_ST_UP_OPENED]
Triggered event: [VIM_NIV_PHY_FSM_EV_PP_SEND]
Next state: [VIM_NIV_PHY_FSM_ST_UP_OPENED_PP]
10) FSM:<Ethernet1/2> Transition at 475253 usecs after Thu Apr 10 12:51:45 2014
Previous state: [VIM_NIV_PHY_FSM_ST_UP_OPENED_PP]
Triggered event: [VIM_NIV_PHY_FSM_EV_PHY_DOWN]
Next state: [VIM_NIV_PHY_FSM_ST_WAIT_VETH_DN]
11) FSM:<Ethernet1/2> Transition at 475328 usecs after Thu Apr 10 12:51:45 2014
Previous state: [VIM_NIV_PHY_FSM_ST_WAIT_VETH_DN]
Triggered event: [VIM_NIV_PHY_FSM_EV_DOWN_DONE]
Next state: [VIM_NIV_PHY_FSM_ST_WAIT_DCBX]
12) FSM:<Ethernet1/2> Transition at 983154 usecs after Thu Apr 10 12:53:06 2014
Previous state: [VIM_NIV_PHY_FSM_ST_WAIT_DCBX]
Triggered event: [VIM_NIV_PHY_FSM_EV_RX_DCBX_CC_NUM]
Next state: [VIM_NIV_PHY_FSM_ST_WAIT_3SEC]
13) FSM:<Ethernet1/2> Transition at 992590 usecs after Thu Apr 10 12:53:09 2014
Previous state: [VIM_NIV_PHY_FSM_ST_WAIT_3SEC]
Triggered event: [VIM_NIV_PHY_FSM_EV_DCX_3SEC_EXP]
Next state: [VIM_NIV_PHY_FSM_ST_WAIT_ENCAP]
14) FSM:<Ethernet1/2> Transition at 802877 usecs after Thu Apr 10 12:53:10 2014
Previous state: [VIM_NIV_PHY_FSM_ST_WAIT_ENCAP]
Triggered event: [VIM_NIV_PHY_FSM_EV_ENCAP_RESP]
Next state: [VIM_NIV_PHY_FSM_ST_UP]
15) FSM:<Ethernet1/2> Transition at 804263 usecs after Thu Apr 10 12:53:10 2014
Previous state: [VIM_NIV_PHY_FSM_ST_UP]
Triggered event: [VIM_NIV_PHY_FSM_EV_VIC_OPEN_ACKD]
Next state: [FSM_ST_NO_CHANGE]
16) FSM:<Ethernet1/2> Transition at 992390 usecs after Thu Apr 10 12:53:11 2014
Previous state: [VIM_NIV_PHY_FSM_ST_UP]
Triggered event: [VIM_NIV_PHY_FSM_EV_VIC_OPEN_RECEIVED]
Next state: [FSM_ST_NO_CHANGE]
17) FSM:<Ethernet1/2> Transition at 992450 usecs after Thu Apr 10 12:53:11 2014
Previous state: [VIM_NIV_PHY_FSM_ST_UP]
Triggered event: [VIM_NIV_PHY_FSM_EV_VIC_OPEN_DONE]
Next state: [VIM_NIV_PHY_FSM_ST_UP_OPENED]
18) FSM:<Ethernet1/2> Transition at 992676 usecs after Thu Apr 10 12:53:11 2014
Previous state: [VIM_NIV_PHY_FSM_ST_UP_OPENED]
Triggered event: [VIM_NIV_PHY_FSM_EV_PP_SEND]
Next state: [VIM_NIV_PHY_FSM_ST_UP_OPENED_PP]
Curr state: [VIM_NIV_PHY_FSM_ST_UP_OPENED_PP] <<<<<<<<<<
n5k1#
가상 이더넷 인터페이스가 고정 가상 이더넷인 경우 VIC_CREATE가 이 명령에 나타나는지 확인합니다.
# show system internal vim info niv msg logs fixed interface e 1/16 ch 1
Eth1/16(Chan: 1) VIF Index: 605
REQ MsgId: 56630, Type: VIC ENABLE, CC: SUCCESS
RSP MsgId: 56630, Type: VIC ENABLE, CC: SUCCESS
REQ MsgId: 4267, Type: VIC SET, CC: SUCCESS
RSP MsgId: 4267, Type: VIC SET, CC: SUCCESS
REQ MsgId: 62725, Type: VIC CREATE, CC: SUCCESS <<<<<<<
RSP MsgId: 62725, Type: VIC CREATE, CC: SUCCESS <<<<<<<
REQ MsgId: 62789, Type: VIC ENABLE, CC: SUCCESS
RSP MsgId: 62789, Type: VIC ENABLE, CC: SUCCESS
REQ MsgId: 21735, Type: VIC SET, CC: SUCCESS
RSP MsgId: 21735, Type: VIC SET, CC: SUCCESS
고정 가상 이더넷 인터페이스는 물리적 인터페이스 간 마이그레이션을 지원하지 않는 가상 인터페이스입니다.Adapter-FEX가 설명되면 Adapter-FEX는 단일(즉, 가상화되지 않은) OS에서 네트워크 가상화를 사용하는 것을 의미하므로 범위는 항상 고정 가상 이더넷에 적용됩니다.
VIC_CREATE가 표시되지 않는 경우:
- 어댑터가 Cisco NIV 어댑터인 경우 어댑터 측에서 VNIC 컨피그레이션을 확인합니다(채널 ID, 업링크 UIF 포트 수정, 보류 중인 커밋(컨피그레이션 변경에 필요한 서버 재부팅).vHBA는 ASA FEX 토폴로지의 두 스위치에 가상 이더넷을 표시하지 않습니다.vHBA 고정 가상 이더넷에는 OS 드라이버가 필요합니다(OS가 드라이버를 로드하고 완전히 부팅될 때까지 대기).
- 어댑터가 Broadcom NIV 어댑터인 경우 인터페이스가 OS 측에서 작동하는지 확인합니다(예: Linux의 경우 'ifconfig eth2 up' 인터페이스를 불러옵니다).
- VIC_CREATE가 나타나지만 스위치가 ERR_INTERNAL로 응답하는 경우:
- 스위치와 어댑터 측의 포트 프로필을 확인합니다.포트 프로필 문자열이 일치하지 않는지 확인합니다.
- 동적 고정 가상 이더넷의 경우 'veth auto-create' 컨피그레이션을 선택합니다.
- 문제가 계속되면 아래 나열된 출력을 수집하고 Cisco TAC(Technical Assistance Center)에 문의하십시오.
# show system internal vim log
# attach fex <number>
# test vic_proxy dump trace
서버 측에서 어댑터 기술 지원 정보 수집
- 브라우저에서 CIMC에 로그인합니다.
- Admin 탭을 클릭합니다.
- 유틸리티를 클릭합니다.
- Export Technical Support Data to TFTP(기술 지원 데이터를 TFTP로 내보내기)를 클릭하거나 Generate Technical Support Data for Local Download를 클릭합니다.
피드백