ACI VMM 통합 문제 해결

소개

이 문서에서는 ACI VMM(Virtual Machine Manager Integration)을 이해하고 문제를 해결하는 단계에 대해 설명합니다.

배경 정보

이 문서의 자료는 Troubleshooting Cisco Application Centric Infrastructure, Second Edition 책, 특히 VMM 통합 - 개요, VMM 통합 - vCenter 연결, VMM 통합 - 호스트 동적 검색 및 VMM 통합 - 하이퍼바이저 업링크 로드 밸런싱 장에서 추출되었습니다.

Virtual Machine Manager 개요

ACI 컨트롤러는 서드파티 VMM(Virtual Machine Manager)과 통합할 수 있습니다.

ACI는 패브릭의 엔드 투 엔드 네트워킹 컨피그레이션 및 이에 연결되는 워크로드에 대한 운영을 간소화하고 자동화하는 ACI의 주요 기능 중 하나입니다. ACI는 여러 워크로드 유형, 즉 가상 머신, 베어 메탈 서버, 컨테이너에서 확장할 수 있는 단일 오버레이 정책 모델을 제공합니다.

이 장에서는 특히 VMware vCenter VMM 통합과 관련된 몇 가지 일반적인 트러블슈팅 시나리오를 중점적으로 살펴봅니다.

독자는 다음 내용을 살펴봅니다.

• vCenter 통신 장애 조사
• 호스트 및 VM 동적 검색 프로세스 및 실패 시나리오
• 하이퍼바이저 로드 밸런싱 알고리즘

vCenter 연결

RBAC(역할 기반 액세스 제어)

APIC가 vCenter 컨트롤러와 인터페이스할 수 있는 메커니즘은 지정된 VMM 도메인과 연결된 사용자 계정에 따라 달라집니다. APIC가 인벤토리 및 컨피그레이션을 푸시 및 검색하거나, 관리되는 인벤토리 관련 이벤트를 모니터링 및 청취하는지 여부와 상관없이 vCenter에서 성공적으로 작업을 수행할 수 있도록 VMM 도메인과 연결된 vCenter 사용자에 대한 특정 요구 사항이 설명되어 있습니다.

이러한 요구 사항에 대한 우려를 없애는 가장 쉬운 방법은 전체 액세스 권한이 있는 관리자 vCenter 계정을 사용하는 것입니다. 그러나 이러한 유형의 자유를 ACI 관리자가 항상 사용할 수 있는 것은 아닙니다.

ACI 버전 4.2를 기준으로 사용자 지정 사용자 계정에 대한 최소 권한은 다음과 같습니다.

• 경보
  • APIC는 폴더에 두 개의 경보를 생성합니다. 하나는 DVS용이고 다른 하나는 포트 그룹용입니다. APIC에서 EPG 또는 VMM 도메인 정책을 삭제하면 경보가 발생하지만, VM이 연결되어 있어 vCenter에서 해당 포트 그룹 또는 DVS를 삭제할 수 없습니다.
• 분산 스위치
• dvPort 그룹
• 폴더
• 네트워크
  • APIC는 포트 그룹 추가 또는 삭제, 호스트/DVS MTU 설정, LLDP/CDP, LACP 등 네트워크 설정을 관리합니다.
• 호스트
  • 또한 AVS를 사용할 경우, 사용자는 APIC에서 DVS를 생성할 데이터 센터에 대한 호스트 권한이 필요합니다.
  • Host.Configuration.Advanced 설정
  • Host.Local operations.Reconfigure 가상 머신
  • Host.Configuration.Network 구성
  • 이는 AVS 및 가상 레이어 4-레이어 7 서비스 VM의 자동 배치 기능에 필요합니다. AVS의 경우 APIC에서 VMK 인터페이스를 생성하여 OpFlex에 사용되는 VTEP 포트 그룹에 배치합니다.
• 가상 머신
  • 서비스 그래프를 사용 중인 경우 가상 어플라이언스에 대한 가상 머신 권한도 필요합니다.
  • Virtual machine.Configuration.장치 설정 수정
  • 가상 머신.컨피그레이션.설정

RBAC 관련 문제 해결

RBAC 문제는 VMM 도메인의 초기 설정 중에 가장 자주 발생하지만, 초기 설정이 이미 수행된 후 vCenter 관리자가 VMM 도메인과 연결된 사용자 계정의 권한을 수정해야 하는 경우 발생할 수 있습니다.

증상은 다음과 같은 방식으로 나타날 수 있습니다.

• 신규 서비스 구축의 부분적 또는 완전한 불가능(DVS 생성, 포트 그룹 생성, 일부 객체는 성공적으로 구축되지만 전부는 아님)
• 운영 인벤토리가 완전하지 않거나 ACI 관리자 보기에 없습니다.
• 지원되지 않는 vCenter 작업에 대해 또는 임의의 시나리오(예: 포트 그룹 구축 실패)에 대해 제기되는 결함.
• vCenter 컨트롤러가 오프라인으로 보고되고 fault는 연결 또는 자격 증명 관련 문제가 있음을 나타냅니다.

RBAC 관련 문제에 대한 솔루션

VMM 도메인에 구성된 vCenter 사용자에게 모든 권한이 부여되었는지 확인하십시오.

또 다른 방법은 VMM 도메인 컨피그레이션에 정의된 것과 동일한 자격 증명을 사용하여 vCenter에 직접 로그인하고 유사한 작업(포트 그룹 생성 포함)을 시도하는 것입니다. 사용자가 vCenter에 직접 로그인한 상태에서 동일한 작업을 수행할 수 없는 경우 사용자에게 올바른 권한이 부여되지 않습니다.

연결 문제 해결

VMM 연결 관련 문제를 해결할 때 ACI와 vCenter의 통신 방식에 대한 몇 가지 기본 동작을 주의해야 합니다.

가장 중요한 첫 번째 동작은 클러스터의 한 APIC에서만 특정 시점에 컨피그레이션을 전송하고 인벤토리를 수집하는 것입니다. 이 APIC를 이 VMM 도메인의 공유 리더라고 합니다. 그러나 여러 APIC에서 vCenter 이벤트를 듣고 있는 이유는 샤드 리더가 어떤 이유로든 이벤트를 놓친 시나리오를 설명하기 위해서입니다. APIC의 동일한 분산 아키텍처에 따라, 지정된 VMM 도메인에는 기본 데이터 및 기능을 처리하는 APIC 1개(이 경우 공유 리더)와 복제본 2개(VMM의 경우 팔로워라고 함)가 있습니다. APIC에 VMM 통신 및 기능 처리를 분산하기 위해, 두 VMM 도메인의 공유 리더가 같거나 다를 수 있습니다.

GUI에서 원하는 VMM 컨트롤러로 이동하거나 여기에 나열된 CLI 명령을 사용하여 vCenter 연결 상태를 찾을 수 있습니다.

VMWare VMM 도메인 - vCenter 연결 상태

apic2# show vmware domain name VDS_Site1 vcenter 10.48.176.69
Name                         : bdsol-aci37-vc
Type                         : vCenter
Hostname or IP               : 10.48.176.69
Datacenter                   : Site1
DVS Version                  : 6.0
Status                       : online
Last Inventory Sync          : 2019-10-02 09:27:23
Last Event Seen              : 1970-01-01 00:00:00
Username                     : administrator@vsphere.local
Number of ESX Servers        : 2
Number of VMs                : 2
Faults by Severity           : 0, 0, 0, 0
Leader                       : bdsol-aci37-apic1

Managed Hosts:
ESX              VMs       Adjacency   Interfaces
---------------  --------  ----------  ------------------------------------------------
10.48.176.66     1         Direct      leaf-101 eth1/11, leaf-102 eth1/11
10.48.176.67     1         Direct      leaf-301 eth1/11, leaf-302 eth1/11

VMM 컨트롤러가 오프라인 상태로 표시되면 다음과 유사한 오류가 발생합니다.

Fault fltCompCtrlrConnectFailed
Rule ID:130
Explanation:
This fault is raised when the VMM Controller is marked offline. Recovery is in process.
Code: F0130
Message: Connection to VMM controller: hostOrIp with name name in datacenter rootContName in domain: domName is failing repeatedly with error: [remoteErrMsg]. Please verify network connectivity of VMM controller hostOrIp and check VMM controller user credentials are valid.

이 단계는 VC와 APIC 간의 연결 문제를 해결하는 데 사용할 수 있습니다.

1. 샤드 리더 식별

APIC과 vCenter 간의 연결 문제를 해결하는 첫 번째 단계는 어떤 APIC가 지정된 VMM 도메인의 공유 리더인지 파악하는 것입니다. 이 정보를 확인하는 가장 쉬운 방법은 APIC에서 show vmware domain name <domain> 명령을 실행하는 것입니다.

apic1# show vmware domain name VDS_Site1
Domain Name                        : VDS_Site1
Virtual Switch Mode                : VMware Distributed Switch
Vlan Domain                        : VDS_Site1 (1001-1100)
Physical Interfaces                : leaf-102 eth1/11, leaf-301 eth1/11, leaf-302 eth1/11,
                                   leaf-101 eth1/11
Number of EPGs                     : 2
Faults by Severity                 : 0, 0, 0, 0
LLDP override                      : RX: enabled, TX: enabled
CDP override                       : no
Channel Mode override              : mac-pinning
NetFlow Exporter Policy            : no
Health Monitoring                  : no

vCenters:
Faults: Grouped by severity (Critical, Major, Minor, Warning)
vCenter               Type      Datacenter            Status    ESXs   VMs    Faults
--------------------  --------  --------------------  --------  -----  -----  ---------------
10.48.176.69          vCenter   Site1                 online    2      2      0,0,0,0

APIC Owner:
Controller    APIC      Ownership
------------  --------  ---------------
bdsol-        apic1     Leader
aci37-vc 
bdsol-        apic2     NonLeader
aci37-vc 
bdsol-        apic3     NonLeader
aci37-vc   

2. vCenter에 대한 연결 확인

vCenter와 활발하게 통신하는 APIC를 식별한 후 ping과 같은 툴을 사용하여 IP 연결을 확인합니다.

apic1# ping 10.48.176.69
PING 10.48.176.69 (10.48.176.69) 56(84) bytes of data.
64 bytes from 10.48.176.69: icmp_seq=1 ttl=64 time=0.217 ms
64 bytes from 10.48.176.69: icmp_seq=2 ttl=64 time=0.274 ms
64 bytes from 10.48.176.69: icmp_seq=3 ttl=64 time=0.346 ms
64 bytes from 10.48.176.69: icmp_seq=4 ttl=64 time=0.264 ms
64 bytes from 10.48.176.69: icmp_seq=5 ttl=64 time=0.350 ms
^C
--- 10.48.176.69 ping statistics ---
5 packets transmitted, 5 received, 0% packet loss, time 4084ms
rtt min/avg/max/mdev = 0.217/0.290/0.350/0.052 ms

vCenter가 IP 주소가 아닌 FQDN을 사용하여 구성된 경우 nslookup 명령을 사용하여 이름 확인을 확인할 수 있습니다.

apic1:~> nslookup bdsol-aci37-vc
Server: 10.48.37.150
Address: 10.48.37.150#53
Non-authoritative answer:
Name: bdsol-aci37-vc.cisco.com
Address: 10.48.176.69

3. OOB 또는 INB를 사용하는지 확인

APIC 라우팅 테이블을 검사하여 OOB(Out of Band) 또는 OOB(In Band) 연결이 선호되는지, 어떤 게이트웨이가 사용되는지 확인합니다.

apic1# bash
admin@apic1:~> route
Kernel IP routing table
Destination     Gateway         Genmask         Flags Metric Ref    Use Iface
default         10.48.176.1     0.0.0.0         UG    16     0        0 oobmgmt

4. 포트 443이 모든 APIC와 vCenter 간에 허용되는지 확인합니다(통신 경로에 있는 방화벽 포함).

vCenter <-> APIC - HTTPS(TCP 포트 443) - 통신

APIC에서 vCenter로의 일반적인 HTTPS 연결 기능은 curl로 테스트할 수 있습니다.

apic2# curl -v -k https://10.48.176.69
* Rebuilt URL to: https://10.48.176.69/*   Trying 10.48.176.69...
* TCP_NODELAY set
* Connected to 10.48.176.69 (10.48.176.69) port 443 (#0)
...

공유 지시자가 netstat 명령을 사용하여 포트 443에서 설정된 TCP 연결을 가지고 있는지 확인합니다.

apic1:~> netstat -tulaen | grep 10.48.176.69
tcp 0 0 10.48.176.57:40806 10.48.176.69:443 ESTABLISHED 600 13062800

5. 패킷 캡처 수행

가능한 경우, 각 디바이스에서 트래픽이 전송 및 수신되는지 확인하기 위해 공유 리더와 vCenter 사이의 경로를 따라 패킷 캡처를 수행합니다.

VMware 인벤토리

이 표에서는 VMWare VDS 매개변수 목록을 보여주며 APIC에서 구성할 수 있는지 여부를 지정합니다.

APIC에서 관리하는 VMware VDS 매개변수

VMware VDS	기본값	Cisco APIC 정책을 사용하여 구성 가능
이름	VMM 도메인 이름	예(도메인에서 파생됨)
설명	'APIC 가상 스위치'	아니요
폴더 이름	VMM 도메인 이름	예(도메인에서 파생됨)
버전	vCenter에서 가장 많이 지원	예
디스커버리 프로토콜	LLDP	예
업링크 포트 및 업링크 이름	8	예(Cisco APIC 릴리스 4.2(1)에서)
업링크 이름 접두사	업링크	예(Cisco APIC 릴리스 4.2(1)에서)
최대 MTU	9000	예
LACP 정책	비활성화됨	예
포트 미러링	세션 0개	예
경보	폴더 레벨에 추가된 경보 2개	아니요

이 표에서는 VMWare VDS 포트 그룹 매개변수 목록을 보여주며 APIC에서 구성할 수 있는지 여부를 지정합니다.

APIC에서 관리하는 VMWare VDS 포트 그룹 매개변수

VMware VDS 포트 그룹	기본값	APIC 정책을 사용하여 구성 가능
이름	테넌트 이름 | 애플리케이션 프로파일 이름 | EPG 이름	예(EPG에서 파생됨)
포트 바인딩	정적 바인딩	아니요
VLAN	VLAN 풀에서 선택됨	예
로드 밸런싱 알고리즘	APIC의 포트 채널 정책에 따라 파생됨	예
무차별 모드	비활성화됨	예
위조 송신	비활성화됨	예
MAC 변경	비활성화됨	예
모든 포트 차단	틀려	아니요

VMware 인벤토리 문제 해결

인벤토리 동기화 이벤트는 APIC에서 동적으로 정책을 업데이트해야 하는 vCenter 이벤트를 인식하도록 하기 위해 발생합니다. vCenter와 APIC 간에 발생할 수 있는 두 가지 유형의 인벤토리 동기화 이벤트는 전체 인벤토리 동기화와 이벤트 기반 인벤토리 동기화입니다. APIC과 vCenter 간의 전체 인벤토리 동기화의 기본 일정은 24시간마다 설정되지만, 이는 수동으로 트리거될 수도 있습니다. 이벤트 기반 인벤토리 동기화는 일반적으로 vMotion과 같은 트리거된 작업과 연결됩니다. 이 시나리오에서 가상 머신이 한 호스트에서 다른 호스트로 이동하고 해당 호스트가 두 개의 서로 다른 리프 스위치에 연결된 경우 APIC는 VM 마이그레이션 이벤트를 수신하고 온디맨드 구축 신속성 시나리오에서 소스 리프에 EPG를 프로그램 해제하고 대상 리프에 EPG를 프로그래밍합니다.

VMM 도메인과 연결된 EPG의 구축 신속성에 따라 vCenter에서 인벤토리를 가져오지 못하면 원치 않는 결과가 발생할 수 있습니다. 인벤토리가 완료되지 못했거나 부분적인 시나리오에서는 오류가 발생한 객체를 나타내는 결함이 항상 제기됩니다.

시나리오 1 - 잘못된 백업이 있는 가상 컴퓨터:

가상 시스템이 하나의 vCenter에서 다른 vCenter로 이동되거나 가상 시스템에 잘못된 지원(예: 이전/삭제된 DVS에 대한 포트 그룹 첨부)이 있는 것으로 확인되면 vNIC에 운영 문제가 있는 것으로 보고됩니다.

Fault fltCompVNicOperationalIssues
Rule ID:2842
Explanation:
This fault is raised when ACI controller failed to update the properties of a VNIC (for instance, it can not find the EPG that the VNIC attached to).
Code: F2842
Message: Operational issues detected for VNic name on VM name in VMM controller: hostOrIp with name name in datacenter rootContName in domain: domName due to error: issues.
Resolution:
Remediate the virtual machines indicated in the fault by assigning a valid port group on the affected vNIC of the VM.

시나리오 2 — vCenter 관리자가 vCenter에서 VMM 관리 개체를 수정했습니다.

vCenter에서 APIC에 의해 관리되는 객체를 수정하는 것은 지원되지 않습니다. 이 결함은 vCenter에서 지원되지 않는 작업이 수행되는 경우 표시됩니다.

Fault fltCompCtrlrUnsupportedOperation
Rule ID:133
Explanation:
This fault is raised when deployment of given configuration fails for a Controller.
Code: F0133
Message: Unsupported remote operation on controller: hostOrIp with name name in datacenter rootContName in domain domName detected, error: [deployIssues]
Resolution:
If this scenario is encountered, try to undo the unsupported change in vCenter and then trigger an 'inventory sync' manually.

VMWare VMM 도메인 - vCenter 컨트롤러 - 인벤토리 동기화 트리거

VMware DVS 버전

VMM 도메인의 일부로 새 vCenter 컨트롤러를 생성할 때 DVS 버전의 기본 설정은 "vCenter Default"를 사용하는 것입니다.  이 옵션을 선택하면 vCenter 버전으로 DVS 버전이 생성됩니다.

VMWare VMM 도메인 - vCenter 컨트롤러 생성

즉, 6.5를 실행하는 vCenter와 6.0을 실행하는 ESXi 서버의 예에서 APIC는 버전 6.5의 DVS를 생성하므로 vCenter 관리자는 6.0을 실행하는 ESXi 서버를 ACI DVS에 추가할 수 없습니다.

APIC 관리 DVS - vCenter 호스트 추가 - 빈 목록

APIC 관리 DVS - vCenter 호스트 추가 - 호환되지 않는 호스트

따라서 VMM 도메인을 만들 때 필요한 ESXi 서버를 DVS에 추가할 수 있도록 올바른 "DVS 버전"을 선택해야 합니다.

호스트 동적 검색

호스트/VM 검색 프로세스

ACI의 VMM 통합은 패브릭에서 호스트 및 적용 가능한 가상 머신이 연결된 위치를 동적으로 검색하여 정책을 효율적으로 배포할 수 있다는 점에서 수동 프로비저닝과 차별화됩니다. 이러한 동적 프로세스를 통해 ACI는 정책이 필요한 엔드포인트가 연결된 경우에만 VLAN, SVI, 조닝 규칙 등이 노드에 구축되므로 리프 스위치의 하드웨어 리소스 활용을 최적화할 수 있습니다. 사용 편의성의 관점에서 네트워크 관리자는 ACI를 통해 VM이 자동으로 연결되는 VLAN/정책을 프로비저닝할 수 있다는 이점이 있습니다. 정책을 구축해야 하는 위치를 결정하기 위해 APIC에서는 여러 소스의 정보를 사용합니다. 이 다이어그램은 DVS 기반 VMM 도메인을 사용할 때 호스트 검색 프로세스의 기본 단계를 간략하게 설명합니다.

VMWare VMM 도메인 — 배포 워크플로

간단히 말해, 다음과 같은 경우 이러한 주요 단계가 이루어집니다.

• LLDP 또는 CDP는 하이퍼바이저와 리프 스위치 간에 교환됩니다.
• 호스트는 vCenter에 인접성 정보를 보고합니다.
• vCenter에서 APIC에 인접성 정보를 알립니다.
  • APIC는 인벤토리 동기화를 통해 호스트에 대해 알고 있습니다.
• APIC에서 리프 포트에 정책을 푸시합니다.
  • 이러한 조건을 자세히 이해하려면 Resolution Immediacy 하위 섹션을 검토하십시오.
• vCenter 인접성 정보가 손실된 경우 APIC에서 정책을 제거할 수 있습니다.

CDP/LLDP는 검색 프로세스에서 중요한 역할을 하며, 이를 적절히 구성하고 양측이 동일한 프로토콜을 사용하는지 확인하는 것이 중요합니다.

Fabric LooseNode/Intermediate Switch - 활용 사례

리프 스위치와 하이퍼바이저 사이에 중간 스위치가 있는 블레이드 섀시를 사용하는 구축에서는 APIC가 인접성을 함께 '끼워 넣기'해야 합니다. 이 시나리오에서는 중간 스위치가 호스트와 다른 프로토콜 요구 사항을 갖기 때문에 여러 검색 프로토콜을 사용할 수 있습니다.

블레이드 서버와 중간 스위치(즉, 블레이드 섀시 스위치)가 있는 설정에서 ACI는 중간 스위치를 탐지하고 그 뒤에 있는 하이퍼바이저를 매핑할 수 있습니다. 중간 스위치는 ACI에서 LooseNode 또는 "관리되지 않는 패브릭 노드"라고 합니다. 탐지된 LooseNodes는 Fabric(패브릭) > Inventory(인벤토리) > Fabric Membership(패브릭 멤버십) > Unmanaged Fabric Nodes(관리되지 않는 패브릭 노드)에서 볼 수 있습니다. GUI에서 이러한 서버 유형 중 하나로 이동하면 leaf에서 intermediate 스위치, 그리고 host로의 경로를 볼 수 있습니다.

APIC UI — 관리되지 않는 패브릭 노드(LooseNodes)

LLDP 또는 CDP 검색을 구현하면 중간 스위치의 하이퍼바이저 다운스트림이 VMM 통합을 통해 관리되고 리프 자체가 다운스트림에서 중간 스위치에 인접함을 감안하여 ACI에서 이러한 LooseNodes의 토폴로지를 확인할 수 있습니다.

이 개념은 다음 그림에 나와 있습니다.

APIC UI — 관리되지 않는 패브릭 노드 경로

해결의 즉각성

중요 서비스가 vCenter/ESXi에 대한 관리 연결과 같은 VMM 통합 DVS를 활용하는 시나리오에서는 사전 프로비저닝 해결 긴급성을 사용하는 것이 좋습니다. 이 설정을 사용하면 동적 호스트 검색 메커니즘이 제거되고 대신 정책/VLAN이 호스트 측 인터페이스에 정적으로 프로그래밍됩니다. 이 컨피그레이션에서는 VMM VLAN이 항상 VMM 도메인에서 참조하는 AEP에 연결된 모든 인터페이스에 구축됩니다. 그러면 검색 프로토콜 관련 인접성 이벤트로 인해 중요한 VLAN(예: 관리)이 포트에서 제거될 가능성이 제거됩니다.

다음 다이어그램을 참조하십시오.

구축 사전 프로비저닝 예제

ACI_VDS1 VMM 도메인의 EPG에 대해 사전 프로비저닝이 설정된 경우, VLAN은 Server1의 링크에 배포되지만 Server2의 AEP에는 ACI_VDS1 VMM 도메인이 포함되지 않으므로 Server2에 배포되지 않습니다.

해결 즉시성 설정을 요약하려면

• 온디맨드 - 리프 및 호스트와 포트 그룹에 연결된 VM 간에 인접성이 설정되면 정책이 구축됩니다.
• Immediate - 리프 및 호스트 간에 인접성이 설정된 경우 정책이 구축됩니다.
• 사전 프로비저닝 - VMM 도메인이 포함된 AEP를 사용하여 모든 포트에 정책이 구축되며 인접성이 필요하지 않습니다.

문제 해결 시나리오

VM에서 기본 게이트웨이에 대한 ARP를 확인할 수 없음

이 시나리오에서는 VMM 통합이 구성되고 DVS가 하이퍼바이저에 추가되었지만 VM이 ACI에서 해당 게이트웨이의 ARP를 확인할 수 없습니다. VM이 네트워크 연결을 지원하려면 인접성이 설정되어 있고 VLAN이 구축되어 있는지 확인합니다.

먼저 사용자는 선택한 프로토콜에 따라 leaf에서 show lldp neighbors 또는 show cdp neighbors를 사용하여 leaf가 호스트를 탐지했는지 확인할 수 있습니다.

Leaf101# show lldp neighbors
Capability codes:
  (R) Router, (B) Bridge, (T) Telephone, (C) DOCSIS Cable Device
  (W) WLAN Access Point, (P) Repeater, (S) Station, (O) Other
Device ID            Local Intf      Hold-time  Capability  Port ID
bdsol-aci37-apic1     Eth1/1          120                    eth2-1
bdsol-aci37-apic2     Eth1/2          120                    eth2-1
bdsol-aci37-os1       Eth1/11         180        B           0050.565a.55a7
S1P1-Spine201         Eth1/49         120        BR          Eth1/1
S1P1-Spine202         Eth1/50         120        BR          Eth1/1
Total entries displayed: 5

트러블슈팅 측면에서 필요한 경우 CLI 및 GUI에서 ESXi 측에서 이를 검증할 수 있습니다.

[root@host:~] esxcli network vswitch dvs vmware list
VDS_Site1
   Name: VDS_Site1
 ...
   Uplinks: vmnic7, vmnic6
   VMware Branded: true
   DVPort:
         Client: vmnic6
         DVPortgroup ID: dvportgroup-122
         In Use: true
         Port ID: 0

         Client: vmnic7
         DVPortgroup ID: dvportgroup-122
         In Use: true
         Port ID: 1

[root@host:~] esxcfg-nics  -l
Name    PCI          Driver      Link Speed     Duplex MAC Address       MTU    Description
vmnic6  0000:09:00.0 enic        Up   10000Mbps Full   4c:77:6d:49:cf:30 9000   Cisco Systems Inc Cisco VIC Ethernet NIC
vmnic7  0000:0a:00.0 enic        Up   10000Mbps Full   4c:77:6d:49:cf:31 9000   Cisco Systems Inc Cisco VIC Ethernet NIC

[root@host:~] vim-cmd hostsvc/net/query_networkhint --pnic-name=vmnic6 | grep -A2 "System Name"
               key = "System Name",
               value = "Leaf101"
            }

vCenter Web Client - 호스트 - vmnic LLDP/CDP 인접성 세부 정보

ESXi 호스트에서 리프 LLDP 인접성을 볼 수 없는 경우, 이는 ESXi OS 대신 LLDPDU를 생성하도록 구성된 네트워크 어댑터를 사용했기 때문에 발생하는 경우가 많습니다. 네트워크 어댑터에서 LLDP가 활성화되어 있고 따라서 모든 LLDP 정보를 사용하고 있는지 확인하십시오. 이 경우 vSwitch 정책을 통해 제어할 수 있도록 어댑터 자체에서 LLDP를 비활성화해야 합니다.

또 다른 원인은 leaf와 ESXi 하이퍼바이저 간에 사용되는 검색 프로토콜이 일치하지 않기 때문일 수 있습니다. 양쪽 끝에서 동일한 검색 프로토콜을 사용해야 합니다.

APIC UI에서 CDP/LLDP 설정이 ACI와 DVS 간에 정렬되었는지 확인하려면 Virtual Networking(가상 네트워킹) > VMM Domains(VMM 도메인) > VMWare > Policy(정책) > vSwitch Policy(vSwitch 정책)로 이동합니다. LLDP 또는 CDP 정책은 상호 배타적이므로 둘 중 하나만 활성화해야 합니다.

APIC UI - VMWare VMM 도메인 - vSwitch 정책

vCenter에서 Networking(네트워킹) > VDS > Configure(구성)로 이동합니다.

vCenter Web Client UI - VDS 속성

필요한 경우 LLDP/CDP 설정을 수정합니다.

그런 다음 APIC에서 Virtual Networking(가상 네트워킹) > VMM Domains(VMM 도메인) > VMWare > Policy(정책) > Controller(컨트롤러) > Hypervisor(하이퍼바이저) > General(일반) 아래의 UI에서 리프 스위치에 대한 ESXi 호스트의 LLDP/CDP 인접 관계를 확인합니다.

APIC UI - VMWare VMM 도메인 - 하이퍼바이저 세부 정보

이 값이 예상 값을 표시하는 경우 사용자는 VLAN이 호스트로 향하는 포트에 있는지 검증할 수 있습니다.

S1P1-Leaf101# show vlan encap-id 1035

 VLAN Name                             Status    Ports
 ---- -------------------------------- --------- -------------------------------
 12   Ecommerce:Electronics:APP        active    Eth1/11

 VLAN Type  Vlan-mode
 ---- ----- ----------
 12   enet  CE

APIC 푸시 DVS에 연결된 vCenter/ESXi 관리 VMK

vCenter 또는 ESXi 관리 트래픽에서 VMM 통합 DVS를 활용해야 하는 경우, 동적 인접성의 활성화가 중단되지 않도록 각별히 주의하고 필요한 VLAN을 활성화하는 것이 중요합니다.

일반적으로 VMM 통합이 구성되기 전에 구축되는 vCenter의 경우 vCenter VM 캡슐화 VLAN이 리프 스위치에 항상 프로그래밍되어 VMM 통합이 완전히 설정되기 전에 사용될 수 있도록 하려면 물리적 도메인과 고정 경로를 사용하는 것이 중요합니다. VMM 통합을 설정한 후에도 이 EPG의 가용성을 항상 보장하려면 이 고정 경로를 그대로 유지하는 것이 좋습니다.

ESXi 하이퍼바이저의 경우 Cisco.com의 Cisco ACI 가상화 가이드에 따라 vDS로 마이그레이션할 때 VMK 인터페이스가 연결될 EPG가 사전 프로비저닝으로 설정된 해상도로 구축되었는지 확인하는 것이 중요합니다. 이렇게 하면 ESXi 호스트의 LLDP/CDP 검색에 의존하지 않고 항상 리프 스위치에 VLAN이 프로그래밍됩니다.

LooseNode 뒤에서 호스트 인접성이 검색되지 않음

LooseNode 검색 문제의 일반적인 원인은 다음과 같습니다.

• CDP/LLDP가 활성화되지 않았습니다.
  • 중간 스위치, 리프 스위치 및 ESXi 호스트 간에 CDP/LLDP를 교환해야 합니다.
  • Cisco UCS의 경우, 이는 vNIC의 네트워크 제어 정책을 통해 수행됩니다
• LLDP/CDP 인접 디바이스의 관리 IP를 변경하면 연결이 끊어집니다
  • vCenter는 LLDP/CDP 인접성에 새 관리 IP를 표시하지만 APIC를 업데이트하지 않습니다
  • 수동 인벤토리 동기화를 트리거하여 해결
• VMM VLAN이 중간 스위치에 추가되지 않음
  • APIC는 서드파티 블레이드/중간 스위치를 프로그래밍하지 않습니다.
  • Cisco UCSM 통합 앱(ExternalSwitch)은 4.1(1) 릴리스에서 사용할 수 있습니다.
  • VLAN은 ACI 리프 노드에 연결된 업링크 및 호스트에 연결된 다운링크에 대해 구성 및 트렁크해야 함

F606391 - 호스트의 물리적 어댑터에 대한 인접성이 없습니다.

이 결함이 표시될 때:

Affected Object: comp/prov-VMware/ctrlr-[DVS-DC1-ACI-LAB]-DVS1/hv-host-104
Fault delegate: [FSM:FAILED]: Get LLDP/CDP adjacency information for the physical adapters on the host: bdsol-aci20-os3 (TASK:ifc:vmmmgr:CompHvGetHpNicAdj)

VM에서 기본 게이트웨이의 ARP를 확인할 수 없음 섹션의 워크플로를 검토하십시오. 이는 CDP/LLDP 인접성이 없음을 의미합니다. 이러한 인접성은 엔드 투 엔드로 검증할 수 있습니다.

하이퍼바이저 업링크 로드 밸런싱

ESXi와 같은 하이퍼바이저를 ACI 패브릭에 연결할 경우 일반적으로 여러 업링크로 연결됩니다. 실제로 ESXi 호스트를 2개 이상의 리프 스위치에 연결하는 것이 좋습니다. 따라서 장애 시나리오나 업그레이드의 영향을 최소화할 수 있습니다.

하이퍼바이저에서 실행되는 워크로드에서 업링크를 사용하는 방법을 최적화하기 위해 VMware vCenter 구성을 사용하면 하이퍼바이저 업링크를 향하는 VM 생성 트래픽에 대해 여러 로드 밸런싱 알고리즘을 구성할 수 있습니다.

올바른 연결이 이루어지도록 하려면 모든 하이퍼바이저와 ACI 패브릭을 동일한 로드 밸런싱 알고리즘 컨피그레이션으로 정렬해야 합니다. 이렇게 하지 않으면 간헐적인 트래픽 흐름이 끊기고 엔드포인트가 ACI 패브릭에서 이동할 수 있습니다.

이는 ACI 패브릭에서 다음과 같은 과도한 알림을 통해 확인할 수 있습니다.

F3083 fault
ACI has detected multiple MACs using the same IP address 172.16.202.237.
MACs: Context: 2981888. fvCEps:
uni/tn-BSE_PROD/ap-202_Voice/epg-VLAN202_Voice/cep-00:50:56:9D:55:B2;
uni/tn-BSE_PROD/ap-202_Voice/epg-VLAN202_Voice/cep-00:50:56:9D:B7:01;
or
[F1197][raised][bd-limits-exceeded][major][sys/ctx-[vxlan-2818048]/bd-[vxlan-16252885]/fault-F1197] 
Learning is disabled on BD Ecommerce:BD01

이 장에서는 ACI로의 VMWare ESXi 호스트 연결에 대해 설명하지만 대부분의 하이퍼바이저에 적용 가능합니다.

랙 서버

ESXi 호스트가 ACI 패브릭에 연결할 수 있는 다양한 방법을 살펴보면 스위치 종속적이고 스위치 독립적인 로드 밸런싱 알고리즘인 2개의 그룹으로 나뉩니다.

스위치 독립적인 로드 밸런싱 알고리즘은 특정 스위치 컨피그레이션이 필요하지 않은 곳에 연결하는 방법입니다. 스위치 종속 로드 밸런싱의 경우 스위치별 컨피그레이션이 필요합니다.

vSwitch 정책이 다음 표에 따라 ACI 액세스 정책 그룹 요구 사항과 일치하는지 검증해야 합니다.

Teaming 및 ACI vSwitch 정책

VMware 티밍 및 장애 조치 모드	ACI vSwitch 정책	설명	ACI 액세스 정책 그룹 - 포트 채널 필요
원래 가상 포트를 기반으로 라우팅	MAC 피닝	스위치의 가상 포트 ID를 기준으로 업링크를 선택합니다. 가상 스위치가 가상 머신 또는 VMKernel 어댑터에 대한 업링크를 선택한 후에는 항상 이 가상 머신 또는 VMKernel 어댑터에 대한 동일한 업링크를 통해 트래픽을 전달합니다.	아니요
소스 MAC 해시 기반 경로	해당 없음	소스 MAC 주소의 해시를 기반으로 업링크를 선택합니다.	해당 없음
명시적 장애 조치 순서	명시적 장애 조치 모드 사용	액티브 어댑터 목록에서 항상 장애 조치 탐지 기준을 통과하는 가장 높은 순위의 업링크를 사용합니다. 이 옵션을 사용하면 실제 로드 밸런싱이 수행되지 않습니다.	아니요
LAG(Link Aggregation) - IP 해시 기반	고정 채널 - 모드 설정	각 패킷의 소스 및 목적지 IP 주소의 해시를 기반으로 업링크를 선택합니다. 비 IP 패킷의 경우 스위치는 해당 필드의 데이터를 사용하여 해시를 계산합니다. IP 기반 티밍을 사용하려면 ACI 측에서 포트 채널/VPC가 'mode on'으로 구성되어 있어야 합니다.	예(채널 모드가 '켜짐'으로 설정됨)
링크 집계(LAG) - LACP	LACP 액티브/패시브	선택한 해시를 기반으로 업링크를 선택합니다(20가지 해시 옵션 사용 가능). LACP 기반 티밍을 사용하려면 ACI 측에서 포트 채널/VPC가 LACP를 활성화하여 구성되어야 합니다. ACI에서 Enhanced Lag Policy를 생성하고 이를 VSwitch Policy에 적용해야 합니다.	예(채널 모드가 'LACP Active/Passive'로 설정됨)
물리적 NIC 로드(LBT) 기반 경로	MAC 피닝 - 물리적 NIC 로드	분산 포트 그룹 또는 분산 포트에 사용 가능합니다. 포트 그룹 또는 포트에 연결된 물리적 네트워크 어댑터의 현재 로드를 기준으로 업링크를 선택합니다. 업링크가 75% 이상에서 30초 동안 통화 중인 경우 호스트 vSwitch는 가상 머신 트래픽의 일부를 여유 용량이 있는 물리적 어댑터로 이동합니다.	아니요

vSwitch 정책의 일부로서 포트 채널 정책을 검증하는 방법에 대한 이 스크린샷을 참조하십시오.

ACI vSwitch 정책 — 포트 채널 정책

참고: VMware 네트워킹 기능에 대한 자세한 설명은 https://docs.vmware.com/en/VMware-vSphere/6.5/com.vmware.vsphere.networking.doc/GUID-D34B1ADD-B8A7-43CD-AA7E-2832A0F7EE76.html에서 vSphere Networking을 참조하십시오.

Cisco UCS B-Series 활용 사례

Cisco UCS B-Series 서버를 사용할 때는 섀시 내에서 통합 데이터 플레인이 없는 UCS FI(Fabric Interconnect)에 연결해야 합니다. 이 활용 사례는 유사한 토폴로지를 사용하는 다른 공급업체에도 동일하게 적용됩니다. 이로 인해 ACI 리프 스위치 측과 vSwitch 측에서 사용되는 로드 밸런싱 방법에는 차이가 있을 수 있습니다.

다음은 ACI를 사용하는 UCS FI 토폴로지입니다.

Cisco UCS FI with ACI 리프 스위치 - 토폴로지

주목할 주요 사항:

• 각 Cisco UCS FI에는 ACI 리프 스위치에 대한 포트 채널이 있습니다.
• UCS FI는 하트비트 목적으로만 직접 상호 연결됩니다(데이터 플레인에는 사용되지 않음).
• 각 블레이드 서버의 vNIC는 특정 UCS FI에 피닝되거나 UCS 패브릭 장애 조치(Active-Standby)를 사용하여 FI 중 하나를 향하는 경로를 사용합니다.
• ESXi 호스트 vSwitch에서 IP 해시 알고리즘을 사용하면 UCS FI에서 MAC 플랩이 발생합니다.

이를 올바르게 구성하려면

MAC 피닝이 ACI의 vSwitch 정책의 일부로서 포트 채널 정책에 구성될 경우, 이는 VDS에 있는 포트 그룹의 "Route based on the originating virtual port" 팀 구성으로 표시됩니다.

ACI — vSwitch 정책의 일부로서 포트 채널 정책

예제에 사용된 포트 채널 정책은 마법사에서 자동으로 명명되므로 모드 "MAC Pinning"을 사용하더라도 "CDS_lacpLagPol"이라고 합니다.

VMWare vCenter — ACI VDS — 포트 그룹 — 로드 밸런싱 설정