ACI 패브릭 검색 문제 해결 - 멀티 포드 검색

소개

이 문서에서는 ACI Multi-pod Discovery를 이해하고 문제를 해결하는 단계에 대해 설명합니다.

배경 정보

이 문서의 자료는 Cisco Application Centric Infrastructure, Second Edition 트러블슈팅 특히 Fabric Discovery에 대해 멀티 포드 검색 장.

멀티 포드 개요

ACI Multi-Pod를 사용하면 단일 APIC 클러스터를 구축하여 상호 연결된 여러 ACI 네트워크를 관리할 수 있습니다. 이러한 개별 ACI 네트워크를 '포드(Pod)'라고 하며 각 포드는 일반적인 2-Tier 또는 3-Tier 스파인-리프 토폴로지입니다. 단일 APIC 클러스터에서 여러 Pod를 관리할 수 있습니다.

또한 다중 포드 설계에서는 여러 회의실에 또는 원격 데이터 센터 위치에 물리적으로 존재할 수 있는 Pod 간에 ACI 패브릭 정책을 확장할 수 있습니다. 다중 포드 설계에서는 APIC 컨트롤러 클러스터에 정의된 모든 정책을 모든 포드에서 자동으로 사용할 수 있습니다.

마지막으로, 멀티 포드 설계는 장애 도메인 격리를 향상시킵니다. 실제로 각 Pod는 COOP, MP-BGP 및 IS-IS 프로토콜의 자체 인스턴스를 실행하므로 이러한 프로토콜의 오류 및 문제가 해당 Pod 내에 포함되어 다른 Pod로 확산될 수 없습니다.

멀티 포드 설계 및 모범 사례에 대한 자세한 내용은 cisco.com의 "ACI 멀티 포드 백서" 문서를 참조하십시오.

Multi-Pod ACI 패브릭의 주요 요소는 리프 및 스파인 스위치, APIC 컨트롤러 및 IPN 디바이스입니다.

이 예에서는 ACI Multi-Pod Fabric 설정과 관련된 문제를 트러블슈팅 워크플로로 나갑니다. 이 섹션에 사용된 참조 토폴로지는 아래 그림에 나와 있습니다.

ACI 멀티 포드 참조 토폴로지

문제 해결 워크플로

ACI 정책 확인

액세스 정책

멀티포드는 L3Out을 사용하여 'infra' 테넌트를 통해 포드를 연결합니다. 즉, IPN을 향하는 스파인 포트에서 필요한 VLAN-4(Multi-Pod L3Out encapsulation)를 활성화하려면 표준 액세스 정책 집합이 있어야 합니다.

액세스 정책은 다중 포드를 구축하는 데 사용해야 하는 '포드 추가' 마법사를 통해 구성할 수 있습니다. 마법사를 사용한 후 APIC GUI에서 구축된 정책을 확인할 수 있습니다. 정책이 제대로 구성되지 않으면 인프라 테넌트에 결함이 나타나고 스파에서 IPN으로의 연결이 예상대로 작동하지 않을 수 있습니다.

스파인 노드의 IPN 연결 인터페이스에 대한 액세스 정책 정의를 확인하는 동안 다음 스키마를 참조할 수 있습니다.

스파인201

스파인202

스파인401

스파인402

인프라 테넌트에서 다음 스키마에 따라 Multi-Pod L3Out을 구성해야 합니다.

인프라 테넌트의 다중 포드 L3Out

다음은 Multi-Pod L3Out 논리적 인터페이스 프로파일 컨피그레이션의 참조 샷입니다. 라우터 하위 인터페이스 정의는 스파인 201의 경우 아래 그림과 같아야 합니다

infra L3Out의 논리적 인터페이스 프로파일

각 Pod에는 아래 그림과 같이 TEP 풀이 정의되어 있어야 합니다. APIC 컨트롤러에서 TEP 풀을 사용하여 오버레이-1 VRF에 대한 노드의 IP 주소를 프로비저닝합니다.

Pod 패브릭 설정 정책

패브릭 외부 연결 정책 기본값

infra 테넌트에서 'Fabric Ext Policy default' 개체가 제대로 정의되고 구성되었는지 확인합니다. 이 구성의 예는 아래 그림에 나와 있습니다.

패브릭 외부 연결 정책 기본값

데이터 플레인 단계

패브릭 외부 라우팅 프로파일 서브넷

패브릭 외부 라우팅 프로필을 사용하면 정의된 IPN의 모든 라우팅 서브넷이 해당 서브넷에 있는지 확인할 수 있습니다.

IPN 검증

멀티 포드는 IPN(Inter-Pod Network)에 의존하며 POD-to-POD 연결을 제공합니다. IPN에 대한 컨피그레이션이 제대로 갖춰져 있는지 확인해야 합니다. 컨피그레이션에 오류가 있거나 누락된 경우가 종종 있는데, 이는 오류 시나리오의 경우 예기치 않은 동작이나 트래픽 중단의 원인입니다. IPN에 대한 컨피그레이션은 이 섹션에서 자세히 설명합니다.

다음 섹션에서는 다음 IPN 토폴로지를 참조하십시오.

IPN 토폴로지

스파인 대 IPN dot1q VLAN-4 하위 인터페이스 연결

VLAN-4의 하위 인터페이스를 통해 스파인-IPN 지점 간 연결이 이루어집니다. 이 연결에 대한 첫 번째 검증은 스파인과 IPN 디바이스 간의 IP 연결성을 테스트하는 것입니다.

이렇게 하려면 올바른 인터페이스를 확인하고 인터페이스가 가동 중인지 확인합니다.

S1P1-Spine201# show ip int brief vrf overlay-1 | grep 172.16.101.2
eth1/29.29           172.16.101.2/30      protocol-up/link-up/admin-up 

S1P1-Spine201# show ip interface  eth1/29.29
IP Interface Status for VRF "overlay-1"
eth1/29.29, Interface status: protocol-up/link-up/admin-up, iod: 67, mode: external
  IP address: 172.16.101.2, IP subnet: 172.16.101.0/30
  IP broadcast address: 255.255.255.255
  IP primary address route-preference: 0, tag: 0

S1P1-Spine201# show system internal ethpm  info interface Eth1/29.29
Ethernet1/29.29 - if_index: 0x1A01C01D
Router MAC address: 00:22:bd:f8:19:ff
Admin Config Information:
  state(up), mtu(9150), delay(1), vlan(4), cfg-status(valid)
  medium(broadcast)
Operational (Runtime) Information:
  state(up), mtu(9150), Local IOD(0x43), Global IOD(0x43), vrf(enabled)
  reason(None)
  bd_id(29)
Information from SDB Query (IM call)
  admin state(up), runtime state(up), mtu(9150),
  delay(1), bandwidth(40000000), vlan(4), layer(L3),
  medium(broadcast)
  sub-interface(0x1a01c01d) from parent port(0x1a01c000)/Vlan(4)
  Operational Bits:

User config flags:  0x1
  admin_router_mac(1)

Sub-interface FSM state(3)
No errors on sub-interface
Information from GLDB Query:
Router MAC address: 00:22:bd:f8:19:ff

인터페이스가 작동 중인지 확인한 다음 이제 포인트-투-포인트 IP 연결을 테스트합니다.

S1P1-Spine201# iping -V overlay-1 172.16.101.1 
PING 172.16.101.1 (172.16.101.1) from 172.16.101.2: 56 data bytes 
64 bytes from 172.16.101.1: icmp_seq=0 ttl=255 time=0.839 ms 
64 bytes from 172.16.101.1: icmp_seq=1 ttl=255 time=0.719 ms 
^C 
--- 172.16.101.1 ping statistics --- 
2 packets transmitted, 2 packets received, 0.00% packet loss 
round-trip min/avg/max = 0.719/0.779/0.839 ms 

연결 문제가 있는 경우 원격 IPN(IPN1)에서 케이블링 및 컨피그레이션을 확인합니다.

IPN1# show ip interface brief | grep 172.16.101.1 
Eth1/33              172.16.101.101  protocol-up/link-up/admin-up 
Eth1/35              172.16.101.105  protocol-up/link-up/admin-up 
Eth1/53.4            172.16.101.1    protocol-up/link-up/admin-up 

IPN1# show run int Eth1/53.4 
interface Ethernet1/53.4 
description to spine 1pod1 
mtu 9150 
encapsulation dot1q 4 
ip address 172.16.101.1/30 
ip ospf cost 100 
ip ospf network point-to-point 
ip router ospf 1 area 0.0.0.0 
ip pim sparse-mode 
ip dhcp relay address 10.0.0.3 
no shutdown 

OSPF 컨피그레이션

OSPF는 ACI VRF 'overlay-1' 내에서 Pod1과 Pod2를 연결하는 라우팅 프로토콜로 사용됩니다. 다음은 OSPF가 스파인과 IPN 디바이스 간에 나타나는지 확인하기 위한 일반 흐름으로 참조될 수 있습니다.

S1P1-Spine201# show ip ospf neighbors vrf overlay-1 
OSPF Process ID default VRF overlay-1 
Total number of neighbors: 2 
Neighbor ID     Pri State            Up Time  Address         Interface 
172.16.101.201    1 FULL/ -          08:39:35 172.16.101.1    Eth1/29.29 
172.16.101.202    1 FULL/ -          08:39:34 172.16.101.9    Eth1/30.30

S1P1-Spine201# show ip ospf  interface  vrf overlay-1 
Ethernet1/29.29 is up, line protocol is up 
   IP address 172.16.101.2/30, Process ID default VRF overlay-1, area backbone 
   Enabled by interface configuration 
   State P2P, Network type P2P, cost 1 
   Index 67, Transmit delay 1 sec 
   1 Neighbors, flooding to 1, adjacent with 1 
   Timer intervals: Hello 10, Dead 40, Wait 40, Retransmit 5 
     Hello timer due in 00:00:10 
   No authentication 
   Number of opaque link LSAs: 0, checksum sum 0 
loopback0 is up, line protocol is up 
   IP address 10.0.200.66/32, Process ID default VRF overlay-1, area backbone 
   Enabled by interface configuration 
   State LOOPBACK, Network type LOOPBACK, cost 1
 loopback14 is up, line protocol is up 
   IP address 172.16.1.4/32, Process ID default VRF overlay-1, area backbone 
   Enabled by interface configuration 
   State LOOPBACK, Network type LOOPBACK, cost 1
 Ethernet1/30.30 is up, line protocol is up 
   IP address 172.16.101.10/30, Process ID default VRF overlay-1, area backbone 
   Enabled by interface configuration 
   State P2P, Network type P2P, cost 1 
   Index 68, Transmit delay 1 sec 
   1 Neighbors, flooding to 1, adjacent with 1 
   Timer intervals: Hello 10, Dead 40, Wait 40, Retransmit 5 
     Hello timer due in 00:00:09 
   No authentication 
   Number of opaque link LSAs: 0, checksum sum 0

IPN1# show ip ospf  neighbors 
OSPF Process ID 1 VRF default 
Total number of neighbors: 5 
Neighbor ID     Pri State            Up Time  Address         Interface 
172.16.101.203    1 FULL/ -          4d12h    172.16.101.102  Eth1/33 
172.16.101.202    1 FULL/ -          4d12h    172.16.101.106  Eth1/35 
172.16.110.201    1 FULL/ -          4d12h    172.16.110.2    Eth1/48 
172.16.1.4        1 FULL/ -          08:43:39 172.16.101.2    Eth1/53.4 
172.16.1.6        1 FULL/ -          08:43:38 172.16.101.6    Eth1/54.4 

OSPF가 모든 스파인과 IPN 디바이스 간에 가동 중일 경우, 모든 Pod TEP 풀이 IPN 라우팅 테이블에서 표시될 수 있습니다.

IPN1# show ip ospf database 10.0.0.0 detail 
       OSPF Router with ID (172.16.101.201) (Process ID 1 VRF default)
                Type-5 AS External Link States
LS age: 183 
Options: 0x2 (No TOS-capability, No DC) 
LS Type: Type-5 AS-External 
Link State ID: 10.0.0.0 (Network address) 
Advertising Router: 172.16.1.4 
LS Seq Number: 0x80000026 
Checksum: 0x2da0 
Length: 36 
Network Mask: /16 
      Metric Type: 2 (Larger than any link state path) 
      TOS: 0 
      Metric: 20 
      Forward Address: 0.0.0.0 
      External Route Tag: 0
LS age: 183 
Options: 0x2 (No TOS-capability, No DC) 
LS Type: Type-5 AS-External 
Link State ID: 10.0.0.0 (Network address) 
Advertising Router: 172.16.1.6 
LS Seq Number: 0x80000026 
Checksum: 0x21aa 
Length: 36 
Network Mask: /16 
      Metric Type: 2 (Larger than any link state path) 
      TOS: 0 
      Metric: 20 
      Forward Address: 0.0.0.0 
      External Route Tag: 0

IPN1# show ip ospf database 10.1.0.0 detail 
     OSPF Router with ID (172.16.101.201) (Process ID 1 VRF default)
                Type-5 AS External Link States
LS age: 1779 
Options: 0x2 (No TOS-capability, No DC) 
LS Type: Type-5 AS-External 
Link State ID: 10.1.0.0 (Network address) 
Advertising Router: 172.16.2.4 
LS Seq Number: 0x80000022 
Checksum: 0x22ad 
Length: 36 
Network Mask: /16 
      Metric Type: 2 (Larger than any link state path) 
      TOS: 0 
      Metric: 20 
      Forward Address: 0.0.0.0 
      External Route Tag: 0
LS age: 1780 
Options: 0x2 (No TOS-capability, No DC) 
LS Type: Type-5 AS-External 
Link State ID: 10.1.0.0 (Network address) 
Advertising Router: 172.16.2.6 
LS Seq Number: 0x80000022 
Checksum: 0x16b7 
Length: 36 
Network Mask: /16 
      Metric Type: 2 (Larger than any link state path) 
      TOS: 0 
      Metric: 20 
      Forward Address: 0.0.0.0 
      External Route Tag: 0

IPN1# show ip route 10.0.0.0 
IP Route Table for VRF "default" 
'*' denotes best ucast next-hop 
'**' denotes best mcast next-hop 
'[x/y]' denotes [preference/metric] 
'%<string>' in via output denotes VRF <string>

10.0.0.0/16, ubest/mbest: 2/0 
*via 172.16.101.2, Eth1/53.4, [110/20], 08:39:17, ospf-1, type-2 
*via 172.16.101.6, Eth1/54.4, [110/20], 08:39:17, ospf-1, type-2

IPN1# show ip route 10.1.0.0 
IP Route Table for VRF "default" 
'*' denotes best ucast next-hop 
'**' denotes best mcast next-hop 
'[x/y]' denotes [preference/metric] 
'%<string>' in via output denotes VRF <string>

10.1.0.0/16, ubest/mbest: 1/0 
*via 172.16.101.102, Eth1/33, [110/20], 08:35:25, ospf-1, type-2

원격 포드(Pod2)용 IPN1에서 'show ip route' 명령에는 최적의 경로만 표시됩니다.

DHCP 릴레이 컨피그레이션

스위치 노드는 APIC에 대한 DHCP를 사용하여 infra TEP 주소를 수신합니다. 모든 APIC는 일반적으로 검색을 수신하지만, TEP 주소를 할당할 제안을 제공하고 검색을 수신하는 것은 APIC 최초입니다. Multi-Pod 시나리오에서 이를 해결하려면 IPN에서 DHCP 릴레이를 구성하여 이러한 검색을 수신하고 APIC에 유니캐스트합니다. 일반적으로 모든 APIC를 가리키는 IP 도우미를 사용하여 모든 IPN 스파인 대면 인터페이스를 구성합니다. 이렇게 하면 재활성화로 인해 APIC가 이동되거나, 대기 APIC가 장애 조치되거나, APIC가 새 Pod로 이동하는 다른 시나리오가 발생할 경우 IPN 컨피그레이션이 보장됩니다.

이 시나리오에서는 모든 APIC을 가리키는 IP 도우미를 사용하여 IPN1 Eth1/53.4 및 Eth1/54.4를 구성하는 것을 의미합니다.

interface Ethernet1/53.4 
 description to  spine 1pod1 
 mtu 9150 
 encapsulation dot1q 4 
 ip address 172.16.101.1/30 
 ip ospf cost 100 
 ip ospf network point-to-point 
 ip router ospf 1 area 0.0.0.0 
 ip pim sparse-mode 
 ip dhcp relay address 10.0.0.1 
 ip dhcp relay address 10.0.0.2 
 ip dhcp relay address 10.0.0.3 
 no shutdown

interface Ethernet1/54.4 
 description to  spine 2pod1 
 mtu 9150 
 encapsulation dot1q 4 
 ip address 172.16.101.5/30 
 ip ospf cost 100 
 ip ospf network point-to-point 
 ip router ospf 1 area 0.0.0.0 
 ip pim sparse-mode 
 ip dhcp relay address 10.0.0.1 
 ip dhcp relay address 10.0.0.2 
 ip dhcp relay address 10.0.0.3 
 no shutdown

IPN3에서:

interface Ethernet1/53.4 
 description to  spine 1pod2 
 mtu 9150 
 encapsulation dot1q 4 
 ip address 172.16.101.17/30 
 ip ospf cost 100 
 ip ospf network point-to-point 
 ip router ospf 1 area 0.0.0.0 
 ip pim sparse-mode 
 ip dhcp relay address 10.0.0.1 
 ip dhcp relay address 10.0.0.2 
 ip dhcp relay address 10.0.0.3 
 no shutdown

interface Ethernet1/54.4 
 description to  spine 2pod2 
 mtu 9150 
 encapsulation dot1q 4 
 ip address 172.16.101.21/30 
 ip ospf cost 100 
 ip ospf network point-to-point 
 ip router ospf 1 area 0.0.0.0 
 ip pim sparse-mode 
 ip dhcp relay address 10.0.0.1 
 ip dhcp relay address 10.0.0.2 
 ip dhcp relay address 10.0.0.3 
 no shutdown

MTU

스파인과 IPN 디바이스 간에 OSPF가 작동(EXCHANGE 또는 EXSTART)되지 않을 경우 디바이스 간에 MTU가 일치하는지 확인해야 합니다.

RP 컨피그레이션

PIM BiDir에서는 RP(Rendezvous Point)가 데이터 경로에 포함되지 않습니다. 기능적 멀티캐스트의 경우 각 IPN 디바이스는 RP 주소에 대한 경로만 있으면 됩니다. 이중화는 팬텀 RP 구성을 사용하여 달성될 수 있다. 이 경우 MSDP(Multicast Source Discovery Protocol)를 통해 교환할 소스가 없기 때문에 Anycast RP는 유효한 이중화 방법이 아닙니다.

Phantom RP 설계에서 RP는 도달 가능한 서브넷에 존재하지 않는 주소입니다. 아래 구성에서 APIC 초기 설정에 구성된 멀티캐스트 범위가 기본값인 225.0.0.0/15이라고 가정합니다. APIC 초기 설정에서 변경된 경우 IPN 구성을 정렬해야 합니다.

아래의 루프백1은 phantom-rp 루프백입니다. OSPF에 주입해야 합니다. 그러나 OPSF 라우터 ID로 사용할 수 없습니다. 별도의 루프백(루프백0)을 사용해야 합니다.

IPN1 구성:

interface loopback1 
 description IPN1-RP-Loopback 
 ip address 172.16.101.221/30 
 ip ospf network point-to-point 
 ip router ospf 1 area 0.0.0.0 
 ip pim sparse-mode 
ip pim rp-address 172.16.101.222 group-list 225.0.0.0/15 bidir 
ip pim rp-address 172.16.101.222 group-list 239.255.255.240/32 bidir

IPN2 구성:

ip pim rp-address 172.16.101.222 group-list 225.0.0.0/15 bidir 
ip pim rp-address 172.16.101.222 group-list 239.255.255.240/32 bidir

IPN3 구성:

interface loopback1 
 description IPN3-RP-Loopback 
 ip address 172.16.101.221/29 
 ip ospf network point-to-point 
 ip router ospf 1 area 0.0.0.0 
 ip pim sparse-mode 
ip pim rp-address 172.16.101.222 group-list 225.0.0.0/15 bidir 
ip pim rp-address 172.16.101.222 group-list 239.255.255.240/32 bidir

IPN4 구성:

ip pim rp-address 172.16.101.222 group-list 225.0.0.0/15 bidir 
ip pim rp-address 172.16.101.222 group-list 239.255.255.240/32 bidir

루프백의 서브넷 마스크는 /32가 될 수 없습니다. Phantom RP 설계에서 IPN1을 기본 디바이스로 사용하려면 /30 서브넷 마스크를 사용하여 OSPF 토폴로지에서 가장 구체적인 경로가 우선하는 것을 활용하십시오. IPN3은 Phantom RP 설계에서 보조 디바이스가 되므로 /29 서브넷 마스크를 사용하여 덜 구체적인 경로로 지정합니다. /29는 OSPF 토폴로지 내에서 /30의 기존 및 이후 기존 기능을 중지하는 경우에만 사용됩니다.

패브릭에 연결된 첫 번째 원격 포드 스파인 트러블슈팅

다음 단계는 첫 번째 원격 포드 스파인이 패브릭에 조인하는 프로세스를 개략적으로 보여줍니다.

1. 스파인은 IPN을 향하는 하위 인터페이스에서 DHCP를 수행합니다. DHCP 릴레이 컨피그레이션은 이 검색 기능을 APIC에 전달합니다. Spine이 Fabric Membership(패브릭 멤버십)에 추가된 경우 APIC가 응답합니다. 제공되는 IP 주소는 Multi-Pod L3Out에 구성된 IP 주소입니다.
2. 스파인은 IP 주소를 Point-to-Point 인터페이스의 다른 끝으로 향하는 고정 경로로 제공한 DHCP 서버에 대한 경로를 설치합니다.
3. 스파인은 고정 경로를 통해 APIC에서 부트스트랩 파일을 다운로드합니다.
4. 스파인은 부트스트랩 파일을 기반으로 VTEP, OSPF 및 BGP를 불러와 패브릭에 조인하도록 구성됩니다.

APIC에서 L3Out IP가 제공되도록 올바르게 구성되었는지 확인합니다. (Spine 401에는 직렬 FDO22472FCV가 있음)

bdsol-aci37-apic1# moquery -c dhcpExtIf

# dhcp.ExtIf 
ifId         : eth1/30 
childAction  : 
dn           : client-[FDO22472FCV]/if-[eth1/30] 
ip           : 172.16.101.26/30 
lcOwn        : local 
modTs        : 2019-10-01T09:51:29.966+00:00 
name         : 
nameAlias    : 
relayIp      : 0.0.0.0 
rn           : if-[eth1/30] 
status       : 
subIfId      : unspecified

# dhcp.ExtIf
ifId         : eth1/29 
childAction  : 
dn           : client-[FDO22472FCV]/if-[eth1/29] 
ip           : 172.16.101.18/30 
lcOwn        : local 
modTs        : 2019-10-01T09:51:29.966+00:00 
name         : 
nameAlias    : 
relayIp      : 0.0.0.0 
rn           : if-[eth1/29] 
status       : 
subIfId      : unspecified

IPN 연결 인터페이스가 infra 테넌트에서 수행한 L3Out 구성과 일치하는 예상 IP 주소를 받았는지 확인합니다.

S1P2-Spine401# show ip interface brief | grep eth1/29 
eth1/29              unassigned           protocol-up/link-up/admin-up 
eth1/29.29           172.16.101.18/30     protocol-up/link-up/admin-up 

이제 스파인에서 APIC으로 IP 연결이 설정되었으며 ping을 통한 연결을 확인할 수 있습니다.

S1P2-Spine401# iping -V overlay-1 10.0.0.1 
PING 10.0.0.1 (10.0.0.1) from 172.16.101.18: 56 data bytes 
64 bytes from 10.0.0.1: icmp_seq=0 ttl=60 time=0.345 ms 
64 bytes from 10.0.0.1: icmp_seq=1 ttl=60 time=0.294 ms 
^C 
--- 10.0.0.1 ping statistics --- 
2 packets transmitted, 2 packets received, 0.00% packet loss 
round-trip min/avg/max = 0.294/0.319/0.345 ms 

이제 스파인이 IPN에 OSPF를 불러오고 라우터 ID에 대한 루프백을 설정합니다.

S1P2-Spine401# show ip ospf neighbors vrf overlay-1
OSPF Process ID default VRF overlay-1 
Total number of neighbors: 2 
Neighbor ID     Pri State            Up Time  Address         Interface 
172.16.101.204    1 FULL/ -          00:04:16 172.16.101.25   Eth1/30.30 
172.16.101.203    1 FULL/ -          00:04:16 172.16.101.17   Eth1/29.29

S1P2-Spine401# show ip ospf  interface  vrf overlay-1 
loopback8 is up, line protocol is up 
   IP address 172.16.2.4/32, Process ID default VRF overlay-1, area backbone 
   Enabled by interface configuration 
   State LOOPBACK, Network type LOOPBACK, cost 1
 Ethernet1/30.30 is up, line protocol is up 
   IP address 172.16.101.26/30, Process ID default VRF overlay-1, area backbone 
   Enabled by interface configuration 
   State P2P, Network type P2P, cost 1 
   Index 68, Transmit delay 1 sec 
   1 Neighbors, flooding to 1, adjacent with 1 
   Timer intervals: Hello 10, Dead 40, Wait 40, Retransmit 5 
     Hello timer due in 00:00:07 
   No authentication 
   Number of opaque link LSAs: 0, checksum sum 0 
Ethernet1/29.29 is up, line protocol is up 
   IP address 172.16.101.18/30, Process ID default VRF overlay-1, area backbone 
   Enabled by interface configuration 
   State P2P, Network type P2P, cost 1 
   Index 67, Transmit delay 1 sec 
   1 Neighbors, flooding to 1, adjacent with 1 
   Timer intervals: Hello 10, Dead 40, Wait 40, Retransmit 5 
     Hello timer due in 00:00:04 
   No authentication 
   Number of opaque link LSAs: 0, checksum sum 0

이제 스파인은 DHCP를 통해 PTEP를 받습니다.

S1P2-Spine401# show ip interface vrf overlay-1 | egrep -A 1 status 
lo0, Interface status: protocol-up/link-up/admin-up, iod: 4, mode: ptep 
IP address: 10.1.88.67, IP subnet: 10.1.88.67/32

스파인은 Discovering(검색)에서 Active(활성)로 이동하며 완전히 검색됩니다.

bdsol-aci37-apic1# acidiag fnvread 
     ID   Pod ID                 Name    Serial Number         IP Address    Role        State   LastUpdMsgId 
-------------------------------------------------------------------------------------------------------------- 
    101        1         S1P1-Leaf101      FDO224702JA     10.0.160.64/32    leaf         active   0 
    102        1         S1P1-Leaf102      FDO223007G7     10.0.160.67/32    leaf         active   0 
    201        1        S1P1-Spine201      FDO22491705     10.0.160.65/32   spine         active   0 
    202        1        S1P1-Spine202      FDO224926Q9     10.0.160.66/32   spine         active   0 
    401        2        S1P2-Spine401      FDO22472FCV      10.1.88.67/32   spine         active   0

최소 1개의 리프 스위치가 연결되어 있어야 원격 스파인을 검색할 수 있습니다.

나머지 리프 및 스파인 스위치 확인

이제 "초기 패브릭 설정" 섹션에서 설명한 것처럼, Pod의 나머지 부분은 일반적인 Pod 가져오기 절차에 따라 검색됩니다.

원격 포드 APIC 확인

세 번째 APIC를 검색하려면 다음 프로세스를 따릅니다.

• Leaf301은 LLDP(단일 포드 케이스와 동일)를 기반으로 직접 연결된 APIC(APIC3)에 대한 고정 경로를 생성합니다. 원격 APIC는 POD1 IP 풀에서 IP 주소를 수신합니다. 이 경로는 /32로 생성합니다.
• Leaf301은 IS-IS를 사용하여 Spine401 및 Spine402에 이 경로를 알립니다(단일 포드 케이스와 동일).
• Spine401 및 Spine402는 이 경로를 IPN을 향해 OSPF에 재배포합니다
• Spine201 및 Spine202는 이 경로를 OSPF에서 Pod1의 IS-IS로 재배포합니다
• 이제 APIC3와 APIC1, APIC2 간에 연결이 설정됩니다.
• 이제 APIC3에서 클러스터에 가입할 수 있음

확인하려면 다음 검사를 사용하십시오.

Leaf301은 LLDP(Single Pod case와 동일)를 기반으로 직접 연결된 APIC(APIC3)에 대한 고정 경로를 생성합니다

S1P2-Leaf301# show ip route 10.0.0.3 vrf overlay-1 
IP Route Table for VRF "overlay-1" 
'*' denotes best ucast next-hop 
'**' denotes best mcast next-hop 
'[x/y]' denotes [preference/metric] 
'%<string>' in via output denotes VRF <string>

10.0.0.3/32, ubest/mbest: 2/0 
   *via 10.1.88.64, eth1/50.14, [115/12], 00:07:21, isis-isis_infra, isis-l1-ext 
   *via 10.1.88.67, eth1/49.13, [115/12], 00:07:15, isis-isis_infra, isis-l1-ext 
    via 10.0.0.3, vlan9, [225/0], 07:31:04, static

Leaf301은 IS-IS를 사용하여 Spine401 및 Spine402에 이 경로를 알립니다(단일 포드 케이스와 동일).

Spine401 및 Spine402에서 이 경로를 IPN으로 향하는 OSPF로 유출합니다.

S1P2-Spine401# show ip route 10.0.0.3 vrf overlay-1 
IP Route Table for VRF "overlay-1" 
'*' denotes best ucast next-hop 
'**' denotes best mcast next-hop 
'[x/y]' denotes [preference/metric] 
'%<string>' in via output denotes VRF <string>

10.0.0.3/32, ubest/mbest: 1/0 
    *via 10.1.88.65, eth1/2.35, [115/11], 00:17:38, isis-isis_infra, isis-l1-ext  S1P2-Spine401#

IPN3# show ip route 10.0.0.3 
IP Route Table for VRF "default" 
'*' denotes best ucast next-hop 
'**' denotes best mcast next-hop 
'[x/y]' denotes [preference/metric] 
'%<string>' in via output denotes VRF <string>

10.0.0.3/32, ubest/mbest: 2/0 
    *via 172.16.101.18, Eth1/53.4, [110/20], 00:08:05, ospf-1, type-2 
    *via 172.16.101.22, Eth1/54.4, [110/20], 00:08:05, ospf-1, type-2

S1P1-Spine201# show ip route vrf overlay-1 10.0.0.3 
IP Route Table for VRF "overlay-1" 
'*' denotes best ucast next-hop 
'**' denotes best mcast next-hop 
'[x/y]' denotes [preference/metric] 
'%<string>' in via output denotes VRF <string>

10.0.0.3/32, ubest/mbest: 2/0 
    *via 172.16.101.1, eth1/29.29, [110/20], 00:08:59, ospf-default, type-2 
    *via 172.16.101.9, eth1/30.30, [110/20], 00:08:59, ospf-default, type-2 
    via 10.0.160.64, eth1/1.36, [115/12], 00:18:19, isis-isis_infra, isis-l1-ext 
    via 10.0.160.67, eth1/2.35, [115/12], 00:18:19, isis-isis_infra, isis-l1-ext 

이제 APIC3와 APIC1, APIC2 간에 연결이 설정됩니다.

이제 APIC3에서 클러스터에 가입할 수 있음

apic1# show controller 
Fabric Name          : POD37 
Operational Size     : 3 
Cluster Size         : 3 
Time Difference      : 133 
Fabric Security Mode : PERMISSIVE
 ID    Pod   Address          In-Band IPv4     In-Band IPv6               OOB IPv4         OOB IPv6                        Version             Flags  Serial Number     Health 
----  ----  ---------------  ---------------  -------------------------  ---------------  ------------------------------  ------------------  -----  ----------------  ------------------ 
1*    1     10.0.0.1         0.0.0.0          fc00::1                    10.48.176.57     fe80::d6c9:3cff:fe51:cb82       4.2(1i)             crva-  WZP22450H82       fully-fit 
2     1     10.0.0.2         0.0.0.0          fc00::1                    10.48.176.58     fe80::d6c9:3cff:fe51:ae22       4.2(1i)             crva-  WZP22441AZ2       fully-fit 
3     2     10.0.0.3         0.0.0.0          fc00::1                    10.48.176.59     fe80::d6c9:3cff:fe51:a30a       4.2(1i)             crva-  WZP22441B0T       fully-fit
Flags - c:Commissioned | r:Registered | v:Valid Certificate | a:Approved | f/s:Failover fail/success 
(*)Current (~)Standby (+)AS 

APIC1에서 Pod2의 원격 디바이스로 ping하여 다음 ping을 통해 연결을 확인합니다. (APIC1의 경우 10.0.0.1의 로컬 인터페이스에서 소스를 가져와야 함)

apic1# ping 10.0.0.3 -I 10.0.0.1 
PING 10.0.0.3 (10.0.0.3) from 10.0.0.1 : 56(84) bytes of data. 
64 bytes from 10.0.0.3: icmp_seq=1 ttl=58 time=0.132 ms 
64 bytes from 10.0.0.3: icmp_seq=2 ttl=58 time=0.236 ms 
64 bytes from 10.0.0.3: icmp_seq=3 ttl=58 time=0.183 ms 
^C 
--- 10.0.0.3 ping statistics --- 
3 packets transmitted, 3 received, 0% packet loss, time 2048ms 
rtt min/avg/max/mdev = 0.132/0.183/0.236/0.045 ms 

문제 해결 시나리오

Spine에서 IPN을 ping할 수 없습니다.

이 문제는 다음 원인으로 인해 발생할 수 있습니다.

• ACI 액세스 정책의 잘못된 컨피그레이션입니다.
• IPN 컨피그레이션의 잘못된 컨피그레이션입니다.

이 장의 "문제 해결 워크플로"를 참조하고 다음을 검토하십시오.

• ACI 정책을 확인합니다.
• IPN 검증.

원격 스파인이 패브릭에 연결되지 않음

이 문제는 다음 원인으로 인해 발생할 수 있습니다.

• IPN 네트워크의 DHCP 릴레이 문제.
• IPN 네트워크를 통한 스파인-APIC IP 연결성

이 장의 "문제 해결 워크플로"를 참조하고 다음을 검토하십시오.

• ACI 정책을 확인합니다.
• IPN 검증.
• 첫 번째 패브릭 조인의 문제를 해결합니다.

원격 스파인에 연결된 leaf가 1개 이상 있는지, 스파인이 이 leaf와 LLDP 인접성을 가지고 있는지 확인하십시오.

Pod2의 APIC이 패브릭에 연결되지 않음

이는 일반적으로 APIC 초기 설정 대화 상자에서 원격 포드 리프 및 스파인 스위치가 패브릭에 올바르게 조인할 수 있다고 가정할 때 발생하는 실수입니다. 올바른 설정에서는 다음 'avread' 출력이 필요합니다(작동 APIC3 조인 시나리오).

apic1# avread 
Cluster: 
------------------------------------------------------------------------- 
fabricDomainName        POD37 
discoveryMode           PERMISSIVE 
clusterSize             3 
version                 4.2(1i) 
drrMode                 OFF 
operSize                3
APICs: 
------------------------------------------------------------------------- 
                   APIC 1                  APIC 2                  APIC 3 
version           4.2(1i)                 4.2(1i)                 4.2(1i) 
address           10.0.0.1                10.0.0.2                10.0.0.3 
oobAddress        10.48.176.57/24         10.48.176.58/24         10.48.176.59/24 
routableAddress   0.0.0.0                 0.0.0.0                 0.0.0.0 
tepAddress        10.0.0.0/16             10.0.0.0/16             10.0.0.0/16 
podId             1                       1                       2 
chassisId         7e34872e-.-d3052cda     84debc98-.-e207df70     89b73e48-.-f6948b98 
cntrlSbst_serial  (APPROVED,WZP22450H82)  (APPROVED,WZP22441AZ2)  (APPROVED,WZP22441B0T) 
active            YES                     YES                     YES 
flags             cra-                    cra-                    cra- 
health            255                     255                     255 

원격 Pod의 APIC3은 Pod1의 PodId 2 및 tepAddress로 구성됩니다.

다음 명령을 사용하여 원래 APIC3 설정 설정을 확인합니다.

apic3# cat /data/data_admin/sam_exported.config 
Setup for Active and Standby APIC
fabricDomain = POD37 
fabricID = 1 
systemName =bdsol-aci37-apic3 
controllerID = 3 
tepPool = 10.0.0.0/16 
infraVlan = 3937 
clusterSize = 3 
standbyApic = NO 
enableIPv4 = Y 
enableIPv6 = N 
firmwareVersion = 4.2(1i) 
ifcIpAddr = 10.0.0.3 
apicX = NO 
podId = 2 
oobIpAddr = 10.48.176.59/24

실수가 발생하면 APIC3에 로그인하여 'acidiag touch setup'과 'acidiag reboot'를 실행합니다.

POD-to-POD BUM 트래픽이 작동하지 않음

이 문제는 다음 원인으로 인해 발생할 수 있습니다.

• IP 네트워크의 RP 부족
• ACI 패브릭에서 RP에 연결할 수 없음IPN 디바이스에서 일반 멀티캐스트 컨피그레이션 오류

이 장의 "문제 해결 워크플로"를 참조하고 다음을 검토하십시오.

• IPN 검증

또한 IPN RP 장치 중 하나가 온라인 상태인지 확인합니다.

1개의 IPN 디바이스가 실패한 후 BUM 트래픽이 삭제됩니다

트러블슈팅 워크플로의 IPN 검증에 설명된 대로 Phantom RP를 사용하여 기본 RP가 중단될 때 보조 RP를 사용할 수 있도록 보장합니다. "IPN 검증" 섹션을 검토하고 올바른 검증을 확인하십시오.

포드 간 엔드포인트 연결이 동일한 EPG 내에서 끊어짐

이는 Multi-Pod 설정의 잘못된 컨피그레이션으로 인해 발생할 가능성이 높습니다. 문제 해결 워크플로를 검증하고 전체 흐름을 확인하십시오. 이 문제가 정상으로 표시되면 "Intra-Fabric Forwarding(패브릭 내 포워딩)" 장의 "Multi-Pod 포워딩" 섹션을 참조하여 이 문제를 더 자세히 해결하십시오.