ACI 관리 및 코어 서비스 문제 해결 - 대역 내 및 대역 외 관리
목차
소개
이 문서에서는 ACI OOB(Out-of-Band) 및 INB(In-Band) 관리 문제를 해결하는 단계를 설명합니다.
배경 정보
이 문서의 자료는 Troubleshooting Cisco Application Centric Infrastructure, Second Edition 책에서 발췌한 것입니다. 특히 관리 및 코어 서비스 - 대역 내 및 대역 외 관리 장입니다.
대역 내 및 대역 외 관리
ACI 패브릭 노드에는 관리 연결을 위한 두 가지 옵션이 있습니다. 디바이스 후면의 전용 물리적 관리 포트를 제어하는 OOB(Out-of-Band) 또는 구성 가능한 매개변수 수준으로 관리 테넌트에서 특정 EPG/BD/VRF를 사용하여 프로비저닝되는 INB(In-Band). 관리('mgmt') 테넌트에 OOB EPG가 있지만 기본적으로 OOB가 있으며 수정할 수 없습니다. 제공된 OOB 계약의 구성만 허용합니다. APIC에서 OOB 인터페이스는 'ifconfig' 명령 출력에서 'oobmgmt'로 관찰되며 대역 내 인터페이스는 'bond.x' 인터페이스로 표시됩니다. 여기서 대역 내 EPG에 대해 구성된 캡슐화 VLAN입니다.
apic1# ifconfig oobmgmt
oobmgmt: flags=4163<UP,BROADCAST,RUNNING,MULTICAST> mtu 1500
inet 192.168.4.20 netmask 255.255.255.0 broadcast 192.168.4.255
inet6 fe80::7269:5aff:feca:2986 prefixlen 64 scopeid 0x20
ether 70:69:5a:ca:29:86 txqueuelen 1000 (Ethernet)
RX packets 495815 bytes 852703636 (813.2 MiB)
RX errors 0 dropped 0 overruns 0 frame 0
TX packets 432927 bytes 110333594 (105.2 MiB)
TX errors 0 dropped 0 overruns 0 carrier 0 collisions 0
apic1# ifconfig bond0.300
bond0.300: flags=4163<UP,BROADCAST,RUNNING,MULTICAST> mtu 1496
inet 10.30.30.254 netmask 255.255.255.0 broadcast 10.30.30.255
inet6 fe80::25d:73ff:fec1:8d9e prefixlen 64 scopeid 0x20
ether 00:5d:73:c1:8d:9e txqueuelen 1000 (Ethernet)
RX packets 545 bytes 25298 (24.7 KiB)
RX errors 0 dropped 0 overruns 0 frame 0
TX packets 6996 bytes 535314 (522.7 KiB)
TX errors 0 dropped 0 overruns 0 carrier 0 collisions 0
Leaf에서 OOB 인터페이스는 'ifconfig' 명령 출력에서 'eth0'으로 표시되고 INB는 전용 SVI로 표시됩니다. 사용자는 'ifconfig' 또는 'show ip interface vrf mgmt:'를 사용하여 인터페이스를 볼 수 있습니다. 여기서 은 대역 내 VRF에 대해 선택된 이름입니다.
leaf101# show interface mgmt 0
mgmt0 is up
admin state is up,
Hardware: GigabitEthernet, address: 00fc.baa8.2760 (bia 00fc.baa8.2760)
Internet Address is 192.168.4.23/24
MTU 1500 bytes, BW 1000000 Kbit, DLY 10 usec
reliability 255/255, txload 1/255, rxload 1/255
Encapsulation ARPA, medium is broadcast
Port mode is routed
full-duplex, 1000 Mb/s
Beacon is turned off
Auto-Negotiation is turned on
Input flow-control is off, output flow-control is off
Auto-mdix is turned off
EtherType is 0x0000
30 seconds input rate 3664 bits/sec, 4 packets/sec
30 seconds output rate 4192 bits/sec, 4 packets/sec
Rx
14114 input packets 8580 unicast packets 5058 multicast packets
476 broadcast packets 2494768 bytes
Tx
9701 output packets 9686 unicast packets 8 multicast packets
7 broadcast packets 1648081 bytes
leaf101# show ip interface vrf mgmt:inb
IP Interface Status for VRF "mgmt:inb-vrf"
vlan16, Interface status: protocol-up/link-up/admin-up, iod: 4, mode: pervasive
IP address: 10.30.30.1, IP subnet: 10.30.30.0/24
secondary IP address: 10.30.30.3, IP subnet: 10.30.30.0/24
IP broadcast address: 255.255.255.255
IP primary address route-preference: 0, tag: 0
스파인 스위치에서는 대역 내 관리 IP 주소가 'mgmt:' VRF에 전용 루프백 인터페이스로 추가됩니다. 따라서 이 구현은 리프 스위치의 인밴드 관리 IP 구현과는 다릅니다. 스파인 스위치에서 'show ip int vrf mgmt:' 명령 출력을 확인합니다
spine201# show ip interface vrf mgmt:inb
IP Interface Status for VRF "mgmt:inb"
lo10, Interface status: protocol-up/link-up/admin-up, iod: 98, mode: pervasive
IP address: 10.30.30.12, IP subnet: 10.30.30.12/32
IP broadcast address: 255.255.255.255
IP primary address route-preference: 0, tag: 0
System Settings(시스템 설정) 아래에 APIC에 대한 대역 내 또는 대역 외 연결 환경 설정을 선택할 수 있는 설정이 있습니다.
APIC에서 전송된 트래픽만 'APIC Connectivity Preferences(APIC 연결 환경 설정)'에서 선택한 관리 환경 설정을 사용합니다. APIC는 대역 내 또는 대역 외 중 하나가 구성되었다고 가정할 때도 여전히 트래픽을 수신할 수 있습니다. APIC에서는 다음 포워딩 로직을 사용합니다.
- 인터페이스에 들어오고 동일한 인터페이스로 나가는 패킷입니다.
- APIC에서 소싱되고 직접 연결된 네트워크로 향하는 패킷은 직접 연결된 인터페이스를 통해 이동합니다.
- APIC에서 소싱되고 원격 네트워크로 향하는 패킷은 APIC Connectivity Preferences에 따라 대역 내 또는 대역 외를 선호합니다.
APIC 연결 환경 설정
OOB가 선택된 APIC 라우팅 테이블 oobmgmt 인터페이스의 메트릭 값 16을 관찰합니다. 이는 bond0.300 대역 내 관리 인터페이스 메트릭 32보다 낮습니다. 즉, oobmgmt 대역 외 관리 인터페이스가 발신 관리 트래픽에 사용됩니다.
apic1# bash admin@apic1:~> route -n Kernel IP routing table Destination Gateway Genmask Flags Metric Ref Use Iface 0.0.0.0 192.168.4.1 0.0.0.0 UG 16 0 0 oobmgmt 0.0.0.0 10.30.30.1 0.0.0.0 UG 32 0 0 bond0.300
대역 내(in-band)가 선택된 APIC 라우팅 테이블 이제 oobmgmt 인터페이스 메트릭 16보다 낮은 8인 경우 bond0.300 대역 내 관리 인터페이스의 메트릭을 확인합니다. 즉, bond0.300 대역 내 관리 인터페이스가 발신 관리 트래픽에 사용됩니다.
admin@apic1:~> route -n Kernel IP routing table Destination Gateway Genmask Flags Metric Ref Use Iface 0.0.0.0 10.30.30.1 0.0.0.0 UG 8 0 0 bond0.300 0.0.0.0 192.168.4.1 0.0.0.0 UG 16 0 0 oobmgmt
리프 및 스파인 노드 관리 환경 설정은 이 설정의 영향을 받지 않습니다. 이러한 연결 환경 설정은 프로토콜 정책에서 선택됩니다. 다음은 NTP의 예입니다.
APIC Connectivity Preferences(APIC 연결 환경 설정)에서 In-Band(대역 내)를 선택한 다음 프로토콜에서 Out-of-Band(대역 외)를 선택한 경우, 프로토콜 패킷과 어떤 인터페이스를 사용합니까?
- APIC Connectivity Preference(APIC 연결 환경 설정)는 항상 APIC에서 선택한 프로토콜보다 우선합니다.
- 리프 노드는 그 반대이며, 프로토콜 아래의 선택만 참조합니다.
시나리오: 관리 네트워크에 연결할 수 없음
사용자가 관리 네트워크에 연결할 수 없는 경우, 여러 가지 문제 때문일 수 있지만 항상 동일한 방법을 사용하여 문제를 격리할 수 있습니다. 이 시나리오에서는 사용자가 L3Out 뒤에서 관리 네트워크의 어떤 디바이스에도 연결할 수 없다고 가정합니다.
- APIC 연결 기본 설정을 확인합니다. 이는 그림 'APIC Connectivity Preferences(APIC 연결 환경 설정)'에 요약되어 있으며, 옵션은 OOB 또는 대역 내입니다.
- 선택한 기본 설정에 따라 컨피그레이션이 올바른지, 인터페이스가 작동되었는지, 선택한 인터페이스를 통해 기본 게이트웨이에 연결할 수 있는지, 패킷 경로에 드롭이 없는지 확인합니다.
대역 외 관리 액세스
대역 외 구성 확인
대역 외 컨피그레이션의 경우 'mgmt'라는 특수 테넌트에서 확인할 네 개의 폴더가 있습니다.
- 노드 관리 주소입니다.
- 노드 관리 EPG.
- Out-of-band Contracts(Contracts)(Contracts(계약) 아래).
- 외부 네트워크 인스턴스 프로파일
노드 관리 주소는 정적으로 할당하거나 풀에서 할당할 수 있습니다. 다음은 고정 주소 할당의 예입니다. OOB(Out of Band) IP 주소 유형이 할당되었고 기본 게이트웨이가 올바른지 확인합니다.
정적 노드 관리 주소 GUI 확인
대역 외 EPG는 Node Management EPGs 폴더 아래에 있어야 합니다.
대역 외 EPG - 기본값
대역 외 EPG에서 제공되는 관리 서비스를 제어하는 계약은 대역 외 계약 폴더에 구성된 특수 계약입니다.
대역 외 계약
다음으로, 외부 관리 네트워크 인스턴스 프로파일이 생성되고 올바른 OOB 계약이 'Consumed Out-Of-Band Contract'로 구성되었는지 확인합니다.
외부 관리 네트워크 인스턴스 프로파일
다음으로 확인할 항목은 인터페이스 상태와 케이블 연결, 그리고 게이트웨이에 대한 연결입니다.
- oobmgmt 인터페이스가 가동 상태인지 확인하려면 APIC CLI에 'ifconfig oobmgmt'를 입력합니다. 인터페이스 플래그가 'UP' 및 'RUNNING'이고, 올바른 IP 주소가 구성되었으며, 패킷이 RX 및 TX 카운터에서 증가하고 있는지 확인하십시오. 검사가 누락된 경우 올바른 케이블이 사용되고 있는지, 그리고 케이블이 APIC의 올바른 물리적 관리 포트에 연결되어 있는지 확인합니다. 관리 포트에는 Eth1-1 및 Eth1-2라는 레이블이 지정되며 최신 하드웨어에는 대역 외 인터페이스를 나타내는 oobmgmt 스티커가 있습니다. APIC 뒷면의 물리적 대역 외 관리 포트에 대한 자세한 내용은 "패브릭 검색" 장의 "초기 패브릭 설정" 섹션을 참조하십시오.
apic1# ifconfig oobmgmt oobmgmt: flags=4163<UP,BROADCAST,RUNNING,MULTICAST> mtu 1500 inet 192.168.4.20 netmask 255.255.255.0 broadcast 192.168.4.255 inet6 fe80::7269:5aff:feca:2986 prefixlen 64 scopeid 0x20 ether 70:69:5a:ca:29:86 txqueuelen 1000 (Ethernet) RX packets 295605 bytes 766226440 (730.7 MiB) RX errors 0 dropped 0 overruns 0 frame 0 TX packets 253310 bytes 38954978 (37.1 MiB) TX errors 0 dropped 0 overruns 0 carrier 0 collisions 0
- OOB를 통해 네트워크 연결을 확인하려면 ping을 사용하여 대역외 네트워크를 통한 패킷의 경로를 테스트합니다.
apic1# ping 192.168.4.1 PING 192.168.4.1 (192.168.4.1) 56(84) bytes of data. 64 bytes from 192.168.4.1: icmp_seq=1 ttl=255 time=0.409 ms 64 bytes from 192.168.4.1: icmp_seq=2 ttl=255 time=0.393 ms 64 bytes from 192.168.4.1: icmp_seq=3 ttl=255 time=0.354 ms
APIC의 기본 셸에서 traceroute를 사용하여 최종 사용자와의 연결을 추적합니다. traceroute가 불완전한 경우 이 디바이스에 로그인하고(액세스할 수 있는 경우) oobmgmt 인터페이스에 ping을 실행한 다음 호스트에 ping을 실행합니다. 어떤 방향에서 장애가 발생하는지에 따라 기존 네트워킹 문제로 문제를 해결합니다.
apic1# bash
admin@apic1:~> traceroute 10.55.0.16
traceroute to 10.55.0.16 (10.55.0.16), 30 hops max, 60 byte packets
1 192.168.4.1 (192.168.4.1) 0.368 ms 0.355 ms 0.396 ms
2 * * *
3 * * *
4 10.0.255.221 (10.0.255.221) 6.419 ms 10.0.255.225 (10.0.255.225) 6.447 ms *
5 * * *
6 * * *
7 10.55.0.16 (10.55.0.16) 8.652 ms 8.676 ms 8.694 ms
리프 스위치는 tcpdump 명령에 액세스할 수 있으며, 이는 oobmgmt 인터페이스를 통과하는 패킷을 확인하는 데 사용할 수 있습니다. 아래 예에서는 leaf 및 spine 스위치에 사용되는 oobmgmt 인터페이스인 'eth0'을 캡처하고 tcpdump에 '-n' 옵션을 사용하여 DNS 이름 대신 사용되는 IP 주소를 지정한 다음 NTP 패킷(UDP 포트 123)에 대해 구체적으로 필터링합니다. 이전 예에서 leaf는 NTP 서버 172.18.108.14를 폴링합니다. 아래에서 사용자는 NTP 패킷이 OOB(Out of Band) 인터페이스를 통해 전송되고 있으며 leaf가 서버로부터 응답을 수신하는지 확인할 수 있습니다.
fab1-leaf101# tcpdump -n -i eth0 dst port 123 tcpdump: verbose output suppressed, use -v or -vv for full protocol decode listening on eth0, link-type EN10MB (Ethernet), capture size 65535 bytes 16:49:01.431624 IP 192.168.4.23.123 > 172.18.108.14.123: NTPv4, Client, length 48 16:49:01.440303 IP 172.18.108.14.123 > 192.168.4.23.123: NTPv4, Server, length 48
인밴드(in-band) 관리 컨피그레이션에서는 레이어 2 또는 레이어 3 구축에 대해 구체적으로 고려해야 합니다. 이 예에서는 레이어 3 구축 및 문제 해결만 다룹니다.
대역 내 관리 컨피그레이션
대역 내 연결을 위해 패브릭 노드에 대역 내 노드 관리 주소가 할당될 서브넷이 있는 관리 테넌트에 BD가 있는지 확인하고 대역 내 관리 BD 아래에 L3Out이 연결되어 있는지 확인합니다.
대역 내 관리 게이트웨이로 작동할 브리지 도메인 서브넷
대역 내 노드 관리 EPG가 있는지 확인합니다. 아래 스크린샷과 같이 대역 내 EPG 이름은 GUI에서 접두사 'inb-'로 표시됩니다. 대역 내 EPG 캡슐화 VLAN이 VLAN 풀과 올바르게 연결되었는지 확인합니다.
대역 내 관리 EPG에 구성된 캡슐화 VLAN은 액세스 정책에서 허용해야 합니다. 'inb 관리 EPG 캡슐화 VLAN > VLAN 풀 > 도메인 > AEP > 인터페이스 정책 그룹 > 리프 인터페이스 프로파일 > 스위치 프로파일'. 지원 액세스 정책이 구성되지 않은 경우 아래 스크린샷과 같이 코드 F0467의 결함이 제기됩니다.
결함 F0467 - inb EPG
브리지 도메인이 대역 내 서브넷에 대해 위에서 생성한 도메인과 동일한지 확인합니다. 마지막으로, 외부 EPG에서 소비하는 대역 내 관리 EPG에 Provided Contract(제공된 계약)가 구성되어 있는지 확인합니다.
대역 내 EPG
외부 EPG 인스턴스 프로파일
OOB(Out-of-Band) 방식과 마찬가지로 패브릭 노드 대역 내 관리 IP 주소는 고정으로 할당되거나 미리 선택한 범위에서 동적으로 할당될 수 있습니다. 대역 내 유형에 적용된 주소가 구성된 이전 BD 서브넷과 일치하는지 확인합니다. 또한 기본 게이트웨이가 올바른지 확인합니다.
고정 노드 관리 주소
모든 것이 올바르게 구성되었으며 위에서 언급한 섹션에 결함이 없는 경우, 다음 단계는 스위치 및/또는 APIC 간에 ping을 수행하여 ACI 내에서 대역 내 연결이 올바르게 작동하는지 확인하는 것입니다.
리프 스위치에 사용되는 인밴드 인터페이스는 kpm_inb입니다. 유사한 tcpdump 캡처를 사용하여 패킷이 대역 내 CPU 인터페이스를 이그레스(egress)하고 있는지 확인합니다.
fab2-leaf101# tcpdump -n -i kpm_inb dst port 123 tcpdump: verbose output suppressed, use -v or -vv for full protocol decode listening on kpm_inb, link-type EN10MB (Ethernet), capture size 65535 bytes 16:46:50.431647 IP 10.30.30.3.123 > 172.18.108.14.123: NTPv4, Client, length 48 16:47:19.431650 IP 10.30.30.3.123 > 172.18.108.15.123: NTPv4, Client, length 48
인밴드에 사용되는 SVI가 'protocol-up/link-up/admin-up'인지 확인합니다.
fab1-leaf101# show ip interface vrf mgmt:inb-vrf
IP Interface Status for VRF "mgmt:inb-vrf"
vlan16, Interface status: protocol-up/link-up/admin-up, iod: 4, mode: pervasive
IP address: 10.30.30.1, IP subnet: 10.30.30.0/24 secondary
IP address: 10.30.30.3, IP subnet: 10.30.30.0/24
IP broadcast address: 255.255.255.255
IP primary address route-preference: 0, tag: 0
개정 이력
| 개정 | 게시 날짜 | 의견 |
|---|---|---|
1.0 |
05-Aug-2022 |
최초 릴리스 |
피드백