소개
이 문서에서는 두 개의 Cisco ASR(Aggregation Services Router) 9000(9K) 단일 섀시 시스템을 nV(Network Virtualization) 에지 시스템으로 마이그레이션하는 방법에 대해 설명합니다.
사전 요구 사항
요구 사항
두 라우터를 함께 클러스터링하려면 몇 가지 요구 사항이 충족되어야 합니다.
소프트웨어
Cisco IOS® XR Release 4.2.1 이상이 있어야 합니다.
참고: nV Edge 소프트웨어는 미니 패키지에 통합되어 있습니다.
하드웨어
섀시:
- 릴리스 4.2.1에서 시작된 ASR 9006 및 9010
- 릴리스 4.3.0에서 시작된 ASR 9001 지원
- 릴리스 4.3.1에서 시작된 ASR 9001-S 및 9922 지원
- 릴리스 5.1.1에서 시작된 ASR 9904 및 9912 지원
참고: nV Edge에는 동일한 섀시 유형을 사용해야 합니다.
라인 카드(LC) 및 RSP(Route Switch Processor):
- 9006/9010/9904용 이중 RSP440
- 9912/9922용 듀얼 RP(Route Processor)
- 9001/9001-S용 단일 RSP
- 태풍 기반 LC 또는 SPA SIP(Interface Processor)-700
참고: RSP-4G, RSP-8G, 트라이던트 기반 LC, ISM(Integrated Service Module) 및 VSM(Virtualized Services Module)은 지원되지 않습니다
참고: 태풍 기반 LC만 IRL(Inter-Rack Link) 링크를 지원할 수 있습니다.
제어 링크(EOBC(Ethernet Out of Band Control)/클러스터 포트) 지원되는 옵틱:
- SFP(Small Form-Factor Pluggable)-GE-S, 릴리스 4.2.1
- GLC-SX-MMD, 릴리스 4.3.0
- GLC-LH-SMD, 릴리스 4.3.0
데이터 링크/IRL 지원 옵틱:
- LC 지원에 따라 옵틱 지원
- 릴리스 4.2.1에서 시작된 10G IRL 지원
- 릴리스 5.1.1에서 시작된 40G IRL 지원
- 릴리스 5.1.1에서 시작된 100G IRL 지원
참고: 1G IRL은 지원되지 않습니다.
참고: LC 옵틱 지원에 대해서는 Cisco ASR 9000 트랜시버 모듈 - 라인 카드 지원 데이터 시트를 참조하십시오.
참고: IRL 혼합 모드는 지원되지 않습니다. 모든 IRL의 속도가 동일해야 합니다.
사용되는 구성 요소
이 문서의 예는 XR Release 4.2.3을 실행하는 RSP440이 포함된 2개의 9006 라우터를 기반으로 합니다.
이 문서의 정보는 특정 랩 환경의 디바이스를 토대로 작성되었습니다. 이 문서에 사용된 모든 디바이스는 초기화된(기본) 컨피그레이션으로 시작되었습니다. 현재 네트워크가 작동 중인 경우, 모든 명령어의 잠재적인 영향을 미리 숙지하시기 바랍니다.
마이그레이션 예
용어
IRL은 클러스터에 있는 두 라우터 간의 데이터 플레인 연결입니다.
제어 링크 또는 EOBC 포트는 두 라우터 간의 제어 평면 연결입니다.
네트워크 다이어그램
참고: 컨트롤 링크는 여기에 표시된 대로 교차 연결됩니다.
9001의 경우 10G EOBC 링크로 작동하는 클러스터 포트 2개(녹색 그림)가 있습니다. 온보드 SFP+ 포트(파란색 그림) 또는 MPA(Modular Port Adapter)의 10G 포트를 포함한 IRL 링크에 모든 10G 포트를 사용할 수 있습니다.
마이그레이션
참고: 10단계까지는 제어 링크의 케이블을 연결하지 마십시오.
- 두 라우터에서 원하는 XR 소프트웨어 릴리스(릴리스 4.2.1 이상)로 부팅하거나 업그레이드합니다.
- XR 소프트웨어가 SMU(Software Maintenance Upgrades) 및 FPD(Field Programmable Device) 펌웨어와 함께 최신 버전인지 확인합니다.
- 각 섀시의 일련 번호를 확인합니다. 이 정보는 이후 단계에서 필요합니다.
RP/0/RSP0/CPU0:ASR9006#admin show inventory chass
NAME: "chassis ASR-9006-AC-E", DESCR: "ASR 9006 AC Chassis with PEM Version 2"
PID: ASR-9006-AC-V2, VID: V01, SN: FOX1613G35U
- 랙 1에서만 rom-monitor 부팅 모드를 사용하도록 라우터 config-register를 구성합니다.
admin config-register boot-mode rom-monitor location all
- 랙 1 전원 끄기
- 랙 0의 각 라우터에서 3단계에서 얻은 클러스터 일련 번호를 구성합니다.
admin
config
nv edge control serial FOX1613G35U rack 0
nv edge control serial FOX1611GQ5H rack 1
commit
- 랙 0을 다시 로드합니다.
- 랙 1을 켜고 RSP 0 및 RSP 1 모두에 이러한 명령을 적용합니다.
unset CLUSTER_RACK_ID
unset CLUSTER_NO_BOOT
unset BOOT
confreg 0x2102
sync
- 랙 1 전원 끄기
- 네트워크 다이어그램 섹션의 그림에 나와 있는 것처럼 제어 링크 케이블을 연결합니다.
- 랙 1 전원 켜기.
랙 1의 RSP는 랙 0의 모든 패키지와 파일을 동기화합니다.
Expected output on Rack 1 during boot up
Cisco IOS XR Software for the Cisco XR ASR9K, Version 4.2.3
Copyright (c) 2013 by Cisco Systems, Inc.
Aug 16 17:15:16.903 : Install (Node Preparation): Initializing VS Distributor...
Media storage device /harddisk: was repaired. Check fsck log at
/harddisk:/chkfs_repair.log
Could not connect to /dev/chan/dsc/cluster_inv_chan:
Aug 16 17:15:42.759 : Local port RSP1 / 12 Remote port RSP1 /
12 UDLD-Bidirectional
Aug 16 17:15:42.794 : Lport 12 on RSP1[Priority 2] is selected active
Aug 16 17:15:42.812 : Local port RSP1 / 13 Remote port RSP0 /
13 UDLD-Bidirectional
Aug 16 17:15:42.847 : Lport 13 on RSP1[Priority 1] is selected active
Aug 16 17:16:01.787 : Lport 12 on RSP0[Priority 0] is selected active
Aug 16 17:16:20.823 : Install (Node Preparation): Install device root from dSC
is /disk0/
Aug 16 17:16:20.830 : Install (Node Preparation): Trying device disk0:
Aug 16 17:16:20.841 : Install (Node Preparation): Checking size of device disk0:
Aug 16 17:16:20.843 : Install (Node Preparation): OK
Aug 16 17:16:20.844 : Install (Node Preparation): Cleaning packages on device disk0:
Aug 16 17:16:20.844 : Install (Node Preparation): Please wait...
Aug 16 17:17:42.839 : Install (Node Preparation): Complete
Aug 16 17:17:42.840 : Install (Node Preparation): Checking free space on disk0:
Aug 16 17:17:42.841 : Install (Node Preparation): OK
Aug 16 17:17:42.842 : Install (Node Preparation): Starting package and meta-data sync
Aug 16 17:17:42.846 : Install (Node Preparation): Syncing package/meta-data contents:
/disk0/asr9k-9000v-nV-px-4.2.3
Aug 16 17:17:42.847 : Install (Node Preparation): Please wait...
Aug 16 17:18:42.301 : Install (Node Preparation): Completed syncing:
/disk0/asr9k-9000v-nV-px-4.2.3
Aug 16 17:18:42.302 : Install (Node Preparation): Syncing package/meta-data contents:
/disk0/asr9k-9000v-nV-supp-4.2.3
Aug 16 17:18:42.302 : Install (Node Preparation): Please wait...
Aug 16 17:19:43.340 : Install (Node Preparation): Completed syncing:
/disk0/asr9k-9000v-nV-supp-4.2.3
Aug 16 17:19:43.341 : Install (Node Preparation): Syncing package/meta-data contents:
/disk0/asr9k-px-4.2.3.CSCuh52959-1.0.0
Aug 16 17:19:43.341 : Install (Node Preparation): Please wait...
Aug 16 17:20:42.501 : Install (Node Preparation): Completed syncing:
/disk0/asr9k-px-4.2.3.CSCuh52959-1.0.0
Aug 16 17:20:42.502 : Install (Node Preparation): Syncing package/meta-data contents:
/disk0/iosxr-routing-4.2.3.CSCuh52959-1.0.0
- 데이터 링크 포트를 랙 0(dSC)의 nV 에지 포트로 구성합니다.
interface TenGigE0/0/1/3
nv
edge
interface
!
interface TenGigE1/0/0/3
nv
edge
interface
!
interface TenGigE0/1/1/3
nv
edge
interface
!
interface TenGigE1/1/0/3
nv
edge
interface
interface TenGigE0/2/1/3
nv
edge
interface
!
interface TenGigE1/2/0/3
nv
edge
interface
!
interface TenGigE0/3/1/3
nv
edge
interface
!
interface TenGigE1/3/0/3
nv
edge
interface
다음을 확인합니다.
- 데이터 평면을 확인합니다.
show nv edge data forwarding location all
<Snippet>
-----------------node0_RSP0_CPU0------------------
nV Edge Data interfaces in forwarding state: 4
TenGigE0_0_1_3 <--> TenGigE1_0_0_3
TenGigE0_1_1_3 <--> TenGigE1_1_0_3
TenGigE0_2_1_3 <--> TenGigE1_2_0_3
TenGigE0_3_1_3 <--> TenGigE1_3_0_3
<Snippet>
이 출력에서 IRL은 Forwarding(전달) 상태여야 합니다.
- 컨트롤 플레인을 확인합니다.
show nv edge control control-link-protocols location 0/RSP0/CPU0
<Snippet>
Port enable administrative configuration setting: Enabled
Port enable operational state: Enabled
Current bidirectional state: Bidirectional
Current operational state: Advertisement - Single neighbor detected
Priority lPort Remote_lPort UDLD STP
======== ===== ============ ==== ========
0 0/RSP0/CPU0/0 1/RSP0/CPU0/0 UP Forwarding
1 0/RSP0/CPU0/1 1/RSP1/CPU0/1 UP Blocking
2 0/RSP1/CPU0/0 1/RSP1/CPU0/0 UP On Partner RSP
3 0/RSP1/CPU0/1 1/RSP0/CPU0/1 UP On Partner RSP
이 출력에서 Current(현재) 양방향 상태는 Bidirectional(양방향)이어야 하며 포트 중 하나만 Forwarding(포워딩) 상태여야 합니다.
- 클러스터 상태를 확인합니다.
RP/0/RSP0/CPU0:ASR9006#admin show dsc
---------------------------------------------------------
Node ( Seq) Role Serial State
---------------------------------------------------------
0/RSP0/CPU0 ( 0) ACTIVE FOX1613G35U PRIMARY-DSC
0/RSP1/CPU0 (10610954) STANDBY FOX1613G35U NON-DSC
1/RSP0/CPU0 ( 453339) STANDBY FOX1611GQ5H NON-DSC
1/RSP1/CPU0 (10610865) ACTIVE FOX1611GQ5H BACKUP-DSC
이 명령은 시스템의 모든 RSP에 대해 dSC(랙 간) 상태 및 이중화 역할(랙 내)을 모두 표시합니다.
이 예에는 다음이 포함됩니다.
- 랙 0의 RSP0이 기본 dSC이고 랙에 대한 활성 RSP입니다
- 랙 0의 RSP1은 non-dSC이고 랙에 대한 대기 RSP입니다
- 랙 1의 RSP0은 non-dSC이고, 랙의 대기 RSP입니다
- 랙 1의 RSP1은 랙의 backup-dSC 및 active RSP입니다
참고: dSC 역할은 구성을 적용하거나 설치 작업을 수행하는 경우와 같이 시스템에서 한 번만 수행하면 되는 작업에 사용됩니다.
참고: 어떤 RSP는 랙과 RSP의 부팅 방식에 따라 달라집니다.
선택적 최적화
LAG(Link Aggregation Group) 및 BVI(Bridge Virtual Interface) 최적화
시스템 MAC 주소 풀
레이어 2 중단을 방지하기 위해 시스템 MAC 주소 풀을 수동으로 구성할 수 있습니다. 기본 랙 장애가 있는 경우 이 추가 단계를 수행하면 논리적 LAG 번들 또는 BVI 인터페이스가 동일한 MAC 주소와 계속 통신하며 활성 랙 MAC 주소 풀에서 새 MAC 주소를 생성하지 않습니다.
- 기본 랙 기본 동적 풀에서 MAC 주소 범위를 식별합니다.
RP/0/RSP0/CPU0:ASR9006#admin show ethernet mac-allocation detail
Minimum pool size: Unlimited
Pool increment: 0
Maximum free addresses: Unlimited
Configured pool size: 0 (0 free)
Dynamic pool size: 1286 (1241 free)
Total pool size: 1286 (1241 free)
Number of clients: 1
Configured pools:
Dynamic pools:
6c9c.ed3e.24d8 - 6c9c.ed3e.29dd
- 클러스터에 대한 논리적 MAC 주소 풀을 수동으로 구성합니다. 이전 단계의 명령 출력에서 동일한 동적 MAC 주소를 사용할 수 있습니다. 풀 범위는 1286개 주소입니다.
admin
configure
ethernet mac-allocation pool base 6c9c.ed3e.24d8 range 1286
- 장애 조치 중에 번들 관리자 프로세스가 LAG 링크를 플랩(flapping)하지 않도록 Supress-Flap 지연을 적용합니다.
Int bundle-ether 1
lacp switchover suppress-flaps 15000
고정 MAC 피닝
버전 5.1.1 이전의 IOS XR 소프트웨어 버전을 사용하는 시스템에는 클러스터 시스템 MAC 주소 풀 기능을 수동으로 정의하는 옵션이 없습니다. Cisco에서는 이러한 구축을 위해 시스템 및 인터페이스 MAC 주소를 수동으로 구성하는 것을 권장합니다.
- 사용 중인 MAC 주소를 식별합니다.
show lacp system-id
show int bundle-ether 1
show interface BVI 1
- MAC 주소를 수동으로 구성합니다. 이전 단계의 명령 출력에서 동일한 MAC 주소를 사용해야 합니다.
lacp system mac 8478.ac2c.7805
!
interface bundle-ether 1
mac-address 8478.ac2c.7804
- 장애 조치 중에 번들 관리자 프로세스가 LAG 링크를 플랩(flapping)하지 않도록 Supress-Flap 지연을 적용합니다.
Int bundle-ether 1
lacp switchover suppress-flaps 15000
레이어 3 ECMP(Equal-Cost Multi-Path) 최적화
- 빠른 통합을 위한 BFD(Bidirectional Forwarding Detection) 및 NSF(Non-Stop Forwarding)
router isis LAB
nsf cisco
!
interface TenGigE0/0/1/1
bfd minimum-interval 50
bfd multiplier 3
bfd fast-detect ipv4
!
interface TenGigE1/0/1/1
bfd minimum-interval 50
bfd multiplier 3
bfd fast-detect ipv4
- 빠른 컨버전스를 위한 루프 프리 LFA-FRR(Alternate Fast Reroute)
RIB(Routing Information Base)가 재통합될 수 있기 전에 CEF(Cisco Express Forwarding) 테이블을 변경하려면 LFA-FRR을 사용하여 장애 조치 상황에서 트래픽 손실을 더 줄일 수 있습니다.
router isis Cluster-L3VPN
<snip>
interface Loopback0
address-family ipv4 unicast
!
!
interface TenGigE0/1/0/5
address-family ipv4 unicast
fast-reroute per-link
참고: LFA-FRR은 ECMP 경로와 함께 사용할 수 있습니다. ECMP 목록의 한 경로는 ECMP 목록의 다른 경로를 백업할 수 있습니다.
nV IRL 임계값 모니터
포워딩에 사용 가능한 IRL 링크 수가 특정 임계값 아래로 떨어질 경우 남아 있는 IRL이 혼잡해져 랙 간 트래픽이 삭제될 수 있습니다.
트래픽 드롭이나 트래픽 블랙홀을 예방하기 위해서는 세 가지 예방 조치 중 하나를 취해야 한다.
- backup-dSC의 모든 인터페이스를 종료합니다.
- 선택한 인터페이스를 종료합니다.
- 특정 랙의 모든 인터페이스를 종료합니다.
RP/0/RSP0/CPU0:ios(admin-config)#nv edge data minimum
?
backup-rack-interfaces Disable ALL interfaces on backup-DSC rack
selected-interfaces Disable only interfaces with nv edge min-disable config
specific-rack-interfaces Disable ALL interfaces on a specific rack
백업 랙 인터페이스 컨피그레이션
이 컨피그레이션에서 IRL 수가 구성된 최소 임계값 아래로 떨어지면 backup-DSC RSP를 호스팅하는 섀시의 모든 인터페이스가 종료됩니다.
참고: backup-DSC RSP는 섀시 중 하나에 있을 수 있습니다.
선택된 인터페이스 컨피그레이션
이 구성에서는 IRL 수가 구성된 최소 임계값 아래로 떨어지면 명시적으로 종료되도록 구성된 랙의 인터페이스가 종료됩니다.
이러한 이벤트에 대해 선택한 인터페이스는 다음 컨피그레이션을 통해 명시적으로 구성할 수 있습니다.
interface gigabitEthernet 0/1/1/0
nv edge min-disable
특정 랙 인터페이스 컨피그레이션
이 구성에서는 IRL 수가 구성된 최소 임계값 아래로 떨어지면 지정된 랙(0 또는 1)의 모든 인터페이스가 종료됩니다.
기본 컨피그레이션
기본 컨피그레이션은 1개의 백업-랙-인터페이스를 최소로 nv 에지 데이터를 구성하는 것과 같습니다. 즉, 포워딩 상태의 IRL 수가 1 미만(포워딩 IRL 1개 이상)으로 감소할 경우 backup-DSC가 있는 랙의 모든 인터페이스가 종료됩니다. 해당 랙의 모든 트래픽은 전달을 중지합니다.
일반 오류
이 섹션에서는 nV Edge 구축 시 발생하는 일반적인 오류 메시지에 대해 설명합니다.
EOBC 오류
PLATFORM-DSC_CTRL-3-MULTIPLE_PRIMARY_DSC_NODES : Primary DSC state declared
by 2 nodes: 0/RSP1/CPU0 1/RSP0/CPU0 . Local state is BACKUP-DSC
이 메시지는 EOBC 포트에서 지원되지 않는 SFP로 인해 발생합니다. 이는 두 라우터의 FPD 펌웨어 버전이 일치하지 않아 트리거될 수도 있습니다. 마이그레이션 전에 FPD가 업그레이드되었는지 확인합니다.
PLATFORM-CE_SWITCH-6-BADSFP : Front panel nV Edge Control Port 0 has unsupported
SFP plugged in. Port is disabled, please plug in Cisco support 1Gig SFP for port
to be enabled
이 메시지는 지원되지 않는 옵틱이 삽입된 경우에 나타납니다. 옵틱은 지원되는 EOBC Cisco 옵틱으로 교체해야 합니다.
Front Panel port 0 error disabled because of UDLD uni directional forwarding.
If the cause of the underlying media error has been corrected, issue this CLI
to being it up again. clear nv edge control switch error 0 <location> <location>
is the location (rsp) where this error originated
이 메시지는 특정 제어 이더넷 링크에 결함이 있고 너무 자주 플래핑하는 경우에 나타납니다. 이 경우 이 포트는 비활성화되며 제어 링크 패킷 전달에 사용되지 않습니다.
PLATFORM-CE_SWITCH-6-UPDN : Interface 12 (SFP+_00_10GE) is up
PLATFORM-CE_SWITCH-6-UPDN : Interface 12 (SFP+_00_10GE) is down
이러한 메시지는 컨트롤 플레인 링크의 물리적 상태가 변경될 때마다 나타납니다. 이는 데이터 포트 up/down 알림과 유사합니다. 이러한 메시지는 RSP가 다시 로드되거나 부팅될 때마다 나타납니다. 이러한 메시지는 정상 작동 중에는 필요하지 않습니다.
IRL 오류
PLATFORM-NVEDGE_DATA-3-ERROR_DISABLE : Interface 0x40001c0 has been uni
directional for 10 seconds, this might be a transient condition if a card
bootup / oir etc.. is happening and will get corrected automatically without
any action. If its a real error, then the IRL will not be available fo forwarding
inter-rack data and will be missing in the output of show nv edge data
forwarding cli
부팅 시 이 메시지가 표시될 수 있습니다. 일반 프로덕션 환경에서는 IRL을 랙 간 데이터 포워딩에 사용할 수 없습니다. 인터페이스를 확인하려면 show im database ifhandle <interface handle> 명령을 입력합니다. 링크가 시작될 때까지 10초마다 UDLD(Unidirectional Link Detection)가 다시 시작됩니다.
PLATFORM-NVEDGE_DATA-6-IRL_1SLOT : 3 Inter Rack Links configured all on one slot.
Recommended to spread across at least two slots for better resiliency
모든 IRL 링크는 동일한 LC에 있습니다. 복원력을 위해 IRL을 최소 2개의 LC에 구성해야 합니다.
정보: %d개의 랙 간 링크가 %d개의 슬롯에 구성되었습니다. 관리 편의성 및 문제 해결을 위해 최대 5개의 슬롯에 분산하는 것이 좋습니다
시스템의 총 IRL 수(최대 16개)는 2~5개의 LC에 분산되는 것이 좋습니다.
PLATFORM-NVEDGE_DATA-6-ONE_IRL : Only one Inter Rack Link is configured. For
Inter Rack Link resiliency, recommendation is to have at least two links spread
across at least two slots
복원력을 위해 최소 2개의 IRL 링크를 구성하는 것이 좋습니다.
관련 정보