简介
本文档介绍如何将两个思科聚合服务路由器(ASR)9000(9K)单机箱系统迁移到网络虚拟化(nV)边缘系统。
先决条件
要求
要将两台路由器集群起来,必须满足几项要求。
软件
您必须使用Cisco IOS® XR版本4.2.1或更高版本。
注:nV Edge软件已集成到迷你软件包中。
Hardware
机箱:
- ASR 9006和9010,从版本4.2.1开始
- 4.3.0版本中开始的ASR 9001支持
- ASR 9001-S和9922支持,从版本4.3.1开始
- 5.1.1版本开始的ASR 9904和9912支持
注意:对于nV Edge,必须使用相同的机箱类型。
线卡(LC)和路由交换处理器(RSP):
- 双RSP440,用于9006/9010/9904
- 用于9912/9922的双路由处理器(RP)
- 用于9001/9001-S的单个RSP
- 基于台风的LC或SPA接口处理器(SIP)-700
注意:不支持RSP-4G、RSP-8G、基于Trident的LC、集成服务模块(ISM)和虚拟化服务模块(VSM)
注意:只有基于台风的LC可以支持机架间链路(IRL)链路。
支持控制链路(以太网带外控制(EOBC)/集群端口)的光纤:
- 小型封装热插拨(SFP)-GE-S,版本4.2.1
- GLC-SX-MMD版本4.3.0
- GLC-LH-SMD版本4.3.0
数据链路/IRL支持的光纤:
- 根据LC支持提供光纤支持
- 版本4.2.1中开始的10G IRL支持
- 版本5.1.1中开始的40G IRL支持
- 版本5.1.1中开始的100G IRL支持
注:没有1G IRL支持。
注:有关LC光纤支持,请参阅Cisco ASR 9000收发器模块 — 线卡支持产品手册。
注:不支持IRL混合模式;所有IRL的速度必须相同。
使用的组件
本文档中的示例基于运行XR版本4.2.3的两台9006路由器和RSP440。
本文档中的信息都是基于特定实验室环境中的设备编写的。本文档中使用的所有设备最初均采用原始(默认)配置。如果您使用的是真实网络,请确保您已经了解所有命令的潜在影响。
迁移示例
术语
IRL是集群中两台路由器之间的数据平面连接。
控制链路或EOBC端口是两台路由器之间的控制平面连接。
网络图
注:控制链路交叉连接,如下所示。
对于9001,有两个作为10G EOBC链路的集群端口(如绿色所示)。任何10G端口都可用于IRL链路,包括板载SFP+端口(如蓝色图所示)或模块化端口适配器(MPA)中的10G端口。
迁移
注意:在步骤10之前,请勿连接控制链路。
- 两台路由器上的涡轮启动或升级到所需的XR软件版本(最低版本4.2.1)。
- 确保XR软件使用软件维护升级(SMU)以及现场可编程设备(FPD)固件保持最新。
- 确定每个机箱的序列号。您需要在后面的步骤中使用此信息。
RP/0/RSP0/CPU0:ASR9006#admin show inventory chass
NAME: "chassis ASR-9006-AC-E", DESCR: "ASR 9006 AC Chassis with PEM Version 2"
PID: ASR-9006-AC-V2, VID: V01, SN: FOX1613G35U
- 仅在机架1上,将路由器配置寄存器配置为使用rom-monitor引导模式。
admin config-register boot-mode rom-monitor location all
- 关闭机架1电源。
- 在机架0上,配置在步骤3中从每台路由器获得的群集序列号:
admin
config
nv edge control serial FOX1613G35U rack 0
nv edge control serial FOX1611GQ5H rack 1
commit
- 重新加载机架0。
- 打开机架1电源,将这些命令同时应用于RSP 0和RSP 1。
unset CLUSTER_RACK_ID
unset CLUSTER_NO_BOOT
unset BOOT
confreg 0x2102
sync
- 关闭机架1电源。
- 按照网络图部分中的图连接控制链路电缆。
- 打开机架1电源。
机架1上的RSP同步来自机架0的所有软件包和文件。
Expected output on Rack 1 during boot up
Cisco IOS XR Software for the Cisco XR ASR9K, Version 4.2.3
Copyright (c) 2013 by Cisco Systems, Inc.
Aug 16 17:15:16.903 : Install (Node Preparation): Initializing VS Distributor...
Media storage device /harddisk: was repaired. Check fsck log at
/harddisk:/chkfs_repair.log
Could not connect to /dev/chan/dsc/cluster_inv_chan:
Aug 16 17:15:42.759 : Local port RSP1 / 12 Remote port RSP1 /
12 UDLD-Bidirectional
Aug 16 17:15:42.794 : Lport 12 on RSP1[Priority 2] is selected active
Aug 16 17:15:42.812 : Local port RSP1 / 13 Remote port RSP0 /
13 UDLD-Bidirectional
Aug 16 17:15:42.847 : Lport 13 on RSP1[Priority 1] is selected active
Aug 16 17:16:01.787 : Lport 12 on RSP0[Priority 0] is selected active
Aug 16 17:16:20.823 : Install (Node Preparation): Install device root from dSC
is /disk0/
Aug 16 17:16:20.830 : Install (Node Preparation): Trying device disk0:
Aug 16 17:16:20.841 : Install (Node Preparation): Checking size of device disk0:
Aug 16 17:16:20.843 : Install (Node Preparation): OK
Aug 16 17:16:20.844 : Install (Node Preparation): Cleaning packages on device disk0:
Aug 16 17:16:20.844 : Install (Node Preparation): Please wait...
Aug 16 17:17:42.839 : Install (Node Preparation): Complete
Aug 16 17:17:42.840 : Install (Node Preparation): Checking free space on disk0:
Aug 16 17:17:42.841 : Install (Node Preparation): OK
Aug 16 17:17:42.842 : Install (Node Preparation): Starting package and meta-data sync
Aug 16 17:17:42.846 : Install (Node Preparation): Syncing package/meta-data contents:
/disk0/asr9k-9000v-nV-px-4.2.3
Aug 16 17:17:42.847 : Install (Node Preparation): Please wait...
Aug 16 17:18:42.301 : Install (Node Preparation): Completed syncing:
/disk0/asr9k-9000v-nV-px-4.2.3
Aug 16 17:18:42.302 : Install (Node Preparation): Syncing package/meta-data contents:
/disk0/asr9k-9000v-nV-supp-4.2.3
Aug 16 17:18:42.302 : Install (Node Preparation): Please wait...
Aug 16 17:19:43.340 : Install (Node Preparation): Completed syncing:
/disk0/asr9k-9000v-nV-supp-4.2.3
Aug 16 17:19:43.341 : Install (Node Preparation): Syncing package/meta-data contents:
/disk0/asr9k-px-4.2.3.CSCuh52959-1.0.0
Aug 16 17:19:43.341 : Install (Node Preparation): Please wait...
Aug 16 17:20:42.501 : Install (Node Preparation): Completed syncing:
/disk0/asr9k-px-4.2.3.CSCuh52959-1.0.0
Aug 16 17:20:42.502 : Install (Node Preparation): Syncing package/meta-data contents:
/disk0/iosxr-routing-4.2.3.CSCuh52959-1.0.0
- 将数据链路端口配置为来自机架0(dSC)的nV边缘端口:
interface TenGigE0/0/1/3
nv
edge
interface
!
interface TenGigE1/0/0/3
nv
edge
interface
!
interface TenGigE0/1/1/3
nv
edge
interface
!
interface TenGigE1/1/0/3
nv
edge
interface
interface TenGigE0/2/1/3
nv
edge
interface
!
interface TenGigE1/2/0/3
nv
edge
interface
!
interface TenGigE0/3/1/3
nv
edge
interface
!
interface TenGigE1/3/0/3
nv
edge
interface
验证
- 验证数据平面:
show nv edge data forwarding location all
<Snippet>
-----------------node0_RSP0_CPU0------------------
nV Edge Data interfaces in forwarding state: 4
TenGigE0_0_1_3 <--> TenGigE1_0_0_3
TenGigE0_1_1_3 <--> TenGigE1_1_0_3
TenGigE0_2_1_3 <--> TenGigE1_2_0_3
TenGigE0_3_1_3 <--> TenGigE1_3_0_3
<Snippet>
在此输出中,IRL应处于Forwarding状态。
- 检验控制平面:
show nv edge control control-link-protocols location 0/RSP0/CPU0
<Snippet>
Port enable administrative configuration setting: Enabled
Port enable operational state: Enabled
Current bidirectional state: Bidirectional
Current operational state: Advertisement - Single neighbor detected
Priority lPort Remote_lPort UDLD STP
======== ===== ============ ==== ========
0 0/RSP0/CPU0/0 1/RSP0/CPU0/0 UP Forwarding
1 0/RSP0/CPU0/1 1/RSP1/CPU0/1 UP Blocking
2 0/RSP1/CPU0/0 1/RSP1/CPU0/0 UP On Partner RSP
3 0/RSP1/CPU0/1 1/RSP0/CPU0/1 UP On Partner RSP
从此输出中,当前双向状态应为双向,并且只有一个端口应处于转发状态。
- 验证集群状态:
RP/0/RSP0/CPU0:ASR9006#admin show dsc
---------------------------------------------------------
Node ( Seq) Role Serial State
---------------------------------------------------------
0/RSP0/CPU0 ( 0) ACTIVE FOX1613G35U PRIMARY-DSC
0/RSP1/CPU0 (10610954) STANDBY FOX1613G35U NON-DSC
1/RSP0/CPU0 ( 453339) STANDBY FOX1611GQ5H NON-DSC
1/RSP1/CPU0 (10610865) ACTIVE FOX1611GQ5H BACKUP-DSC
此命令显示系统中所有RSP的dSC(机架间)状态和冗余角色(机架内)。
本示例包括以下内容:
- 机架0上的RSP0是机架的主用dSC和主用RSP
- 机架0上的RSP1是非dSC和机架的备用RSP
- 机架1上的RSP0是非dSC和机架的备用RSP
- 机架1上的RSP1是机架的备用dSC和活动RSP
注意:dSC角色用于仅在系统中完成一次的任务,例如当您应用配置或执行安装活动时。
注:哪个RSP处于哪种状态取决于机架和RSP的启动方式。
可选优化
链路汇聚组(LAG)和网桥虚拟接口(BVI)优化
系统MAC地址池
为了防止第2层中断,您可以手动配置系统MAC地址池。如果主机架出现故障,此额外步骤可确保逻辑LAG捆绑包或BVI接口继续与同一MAC地址通信,并且不会从主机架MAC地址池生成新的MAC地址。
- 从主机架默认动态池确定MAC地址范围:
RP/0/RSP0/CPU0:ASR9006#admin show ethernet mac-allocation detail
Minimum pool size: Unlimited
Pool increment: 0
Maximum free addresses: Unlimited
Configured pool size: 0 (0 free)
Dynamic pool size: 1286 (1241 free)
Total pool size: 1286 (1241 free)
Number of clients: 1
Configured pools:
Dynamic pools:
6c9c.ed3e.24d8 - 6c9c.ed3e.29dd
- 手动配置集群的逻辑MAC地址池。您可以从上一步的命令输出中使用相同的动态MAC地址。池范围是1286个地址:
admin
configure
ethernet mac-allocation pool base 6c9c.ed3e.24d8 range 1286
- 应用抑制抖动延迟,以防止捆绑包管理器进程在故障切换期间抖动LAG链路。
Int bundle-ether 1
lacp switchover suppress-flaps 15000
静态MAC定位
使用早于5.1.1版本的IOS XR软件的系统没有手动定义集群系统MAC地址池功能的选项。Cisco建议您为这些部署手动配置系统和接口MAC地址。
- 识别正在使用的MAC地址:
show lacp system-id
show int bundle-ether 1
show interface BVI 1
- 手动配置MAC地址。您应该使用上一步命令输出中的相同MAC地址。
lacp system mac 8478.ac2c.7805
!
interface bundle-ether 1
mac-address 8478.ac2c.7804
- 应用抑制抖动延迟,以防止捆绑包管理器进程在故障切换期间抖动LAG链路。
Int bundle-ether 1
lacp switchover suppress-flaps 15000
第3层等价多路径(ECMP)优化
- 用于快速收敛的双向转发检测(BFD)和不间断转发(NSF)
router isis LAB
nsf cisco
!
interface TenGigE0/0/1/1
bfd minimum-interval 50
bfd multiplier 3
bfd fast-detect ipv4
!
interface TenGigE1/0/1/1
bfd minimum-interval 50
bfd multiplier 3
bfd fast-detect ipv4
- 用于快速收敛的无环路备用快速重新路由(LFA-FRR)
为了在路由信息库(RIB)能够重新收敛之前更改思科快速转发(CEF)表,您可以使用LFA-FRR以进一步减少故障切换情况下的任何流量损失。
router isis Cluster-L3VPN
<snip>
interface Loopback0
address-family ipv4 unicast
!
!
interface TenGigE0/1/0/5
address-family ipv4 unicast
fast-reroute per-link
注意:LFA-FRR可以与ECMP路径一起使用 — ECMP列表中的一条路径可以备份ECMP列表中的另一条路径。
nV IRL阈值监视器
如果可用于转发的IRL链路数下降到某个阈值以下,则剩余的IRL可能会拥塞,并导致机架间流量丢弃。
为了防止流量丢弃或流量黑洞,应采取以下三种预防措施之一。
- 关闭backup-dSC上的所有接口。
- 关闭所选接口。
- 关闭特定机架上的所有接口。
RP/0/RSP0/CPU0:ios(admin-config)#nv edge data minimum
?
backup-rack-interfaces Disable ALL interfaces on backup-DSC rack
selected-interfaces Disable only interfaces with nv edge min-disable config
specific-rack-interfaces Disable ALL interfaces on a specific rack
备份机架接口配置
使用此配置时,如果IRL数量降至配置的最小阈值以下,则任何托管backup-DSC RSP的机箱上的所有接口都将关闭。
注:backup-DSC RSP可以在任一机箱上。
Selected-interfaces配置
使用此配置时,如果IRL数量低于配置的最小阈值,则任何明确配置为关闭的机架上的接口都将关闭。
为此类事件选择的接口可通过以下配置显式配置:
interface gigabitEthernet 0/1/1/0
nv edge min-disable
特定机架接口配置
使用此配置时,如果IRL数量低于配置的最小阈值,则指定机架(0或1)上的所有接口都将关闭。
默认配置
默认配置等同于已配置最少1个备份机架接口的nv边缘数据。这意味着,如果处于转发状态的IRL数量降至1以下(至少1个转发IRL),则任何机架上具有backup-DSC的所有接口都将关闭。该机架上的所有流量都会停止转发。
常见错误
本节介绍部署nV Edge时遇到的常见错误消息。
EOBC错误
PLATFORM-DSC_CTRL-3-MULTIPLE_PRIMARY_DSC_NODES : Primary DSC state declared
by 2 nodes: 0/RSP1/CPU0 1/RSP0/CPU0 . Local state is BACKUP-DSC
此消息是由EOBC端口上不支持的SFP引起的。这也可能由两台路由器上不匹配的FPD固件版本触发。确保在迁移之前升级FPD。
PLATFORM-CE_SWITCH-6-BADSFP : Front panel nV Edge Control Port 0 has unsupported
SFP plugged in. Port is disabled, please plug in Cisco support 1Gig SFP for port
to be enabled
如果插入了不受支持的光学器件,则会显示此消息。应使用受支持的EOBC思科光纤更换此光纤。
Front Panel port 0 error disabled because of UDLD uni directional forwarding.
If the cause of the underlying media error has been corrected, issue this CLI
to being it up again. clear nv edge control switch error 0 <location> <location>
is the location (rsp) where this error originated
如果特定控制以太网链路出现故障并且抖动过于频繁,则会显示此消息。如果发生这种情况,则禁用此端口,且不会用于控制链路数据包转发。
PLATFORM-CE_SWITCH-6-UPDN : Interface 12 (SFP+_00_10GE) is up
PLATFORM-CE_SWITCH-6-UPDN : Interface 12 (SFP+_00_10GE) is down
每当控制平面链路物理状态更改时,都会显示这些消息。这类似于数据端口打开/关闭通知。当RSP重新加载或启动时,也会显示这些消息。正常操作期间不应出现这些消息。
IRL错误
PLATFORM-NVEDGE_DATA-3-ERROR_DISABLE : Interface 0x40001c0 has been uni
directional for 10 seconds, this might be a transient condition if a card
bootup / oir etc.. is happening and will get corrected automatically without
any action. If its a real error, then the IRL will not be available fo forwarding
inter-rack data and will be missing in the output of show nv edge data
forwarding cli
启动时可能会看到此消息。在常规生产中,这意味着IRL将不可用于转发机架间数据。要确定接口,请输入show im database ifhandle <interface handle>命令。链路将每10秒重新启动一次单向链路检测(UDLD),直到出现故障为止。
PLATFORM-NVEDGE_DATA-6-IRL_1SLOT : 3 Inter Rack Links configured all on one slot.
Recommended to spread across at least two slots for better resiliency
所有IRL链路都存在于同一个LC上。为实现恢复能力,应在至少两个LC上配置IRL。
信息: %d个机架间链路配置在%d个插槽上。建议跨最多5个插槽进行扩展,以实现更好的可管理性和故障排除
建议跨两到五个LC分布系统中的IRL总数(最多16个)。
PLATFORM-NVEDGE_DATA-6-ONE_IRL : Only one Inter Rack Link is configured. For
Inter Rack Link resiliency, recommendation is to have at least two links spread
across at least two slots
建议至少配置两条IRL链路以实现恢复能力。
相关信息