簡介
本文描述如何將兩個思科聚合服務路由器(ASR)9000(9K)單機箱系統遷移到網路虛擬化(nV)邊緣系統。
必要條件
需求
要將兩台路由器群集在一起,必須滿足幾個要求。
軟體
您必須具有Cisco IOS® XR版本4.2.1或更高版本。
註:nV Edge軟體已整合到迷你版軟體包中。
硬體
機箱:
- ASR 9006和9010從版本4.2.1啟動
- ASR 9001支援(從4.3.0版本開始)
- ASR 9001-S和9922支援從版本4.3.1開始
- ASR 9904和9912支援(從5.1.1版開始)
註:nV Edge必須使用相同的機箱型別。
線路卡(LC)和路由交換處理器(RSP):
- 雙RSP440,用於9006/9010/9904
- 適用於9912/9922的雙路由處理器(RP)
- 用於9001/9001-S的單個RSP
- 基於颱風的LC或SPA介面處理器(SIP)-700
註:不支援RSP-4G、RSP-8G、基於Trident的LC、整合服務模組(ISM)和虛擬化服務模組(VSM)
注意:只有基於颱風的LC可以支援機架間鏈路(IRL)鏈路。
控制鏈路(乙太網帶外控制(EOBC)/集群埠)支援的光纖:
- 小型封裝熱插撥(SFP)-GE-S,版本4.2.1
- GLC-SX-MMD版本4.3.0
- GLC-LH-SMD版本4.3.0
資料鏈路/IRL支援的光纖:
- 根據LC支援提供光纖支援
- 版本4.2.1中啟動的10G IRL支援
- 40G IRL支援(從5.1.1版開始)
- 5.1.1版開始的100G IRL支援
註:不支援1G IRL。
註:請參閱Cisco ASR 9000收發器模組 — 線卡支援產品手冊,瞭解LC光纖支援。
註:不支援IRL混合模式;所有IRL的速度必須相同。
採用元件
本文檔中的示例基於運行XR 4.2.3版的兩台9006路由器,其中一台RSP440。
本文中的資訊是根據特定實驗室環境內的裝置所建立。文中使用到的所有裝置皆從已清除(預設)的組態來啟動。如果您的網路正在作用,請確保您已瞭解任何指令可能造成的影響。
遷移示例
技術
IRL是集群中兩台路由器之間的資料平面連線。
控制鏈路或EOBC埠是兩台路由器之間的控制平面連線。
網路圖表
註:控制鏈路交叉連線,如下所示。
對於9001,有兩個作為10G EOBC鏈路的群集埠(綠色圖示)。任何10G埠都可用於IRL鏈路,包括板載SFP+埠(如藍色所示)或模組化埠介面卡(MPA)中的10G埠。
移轉
注意:在步驟10之前不要連線控制鏈路。
- 在兩台路由器上進行Turboboot或升級到所需的XR軟體版本(最低版本4.2.1)。
- 確保XR軟體使用軟體維護升級(SMU)以及現場可程式設計裝置(FPD)韌體保持最新。
- 確定每個機箱的序列號。您需要在後續步驟中獲得此資訊。
RP/0/RSP0/CPU0:ASR9006#admin show inventory chass
NAME: "chassis ASR-9006-AC-E", DESCR: "ASR 9006 AC Chassis with PEM Version 2"
PID: ASR-9006-AC-V2, VID: V01, SN: FOX1613G35U
- 僅在機架1上,將路由器配置暫存器配置為使用rom-monitor引導模式。
admin config-register boot-mode rom-monitor location all
- 關閉機架1的電源。
- 在機架0上,配置在步驟3中從每台路由器獲得的群集序列號:
admin
config
nv edge control serial FOX1613G35U rack 0
nv edge control serial FOX1611GQ5H rack 1
commit
- 重新載入機架0。
- 開啟機架1電源,並將這些命令應用到RSP 0和RSP 1。
unset CLUSTER_RACK_ID
unset CLUSTER_NO_BOOT
unset BOOT
confreg 0x2102
sync
- 關閉機架1的電源。
- 按照網路圖表一節中的圖所示,連線控制連結纜線。
- 開啟機架1的電源。
機架1上的RSP同步了機架0中的所有軟體包和檔案。
Expected output on Rack 1 during boot up
Cisco IOS XR Software for the Cisco XR ASR9K, Version 4.2.3
Copyright (c) 2013 by Cisco Systems, Inc.
Aug 16 17:15:16.903 : Install (Node Preparation): Initializing VS Distributor...
Media storage device /harddisk: was repaired. Check fsck log at
/harddisk:/chkfs_repair.log
Could not connect to /dev/chan/dsc/cluster_inv_chan:
Aug 16 17:15:42.759 : Local port RSP1 / 12 Remote port RSP1 /
12 UDLD-Bidirectional
Aug 16 17:15:42.794 : Lport 12 on RSP1[Priority 2] is selected active
Aug 16 17:15:42.812 : Local port RSP1 / 13 Remote port RSP0 /
13 UDLD-Bidirectional
Aug 16 17:15:42.847 : Lport 13 on RSP1[Priority 1] is selected active
Aug 16 17:16:01.787 : Lport 12 on RSP0[Priority 0] is selected active
Aug 16 17:16:20.823 : Install (Node Preparation): Install device root from dSC
is /disk0/
Aug 16 17:16:20.830 : Install (Node Preparation): Trying device disk0:
Aug 16 17:16:20.841 : Install (Node Preparation): Checking size of device disk0:
Aug 16 17:16:20.843 : Install (Node Preparation): OK
Aug 16 17:16:20.844 : Install (Node Preparation): Cleaning packages on device disk0:
Aug 16 17:16:20.844 : Install (Node Preparation): Please wait...
Aug 16 17:17:42.839 : Install (Node Preparation): Complete
Aug 16 17:17:42.840 : Install (Node Preparation): Checking free space on disk0:
Aug 16 17:17:42.841 : Install (Node Preparation): OK
Aug 16 17:17:42.842 : Install (Node Preparation): Starting package and meta-data sync
Aug 16 17:17:42.846 : Install (Node Preparation): Syncing package/meta-data contents:
/disk0/asr9k-9000v-nV-px-4.2.3
Aug 16 17:17:42.847 : Install (Node Preparation): Please wait...
Aug 16 17:18:42.301 : Install (Node Preparation): Completed syncing:
/disk0/asr9k-9000v-nV-px-4.2.3
Aug 16 17:18:42.302 : Install (Node Preparation): Syncing package/meta-data contents:
/disk0/asr9k-9000v-nV-supp-4.2.3
Aug 16 17:18:42.302 : Install (Node Preparation): Please wait...
Aug 16 17:19:43.340 : Install (Node Preparation): Completed syncing:
/disk0/asr9k-9000v-nV-supp-4.2.3
Aug 16 17:19:43.341 : Install (Node Preparation): Syncing package/meta-data contents:
/disk0/asr9k-px-4.2.3.CSCuh52959-1.0.0
Aug 16 17:19:43.341 : Install (Node Preparation): Please wait...
Aug 16 17:20:42.501 : Install (Node Preparation): Completed syncing:
/disk0/asr9k-px-4.2.3.CSCuh52959-1.0.0
Aug 16 17:20:42.502 : Install (Node Preparation): Syncing package/meta-data contents:
/disk0/iosxr-routing-4.2.3.CSCuh52959-1.0.0
- 將資料鏈路埠配置為從機架0(dSC)的nV邊緣埠:
interface TenGigE0/0/1/3
nv
edge
interface
!
interface TenGigE1/0/0/3
nv
edge
interface
!
interface TenGigE0/1/1/3
nv
edge
interface
!
interface TenGigE1/1/0/3
nv
edge
interface
interface TenGigE0/2/1/3
nv
edge
interface
!
interface TenGigE1/2/0/3
nv
edge
interface
!
interface TenGigE0/3/1/3
nv
edge
interface
!
interface TenGigE1/3/0/3
nv
edge
interface
驗證
- 驗證資料平面:
show nv edge data forwarding location all
<Snippet>
-----------------node0_RSP0_CPU0------------------
nV Edge Data interfaces in forwarding state: 4
TenGigE0_0_1_3 <--> TenGigE1_0_0_3
TenGigE0_1_1_3 <--> TenGigE1_1_0_3
TenGigE0_2_1_3 <--> TenGigE1_2_0_3
TenGigE0_3_1_3 <--> TenGigE1_3_0_3
<Snippet>
在此輸出中,IRL應處於Forwarding狀態。
- 驗證控制平面:
show nv edge control control-link-protocols location 0/RSP0/CPU0
<Snippet>
Port enable administrative configuration setting: Enabled
Port enable operational state: Enabled
Current bidirectional state: Bidirectional
Current operational state: Advertisement - Single neighbor detected
Priority lPort Remote_lPort UDLD STP
======== ===== ============ ==== ========
0 0/RSP0/CPU0/0 1/RSP0/CPU0/0 UP Forwarding
1 0/RSP0/CPU0/1 1/RSP1/CPU0/1 UP Blocking
2 0/RSP1/CPU0/0 1/RSP1/CPU0/0 UP On Partner RSP
3 0/RSP1/CPU0/1 1/RSP0/CPU0/1 UP On Partner RSP
從此輸出中,Current bidirectional state 應該是Bidirectional,並且只有一個連線埠應該處於Forwarding狀態。
- 驗證集群狀態:
RP/0/RSP0/CPU0:ASR9006#admin show dsc
---------------------------------------------------------
Node ( Seq) Role Serial State
---------------------------------------------------------
0/RSP0/CPU0 ( 0) ACTIVE FOX1613G35U PRIMARY-DSC
0/RSP1/CPU0 (10610954) STANDBY FOX1613G35U NON-DSC
1/RSP0/CPU0 ( 453339) STANDBY FOX1611GQ5H NON-DSC
1/RSP1/CPU0 (10610865) ACTIVE FOX1611GQ5H BACKUP-DSC
此命令顯示系統中所有RSP的dSC(機架間)狀態和冗餘角色(機架內)。
以下範例如下:
- 機架0上的RSP0是主dSC和機架上的活動RSP
- 機架0上的RSP1是非dSC,是機架的備用RSP
- 機架1上的RSP0是非dSC,是機架的備用RSP
- 機架1上的RSP1是機架的備用dSC和活動RSP
註:dSC角色用於僅在系統中完成一次的任務,例如應用配置或執行安裝活動時。
註:哪個RSP處於哪種狀態取決於機架和RSP的引導方式。
可選最佳化
連結彙總組(LAG)和橋接器虛擬介面(BVI)最佳化
系統MAC地址池
為了防止第2層中斷,您可以手動配置系統MAC地址池。如果存在主機架故障,此額外步驟可確保邏輯LAG捆綁包或BVI介面繼續與同一個MAC地址通訊,並且不從活動機架MAC地址池生成新的MAC地址。
- 確定主機架預設動態池中的MAC地址範圍:
RP/0/RSP0/CPU0:ASR9006#admin show ethernet mac-allocation detail
Minimum pool size: Unlimited
Pool increment: 0
Maximum free addresses: Unlimited
Configured pool size: 0 (0 free)
Dynamic pool size: 1286 (1241 free)
Total pool size: 1286 (1241 free)
Number of clients: 1
Configured pools:
Dynamic pools:
6c9c.ed3e.24d8 - 6c9c.ed3e.29dd
- 手動配置群集的邏輯MAC地址池。您可以從上一步的命令輸出中使用相同的動態MAC地址。地址池範圍是1286個地址:
admin
configure
ethernet mac-allocation pool base 6c9c.ed3e.24d8 range 1286
- 應用抑制擺動延遲,以防止捆綁管理器進程在故障轉移期間擺動LAG鏈路。
Int bundle-ether 1
lacp switchover suppress-flaps 15000
靜態MAC固定
使用低於5.1.1版的IOS XR軟體版本的系統沒有手動定義群集系統MAC地址池功能的選項。思科建議您為這些部署手動配置系統和介面MAC地址。
- 識別正在使用的MAC地址:
show lacp system-id
show int bundle-ether 1
show interface BVI 1
- 手動配置MAC地址。您應該在上一步的命令輸出中使用相同的MAC地址。
lacp system mac 8478.ac2c.7805
!
interface bundle-ether 1
mac-address 8478.ac2c.7804
- 應用抑制擺動延遲,以防止捆綁管理器進程在故障轉移期間擺動LAG鏈路。
Int bundle-ether 1
lacp switchover suppress-flaps 15000
第3層等價多路徑(ECMP)最佳化
- 用於快速收斂的雙向轉發檢測(BFD)和不間斷轉發(NSF)
router isis LAB
nsf cisco
!
interface TenGigE0/0/1/1
bfd minimum-interval 50
bfd multiplier 3
bfd fast-detect ipv4
!
interface TenGigE1/0/1/1
bfd minimum-interval 50
bfd multiplier 3
bfd fast-detect ipv4
- 適用於快速收斂的無回圈替代快速重新路由(LFA-FRR)
為了在路由資訊庫(RIB)能夠重新收斂之前更改Cisco快速轉發(CEF)表,您可以使用LFA-FRR進一步減少故障切換情況下的任何流量損失。
router isis Cluster-L3VPN
<snip>
interface Loopback0
address-family ipv4 unicast
!
!
interface TenGigE0/1/0/5
address-family ipv4 unicast
fast-reroute per-link
注意:LFA-FRR可以與ECMP路徑一起使用 — ECMP清單中的一條路徑可以備份ECMP清單中的另一條路徑。
nV IRL閾值監視器
如果可用於轉發的IRL鏈路數下降到某個閾值以下,則剩餘的IRL可能會變得擁塞並導致機架間流量被丟棄。
為了防止流量丟棄或流量黑洞,應採取以下三種預防措施之一。
- 關閉backup-dSC上的所有介面。
- 關閉選定的介面。
- 關閉特定機架上的所有介面。
RP/0/RSP0/CPU0:ios(admin-config)#nv edge data minimum
?
backup-rack-interfaces Disable ALL interfaces on backup-DSC rack
selected-interfaces Disable only interfaces with nv edge min-disable config
specific-rack-interfaces Disable ALL interfaces on a specific rack
備用機架介面配置
通過此配置,如果IRL的數量下降到配置的最小閾值以下,備份DSC RSP所在的任何機箱上的所有介面都將關閉。
註:Backup-DSC RSP可以位於任一機箱上。
選定介面配置
通過此配置,如果IRL的數量下降到配置的最小閾值以下,則任何明確配置為關閉的機架上的介面都將關閉。
為此類事件選擇的介面可通過以下配置顯式配置:
interface gigabitEthernet 0/1/1/0
nv edge min-disable
特定機架介面配置
通過此配置,如果IRL的數量下降到配置的最小閾值以下,則指定機架(0或1)上的所有介面都將關閉。
預設配置
預設配置相當於配置了nv edge data minimum 1 backup-rack-interfaces。這意味著如果處於轉發狀態的IRL數量下降至1以下(至少1個轉發IRL),則任何機架上具有backup-DSC的所有介面都將關閉。該機架上的所有流量都停止轉發。
常見錯誤
本節介紹部署nV Edge時遇到的常見錯誤消息。
EOBC錯誤
PLATFORM-DSC_CTRL-3-MULTIPLE_PRIMARY_DSC_NODES : Primary DSC state declared
by 2 nodes: 0/RSP1/CPU0 1/RSP0/CPU0 . Local state is BACKUP-DSC
此消息是由EOBC埠上不支援的SFP引起的。這也可能由兩台路由器上不匹配的FPD韌體版本觸發。確保在遷移之前升級FPD。
PLATFORM-CE_SWITCH-6-BADSFP : Front panel nV Edge Control Port 0 has unsupported
SFP plugged in. Port is disabled, please plug in Cisco support 1Gig SFP for port
to be enabled
如果插入了不受支援的光學器件,則會顯示此消息。應使用受支援的EOBC思科光纖更換該光纖。
Front Panel port 0 error disabled because of UDLD uni directional forwarding.
If the cause of the underlying media error has been corrected, issue this CLI
to being it up again. clear nv edge control switch error 0 <location> <location>
is the location (rsp) where this error originated
如果特定控制乙太網鏈路出現故障且擺動過於頻繁,則會顯示此消息。如果發生這種情況,此連線埠就會停用,且不會用於控制連結封包轉送。
PLATFORM-CE_SWITCH-6-UPDN : Interface 12 (SFP+_00_10GE) is up
PLATFORM-CE_SWITCH-6-UPDN : Interface 12 (SFP+_00_10GE) is down
只要控制平面鏈路物理狀態發生變化,就會顯示這些消息。這類似於資料埠開啟/關閉通知。RSP重新載入或引導時,也會出現這些消息。正常操作期間不應出現這些消息。
IRL錯誤
PLATFORM-NVEDGE_DATA-3-ERROR_DISABLE : Interface 0x40001c0 has been uni
directional for 10 seconds, this might be a transient condition if a card
bootup / oir etc.. is happening and will get corrected automatically without
any action. If its a real error, then the IRL will not be available fo forwarding
inter-rack data and will be missing in the output of show nv edge data
forwarding cli
啟動時可能會看到此消息。在常規生產中,這意味著IRL將不可用於轉發機架間資料。若要確定介面,請輸入show im database ifhandle <interface handle>命令。連結將每10秒重新啟動一次單向連結偵測(UDLD),直到它啟動。
PLATFORM-NVEDGE_DATA-6-IRL_1SLOT : 3 Inter Rack Links configured all on one slot.
Recommended to spread across at least two slots for better resiliency
所有IRL鏈路都位於同一個LC上。為實現可復原性,應在至少兩個LC上配置IRL。
資訊: %d在%d個插槽上配置的機架間鏈路。建議分佈至最多5個插槽,以便實現更好的可管理性和故障排除
建議跨兩到五個LC分佈系統中的IRL總數(最多16個)。
PLATFORM-NVEDGE_DATA-6-ONE_IRL : Only one Inter Rack Link is configured. For
Inter Rack Link resiliency, recommendation is to have at least two links spread
across at least two slots
建議至少配置兩個IRL鏈路以恢復彈性。
相關資訊