簡介
本文說明如何瞭解Catalyst 9000系列交換器上的硬體資源並疑難排解。
必要條件
需求
本文件沒有特定需求。
採用元件
本文中的資訊係根據以下軟體和硬體版本:
- Cisco IOS® XE 16.x和17.x軟體上的Cisco Catalyst 9200、9300、9400、9500非HP系列交換機
- Cisco IOS® XE 16.x和17.x軟體上的Cisco Catalyst 9500HP、9600系列交換機
本文中的資訊是根據特定實驗室環境內的裝置所建立。文中使用到的所有裝置皆從已清除(預設)的組態來啟動。如果您的網路運作中,請確保您瞭解任何指令可能造成的影響。
背景資訊
- Catalyst 9000系列交換器上的各種功能耗用有限的硬體資源。這些資源可用於加速這些功能的效能,並提供交換機預期的高轉發速率。
- 這些表的大小因交換機型號而異,但基本的故障排除方法相同。
- 通常,LAN交換中的主要有限硬體資源稱為TCAM(TCAM是一種記憶體技術,特別適用於儲存最長字首匹配(LPM)資訊以進行快速查詢或其他型別的OR邏輯查詢)。
- 在Catalyst 9000系列交換器中,除了使用TCAM之外,還使用多種記憶體型別,以滿足特定功能的需求(HASH是另一種簡化記憶體)。MAC地址表就是這種記憶體型別的示例)。
對功能無法按預期運行進行故障排除時,一個良好的出發點是確認硬體沒有超出所討論的交換機的規模。雖然交換機的這些表大小不同,但驗證和故障排除方法大體相同。
注意:此頁面也是一個參考頁面,您可以在其中找到有關各種功能以及如何檢查其硬體規模的資訊。
注意:根據平台,CLI有時包含術語switch,有時則不包含。(show platform hardware fed <number|active|standby> fwd-asic resource tcam utilization vs show platform hardware fed <active> fwd-asic resource tcam utilization)
技術
EM |
完全匹配 |
雜湊記憶體中一個為1:1匹配的條目(主機路由、直連主機) |
LPM |
最長字首匹配 |
任何路由是/31或更短(/32路由是EM型別) |
TCAM |
三重內容可定址儲存器 |
一種儲存器,用於儲存和查詢具有三個不同輸入:0、1和X的條目。當同一條目的匹配項可能有多個時,並且每個條目的雜湊值不唯一時,必須使用該型別的記憶體。 此表包含一個掩碼或X值,通過該值,它可以知道它是否與此項匹配。 |
CAM |
內容可定址儲存器 |
硬體記憶體通用術語(雜湊/TCAM) |
RIB |
路由資訊庫 |
show ip route中顯示的路由表。 |
FIB |
轉發資訊庫 |
帶有由RIB和ARP表新增字首的簡化表,帶有指向ADJ表的指標。 |
直接連線 |
直連路由 |
本地連線的主機字首(ARP相鄰)。 |
間接連線 |
間接連線路由 |
通過遠端下一跳到達的路由。 |
ADJ |
鄰接關係(表) |
儲存用於資料包重寫的下一跳資訊。 |
EM |
完全匹配 |
連線的主機,間接/32主機字首 |
TCAM |
三重內容可定址儲存器 |
間接字首/31或更短 |
FED |
轉發引擎驅動程式 |
ASIC(硬體)層 |
FMAN-FP |
轉發管理器 — 轉發平面 |
FMAN-FP管理新增、刪除或修改FED資訊的軟體對象。 |
SI |
站台索引 |
站台索引 = 封包重寫資訊(RI =重寫索引)和傳出介面資訊(DI =目的地索引) |
RI |
重寫索引 |
第3層轉發到下一跳鄰接的MAC地址重寫資訊。 |
DI |
目標索引 |
指向出站介面的索引。 |
UADP |
思科整合存取™ 資料平面 |
交換機中使用的ASIC架構。 |
ASIC版本資訊(UADP 2.0與3.0)
Catalyst 9000系列ASIC的2.0版和3.0版之間的主要區別在於如何填充或使用FIB硬體。
在UADP 3.0記憶體中,使用EM/LPM:
- 主機路由(/32掩碼長度)和直接連線(ARP相鄰)
- /31或更短的字首(需要掩碼比較才能做出轉發決策。)
在UADP 3.0 TCAM中,FIB仍然存在,但僅用於不能使用EM/LPM的特殊情況或例外。
- 例如,如果IP地址空間不連續或使用了多個地址空間,並且無法合併到EM/LPM中。
在UADP 2.0中,記憶體分為兩部分EM和TCAM:
- EM用於/32主機路由和直連(ARP相鄰)主機。
- TCAM用於需要字首掩碼比較的/31或更短的字首。
比較兩個ASIC型別之間的以下輸出:
在本例中,9500-12Q具有明顯更多的TCAM空間。但是,9500-48Y4C(9500H)的EM/LPM規模更大。
- LPM — 同樣的邏輯也適用於9500-12Q的TCAM,但並未特別指出。
- 9500H上的EM/LPM表示此共用記憶體空間用於完全匹配(EM)和LPM(基於字首)條目。系統使用最佳化的記憶體系統來實現擴展、效能和靈活性。
- 9500H上的TCAM顯著減少是為了儲存特殊條目,特別是雜湊衝突(當無法生成特定條目的唯一雜湊時)。
9500-48Y4C(9500H/高效能 — 基於UADP 3.0的交換機)
Switch#show platform hardware fed active fwd-asic resource tcam utilization
Codes: EM - Exact_Match, I - Input, O - Output, IO - Input & Output, NA - Not Applicable
CAM Utilization for ASIC [0]
Table Subtype Dir Max Used %Used V4 V6 MPLS Other
------------------------------------------------------------------------------------------------------
IP Route Table EM/LPM I 212992 3 0.01% 2 0 1 0 <-- LPM matches now stored here
IP Route Table TCAM I 1536 15 0.02% 6 6 2 1 <-- Used for exception cases
9500-12Q(基於UADP 2.0的交換機)
Switch#show platform hardware fed active fwd-asic resource tcam utilization
Codes: EM - Exact_Match, I - Input, O - Output, IO - Input & Output, NA - Not Applicable
CAM Utilization for ASIC [0]
Table Subtype Dir Max Used %Used V4 V6 MPLS Other
------------------------------------------------------------------------------------------------------
IP Route Table EM I 49152 3 0.01% 2 0 1 0
IP Route Table TCAM I 65536 15 0.02% 6 6 2 1 <-- LPM matches are stored here in 2.0
註:有關UADP架構的詳細資訊,請參閱Cisco Catalyst 9500架構白皮書
常規硬體驗證命令
這些命令顯示使用的雜湊、TCAM、介面和重寫資源的高級使用統計資訊。
- 這些資源是相關的,並且從屬資源的耗儘可能會影響充分利用其他可用資源的能力。
- 在17.x系列中對這些命令的輸出進行更改後,可以更輕鬆地讀取硬體和診斷特定問題。
示例:交換機可以有可用的Hash/TCAM,但鄰接關係不足。
- 封包轉送能力可能會影響為某個目的地首碼,不是因為硬體無法程式FIB,而是因為它無法程式化新的重寫專案。
show platform hardware fed
active fwd-asic resource tcam utilization
<-- Hash & TCAM
show platform hardware fed
active fwd-asic resource utilization
<-- SI/RI/DI/etc (other related resources)
show platform hardware fed
active fwd-asic resource rewrite utilization
<-- IP Adjacency. LISP adjacency, Tunnel Adjacency, etc
### 17.x train CLI displays multiple resources in one place (these are not available in 16.x) ###
New CLI combines aspects of all 3 commands into one table for easier diagnosis of all resources related to IPv4
show platform hardware fed active fwd-asic resource features ip-adjacency utilization
Cisco IOS XE 17.x通用硬體驗證命令
show platform hardware fed active fwd-asic resource tcam utilization命令是如果您有硬體擴展問題,首先要評估的地方。(它以每個ASIC為基礎顯示資訊)。
代碼:
- EM - Exact_Match < — 請參閱術語表瞭解定義
- I — 輸入, O — 輸出, IO — 輸入和輸出,< — 如果資源是方向的,則說明此資訊
- 不適用 — 不適用< — 如果方向不適用
Switch#show platform hardware fed active fwd-asic resource tcam utilization
Codes: EM - Exact_Match, I - Input, O - Output, IO - Input & Output, NA - Not Applicable <-- Key for table abbreviations
CAM Utilization for ASIC [0] <-- Content Addressable Memory for ASIC 0
Table Subtype Dir Max Used %Used V4 V6 MPLS Other <-- CAM usage broken down per resource & memory type (EM versus TCAM)
------------------------------------------------------------------------------------------------------
Mac Address Table EM I 65536 18 0.03% 0 0 0 18
Mac Address Table TCAM I 1024 21 2.05% 0 0 0 21
L3 Multicast EM I 16384 0 0.00% 0 0 0 0
L3 Multicast TCAM I 1024 9 0.88% 3 6 0 0
L2 Multicast EM I 16384 0 0.00% 0 0 0 0
L2 Multicast TCAM I 1024 11 1.07% 3 8 0 0
IP Route Table EM I 49152 3 0.01% 2 0 1 0 <-- Data from RIB/FIB populated here
IP Route Table TCAM I 65536 15 0.02% 6 6 2 1 <-- Data from RIB/FIB populated here
QOS ACL TCAM IO 18432 85 0.46% 28 38 0 19
Security ACL TCAM IO 18432 129 0.70% 26 58 0 45
Netflow ACL TCAM I 1024 6 0.59% 2 2 0 2
PBR ACL TCAM I 2048 22 1.07% 16 6 0 0 <-- Data for PBR & NAT populated here
Netflow ACL TCAM O 2048 6 0.29% 2 2 0 2
Flow SPAN ACL TCAM IO 1024 13 1.27% 3 6 0 4
Control Plane TCAM I 512 276 53.91% 126 106 0 44
Tunnel Termination TCAM I 1024 18 1.76% 8 10 0 0
Lisp Inst Mapping TCAM I 2048 1 0.05% 0 0 0 1
Security Association TCAM I 512 4 0.78% 2 2 0 0
CTS Cell Matrix/VPN
Label EM O 8192 0 0.00% 0 0 0 0 <-- Outbound resource used to reach remote VPNv4 prefixes
CTS Cell Matrix/VPN
Label TCAM O 512 1 0.20% 0 0 0 1
Client Table EM I 4096 0 0.00% 0 0 0 0
Client Table TCAM I 256 0 0.00% 0 0 0 0
Input Group LE TCAM I 1024 0 0.00% 0 0 0 0
Output Group LE TCAM O 1024 0 0.00% 0 0 0 0
Macsec SPD TCAM I 1024 2 0.20% 0 0 0 2
CAM Utilization for ASIC [1]
<...snip...>
如果命令show platform hardware fed active fwd-asic resource tcam utilization 中的硬體擴展看起來正常,請檢查其他依賴的資源
注意:有許多共用資源。這只是常用的幾個例子。(此表格外觀在16.x和17.x之間沒有變化)
Switch#show platform hardware fed active fwd-asic resource utilization
Resource Info for ASIC Instance: 0
Resource Name Allocated Free <-- Number available. If this is at max (or very close) possible issues can occur
------------------------------------------
RSC_DI 61 41805 <-- DI = Destination Index
RSC_RI 3 57317 <-- RI = Rewrite Index
RSC_RI_REP 10 49143 <-- RI_REP = Multicast Rewrite/Replication Index
RSC_SI 519 64849 <-- SI = Station Index
<...snip...>
Switch#show platform hardware fed switch active fwd-asic resource rewrite utilization
Resource Info for ASIC Instance: 0
Rewrite Data Allocated Free <-- Rewrite specific hardware resources
-------------------------------------------------------
PHF_EGRESS_destMacAddress 0 32000 <-- Destination MAC (Layer 3 next hop MAC rewrite)
IPV4_TUNNEL_SRC_IP_ADDR 0 16 <-- IPv4 Tunnel Source IP
IPV4_TUNNEL_DEST_IP_ADDR 0 256 <-- IPv4 Tunnel Destination IP
IPV4_GRE_TUNNEL_DEST_IP_ADDR 0 1024 <-- GRE specific tunnel Destination IP
GRE_HEADER 0 684
GRE_KEY 0 684 <-- GRE keys
NAT_L3_DEST_IPV4 0 7168 <-- NAT Layer 3 IPv4 Destination
NAT_DST_PORT_UNICAST 0 8192 <-- NAT Destination Ports
NAT_L3_SRC_IPV4 0 8192 <-- NAT Layer 3 IPv4 Source
NAT_SRC_PORT_UNICAST 0 8192 <-- NAT Source Ports
<...snip...>
Switch#show platform hardware fed active fwd-asic resource features ip-adjacency utilization
IPv4 unicast adjacency resource info
Resource Info for ASIC Instance: 0 [A:0, C:0] <-- Per-ASIC & Core [Asic 0, Core 0]
Shared Resource Name Allocated Free Usage% <-- Shared resources
----------------------------------------------------------------------------------
RSC_RI 3 57317 0.01 <-- RI = Rewrite Index
RSC_SI 519 64849 0.79 <-- SI = Station Index
<-- These are tables that maintain port map info, and other necessary details to send packets
<-- These resources are shared, and used by many features
Rewrite Data Allocated Free Usage% <-- Rewrite resources (Dest MAC)
-----------------------------------------------------------------------------------
PHF_EGRESS_destMacAddress 0 32000 0.00 <-- Destination MAC usage
<-- When a packet is sent to a next hop, it must be written with a destination MAC address
CAM Table Utilization Info Allocated Free Usage% <-- EM (Hash) & TCAM resources
------------------------------------------------------------------------------------
IP Route table Host/Network 0/ 0 0/32768 0.00/ 0.00
<-- Resource that programs prefixes, either local/host routes (EM/Hash) or Shorter /31 or less prefixes (TCAM)
註意:9500H和9600 ASIC能夠在Hash記憶體(稱為EM/LPM)中儲存較短的字首掩碼,而不是TCAM。如需詳細資訊,請參閱IPv4特定案例
Cisco IOS XE 16.x通用硬體驗證命令
show platform hardware fed active fwd-asic resource tcam utilization命令是如果您有硬體擴展問題,首先要評估的地方。(它以每個ASIC為基礎顯示資訊)。您可以看到,在16.x系列中,輸出沒有那麼精確,有些描述也各不相同。
在大多數情況下,表清單是明確的,但以下幾種情況除外:
- 直接或間接連線的路由。這需要改進,因為並不清楚直接表示ARP相鄰路由和/32主機路由。間接表示任何路由/31或更短
- 基於策略的路由ACE包括NAT相關配置。當NAT是需要考慮的特點時,請牢記這一點。
Switch#show platform hardware fed switch active fwd-asic resource tcam utilization
CAM Utilization for ASIC [0]
Table Max Values Used Values
--------------------------------------------------------------------------------
Unicast MAC addresses 32768/1024 19/21
L3 Multicast entries 8192/512 0/9
L2 Multicast entries 8192/512 0/11
Directly or indirectly connected routes 24576/8192 3/19 <-- First value 24576 = EM / Second value 8192 = TCAM
QoS Access Control Entries 5120 85
Security Access Control Entries 5120 126
Ingress Netflow ACEs 256 8
Policy Based Routing ACEs 1024 22
Egress Netflow ACEs 768 8
Flow SPAN ACEs 1024 13
Control Plane Entries 512 255
Tunnels 512 17
Lisp Instance Mapping Entries 2048 3
Input Security Associations 256 4
SGT_DGT 8192/512 0/1
CLIENT_LE 4096/256 0/0
INPUT_GROUP_LE 1024 0
OUTPUT_GROUP_LE 1024 0
Macsec SPD 256 2
注意:此處列出的命令在16到17個代碼系列之間沒有CLI更改,並且本文檔的17.x部分中僅對這些命令描述一次。
show platform hardware fed
active fwd-asic resource utilization
<-- SI/RI/DI/etc (other related resources)
show platform hardware fed
active fwd-asic resource rewrite utilization
<-- IP Adjacency. LISP adjacency, Tunnel Adjacency, etc
依照功能的硬體驗證命令
方案:IPv4字首
IPv4硬體驗證可以在此頁面上找到瞭解Catalyst 9000交換器上的IPv4硬體資源
症狀資源超出規模。
- 裝置或字首可達性問題。雖然現有路由或裝置仍可訪問,但無法訪問任何新的或更新的字首。
- 日誌消息指示硬體無法接收新的對象更新。
- 對象層,將軟體程式設計到硬體中變得擁塞。
- 在受影響的硬體層沒有條目(在這種情況下,FIB是受影響層)。
IPv4系統日誌
如果特定IPv4 FIB或鄰接資源耗盡,系統會生成SYSLOG消息
IPv4 FIB日誌消息 |
定義 |
恢復操作 |
%FED_L3_ERRMSG-3-RSRC_ERR:交換機1的R0/0:饋送:「由於硬體資源耗盡,無法為檔案條目分配硬體資源」錯誤。 |
為IPv4 FIB條目保留的硬體空間不足(EM或TCAM)。 |
總結路由或採取一些其他操作以減少FIB條目的規模(可以是完全匹配或TCAM,無論哪個條目已用盡)。 |
%FED_L3_ERRMSG-3-RSRC_ERR: R0/0: fed: "無法為adj條目分配硬體資源 — rc:1"錯誤。
|
鄰接表已用盡。這是硬體中儲存下一跳目的MAC地址的表。 |
減少直連(ARP相鄰)主機的擴展數量 |
方案:ACL
在此頁中可找到ACL硬體驗證驗證Catalyst 9000交換機上的安全ACL
ACL系統日誌
如果特定安全ACL資源用完,系統就會生成SYSLOG消息(介面、Vlan、標籤等值可以不同)。
ACL日誌消息 |
定義 |
恢復操作 |
%ACL_ERRMSG-4-UNLOADED:輸入了交換機1:無法在硬體中程式設計介面<interface>上的輸入<ACL>,並且流量可能丟失。 |
ACL已解除安裝(保留在軟體中)。 |
調查TCAM規模。如果超出規模,請重新設計ACL。 |
%ACL_ERRMSG-6-REMOVED: 1已填充:已針對標籤<label>asic<number>刪除介面<interface>上輸入<ACL>的已解除安裝配置 |
解除安裝的ACL配置將從介面刪除。 |
ACL已刪除,無需執行任何操作。 |
%ACL_ERRMSG-6-RELOADED: 1已補給:介面<interface>上的輸入<ACL>現在已載入到asic<number>上標籤<label>的硬體中 |
ACL現在已安裝在硬體中。 |
ACL問題現在已在硬體中解決,無需執行任何操作。 |
%ACL_ERRMSG-3-ERROR: 1 fed: Input <ACL> IP ACL <NAME>配置無法應用於<interface>的bindorder <number> |
其他型別ACL錯誤(例如dot1x ACL安裝失敗) |
確認是否支援ACL配置,以及TCAM是否超出規模 |
%ACL_ERRMSG-6-GACL_INFO:交換機1的R0/0:已提供:GACL不支援日誌記錄 |
GACL已配置日誌選項。 |
GACL不支援日誌。從GACL中刪除日誌語句。 |
%ACL_ERRMSG-6-PACL_INFO:交換機1的R0/0:饋送:PACL不支援日誌記錄 |
PACL已配置日誌選項。 |
PACL不支援日誌。從PACL中刪除日誌語句。 |
%ACL_ERRMSG-3-ERROR:交換機1 R0/0:已提供:輸入IPv4組ACL隱式拒絕:<name>:無法在客戶端MAC 0000.0000.0000上應用配置 |
(dot1x)ACL無法應用到目標埠。 |
確認是否支援ACL配置,以及TCAM是否超出規模。 |
場景:NAT
NAT硬體驗證可以在本頁找到在Catalyst 9000交換機上配置和驗證NAT
NAT系統日誌
NAT功能在硬體資源擴展不足時沒有任何列印的系統日誌。思科錯誤ID CSCvz46804已歸檔為新增這些日誌的增強功能。
如果您遇到NAT問題並想要驗證硬體資源使用情況,請檢查show platform hardware fed switch active fwd-asic resource tcam utilization(NAT TCAM耗盡時,PBR ACL區域被高度利用)。
此外,請確認您是否已按照此處所述的限制配置NAT: NAT的限制
方案:MPLS
在此頁上可以找到MPLS硬體驗證在Catalyst 9000交換機上配置和驗證MPLS
MPLS系統日誌
如果某個特定資源(如MPLS標籤)用盡,則系統生成SYSLOG消息。
需要記住的要點:
- MPLS LABEL用於標籤處置。(從本地CE獲取字首時會佔用此資源)
- LSPA用於實施標籤。 (從遠端PE獲取字首時會佔用此資源)
MPLS日誌消息 |
定義 |
恢復操作 |
%FED_L3_ERRMSG-3-RSRC_ERR:交換機1的R0/0: fed: 「Failed to allocate hardware resource for fib entry」錯誤,因為硬體資源耗盡。 |
為IP字首保留的硬體空間不足(EM或TCAM)。 |
執行以下操作之一以減少本地或遠端PE獲取的字首數: 1.在CE上總結字首。 2.將標籤分配模式從每個字首更改為每個vrf。 |
%FED_L3_ERRMSG-3-mpls_out_of_resource:交換機1 R0/0:饋送:「MPLS標籤條目的資源不足」錯誤。無法在硬體中程式設計本地標籤:8205(8192/8192)。 |
本地標籤分配:為MPLS本地標籤保留的硬體空間不足(EM或TCAM)。 |
執行以下操作之一以減少本地PE上使用的標籤數量: 1.彙總本地CE或本地PE上的字首。 2.在本地PE上將標籤分配模式從每個字首更改為每個VRF。 |
%FED_L3_ERRMSG-3-MPLS_LENTRY_PAUSE:交換機1 R0/0:已提供:已達到MPLS標籤條目資源的嚴重限制。條目建立已暫停。 |
本地標籤分配:為MPLS本地標籤保留的硬體空間不足(EM或TCAM)。 |
執行以下操作之一以減少本地PE上使用的標籤數量: 1.彙總本地CE或本地PE上的字首。 2.在本地PE上將標籤分配模式從每個字首更改為每個VRF。 |
%FED_L3_ERRMSG-3-mpls_out_of_resource:交換機1 R0/0:饋送:「MPLS LSPA的資源不足」。無法在硬體「 」中程式設計。 |
遠端標籤分配:為LSPA遠端標籤保留的硬體空間已用盡。 |
執行以下操作之一以減少遠端PE上使用的標籤數量: 1.總結遠端CE或遠端PE上的字首。 2.將遠端PE上的標籤分配模式從每個字首更改為每個VRF。 |
方案:QoS
在此頁上可以找到QoS硬體驗證瞭解Catalyst 9000交換機上的QoS硬體資源
QoS系統日誌
如果與QoS相關的資源用盡,則系統生成SYSLOG消息:
與QoS相關的系統日誌消息 |
定義 |
恢復操作 |
%FED_QOS_ERRMSG-4-TCAM_OVERFLOW:交換機1 R0/0:饋送:「無法程式設計」錯誤TCAM,用於GigabitEthernet1/0/10上的策略對映ingress_pmap2。 |
為QoS實體保留的硬體(TCAM)空間不足。 |
- 確保您具有有效/支援的配置。
- 檢視本文檔的其餘部分,以驗證您的交換機的當前規模利用率,以及如果過度使用可能採取的減少措施。
|
%FED_QOS_ERRMSG-3-QUEUE_SCHEDULER_HW_ERROR:交換機1的R0/0: fed: "Failed to configure queue scheduler"錯誤(對於GigabitEthernet1/0/27)。 |
安裝到QoS隊列計畫程式的硬體失敗。 |
- 驗證您的配置是否受支援
- 檢視特定平台和軟體版本的QoS配置指南。
對於9200LONLY:檢視Cisco錯誤IDCSCvz54607和Cisco錯誤IDCSCvz76172 |
FED_QOS_ERRMSG-3-QUEUE_BUFFER_HW_ERROR: R0/0: fed: "Failed to configure default queue buffer"錯誤。 |
QoS隊列緩衝區的硬體安裝失敗。 |
- 驗證您的配置是否受支援。
- 檢視特定平台和軟體版本的QoS配置指南。
- 檢查Cisco錯誤IDCSCvs49401
|
相關資訊
技術支援與文件 - Cisco Systems
Cisco Catalyst 9200 系列交換器資料表
Cisco Catalyst 9300 系列交換器資料表
Cisco Catalyst 9400系列交換機產品手冊
Cisco Catalyst 9500系列交換機產品手冊
Cisco Catalyst 9600 系列交換器資料表
Cisco Catalyst 9500架構白皮書
思科錯誤ID
思科錯誤ID CSCvg60292(在TCAM中達到最大路由時,雜湊表中不能安裝任何路由。)
思科錯誤ID CSCvx57822(硬體表需要90%的利用率水線。)
思科錯誤ID CSCvs49401
思科錯誤ID CSCvz54607
思科錯誤ID CSCvz76172