ACI故障代碼F199144、F93337、F381328、F93241、F450296故障排除：TCA

下載選項

  • PDF     (1.0 MB)
    在多種裝置上使用 Adobe Reader 檢視
已更新: 2023 年 7 月 11 日
文件 ID:220567

無偏見用語

本產品的文件集力求使用無偏見用語。針對本文件集的目的，無偏見係定義為未根據年齡、身心障礙、性別、種族身分、民族身分、性別傾向、社會經濟地位及交織性表示歧視的用語。由於本產品軟體使用者介面中硬式編碼的語言、根據 RFP 文件使用的語言，或引用第三方產品的語言，因此本文件中可能會出現例外狀況。深入瞭解思科如何使用包容性用語。

關於此翻譯

思科已使用電腦和人工技術翻譯本文件，讓全世界的使用者能夠以自己的語言理解支援內容。請注意，即使是最佳機器翻譯，也不如專業譯者翻譯的內容準確。Cisco Systems, Inc. 對這些翻譯的準確度概不負責，並建議一律查看原始英文文件（提供連結）。

    簡介

    本文檔介紹ACI故障代碼的補救步驟：F199144、F93337、F381328、F93241、F450296

    背景

    如果您有與Intersight連線的ACI交換矩陣，則會代表您生成一個服務請求，以指明在與Intersight連線的ACI交換矩陣中發現了此故障的例項。

    作為主動ACI業務開發的一部分，正在積極監控這個。

    本文檔介紹修正以下故障的後續步驟：

    故障：F199144

    "Code" : "F199144",
    "Description" : "TCA: External Subnet (v4 and v6) prefix entries usage current value(eqptcapacityPrefixEntries5min:extNormalizedLast) value 91% raised above threshold 90%",
    "Dn" : "topology/pod-1/node-132/sys/eqptcapacity/fault-F199144"

    當前使用外部子網字首超過99%時，會引發此特定故障。這表明這些交換機處理的路由存在硬體限制。

    解決故障的快速入門：F199144

    1. 命令「show platform internal hal l3 routing threshold」

    module-1# show platform internal hal l3 routingthresholds
Executing Custom Handler function

OBJECT 0:
trie debug threshold                                      : 0
tcam debug threshold                                      : 3072
Supported UC lpm entries                                  : 14848
Supported UC lpm Tcam entries                             : 5632
Current v4 UC lpm Routes                                  : 19526
Current v6 UC lpm Routes                                  : 0
Current v4 UC lpm Tcam Routes                             : 404
Current v6 UC lpm Tcam Routes                             : 115
Current v6 wide UC lpm Tcam Routes                        : 24
Maximum HW Resources for LPM                              : 20480     < ------- Maximum hardware resources
Current LPM Usage in Hardware                             : 20390   < ------------Current usage in Hw
Number of times limit crossed                             : 5198       < -------------- Number of times that limit was crossed
Last time limit crossed                                   : 2020-07-07 12:34:15.947    < ------ Last occurrence,  today  at 12:34 pm

    2. 命令「show platform internal hal health-stats」

    module-1# show platform internal hal health-stats
No sandboxes exist
|Sandbox_ID: 0  Asic Bitmap: 0x0
|-------------------------------------

L2 stats:
=========
bds:                          : 249
...
l2_total_host_entries_norm    : 4


L3 stats:
=========
l3_v4_local_ep_entries        : 40
max_l3_v4_local_ep_entries    : 12288
l3_v4_local_ep_entries_norm   : 0
l3_v6_local_ep_entries        : 0
max_l3_v6_local_ep_entries    : 8192
l3_v6_local_ep_entries_norm   : 0
l3_v4_total_ep_entries        : 221
max_l3_v4_total_ep_entries    : 24576
l3_v4_total_ep_entries_norm   : 0
l3_v6_total_ep_entries        : 0
max_l3_v6_total_ep_entries    : 12288
l3_v6_total_ep_entries_norm   : 0
max_l3_v4_32_entries          : 49152
total_l3_v4_32_entries        : 6294
  l3_v4_total_ep_entries      : 221
  l3_v4_host_uc_entries       : 6073
  l3_v4_host_mc_entries       : 0
total_l3_v4_32_entries_norm   : 12
max_l3_v6_128_entries         : 12288
total_l3_v6_128_entries       : 17
  l3_v6_total_ep_entries      : 0
  l3_v6_host_uc_entries       : 17
  l3_v6_host_mc_entries       : 0
total_l3_v6_128_entries_norm  : 0
max_l3_lpm_entries            : 20480  < ----------- Maximum
l3_lpm_entries                : 19528    < ------------- Current L3 LPM entries
  l3_v4_lpm_entries           : 19528
  l3_v6_lpm_entries           : 0
l3_lpm_entries_norm           : 99
max_l3_lpm_tcam_entries       : 5632
max_l3_v6_wide_lpm_tcam_entries: 1000
l3_lpm_tcam_entries           : 864
  l3_v4_lpm_tcam_entries      : 404
  l3_v6_lpm_tcam_entries      : 460
  l3_v6_wide_lpm_tcam_entries : 24
l3_lpm_tcam_entries_norm      : 15
l3_v6_lpm_tcam_entries_norm   : 2
l3_host_uc_entries            : 6090
  l3_v4_host_uc_entries       : 6073
  l3_v6_host_uc_entries       : 17
max_uc_ecmp_entries           : 32768
uc_ecmp_entries               : 250
uc_ecmp_entries_norm          : 0
max_uc_adj_entries            : 8192
uc_adj_entries                : 261
uc_adj_entries_norm           : 3
vrfs                          : 150
  infra_vrfs                  : 0
  tenant_vrfs                 : 148
rtd_ifs                       : 2
sub_ifs                       : 2
svi_ifs                       : 185

    後續步驟故障：F199144

    1. 減少每台交換機必須處理的路由數量，以便您遵守為硬體型號定義的可擴充性。請檢視此處https://www.cisco.com/c/en/us/td/docs/switches/datacenter/aci/apic/sw/4-x/verified-scalability/Cisco-ACI-Verified-Scalability-Guide-412.html的可擴充性指南

    2. 考慮基於比例更改轉發比例配置檔案。https://www.cisco.com/c/en/us/td/docs/switches/datacenter/aci/apic/sw/all/forwarding-scale-profiles/cisco-apic-forwarding-scale-profiles/m-overview-and-guidelines.html

    3. 刪除L3Out中的0.0.0.0/0子網並僅配置所需的子網

    4. 如果使用第1代，請將硬體從第1代升級到第2代，因為第2代交換機允許20,000多條外部v4路由。

    故障：F93337

    "Code" : "F93337",
"Description" : "TCA: memory usage current value(compHostStats15min:memUsageLast) value 100% raised above threshold 99%",
"Dn" : "comp/prov-VMware/ctrlr-[FAB4-AVE]-vcenter/vm-vm-1071/fault-F93337"

    當VM主機消耗的記憶體超過閾值時，會引發此特定故障。APIC透過VCenter監控這些主機。Comp：HostStats15min是一個類，代表15分鐘取樣間隔內主機的最新統計資訊。此類每5分鐘更新一次。

    解決故障的快速入門：F93337

    1. 命令「moquery -d 'comp/prov-VMware/ctrlr-[<DVS>]-<VCenter>/vm-vm-<來自故障的DN的VM ID>」

    此命令提供有關受影響虛擬機器的資訊

    # comp.Vm
oid          : vm-1071
cfgdOs       : Ubuntu Linux (64-bit)
childAction  :
descr        :
dn           : comp/prov-VMware/ctrlr-[FAB4-AVE]-vcenter/vm-vm-1071
ftRole       : unset
guid         : 501030b8-028a-be5c-6794-0b7bee827557
id           : 0
issues       :
lcOwn        : local
modTs        : 2022-04-21T17:16:06.572+05:30
monPolDn     : uni/tn-692673613-VSPAN/monepg-test
name         : VM3
nameAlias    :
os           :
rn           : vm-vm-1071
state        : poweredOn
status       :
template     : no
type         : virt
uuid         : 4210b04b-32f3-b4e3-25b4-fe73cd3be0ca

    2. 命令「moquery -c compRsHv | grep 'vm-1071'」

    此命令提供有關託管VM的主機資訊。在本示例中，VM位於host-347上

    apic2# moquery -c compRsHv | grep vm-1071
dn           : comp/prov-VMware/ctrlr-[FAB4-AVE]-vcenter/vm-vm-1071/rshv-[comp/prov-VMware/ctrlr-[FAB4-AVE]-vcenter/hv-host-1068]

    3. 命令「moquery -c compHv -f 'comp.Hv.oid=="host-1068"」

    此命令提供有關主機的詳細資訊

    apic2# moquery -c compHv -f 'comp.Hv.oid=="host-1068"'
Total Objects shown: 1

# comp.Hv
oid                  : host-1068
availAdminSt         : gray
availOperSt          : gray
childAction          :
countUplink          : 0
descr                :
dn                   : comp/prov-VMware/ctrlr-[FAB4-AVE]-vcenter/hv-host-1068
enteringMaintenance  : no
guid                 : b1e21bc1-9070-3846-b41f-c7a8c1212b35
id                   : 0
issues               :
lcOwn                : local
modTs                : 2022-04-21T14:23:26.654+05:30
monPolDn             : uni/infra/moninfra-default
name                 : myhost
nameAlias            :
operIssues           :
os                   :
rn                   : hv-host-1068
state                : poweredOn
status               :
type                 : hv
uuid                 :

    後續步驟故障：F93337

    1. 更改主機上虛擬機器的已分配記憶體。

    2. 如果期望記憶體，您可以透過建立統計資訊收集策略來更改閾值，從而抑制故障。

         a.在VM的租戶下，建立新的監控策略。

    建立監控策略


         b.在監控策略下，選擇統計資訊收集策略。

    統計資訊收集策略

       c.點選Monitoring object下拉選單旁的edit圖示，然後將Virtual Machine (comp.Vm)作為監控對象選中。提交後，從監控對象下拉選單中選擇compVm對象。

    刪除監視策略

     

       d.按一下「統計資訊型別」旁邊的編輯圖示，然後檢查CPU使用情況。

    CPU使用率統計資料型別

     

         e.從統計資訊型別下拉選單中按一下選擇主機，點選+號，然後輸入您的粒度、管理狀態和歷史記錄保留期，然後點選update。

    增加粒度

      

         f.按一下config threshold下的+號，然後增加「memory usage maximum value」作為屬性。

    收集閾值


         g.將正常值變更為您偏好的臨界值。

    建立狀態臨界值

         h.在EPG上應用監控策略

    應用監控策略

         I.要確認是否在VM上應用策略，請運行「moquery -c compVm -f 'comp.Vm.oid = "vm-<vm-id>"'」

    apic1# moquery -c compVm -f 'comp.Vm.oid == "vm-1071"' | grep monPolDn
monPolDn     : uni/tn-692673613-VSPAN/monepg-test <== Monitoring Policy test has been applied

     

       

    故障：F93241

    "Code" : "F93241",
"Description" : "TCA: CPU usage average value(compHostStats15min:cpuUsageAvg) value 100% raised above threshold 99%",
"Dn" : "comp/prov-VMware/ctrlr-[FAB4-AVE]-vcenter/vm-vm-1071/fault-F93241"

    當VM主機消耗的CPU超過閾值時，會引發此特定故障。APIC透過VCenter監控這些主機。Comp：HostStats15min是一個類，代表15分鐘取樣間隔內主機的最新統計資訊。此類每5分鐘更新一次。

    解決故障的快速入門：F93241

    1. 命令「moquery -d 'comp/prov-VMware/ctrlr-[<DVS>]-<VCenter>/vm-vm-<來自故障的DN的VM ID>」

    此命令提供有關受影響虛擬機器的資訊

    # comp.Vm
oid          : vm-1071
cfgdOs       : Ubuntu Linux (64-bit)
childAction  :
descr        :
dn           : comp/prov-VMware/ctrlr-[FAB4-AVE]-vcenter/vm-vm-1071
ftRole       : unset
guid         : 501030b8-028a-be5c-6794-0b7bee827557
id           : 0
issues       :
lcOwn        : local
modTs        : 2022-04-21T17:16:06.572+05:30
monPolDn     : uni/tn-692673613-VSPAN/monepg-test
name         : VM3
nameAlias    :
os           :
rn           : vm-vm-1071
state        : poweredOn
status       :
template     : no
type         : virt
uuid         : 4210b04b-32f3-b4e3-25b4-fe73cd3be0ca

    2. 命令「moquery -c compRsHv | grep 'vm-1071'」

    此命令提供有關託管VM的主機資訊。在本示例中，VM位於host-347上

    apic2# moquery -c compRsHv | grep vm-1071
dn           : comp/prov-VMware/ctrlr-[FAB4-AVE]-vcenter/vm-vm-1071/rshv-[comp/prov-VMware/ctrlr-[FAB4-AVE]-vcenter/hv-host-1068]

    3. 命令「moquery -c compHv -f 'comp.Hv.oid=="host-1068"」

    此命令提供有關主機的詳細資訊

    apic2# moquery -c compHv -f 'comp.Hv.oid=="host-1068"'
Total Objects shown: 1

# comp.Hv
oid                  : host-1068
availAdminSt         : gray
availOperSt          : gray
childAction          :
countUplink          : 0
descr                :
dn                   : comp/prov-VMware/ctrlr-[FAB4-AVE]-vcenter/hv-host-1068
enteringMaintenance  : no
guid                 : b1e21bc1-9070-3846-b41f-c7a8c1212b35
id                   : 0
issues               :
lcOwn                : local
modTs                : 2022-04-21T14:23:26.654+05:30
monPolDn             : uni/infra/moninfra-default
name                 : myhost
nameAlias            :
operIssues           :
os                   :
rn                   : hv-host-1068
state                : poweredOn
status               :
type                 : hv
uuid                 :

    後續步驟故障：F93241

    1. 升級主機上虛擬機器分配的CPU。

    2. 如果期望獲得CPU，您可以透過建立統計資訊收集策略來更改閾值，從而抑制故障。

         a.在VM的租戶下，建立新的監控策略。

    建立監控策略


         b.在監控策略下，選擇統計資訊收集策略。

    統計資訊收集策略

       c.點選Monitoring object下拉選單旁的edit圖示，然後將Virtual Machine (comp.Vm)作為監控對象選中。提交後，從監控對象下拉選單中選擇compVm對象。

    刪除監視策略

     

       d.按一下「統計資訊型別」旁邊的編輯圖示，然後檢查CPU使用情況。

    CPU使用率統計資料型別

     

         e.從統計資訊型別下拉選單中按一下選擇主機，點選+號，然後輸入您的粒度、管理狀態和歷史記錄保留期，然後點選update。

    增加粒度

         f.按一下config threshold下的+號，然後增加「CPU使用率最大值」作為屬性。

    Collection_1的閾值

     

         g.將正常值變更為您偏好的臨界值。

    建立Stat Threshold_1

         h.在EPG上應用監控策略

    應用監控策略

         I.要確認是否在VM上應用策略，請運行「moquery -c compVm -f 'comp.Vm.oid = "vm-<vm-id>"'」

    apic1# moquery -c compVm -f 'comp.Vm.oid == "vm-1071"' | grep monPolDn
monPolDn     : uni/tn-692673613-VSPAN/monepg-test <== Monitoring Policy test has been applied

    故障：F381328

    "Code" : "F381328",
"Description" : "TCA: CRC Align Errors current value(eqptIngrErrPkts5min:crcLast) value 50% raised above threshold 25%",
"Dn" : "topology/<pod>/<node>/sys/phys-<[interface]>/fault-F381328"

    當介面上的CRC錯誤超過閾值時，會引發此特定故障。發現兩種常見的CRC錯誤- FCS錯誤和CRC Stoped錯誤。由於直通交換路徑而傳播的CRC錯誤是初始FCS錯誤的結果。由於ACI遵循直通交換，這些幀最終會經過ACI交換矩陣，並且我們看到沿途存在堆積CRC錯誤，這並不意味著所有帶有CRC錯誤的介面都是故障。建議確定CRC源並修復有問題的SFP/埠/光纖。

    解決故障的快速入門：F381328

    1. 在交換矩陣中轉儲具有CRC的最大數量的介面

    moquery -c rmonEtherStats -f 'rmon.EtherStats.cRCAlignErrors>="1"' | egrep "dn|cRCAlignErrors" | egrep -o "\S+$" |  tr '\r\n' ' ' | sed -re 's/([[:digit:]]+)\s/\n\1 /g' | awk '{printf "%-65s %-15s\n", $2,$1}' | sort -rnk 2

topology/pod-1/node-103/sys/phys-[eth1/50]/dbgEtherStats          399158

topology/pod-1/node-101/sys/phys-[eth1/51]/dbgEtherStats          399158

topology/pod-1/node-1001/sys/phys-[eth2/24]/dbgEtherStats         399158

    2. 轉儲交換矩陣中數量最多的FCS

    moquery -c rmonDot3Stats -f 'rmon.Dot3Stats.fCSErrors>="1"' | egrep "dn|fCSErrors" | egrep -o "\S+$" |  tr '\r\n' ' ' | sed -re 's/topology/\ntopology/g' | awk '{printf "%-65s %-15s\n", $1,$2}' | sort -rnk 2

    後續步驟故障：F381328

    1. 如果交換矩陣中存在FCS錯誤，請解決這些錯誤。這些錯誤通常表明第1層有問題。

    2. 如果前面板埠上存在CRC填充錯誤，請檢查埠上連線的裝置並確定填充來自該裝置的原因。

    故障的Python指令碼：F381328

    整個過程也可以使用python指令碼自動執行。請參閱https://www.cisco.com/c/en/us/support/docs/cloud-systems-management/application-policy-infrastructure-controller-apic/217577-how-to-use-fcs-and-crc-troubleshooting-s.html

    故障：F450296

    "Code" : "F450296",
"Description" : "TCA: Multicast usage current value(eqptcapacityMcastEntry5min:perLast) value 91% raised above threshold 90%",
"Dn" : "sys/eqptcapacity/fault-F450296"

    當組播條目數超過閾值時，會引發此特定故障。

    解決故障的快速入門：F450296

    1. 命令「show platform internal hal health-stats asic-unit all」

    module-1# show platform internal hal health-stats asic-unit all
|Sandbox_ID: 0  Asic Bitmap: 0x0
|-------------------------------------

L2 stats:
=========
bds:                          : 1979
max_bds:                      : 3500
  external_bds:               : 0
  vsan_bds:                   : 0
  legacy_bds:                 : 0
  regular_bds:                : 0
  control_bds:                : 0
fds                           : 1976
max_fds                       : 3500
  fd_vlans                    : 0
  fd_vxlans                   : 0
vlans                         : 3955
max vlans                     : 3960
  vlan_xlates                 : 6739
  max vlan_xlates             : 32768
  ports                       : 52
pcs                           : 47
hifs                          : 0
nif_pcs                       : 0
l2_local_host_entries         : 1979
max_l2_local_host_entries     : 32768
l2_local_host_entries_norm    : 6
l2_total_host_entries         : 1979
max_l2_total_host_entries     : 65536
l2_total_host_entries_norm    : 3

L3 stats:
=========
l3_v4_local_ep_entries        : 3953
max_l3_v4_local_ep_entries    : 32768
l3_v4_local_ep_entries_norm   : 12
l3_v6_local_ep_entries        : 1976
max_l3_v6_local_ep_entries    : 24576
l3_v6_local_ep_entries_norm   : 8
l3_v4_total_ep_entries        : 3953
max_l3_v4_total_ep_entries    : 65536
l3_v4_total_ep_entries_norm   : 6
l3_v6_total_ep_entries        : 1976
max_l3_v6_total_ep_entries    : 49152
l3_v6_total_ep_entries_norm   : 4
max_l3_v4_32_entries          : 98304
total_l3_v4_32_entries        : 35590
  l3_v4_total_ep_entries      : 3953
  l3_v4_host_uc_entries       : 37
  l3_v4_host_mc_entries       : 31600
total_l3_v4_32_entries_norm   : 36
max_l3_v6_128_entries         : 49152
total_l3_v6_128_entries       : 3952
  l3_v6_total_ep_entries      : 1976
  l3_v6_host_uc_entries       : 1976
  l3_v6_host_mc_entries       : 0
total_l3_v6_128_entries_norm  : 8
max_l3_lpm_entries            : 38912
l3_lpm_entries                : 9384
  l3_v4_lpm_entries           : 3940
  l3_v6_lpm_entries           : 5444
l3_lpm_entries_norm           : 31
max_l3_lpm_tcam_entries       : 4096
max_l3_v6_wide_lpm_tcam_entries: 1000
l3_lpm_tcam_entries           : 2689
  l3_v4_lpm_tcam_entries      : 2557
  l3_v6_lpm_tcam_entries      : 132
  l3_v6_wide_lpm_tcam_entries : 0
l3_lpm_tcam_entries_norm      : 65
l3_v6_lpm_tcam_entries_norm   : 0
l3_host_uc_entries            : 2013
  l3_v4_host_uc_entries       : 37
  l3_v6_host_uc_entries       : 1976
max_uc_ecmp_entries           : 32768
uc_ecmp_entries               : 1
uc_ecmp_entries_norm          : 0
max_uc_adj_entries            : 8192
uc_adj_entries                : 1033
uc_adj_entries_norm           : 12
vrfs                          : 1806
  infra_vrfs                  : 0
  tenant_vrfs                 : 1804
rtd_ifs                       : 2
sub_ifs                       : 2
svi_ifs                       : 1978

Mcast stats:
============
mcast_count                   : 31616   <<<<<<<
max_mcast_count               : 32768

Policy stats:
=============
policy_count                  : 127116
max_policy_count              : 131072
policy_otcam_count            : 2920
max_policy_otcam_count            : 8192
policy_label_count                : 0
max_policy_label_count            : 0

Dci Stats:
=============
vlan_xlate_entries            : 0
vlan_xlate_entries_tcam       : 0
max_vlan_xlate_entries        : 0
sclass_xlate_entries          : 0
sclass_xlate_entries_tcam     : 0
max_sclass_xlate_entries      : 0

    後續步驟故障：F450296

    1. 考慮將部分組播流量移至其他枝葉。

    2. 探索各種轉送規模設定檔，以增加多點傳送規模。請參閱連結https://www.cisco.com/c/en/us/td/docs/switches/datacenter/aci/apic/sw/all/forwarding-scale-profiles/cisco-apic-forwarding-scale-profiles/m-forwarding-scale-profiles-523.html

    修訂記錄

    修訂 發佈日期 意見
    1.0
    11-Jul-2023
    初始版本
    TAC Authored

    由思科工程師貢獻

    • Savinder Singh
      TAC

    這份文件是否有所幫助？

    Feedback意見

    讓思科協助您

    本文件適用於這些產品