排除Catalyst 9000交換機上的意外過載故障

下載選項

PDF (441.6 KB)
在多種裝置上使用 Adobe Reader 檢視
ePub (84.6 KB)
在 iPhone、iPad、Android、Sony Reader 或 Windows Phone 上的各種應用程式中檢視
Mobi (Kindle) (76.2 KB)
在 Kindle 裝置或多部裝置的 Kindle 應用程式上檢視

已更新: 2023 年 7 月 27 日

文件 ID:220656

無偏見用語

本產品的文件集力求使用無偏見用語。針對本文件集的目的，無偏見係定義為未根據年齡、身心障礙、性別、種族身分、民族身分、性別傾向、社會經濟地位及交織性表示歧視的用語。由於本產品軟體使用者介面中硬式編碼的語言、根據 RFP 文件使用的語言，或引用第三方產品的語言，因此本文件中可能會出現例外狀況。深入瞭解思科如何使用包容性用語。

關於此翻譯

思科已使用電腦和人工技術翻譯本文件，讓全世界的使用者能夠以自己的語言理解支援內容。請注意，即使是最佳機器翻譯，也不如專業譯者翻譯的內容準確。Cisco Systems, Inc. 對這些翻譯的準確度概不負責，並建議一律查看原始英文文件（提供連結）。

簡介

本文說明如何排解意外重新載入的疑難問題，以及收集Catalyst 9000交換器上事件後內容的特定資訊。

需求

本文件沒有特定需求。

採用元件

本文件所述內容不限於特定軟體和硬體版本。

本文中的資訊是根據特定實驗室環境內的裝置所建立。文中使用到的所有裝置皆從已清除（預設）的組態來啟動。如果您的網路運作中，請確保您瞭解任何指令可能造成的影響。

背景資訊

發生意外重新載入或靜默重新載入事件可能有多種原因。要排除故障並找出根本原因，必須立即瞭解事件的日期/時間並從裝置收集所有可能的資訊。這可確保所有日誌收集準確完整（隨著時間的推移，不會被裝置覆蓋）。

常見的重新載入原因

ReloadReason	說明	建議
加電	電源或輸入電路已手動關閉並開啟。	如果電源事件是意外事件，請確認物理電源、電池備份、UPS等的運行狀況。
由於不相容而導致堆疊合併	堆疊的備用交換機丟失與主用交換機的通訊，並觸發合併以重新選擇新的主用交換機。	檢查堆疊資料線，確保它們正確就位。更換堆疊電纜。
Reload指令	命令`reload`是在交換器的CLI上執行，以指示手動重新載入軟體。	已發出reload命令（如果這不是預期的命令，則可以確認何時通過iosrp分析程式跟蹤執行此操作）
LocalSoft或CPU災難性錯誤	軟體或CPU中遇到錯誤情況，已強制重置裝置。	收集資料並開啟TAC案例。
電源故障或未知	裝置或輸入電路的電源必須突然發生故障，暫時停止向交換機供電。	檢查電源是否正常、LED顏色以及輸入電路是否正常。
冗餘強制切換	命令已 `redundancy force-switchover` 執行，導致「備用」角色為「活動」，而前一個「活動」角色用於軟體重置。	無.
映像安裝	由於安裝了新的Cisco IOS® XE映像，裝置已重新載入。	無.

收集相關資料

發生次數的確切日期/時間。
在意外重新載入事件之前發生了什麼情況？可能是配置更改、登入到裝置或裝置未觸及。
在事件之前是否有任何關於錯誤的系統日誌消息？如果有外部系統日誌伺服器，請檢查是否有相關的錯誤日誌。
從裝置收集命令 show tech-support 。
有助於瞭解事前情況（電源故障等）的任何其他見解或觀察結果

注意：在事件發生後立即收集資訊非常重要。如果日誌收集發生在重新載入事件發生的幾天或幾週之後，則不能保證提供正確的根本原因。

裝置啟動並穩定後，收集此附加資訊以幫助確定重新載入事件的原因。

上次重新載入原因

檢查系統記錄的最後一個重新載入原因是什麼。

 Switch#show version | include uptime|returned|reload|Version 
Cisco IOS XE Software, Version 16.12.08
Cisco IOS Software [Gibraltar], Catalyst L3 Switch Software (CAT9K_IOSXE), Version 16.12.8, RELEASE SOFTWARE (fc1)
licensed under the GNU General Public License ("GPL") Version 2.0. The
software code licensed under GPL Version 2.0 is free software that comes
GPL code under the terms of GPL Version 2.0. For more details, see the
BOOTLDR: System Bootstrap, Version 17.10.1r, RELEASE SOFTWARE (P)
Switch uptime is 3 hours, 14 minutes
System returned to ROM by Reload Command
Last reload reason: Reload Command
Next reload AIR license Level: AIR DNA Advantage
Switch Ports Model SW Version SW Image Mode
Configuration register is 0x102 (will be 0x2102 at next reload)

裝置會儲存所經歷的最近重新載入事件的歷史資料。此資訊對於檢查重新載入是否已反複執行以及交換機記錄的原因非常重要。用於檢視此資料的命令是 show logging onboard switch uptime detail.

Switch#show logging onboard switch active uptime detail
--------------------------------------------------------------------------------
UPTIME SUMMARY INFORMATION
--------------------------------------------------------------------------------
First customer power on : 04/28/2022 01:24:40
Total uptime : 0 years 41 weeks 2 days 9 hours 55 minutes
Total downtime : 0 years 22 weeks 4 days 7 hours 3 minutes
Number of resets : 326
Number of slot changes : 2
Current reset reason : Reload Command
Current reset timestamp : 07/19/2023 15:23:33
Current slot : 1
Chassis type : 215
Current uptime : 0 years 0 weeks 0 days 3 hours 0 minutes
--------------------------------------------------------------------------------

--------------------------------------------------------------------------------
UPTIME CONTINUOUS INFORMATION
--------------------------------------------------------------------------------
Time Stamp | Reset | Uptime
MM/DD/YYYY HH:MM:SS | Reason | years weeks days hours minutes
--------------------------------------------------------------------------------
07/13/2023 17:57:49 Image Install 0 0 0 0 0
07/13/2023 18:48:58 Reload Command 0 0 0 0 40
07/14/2023 00:55:30 Reload Command 0 0 0 6 0
07/14/2023 11:15:44 Reload Command 0 0 0 10 0
07/14/2023 20:02:26 Reload Command 0 0 0 8 0
07/17/2023 11:32:29 Reload Command 0 0 2 15 0
07/17/2023 21:00:59 Reload Command 0 0 0 9 0
07/18/2023 08:36:20 Reload Command 0 0 0 11 0
07/18/2023 11:00:28 Reload Command 0 0 0 2 0
07/19/2023 07:02:14 Reload Command 0 0 0 19 0 07/19/2023 15:23:33 Reload Command 0 0 0 8 0
--------------------------------------------------------------------------------

技術支援指令

此命令可收集系統的一般資訊及其當前狀態。前面所述的命令包含在此支援包中。TAC在開啟案例時要求此輸出檔案。

有不同的收集方法：

已記錄的終端會話：使用終端程式並將會話記錄到文本檔案中。然後，從CLI運行命令 show tech-support 並等待收集完成。將文字檔案提供給TAC案例。
已重新導向至檔案：在CLI中運行命 show tech-support | redirect flash: ShowTech.txt令。這會使用tech-support命令的結果在裝置的快閃記憶體上建立文本檔案。然後，需要使用網路中可用的任何傳輸協定從裝置提取檔案。（TFTP、FTP、SCP等）。

Switch#show tech-support | redirect flash:ShowTech.txt

Switch#dir flash: | include .txt
499721 -rw- 16090 Jul 19 2023 15:24:02 +00:00 rdope_out.txt
499728 -rw- 1328023 Jul 19 2023 19:12:57 +00:00 ShowTech.txt

Switch#copy flash:ShowTech.txt tftp:
Address or name of remote host []? 192.168.1.1
Destination filename [ShowTech.txt]?
!!!

為TAC收集的命令

交換機儲存系統日誌記錄資訊，可用於深入分析發生意外重新載入事件之前和之後發生的情況。如果發生崩潰，交換器也會將崩潰資料儲存到加密檔案中，以便由TAC專家進行分析。

Tracelogs

tracelog是Cisco IOS® XE中每個進程的內部日誌。tracelogs目錄預設情況下建立，其內容定期被覆蓋。可以在 bootflash 或Catalyst裝置的 flash 中找到此資料夾。

生成Tracelogs

Switch#request platform software trace archive
Creating archive file [flash:Switch_1_RP_0_trace_archive-20230719-192115.tar.gz]
Done with creation of the archive file: [flash:Switch_1_RP_0_trace_archive-20230719-192115.tar.gz]

Switch#dir flash: | include .gz
499729 -rw- 29573907 Jul 19 2023 19:21:22 +00:00 Switch_1_RP_0_trace_archive-20230719-192115.tar.gz

系統報告

系統報告是一個壓縮檔案，當發生意外重新載入時，它收集軟體執行中的大部分可用資訊。系統報告包含tracelogs、crashinfo和core檔案。如果Cisco IOS® XE交換機上由於崩潰或軟體錯誤而發生意外重新載入，則會自動建立此檔案。可在目錄中找到該crashinfo。此檔案已加密，並且需要TAC支援進行解碼和分析。

Switch#dir crashinfo: | include .gz

Directory of crashinfo:/
19 -rwx 655080 Aug 7 2013 16:31:31 +00:00 system-report_1_20130807-163050-UTC.gz

附註：這些以.gz副檔名結尾的檔案需要使用網路中可用的任何傳輸協定從裝置中解壓縮。（TFTP、FTP、SCP等）。

疑難排解

加電

說明

已手動關閉並開啟電源。這也可能與長期斷電有關。在這種情況下，不會生成崩潰或核心檔案。

補救

1.檢查是否手動關閉了電源。如果不是，繼續核查。

2.驗證電源的電源線，它們不能鬆動或輕易斷開。

3.檢查共用相同入口迴路的其他裝置是否也有停機。如果只有交換器發生中斷，請繼續驗證。

4.檢查交換機供電的入口電路是否有長時間停電導致交換機斷電。

5.如果以上所有條件均已驗證，且未發現現場電源問題，請開啟TAC案例。

由於不相容而導致堆疊合併

說明

堆疊的備用交換器失去與作用中交換器的通訊，並觸發堆疊中所有交換器之間的合併，以重新選擇新的作用中交換器。Keepalive訊息不斷透過堆疊資料電纜傳送和接收，當這些訊息沒有按時傳送/接收時，交換器就會宣告失去通訊且發生堆疊合併。

補救

1.檢查堆疊資料電纜是否工作正常，是否鬆散地插入堆疊資料插槽中。

2.驗證堆疊資料線是否正確安裝，以及螺釘是否太緊。

3.如果交換機具有堆疊模組，請檢查螺釘是否太緊，以及是否未鬆開地插入堆疊托架中。

4.如果由於堆疊合併而重新載入繼續，請繼續更換堆疊資料電纜和堆疊資料模組（如果交換機具有堆疊模組）。

5.如果在更換資料電纜後，堆疊合併繼續進行，請開啟TAC案例。

Reload指令

說明

命令reload是在交換器的CLI上執行，以指示手動重新載入軟體。

補救

由於使用了指定的命令，沒有補救操作可用，因為需要重新載入。

LocalSoft或CPU災難性錯誤

說明

軟體或CPU中遇到錯誤情況，已強制重置裝置。這是軟體產生的重新載入，可能與思科錯誤ID CSCvr77861相關。由於此錯誤情況，沒有產生核心轉儲檔案或崩潰。

補救

1.驗證錯誤詳細資訊，並將交換器升級為最新修正版本。

2.如果問題再次發生，請在問題之前和之後收集tracelogs和任何其他日誌記錄資料。

3.建立TAC案例。

電源故障或未知

說明

裝置或輸入電路的電源突然發生故障，暫時停止向交換機供電。這也可能是因為連線到交換機的UPS（如果有）的電源突然中斷。在這種情況下，不會生成崩潰或核心檔案。

補救

1.檢驗電源指示燈，指示燈必須為綠色。如果沒有LED亮起或指示燈顯示紅色，請用工作正常的電源更換電源。

2.驗證電源的電源線，它們不能鬆動或輕易斷開。

3.如果交換機連線到UPS，請確認其沒有中斷導致交換機斷電。

4.檢查共用相同入口迴路的其他裝置是否也有停機。如果只有交換器發生中斷，請繼續驗證。

5.檢查開關從中供電的入口電路是否有任何小抖動或電壓/電流電平變化。

6.如果之前的所有條件均經過驗證，並且未發現現場電源變化問題，請開啟TAC案例。

冗餘強制切換

說明

命令已 redundancy force-switchover 執行，導致「備用」角色為「活動」，而前一個「活動」角色用於軟體重置。

補救

由於需要指定命令，沒有補救措施作為重新載入活動交換機的可用。

映像安裝

說明

由於安裝了新的Cisco IOS® XE映像，裝置已重新載入。

補救

由於重新載入堆疊是由於安裝過程所致，因此沒有可用的補救操作，這是預期的。

核心檔案存在或崩潰

說明

交換機崩潰並生成了崩潰或核心檔案。在快閃記憶體中檢查以下檔案之一：或crashinfo:目錄

可在交換機上運行此命令，以搜尋所有目錄中的核心檔案、系統報告和記憶體不足閾值檔案：

如果在輸出中沒有看到任何檔案，並且只看到目錄，則不會由於這些原因而發生崩潰。
如果看到檔案，但是它們與所關注或關注事件的Date和Time不匹配

cats-c9300#dir /recur all-filesystems | inc Directory of|crashinfo_|core.gz|fullcore|system-report|kernel.rp|threshold_lowmem_info
Directory of system:/*
Directory of system:/
Directory of system:/memory/
Directory of system:/
Directory of tmpsys:/*
Directory of crashinfo:/*
Directory of crashinfo:/tracelogs/
Directory of crashinfo:/
Directory of crashinfo:/license_evlog/
Directory of crashinfo:/ 												<-Inside crashinfo:/ directory
   12  -rw-      483563  Jun 27 2023 17:15:52 +00:00  cats-c9300_crashinfo_1_RP_00_00_20230627-171547-UTC
   13  -rw-   139205443  Jun 27 2023 17:16:49 +00:00  cats-c9300_1_RP_0-system-report_1_20230627-171626-UTC.tar.gz      <-System Report (May also contain a core.gz file)
   16  -rw-      223501  Jul 30 2023 13:49:41 +00:00  cats-c9300_crashinfo_1_RP_00_00_20230730-134940-UTC
   28  -rw-      420518  Aug 29 2023 15:56:18 +00:00  cats-c9300_crashinfo_1_RP_00_00_20230829-155613-UTC
   21  -rw-    53900932  Aug 29 2023 15:56:53 +00:00  cats-c9300_1_RP_0-system-report_1_20230829-155647-UTC.tar.gz      <-System Report (May also contain a core.gz file)
Directory of flash:/*
Directory of flash:/
Directory of flash:/pcap/
Directory of flash:/
Directory of flash:/.images/
Directory of flash:/.images/17.09.02.0.3040.1667428055/
Directory of flash:/
Directory of flash:/cflow/
Directory of flash:/cflow/ctc_pids/
Directory of flash:/.product_analytics/
Directory of flash:/.product_analytics/
Directory of flash:/.product_analytics/policies/
Directory of flash:/.product_analytics/
Directory of flash:/.product_analytics/databases/
Directory of flash:/
Directory of flash:/.installer/
Directory of flash:/.installer/issu_crash/
Directory of flash:/.installer/
Directory of flash:/
Directory of flash:/core/
Directory of flash:/core/modules/
Directory of flash:/core/																 <-Inside flash:/core/
262146  -rw-    41575076  Jul 30 2023 13:50:06 +00:00  cats-c9300_1_RP_0_x86_64_crb_linux_iosd_ngwc-universalk9-ms_27272_20230730-134942-UTC.core.gz     <-Core File
262147  -rw-    44973003  Aug 28 2023 12:49:07 +00:00  cats-c9300_1_RP_0_x86_64_crb_linux_iosd_ngwc-universalk9-ms_18507_20230828-124841-UTC.core.gz	 <-Core File
262148  -rw-    44997000  Aug 29 2023 11:22:30 +00:00  cats-c9300_1_RP_0_x86_64_crb_linux_iosd_ngwc-universalk9-ms_1466_20230829-112204-UTC.core.gz	 <-Core File
376833  -rw-    13189075   Sep 7 2023 18:42:13 +00:00  cats-c9300_1_RP_0_fed_2564_20230907-184202-UTC.core.gz                                            <-Core File
Directory of flash:/.prst_sync/
Directory of flash:/.rollback_timer/
Directory of flash:/
Directory of flash:/dc_profile_dir/
Directory of flash:/
Directory of flash:/pnp-info/
Directory of flash:/
Directory of flash:/ss_disc/
Directory of flash:/tech_support/
Directory of flash:/sys_report/
Directory of flash:/
Directory of flash:/Tbot/
Directory of flash:/.dbpersist/
Directory of flash:/.dbpersist/history/
Directory of flash:/.dbpersist/
Directory of flash:/.dbpersist/DMI_STATE_DB/
Directory of flash:/.dbpersist/
Directory of flash:/onep/
Directory of flash:/onep/apps-cli/
Directory of flash:/
Directory of flash:/guest-share/
Directory of flash:/
Directory of flash:/fp_cc_crash/
Directory of flash:/.rommon_sync/
Directory of flash:/
Directory of flash:/EDScisco/
Directory of flash:/
Directory of flash:/SHARED-IOX/
Directory of flash:/
Directory of flash:/confd_debugged_dumps/
Directory of flash:/
Directory of flash:/.PATCH-backup/
Directory of flash:/                                                                                                                    <-Inside flash:/ directory
114756  -rw-      474448  Mar 30 2023 19:50:53 +00:00  threshold_lowmem_info_20230330-195051-UTC                                        <-May indicate memory leak
Directory of webui:/*
Directory of webui:/
Directory of nvram:/*
Directory of nvram:/

補救

需要使用TAC案例來確定RCA:

此檔案需要由架構團隊分析。
開啟服務請求時，請選擇Product > Unexpected Reboot > Software Failure，以便向正確的團隊開啟案例

思科錯誤 ID

有一些缺陷可能導致在Catalyst 9000系列交換器上發生意外重新載入。

附註：只有已註冊的思科使用者才能存取內部錯誤資訊。

思科錯誤ID CSCvp56289	含白金電源的9300交換器靜默重新載入(PWR-C1-350WAC-P)
思科錯誤ID CSCvv27849	9K和3K類：FED進程引起的意外重新載入。
思科錯誤ID CSCvr77861	Cat9300/C9500/C9500H交換器重新載入，`may`上次重新載入原因為LocalSoft或CpuTomoricErr
思科錯誤ID CSCvu97189	Show platform forward(SPF)導致裝置凍結或重新載入
思科錯誤ID CSCwe11818	切換後發生C9300L堆疊合併