Catalyst 9000 스위치의 예기치 않은 재로드 문제 해결

소개

이 문서에서는 예기치 않은 리로드 문제를 해결하는 방법과 Catalyst 9000 스위치에서 사후 이벤트를 수집하는 특정 정보에 대해 설명합니다.

요구 사항

이 문서에 대한 특정 요건이 없습니다.

사용되는 구성 요소

이 문서는 특정 소프트웨어 및 하드웨어 버전으로 한정되지 않습니다.

이 문서의 정보는 특정 랩 환경의 디바이스를 토대로 작성되었습니다. 이 문서에 사용된 모든 디바이스는 초기화된(기본) 컨피그레이션으로 시작되었습니다. 현재 네트워크가 작동 중인 경우 모든 명령의 잠재적인 영향을 미리 숙지하시기 바랍니다.

배경 정보

예기치 않은 다시 로드 또는 자동 다시 로드 이벤트가 발생할 수 있는 다양한 이유가 있을 수 있습니다. 문제를 해결하고 근본 원인을 찾으려면 이벤트의 날짜/시간을 알고 장치에서 가능한 모든 정보를 즉시 수집해야 합니다. 이렇게 하면 모든 로그 수집이 정확하고 완전하며 시간이 지남에 따라 디바이스에서 덮어쓰지 않습니다.

일반적인 다시 로드 이유

다시 로드사유	설명	권장 사항
전원 켜기	전원 공급 장치 또는 입력 회로를 수동으로 껐다가 켰습니다.	전원 이벤트가 예기치 않은 경우 물리적 전원, 배터리 백업, UPS 등의 상태를 확인합니다.
비호환성으로 인한 스택 병합	스택의 스탠바이 스위치에서 액티브와의 통신이 끊어져 병합을 트리거하여 새 액티브 스위치를 다시 선택했습니다.	스태킹 데이터 케이블을 확인하고 제대로 장착되었는지 확인합니다. 스태킹 케이블을 교체합니다.
Reload 명령	이 명령reload은 스위치의 CLI에서 실행되어 수동 소프트웨어 재로드를 지시했습니다.	reload 명령이 실행되었습니다(예상하지 못한 경우 iosrp 파서 추적을 통해 이 작업이 언제 수행되었는지 확인할 수 있음).
LocalSoft 또는 CPU 치명적인 오류	소프트웨어 또는 CPU에서 오류 조건이 발생하여 디바이스를 강제로 재설정했습니다.	데이터를 수집하고 TAC 케이스를 엽니다.
전원 장애 또는 알 수 없음	장치 또는 입력 회로의 전원 공급 장치에 갑자기 장애가 발생하여 스위치에 대한 전원 공급이 잠시 중단되었어야 합니다.	전원 공급 장치의 상태가 양호한지, LED의 색상이 양호한지 확인하고 입력 회로를 확인합니다.
이중화 강제 전환	명령이 redundancy force-switchover  실행되어 Standby가 Active 역할을, 이전 Active가 소프트웨어 재설정을 수행하도록 했습니다.	None.
이미지 설치	새 Cisco IOS® XE 이미지 설치로 인해 디바이스가 다시 로드되었습니다.	None.

관련 데이터 수집

• 발생의 정확한 날짜/시간입니다.
• 예기치 않은 다시 로드 이벤트가 발생하기 전에 어떤 일이 발생했습니까? 컨피그레이션이 변경되었거나, 디바이스에 로그인했거나, 디바이스에 아무 것도 연결하지 않은 것 같습니다.
• 이벤트 전에 보고된 오류의 Syslog 메시지가 있습니까? 외부 Syslog 서버가 있는 경우 관련 오류 로그가 있는지 확인합니다.
• 디바이스에서 show tech-support 명령을 수집합니다.
• 그 이전에 발생한 현상(정전 등)을 이해하는 데 도움이 되는 기타 모든 통찰력 또는 관찰

주의: 이벤트 발생 직후 정보를 수집하는 것이 매우 중요합니다. 다시 로드 이벤트가 발생한 후 며칠 또는 몇 주가 지나면 로그 수집이 이루어지는 경우 적절한 근본 원인을 제공할 수 없습니다.

디바이스가 작동하여 안정되면 다시 로드 이벤트의 원인을 파악하는 데 도움이 되도록 이 추가 정보를 수집합니다.

마지막 다시 로드 사유

시스템에서 기록한 마지막 Reload Reason이 무엇인지 확인합니다.

 Switch#show version | include uptime|returned|reload|Version 
Cisco IOS XE Software, Version 16.12.08
Cisco IOS Software [Gibraltar], Catalyst L3 Switch Software (CAT9K_IOSXE), Version 16.12.8, RELEASE SOFTWARE (fc1)
licensed under the GNU General Public License ("GPL") Version 2.0. The
software code licensed under GPL Version 2.0 is free software that comes
GPL code under the terms of GPL Version 2.0. For more details, see the
BOOTLDR: System Bootstrap, Version 17.10.1r, RELEASE SOFTWARE (P)
Switch uptime is 3 hours, 14 minutes
System returned to ROM by Reload Command
Last reload reason: Reload Command
Next reload AIR license Level: AIR DNA Advantage
Switch Ports Model SW Version SW Image Mode
Configuration register is 0x102 (will be 0x2102 at next reload)

디바이스는 경험한 최신 다시 로드 이벤트에 기록 데이터를 저장합니다. 이 정보는 다시 로드가 반복되었는지, 그리고 스위치가 기록한 이유가 무엇인지를 확인하는 데 중요합니다. 이 데이터를 보는 데 사용되는 명령은 show logging onboard switch uptime detail.

Switch#show logging onboard switch active uptime detail
--------------------------------------------------------------------------------
UPTIME SUMMARY INFORMATION
--------------------------------------------------------------------------------
First customer power on : 04/28/2022 01:24:40
Total uptime : 0 years 41 weeks 2 days 9 hours 55 minutes
Total downtime : 0 years 22 weeks 4 days 7 hours 3 minutes
Number of resets : 326
Number of slot changes : 2
Current reset reason : Reload Command
Current reset timestamp : 07/19/2023 15:23:33
Current slot : 1
Chassis type : 215
Current uptime : 0 years 0 weeks 0 days 3 hours 0 minutes
--------------------------------------------------------------------------------

--------------------------------------------------------------------------------
UPTIME CONTINUOUS INFORMATION
--------------------------------------------------------------------------------
Time Stamp | Reset | Uptime
MM/DD/YYYY HH:MM:SS | Reason | years weeks days hours minutes
--------------------------------------------------------------------------------
07/13/2023 17:57:49 Image Install 0 0 0 0 0
07/13/2023 18:48:58 Reload Command 0 0 0 0 40
07/14/2023 00:55:30 Reload Command 0 0 0 6 0
07/14/2023 11:15:44 Reload Command 0 0 0 10 0
07/14/2023 20:02:26 Reload Command 0 0 0 8 0
07/17/2023 11:32:29 Reload Command 0 0 2 15 0
07/17/2023 21:00:59 Reload Command 0 0 0 9 0
07/18/2023 08:36:20 Reload Command 0 0 0 11 0
07/18/2023 11:00:28 Reload Command 0 0 0 2 0
07/19/2023 07:02:14 Reload Command 0 0 0 19 0 07/19/2023 15:23:33 Reload Command 0 0 0 8 0
--------------------------------------------------------------------------------

Tech-Support 명령

이 명령은 시스템 및 시스템의 현재 상태에 대한 일반적인 정보를 수집합니다. 앞에서 설명한 명령은 이 지원 패키지에 포함되어 있습니다. 이 출력 파일은 케이스를 열 때 TAC에서 요청합니다.

수집에는 여러 가지 방법이 있습니다.

• 로깅된 터미널 세션: 터미널 프로그램을 사용하여 세션을 텍스트 파일에 기록합니다. 그런 다음 CLI에서 명령을 실행하고  show tech-support   수집이 완료될 때까지 기다립니다. TAC 케이스에 텍스트 파일을 제공합니다.
• 다음 파일로 리디렉션됨: CLI에서 명령을 실행합니다 show tech-support | redirect flash: ShowTech.txt. 이렇게 하면 tech-support 명령의 결과와 함께 디바이스의 플래시에 텍스트 파일이 생성됩니다. 그런 다음 네트워크에서 사용 가능한 전송 프로토콜을 사용하여 디바이스에서 파일을 추출해야 합니다. TFTP, FTP, SCP 등

Switch#show tech-support | redirect flash:ShowTech.txt

Switch#dir flash: | include .txt
499721 -rw- 16090 Jul 19 2023 15:24:02 +00:00 rdope_out.txt
499728 -rw- 1328023 Jul 19 2023 19:12:57 +00:00 ShowTech.txt

Switch#copy flash:ShowTech.txt tftp:
Address or name of remote host []? 192.168.1.1
Destination filename [ShowTech.txt]?
!!!

TAC를 위해 수집할 명령

스위치는 예기치 않은 다시 로드 이벤트가 발생하기 전과 후에 발생한 상황을 심층적으로 분석하는 데 사용할 수 있는 시스템 로깅 정보를 저장합니다. 충돌이 발생한 경우 스위치에서는 충돌 데이터를 TAC 전문가가 분석할 수 있는 암호화된 파일에 저장합니다.

트레이스러그

tracelogs는 Cisco IOS® XE 내의 각 프로세스에 대한 내부 로그입니다. tracelogs 디렉토리는 기본적으로 생성되며 해당 내용은 주기적으로 덮어쓰기됩니다. 이 폴더는 또는 Catalyst 디바이스의 bootflash flash 에서 찾을 수 있습니다.

Tracelogs 생성

Switch#request platform software trace archive
Creating archive file [flash:Switch_1_RP_0_trace_archive-20230719-192115.tar.gz]
Done with creation of the archive file: [flash:Switch_1_RP_0_trace_archive-20230719-192115.tar.gz]

Switch#dir flash: | include .gz
499729 -rw- 29573907 Jul 19 2023 19:21:22 +00:00 Switch_1_RP_0_trace_archive-20230719-192115.tar.gz

시스템 보고서

시스템 보고서는 예기치 않은 다시 로드가 발생할 때 소프트웨어 실행에서 사용할 수 있는 대부분의 정보를 수집하는 압축된 파일입니다. 시스템 보고서에는 tracelogs, crashinfo 및 core 파일이 포함되어 있습니다. 이 파일은 충돌 또는 소프트웨어 오류로 인해 Cisco IOS® XE 스위치에서 예기치 않게 다시 로드되는 경우 자동으로 생성됩니다. 이 파일은 디렉토리에서 찾을 수crashinfo있습니다. 이 파일은 암호화되어 있으며 디코딩 및 분석을 위해 TAC 지원이 필요합니다.

Switch#dir crashinfo: | include .gz

Directory of crashinfo:/
19 -rwx 655080 Aug 7 2013 16:31:31 +00:00 system-report_1_20130807-163050-UTC.gz

참고: .gz 확장으로 끝나는 이러한 파일은 네트워크에서 사용 가능한 전송 프로토콜을 사용하여 디바이스에서 추출해야 합니다. TFTP, FTP, SCP 등

문제 해결

전원 켜기

설명

전원 공급 장치가 수동으로 꺼졌다가 켜졌습니다. 이는 오랜 정권교란과도 관련이 있을 수 있다. 이 시나리오에서는 크래시 또는 코어 파일이 생성되지 않습니다.

교정

1. 전원 공급 장치가 수동으로 꺼져 있는지 확인합니다. 그렇지 않은 경우 확인을 계속합니다.

2. 전원 공급 장치의 전원 코드가 느슨하거나 쉽게 분리되지 않았는지 확인합니다.

3. 동일한 입력 회로를 공유하는 다른 장치에도 장애가 발생했는지 확인합니다. 스위치만 가동 중지된 경우 검증을 계속합니다.

4. 스위치가 전원을 끄는 입력 회로에 오랜 시간 동안 정전이 발생하여 스위치가 전원을 차단했는지 확인합니다.

5. 이전 조건이 모두 확인되었고 현장 전원 문제가 발견되지 않은 경우 TAC 케이스를 엽니다.

비호환성으로 인한 스택 병합

설명

스택의 스탠바이 스위치는 Active 스위치와의 통신이 끊겼고 스택의 모든 스위치 간 병합을 트리거하여 새 Active 스위치를 다시 선택했습니다. Keepalive 메시지는 스택 데이터 케이블을 통해 지속적으로 송수신되며, 이러한 메시지가 제시간에 송수신되지 않을 경우 스위치에서 통신 중단을 선언하고 스택 병합이 발생합니다.

교정

1. 스태킹 데이터 케이블이 정상이고 스택 데이터 슬롯에 느슨하게 삽입되지 않았는지 확인합니다.

2. 스택 데이터 케이블이 제대로 장착되어 있고 나사가 너무 조이지 않은지 확인합니다.

3. 스위치에 스태킹 모듈이 있는 경우 나사가 너무 조이지 않은지, 그리고 나사가 스택 베이에 느슨하게 삽입되지 않았는지 확인합니다.

4. 스택 병합으로 인한 다시 로드가 계속될 경우 스태킹 데이터 케이블 및 스태킹 데이터 모듈을 교체합니다(스위치에 스태킹 모듈이 있는 경우).

5. 데이터 케이블을 교체한 후 스택 병합이 계속되는 경우 TAC 케이스를 엽니다.

Reload 명령

설명

이 명령reload은 스위치의 CLI에서 실행되어 수동 소프트웨어 재로드를 지시했습니다.

교정

지정된 명령의 사용으로 인해 다시 로드가 예상되므로 사용 가능한 교정 작업이 없습니다.

LocalSoft 또는 CPU 치명적인 오류

설명

소프트웨어 또는 CPU에서 오류 조건이 발생하여 디바이스를 강제로 재설정했습니다. 이는 소프트웨어에서 생성한 다시 로드이며 Cisco 버그 ID CSCvr77861과 관련될 수 있습니다. 이 오류 조건으로 인해 코어 파일 또는 충돌이 생성되지 않습니다.

교정

1. 버그 세부 정보를 확인하고 최신 고정 버전으로 스위치를 업그레이드합니다.

2. 문제가 다시 발생하는 경우, 문제 전후에 추적 로그 및 추가 로깅 데이터를 수집합니다.

3. TAC 케이스를 엽니다.

전원 장애 또는 알 수 없음

설명

장치 또는 입력 회로의 전원 공급 장치가 갑자기 실패하여 스위치에 대한 전원 공급이 잠시 중단되었을 수 있습니다. 또한 스위치에 연결된 UPS(있는 경우)의 전원이 매우 짧게 중단되는 것과 관련이 있을 수 있습니다. 이 시나리오에서는 크래시 또는 코어 파일이 생성되지 않습니다.

교정

1. 전원 공급 장치 LED가 녹색인지 확인합니다. LED가 켜져 있지 않거나 빨간색으로 표시된 경우 전원 공급 장치를 정상 작동하는 전원 공급 장치로 교체하십시오.

2. 전원 공급 장치의 전원 코드가 느슨하거나 쉽게 분리되지 않았는지 확인합니다.

3. 스위치가 UPS에 연결되어 있는 경우, 스위치의 전원을 끊을 수 있는 정전이 없었는지 확인합니다.

4. 동일한 입력 회로를 공유하는 다른 장치에도 장애가 발생했는지 확인합니다. 스위치만 가동 중지된 경우 검증을 계속합니다.

5. 스위치가 전원을 공급 받는 입력 회로에 작은 플랩이나 전압/전류 레벨의 변화가 있는지 확인합니다.

6. 이전 조건이 모두 확인되었지만 현장의 전원 변동에 문제가 없는 경우 TAC 케이스를 엽니다.

이중화 강제 전환

설명

명령이 redundancy force-switchover  실행되어 Standby가 Active 역할을, 이전 Active가 소프트웨어 재설정을 수행하도록 했습니다.

교정

지정된 명령으로 인해 Active 스위치를 다시 로드해야 하므로 사용 가능한 교정 작업이 없습니다.

이미지 설치

설명

새 Cisco IOS® XE 이미지 설치로 인해 디바이스가 다시 로드되었습니다.

교정

설치 프로세스로 인한 스택 다시 로드이므로 사용 가능한 교정 작업이 없습니다.

코어 파일 존재 또는 충돌

설명

스위치가 crash하여 crash 또는 core 파일을 생성했습니다. 플래시에서 다음 파일 중 하나를 확인합니다. 또는 crashinfo: 디렉터리

스위치에서 이 명령을 실행하여 모든 디렉터리에서 코어 파일, 시스템 보고서 및 메모리 부족 임계값 파일을 검색할 수 있습니다.

• 출력에 파일이 표시되지 않고 디렉토리만 표시되는 경우 이러한 이유로 인해 충돌이 발생하지 않습니다.
• 파일이 표시되지만 관심 있는 이벤트와 날짜 및 시간이 일치하지 않는 경우

cats-c9300#dir /recur all-filesystems | inc Directory of|crashinfo_|core.gz|fullcore|system-report|kernel.rp|threshold_lowmem_info
Directory of system:/*
Directory of system:/
Directory of system:/memory/
Directory of system:/
Directory of tmpsys:/*
Directory of crashinfo:/*
Directory of crashinfo:/tracelogs/
Directory of crashinfo:/
Directory of crashinfo:/license_evlog/
Directory of crashinfo:/ 												<-Inside crashinfo:/ directory
   12  -rw-      483563  Jun 27 2023 17:15:52 +00:00  cats-c9300_crashinfo_1_RP_00_00_20230627-171547-UTC
   13  -rw-   139205443  Jun 27 2023 17:16:49 +00:00  cats-c9300_1_RP_0-system-report_1_20230627-171626-UTC.tar.gz      <-System Report (May also contain a core.gz file)
   16  -rw-      223501  Jul 30 2023 13:49:41 +00:00  cats-c9300_crashinfo_1_RP_00_00_20230730-134940-UTC
   28  -rw-      420518  Aug 29 2023 15:56:18 +00:00  cats-c9300_crashinfo_1_RP_00_00_20230829-155613-UTC
   21  -rw-    53900932  Aug 29 2023 15:56:53 +00:00  cats-c9300_1_RP_0-system-report_1_20230829-155647-UTC.tar.gz      <-System Report (May also contain a core.gz file)
Directory of flash:/*
Directory of flash:/
Directory of flash:/pcap/
Directory of flash:/
Directory of flash:/.images/
Directory of flash:/.images/17.09.02.0.3040.1667428055/
Directory of flash:/
Directory of flash:/cflow/
Directory of flash:/cflow/ctc_pids/
Directory of flash:/.product_analytics/
Directory of flash:/.product_analytics/
Directory of flash:/.product_analytics/policies/
Directory of flash:/.product_analytics/
Directory of flash:/.product_analytics/databases/
Directory of flash:/
Directory of flash:/.installer/
Directory of flash:/.installer/issu_crash/
Directory of flash:/.installer/
Directory of flash:/
Directory of flash:/core/
Directory of flash:/core/modules/
Directory of flash:/core/																 <-Inside flash:/core/
262146  -rw-    41575076  Jul 30 2023 13:50:06 +00:00  cats-c9300_1_RP_0_x86_64_crb_linux_iosd_ngwc-universalk9-ms_27272_20230730-134942-UTC.core.gz     <-Core File
262147  -rw-    44973003  Aug 28 2023 12:49:07 +00:00  cats-c9300_1_RP_0_x86_64_crb_linux_iosd_ngwc-universalk9-ms_18507_20230828-124841-UTC.core.gz	 <-Core File
262148  -rw-    44997000  Aug 29 2023 11:22:30 +00:00  cats-c9300_1_RP_0_x86_64_crb_linux_iosd_ngwc-universalk9-ms_1466_20230829-112204-UTC.core.gz	 <-Core File
376833  -rw-    13189075   Sep 7 2023 18:42:13 +00:00  cats-c9300_1_RP_0_fed_2564_20230907-184202-UTC.core.gz                                            <-Core File
Directory of flash:/.prst_sync/
Directory of flash:/.rollback_timer/
Directory of flash:/
Directory of flash:/dc_profile_dir/
Directory of flash:/
Directory of flash:/pnp-info/
Directory of flash:/
Directory of flash:/ss_disc/
Directory of flash:/tech_support/
Directory of flash:/sys_report/
Directory of flash:/
Directory of flash:/Tbot/
Directory of flash:/.dbpersist/
Directory of flash:/.dbpersist/history/
Directory of flash:/.dbpersist/
Directory of flash:/.dbpersist/DMI_STATE_DB/
Directory of flash:/.dbpersist/
Directory of flash:/onep/
Directory of flash:/onep/apps-cli/
Directory of flash:/
Directory of flash:/guest-share/
Directory of flash:/
Directory of flash:/fp_cc_crash/
Directory of flash:/.rommon_sync/
Directory of flash:/
Directory of flash:/EDScisco/
Directory of flash:/
Directory of flash:/SHARED-IOX/
Directory of flash:/
Directory of flash:/confd_debugged_dumps/
Directory of flash:/
Directory of flash:/.PATCH-backup/
Directory of flash:/                                                                                                                    <-Inside flash:/ directory
114756  -rw-      474448  Mar 30 2023 19:50:53 +00:00  threshold_lowmem_info_20230330-195051-UTC                                        <-May indicate memory leak
Directory of webui:/*
Directory of webui:/
Directory of nvram:/*
Directory of nvram:/

교정

RCA를 결정하려면 TAC 케이스가 필요합니다.

• 이 파일은 아키텍처 팀에서 분석해야 합니다.
• 서비스 요청을 열 때 Product(제품) > Unexpected Reboot(예상치 못한 재부팅) > Software Failure(소프트웨어 오류)를 선택하여 적절한 팀과 함께 케이스를 여십시오 

Cisco 버그 ID

Catalyst 9000 Series 스위치에 예기치 않은 다시 로드가 발생할 수 있는 몇 가지 결함이 있습니다.

참고: 등록된 Cisco 사용자만 내부 버그 정보에 액세스할 수 있습니다.

Cisco 버그 ID CSCvp56289	플래티넘 전원 공급 장치가 포함된 9300 스위치 무음 다시 로드(PWR-C1-350WAC-P)
Cisco 버그 ID CSCvv27849	Cat 9K 및 3K: FED 프로세스로 인해 예기치 않은 다시 로드가 발생했습니다.
Cisco 버그 ID CSCvr77861	Cat9300/C9500/C9500H 스위치 다시 로드 may 시 마지막 다시 로드 사유가 LocalSoft 또는 CpuStrategicErr로 표시됨
Cisco 버그 ID CSCvu97189	SPF(Show Platform Forward)로 인해 디바이스가 중지되거나 다시 로드됩니다.
Cisco 버그 ID CSCwe11818	전환 후 C9300L 스택 병합이 발생합니다.

관련 정보

• Cisco 기술 지원 및 다운로드