Fehlerbehebung beim Booten der NCS6K-Karte
Download-Optionen
-
ePub (92.1 KB)
In verschiedenen Apps auf iPhone, iPad, Android, Sony Reader oder Windows Phone anzeigen
Inklusive Sprache
In dem Dokumentationssatz für dieses Produkt wird die Verwendung inklusiver Sprache angestrebt. Für die Zwecke dieses Dokumentationssatzes wird Sprache als „inklusiv“ verstanden, wenn sie keine Diskriminierung aufgrund von Alter, körperlicher und/oder geistiger Behinderung, Geschlechtszugehörigkeit und -identität, ethnischer Identität, sexueller Orientierung, sozioökonomischem Status und Intersektionalität impliziert. Dennoch können in der Dokumentation stilistische Abweichungen von diesem Bemühen auftreten, wenn Text verwendet wird, der in Benutzeroberflächen der Produktsoftware fest codiert ist, auf RFP-Dokumentation basiert oder von einem genannten Drittanbieterprodukt verwendet wird. Hier erfahren Sie mehr darüber, wie Cisco inklusive Sprache verwendet.
Informationen zu dieser Übersetzung
Cisco hat dieses Dokument maschinell übersetzen und von einem menschlichen Übersetzer editieren und korrigieren lassen, um unseren Benutzern auf der ganzen Welt Support-Inhalte in ihrer eigenen Sprache zu bieten. Bitte beachten Sie, dass selbst die beste maschinelle Übersetzung nicht so genau ist wie eine von einem professionellen Übersetzer angefertigte. Cisco Systems, Inc. übernimmt keine Haftung für die Richtigkeit dieser Übersetzungen und empfiehlt, immer das englische Originaldokument (siehe bereitgestellter Link) heranzuziehen.
Inhalt
Einführung
In diesem Dokument wird beschrieben, wie Sie Fehler beim Hochfahren der Netzwerkkonvergenz-Line Card des Systems 6000 (NCS6K) beheben können. Darüber hinaus gibt es eine Übersicht über die zu sammelnden Daten, die dem TAC bei der Durchführung einer detaillierten Untersuchung helfen können.
Voraussetzungen
Anforderungen
Cisco empfiehlt, über grundlegende Kenntnisse der XR-Befehlszeilenschnittstelle (CLI) zu verfügen.
Verwendete Komponenten
Dieses Dokument wurde mit den XR-Versionen 5.0.1, 5.2.1, 5.2.3 und 5.2.4 erstellt.
Die Informationen in diesem Dokument wurden von den Geräten in einer bestimmten Laborumgebung erstellt. Alle in diesem Dokument verwendeten Geräte haben mit einer leeren (Standard-)Konfiguration begonnen. Wenn Ihr Netzwerk in Betrieb ist, stellen Sie sicher, dass Sie die potenziellen Auswirkungen eines Befehls verstehen.
Hintergrundinformationen
Wenn der Routingprozessor (RP), die Fabric Card (FC) oder die Line Card (LC) nicht bootet und in der Startphase stecken bleiben, sollte der erste Schritt darin bestehen, show tech tracce von Syadmin Virtual Machine (VM) zu sammeln. Dieser Showtech liefert Informationen über den aktuellen Systemstatus und die Interaktion zwischen verschiedenen Komponenten. Es besteht jedoch die Möglichkeit, dass Sysadmin auch als Calvados bekannt ist nicht auf der Karte und show tech ctrace wird nicht in der Lage sein, Informationen für die betroffene Karte zu sammeln. Dies liegt daran, dass die Karte nicht über Secure Shell (SSH) erreichbar ist. In solchen Fällen ist eine Konsolenprozedur erforderlich, um zu erfahren, warum die Karte beim Booten feststeckt.
Hinweis: Diese Datei ist normalerweise ziemlich groß (500MB-1GB) und wird auf der Sysadmin VM gespeichert. Um sie aus dem Karton zu extrahieren, muss sie auf die XR VM kopiert werden (Anweisungen, die weiter unten in demselben Dokument enthalten sind).
Fehlerbehebung
Überprüfen Sie den Status jeder Karte im virtuellen System Sysadmin, und finden Sie den aktuellen Status heraus. Achten Sie besonders auf den Zustand H/w und S/w. Beachten Sie, dass Karten mit dem S/W-Status "N/A" CPU-lose Karten (FC-Karten, Lüftereinschub usw.) sind, die im Wesentlichen von der RP-CPU gesteuert werden. Karten im Betriebszustand sind CPU-basierte Karten und haben daher die Software geladen.
sysadmin-vm:0_RP0# show platform
Location Card Type HW State SW State Config State
----------------------------------------------------------------------------
0/0 PROTO-CXP-1XPITA OPERATIONAL OPERATIONAL NSHUT
0/2 PROTO-CXP-2XPITA POWERED_OFF SW_INACTIVE NSHUT
0/3 NC6-10X100G-M-K OPERATIONAL OPERATIONAL NSHUT
0/RP0 NC6-RP OPERATIONAL OPERATIONAL NSHUT
0/RP1 NC6-RP POWERED_ON SW_INACTIVE NSHUT
0/FC0 NC6-FC POWERED_ON N/A NSHUT
0/FC1 NC6-FC-MC POWERED_ON N/A NSHUT
0/FC2 UNKNOWN FAILED N/A NSHUT
0/FC3 NC6-FC POWERED_ON N/A NSHUT
0/FC4 NC6-FC-B2B POWERED_ON N/A NSHUT
0/FC5 NC6-FC OPERATIONAL N/A NSHUT
0/FT0 NC6-FANTRAY OPERATIONAL N/A NSHUT
0/FT1 NC6-FANTRAY OPERATIONAL N/A NSHUT
0/PT0 NCS-AC-PWRTRAY OPERATIONAL N/A NSHUT
0/PT1 NCS-AC-PWRTRAY OPERATIONAL N/A NSHUT
0/PT2 NCS-AC-PWRTRAY OPERATIONAL N/A NSHUT
Im nächsten Schritt überprüfen Sie den Inventarbefehl des Card Chip Controllers (CCC) und bestätigen den Kartenstatus.
sysadmin-vm:0_RP0# show controller ccc inventory summary
CCC Inventory Summary :
BP HW
Location Card Type ID Serial Number Ver Card State
--------------------------------------------------------------------------------
0/RP0 NC6-RP (master) 0 SAD15270129 0.1 CARD_READY
0/RP1 NC6-RP (slave) 1 SAD1527012P 0.1 CARD_READY
0/FC0 NC6-FC 8 SAD1618002F 0.2 WAIT_DEV_INIT
0/FC1 NC6-FC 9 SAD153901ZT 0.2 WAIT_DEV_INIT
0/FC4 NC6-FC 12 SAL1803KQEY 1.0 PON_POWERING_UP
0/FC5 NC6-FC 13 SAD16180043 0.2 WAIT_DEV_INIT
0/0 NC6-10X100G-M-K 16 SAL1650UCN9 0.4 PXE_BOOTING
0/4 NC6-10X100G-M-K 20 SAD154502XU 0.1 CARD_READY
Hier sind die verschiedenen Szenarien, die stattfinden können. Hier sind auch erwartete Ausgaben und die nächsten Schritte zur Fehlerbehebung aufgeführt.
Linecard wird wie erwartet gestartet
sysadmin-vm:F0_SC0# show platform detail location 0/0
Platform Information for 0/0
PID : NC6-10X100G-M-P
Description : "NCS 6000 10x100G Multi-Service CXP"
VID/SN : V01
HW Oper State : OPERATIONAL
SW Oper State : OPERATIONAL
Configuration : "NSHUT RST"
HW Version : 1.0
Last Event : HW_EVENT_OK
Last Event Reason : "Initial discovered state:BOOTED (card ok)"
Die Ausgabe von Last Event und Last Event Reason zeigt, dass die Karte in Ordnung ist. Führen Sie den Befehl show reboot history aus, um zu überprüfen, ob diese Karte in der Vergangenheit Probleme hatte und wenn ja, welches Problem bestand.
sysadmin-vm:F0_SC0# show reboot-history card location 0/0
Card Reboot History for 0/0
0
Timestamp "Fri Oct 2 15:15:26 2015"
Reason Code 7
Reason "Install Activate System Reload"
Src Location ""
Src Name INSTALL
Timestamp "Tue Sep 8 18:56:29 2015"
Reason Code 7
Reason "ADMIN CLI RELOAD ROUTER GRACEFUL"
Src Location ""
Src Name "CONFD USER"
Aborted: by user
Linecard 0/0 ist betriebsbereit. Der Grund für das letzte Neuladen war die Installation, d. h. entweder die Installation der Software Maintenance Update (SMU) oder ein Software-Upgrade wurde durchgeführt. Dies ist zu erwarten und es gab daher keine Probleme mit dieser Karte.
Die Fabric-Karte kann aufgrund eines Treiberfehlers nicht gestartet werden.
sysadmin-vm:0_RP0# show platform
Location Card Type HW State SW State Config State
----------------------------------------------------------------------------
0/FC2 UNKNOWN FAILED N/A NSHUT <-
sysadmin-vm:F0_SC0# show reboot-history card location 0/FC2
Card Reboot History for 0/FC2
Timestamp "Thu Oct 9 12:10:22 2014"
Reason Code 15 <--
"Board reload as devices not up on Fabric Card"
Src Location 0/FC0
Src Name FAM_AGENT_CALV_DRIVER_SFE ß
In diesem Beispiel wurde die FC-Karte nicht gebootet, da der Treiber sfe_driver nicht richtig initialisiert wurde.
Führen Sie einige weitere Befehle aus, um den Rücksetzverlauf aus CCC-Sicht anzuzeigen. Die CLI für den Neustart kann in Verbindung mit der CLI für den Rücksetzverlauf des CCC-Treibers verwendet werden, um die Quelle und den Grund für das erneute Laden der Karte zu ermitteln.
Es gibt zwei Optionen:
Integriert - Verwenden Sie diese Option, um nach Informationen zu suchen, wenn die Karte Warm Reset durchlaufen hat (nur die CPU wurde neu geladen).
Onchip: Verwenden Sie diese Option, um nach Informationen zu suchen, wenn die Karte Kaltstart (komplett neu geladene Karte - Hard Reset) durchlaufen hat.
Beispiel:
sysadmin-vm:F0_SC0# show controller ccc reset-history on
Possible completions:
onboard CCC Reset history in onboard EEPROM detail information
onchip On-chip reset history entries since last CCC Cold Reset
sysadmin-vm:F0_SC0# show controller ccc reset-history onchip location 0/0
****************************************************
*** On Chip Reset History for location 0/0 ***
****************************************************
TimeofDay : Tue Oct 20 17:17:40 2015
Uptime : 18 days 02:01:59 <--
Resets : 2
Reset Reset Reset
idx Source Command Time
--- --------------- ------------ -------------------
0 ColdRst AssrtHR 2015/10/02 15:15:43
1 ColdRst DeAssrtHR 2015/10/02 15:15:50 --> List reset source as "ColdRst"
sysadmin-vm:F0_SC0# show controller ccc reset-history onboard location 0/0
*****************************************************
*** On Board Reset History for location 0/0 ***
*****************************************************
Scratch EEPROM Magic : PON
Scratch EEPROM Version : 0x00014000
Reset History Magic : HIST
Number of Resets : 102 <---
Reset Reset Reset
idx Source Command Time
--- --------------- ------------ -------------------
0 ColdRst AssrtHR 1970/01/01 0:00:00 <-- ColdRst
1 ColdRst DeAssrtHR 1970/01/01 0:00:06
2 ColdRst AssrtHR 1970/01/01 0:00:00
3 ColdRst DeAssrtHR 1970/01/01 0:00:06
4 WarmRst AssrtHR 1970/05/03 7:21:55 <-- WarmRst
<output omitted>
ColdRst can either be initiated by Software or Hardware. WarmRst, is only initiated through Software. Other reset sources can be HRESET_L, SRESET_L, Wtchdog, SW_assgn or plain Rsrvd.
Darüber hinaus gibt es zwei eindeutige Einträge pro ausgeführtem Reset-Vorgang. Ein AssrtHR Betrieb und ein DeAssrtHR Betrieb. Dies impliziert, dass ein Reset-Signal bestätigt und dann zurückgesetzt wurde. Daher schließt der Chip das Reset ab.
Notieren Sie sich die Zeitstempel für jeden dieser Vorgänge. Diese CLI kann mit der CCC Inventory Status CLI kombiniert werden, um zu bestimmen, wann das Zurücksetzen stattgefunden hat und wie lange die Karte aktiv oder inaktiv war.
Überprüfen Sie anschließend die CCC-Phase, in der die Karte zum Zeitpunkt des erneuten Ladevorgangs durchgegangen ist. Hier sind verschiedene Statusbeispiele aufgelistet:
Karte, die aus CCC-Sicht ordnungsgemäß gestartet wurde:
sysadmin-vm:F0_SC0# show controller ccc event-history brief location 0/0
CCC Card Event History for: 0/0
Card Event History as seen by Master (0/RP1)
Current State: CARD_READY
DATE TIME (UTC) STATE EVENT
----- ------------ ---------------------- ------------------------------
10/02 15:16:55.234 WAIT_BOOT_IMAGE ev_boot_ssd_image
10/02 15:16:54.233 BIOS_STARTED if_wait_ssd_image_booting
10/02 15:16:54.233 CPU_READY if_bios_started
10/02 15:16:54.231 OIR_INSERT_NOTIF if_cpu_is_ready
10/02 15:16:54.217 CCC_DRIVER_INIT if_oir_insert_notif_not_done
10/02 15:16:54.195 PON_POWERED_ON to_ccc_driver_init
10/02 15:16:54.195 CHECK_CCC_STATUS if_pon_powered_on
10/02 15:16:54.194 READ_IDPROM ev_idprom_available
10/02 15:16:53.942 GET_CCC_INFO ev_get_ccc_info_done
10/02 15:16:53.723 WAIT_ETH_READY ev_eth_available
10/02 15:16:52.560 CHECK_UBLAZE_BOOT ev_ublaze_boot_ok
10/02 15:16:52.539 WAIT_CCC_READY ev_ccc_ready
10/02 15:16:52.537 IDLE ev_presence_scan
Karte befindet sich derzeit in der Phase PXE_BOOTING:
sysadmin-vm:0_RP0# show controller ccc event-history brief location 0/3
CCC Card Event History for: 0/3
Current State: PXE_BOOTING
DATE TIME (UTC) STATE EVENT
----- ------------ ---------------------- ------------------------------
08/07 19:50:40.607 BIOS_STARTED if_internal_pxe_booting
08/07 19:50:40.607 WAIT_BIOS_START ev_bios_started
08/07 19:50:18.605 CPU_READY if_bios_not_started
08/07 19:50:18.595 CCC_DRIVER_INIT if_cpu_is_ready
08/07 19:50:18.568 PON_POWERED_ON to_ccc_driver_init
08/07 19:50:18.568 CHECK_CCC_STATUS if_pon_powered_on
08/07 19:50:18.567 GET_CCC_INFO ev_get_ccc_info_done
08/07 19:50:18.550 WAIT_ETH_READY ev_eth_ready
08/07 19:50:18.550 CHECK_UBLAZE_BOOT ev_ublaze_boot_ok
08/07 19:50:18.517 PON_UP_WARM ev_ccc_reset_done
08/07 19:50:12.627 PON_DOWN_WARM ev_pon_up_warm
08/07 19:50:08.239 PON_DOWN_WARM ev_warm_reset_req_ignored
08/07 19:50:07.239 PON_DOWN_WARM ev_warm_reset_req_ignored
08/07 19:50:06.239 PON_DOWN_WARM ev_warm_reset_req_ignored
08/07 19:50:05.239 PON_DOWN_WARM ev_warm_reset_req_ignored
08/07 19:50:04.238 PON_DOWN_WARM ev_warm_reset_req_ignored
Karte kann nicht gestartet werden, da der Chip in GET_CCC_INFO steckte:
sysadmin-vm:0_RP0# show controller ccc event-history brief location 3/6
CCC Card Event History for: 3/6
Card Event History as seen by Master (3/RP0)
Current State: GET_CCC_INFO
DATE TIME (UTC) STATE EVENT
----- ------------ ---------------------- ------------------------------
10/26 23:43:04.559 UBLAZE_NOT_READY ev_timer_expired
10/26 23:42:34.559 CHECK_UBLAZE_BOOT ev_timer_expired
10/26 23:42:24.528 WAIT_CCC_READY ev_ccc_ready
10/26 23:42:21.516 RECOVERY_RESET ev_timer_expired
10/26 23:42:03.516 CHECK_UBLAZE_BOOT ev_ublaze_pre_boot_failed
10/26 23:41:52.480 WAIT_CCC_READY ev_ccc_ready
10/26 23:41:49.468 RECOVERY_RESET ev_timer_expired
10/26 23:41:32.467 WAIT_CCC_READY ev_no_fpga_ok_signal
10/26 23:41:29.456 RECOVERY_RESET ev_timer_expired
10/26 23:41:13.455 WAIT_CCC_READY ev_no_fpga_ok_signal
10/26 23:41:10.444 RECOVERY_RESET ev_timer_expired
10/26 23:40:55.444 CHECK_UBLAZE_BOOT ev_ublaze_pre_boot_failed
10/26 23:40:55.439 WAIT_CCC_READY ev_ccc_ready
10/26 23:40:52.320 IDLE ev_presence_scan
Die Karte kann nicht gestartet werden, da der Status POWER_UP_FAILED (POWER_FEHLER) lautet:
sysadmin-vm:0_RP0# show controller ccc event-history brief location 0/2
CCC Card Event History for: 0/2
Current State: POWER_UP_FAILED
DATE TIME (UTC) STATE EVENT
----- ------------ ---------------------- ------------------------------
08/05 14:55:17.449 POWER_UP_FAILED ev_wdog_timeout
08/05 14:45:31.265 CCC_DRIVER_INIT if_pwr_up_failed
08/05 14:45:31.260 CHECK_CCC_STATUS if_pwr_up_failed_again
08/05 14:45:31.258 GET_CCC_INFO ev_get_ccc_info_done
08/05 14:45:31.223 WAIT_ETH_READY ev_eth_ready
08/05 14:45:31.157 CHECK_UBLAZE_BOOT ev_ublaze_boot_ok
08/05 14:45:31.124 PON_UP_WARM ev_ccc_reset_done
08/05 14:45:17.489 CCC_IN_RESET ev_pon_up_warm
08/05 14:45:08.921 POWER_UP_FAILED ev_pon_down_warm
08/05 14:35:07.152 POWER_UP_FAILED ev_wdog_timeout
08/05 14:25:20.946 CCC_DRIVER_INIT if_pwr_up_failed
08/05 14:25:20.941 CHECK_CCC_STATUS if_pwr_up_failed_again
08/05 14:25:20.939 GET_CCC_INFO ev_get_ccc_info_done
08/05 14:25:20.923 WAIT_ETH_READY ev_eth_ready
08/05 14:25:20.887 CHECK_UBLAZE_BOOT ev_ublaze_boot_ok
08/05 14:25:20.830 PON_UP_WARM ev_ccc_reset_done
Aborted: by user
Wenn Sie diesen Befehl mit der brief-Option verwenden, werden keine vollständigen Daten zur Ursache der Probleme angegeben. Ersetzen Sie für diese Informationen das brief-Schlüsselwort durch detail.
Hinweis: Dies ist die wichtigste CLI, wenn Karten bei der Fehlerbehebung nicht auf CCC-Ebene gestartet werden.
Konzentrieren Sie sich auf den Event Desc und den Grund für das Versagen, eine bessere Erklärung für den Fehler zu erhalten.
sysadmin-vm:F0_SC0# show controller ccc event-history detail location 0/0
CCC Card Event History for: 0/0
Card Event History as seen by Master (0/RP1)
Event buffer info:
Total number of events recorded: 13
Number of events available for display: 13
Current State: CARD_READY
EVENT #: 12 (record index = 12)
TIMESTAMP: 2015/10/02 15:16:55.234814 UTC
STATE: WAIT_BOOT_IMAGE
EVENT: ev_boot_ssd_image
EVENT DESC: SSD image is booting
EVENT #: 11 (record index = 11)
TIMESTAMP: 2015/10/02 15:16:54.233898 UTC
STATE: BIOS_STARTED
EVENT: if_wait_ssd_image_booting
EVENT #: 10 (record index = 10)
TIMESTAMP: 2015/10/02 15:16:54.233855 UTC
STATE: CPU_READY
EVENT: if_bios_started
EVENT #: 9 (record index = 9)
TIMESTAMP: 2015/10/02 15:16:54.231426 UTC
STATE: OIR_INSERT_NOTIF
EVENT: if_cpu_is_ready
EVENT #: 8 (record index = 8)
TIMESTAMP: 2015/10/02 15:16:54.217351 UTC
STATE: CCC_DRIVER_INIT
EVENT: if_oir_insert_notif_not_done
EVENT #: 7 (record index = 7)
TIMESTAMP: 2015/10/02 15:16:54.195808 UTC
STATE: PON_POWERED_ON
EVENT: to_ccc_driver_init
EVENT #: 6 (record index = 6)
TIMESTAMP: 2015/10/02 15:16:54.195786 UTC
STATE: CHECK_CCC_STATUS
Im Folgenden sind Beispiele für verschiedene Szenarien aufgeführt.
Karte, die aufgrund von Stromversorgungsproblemen nicht gebootet wurde und in POWER_UP_FAILED verklebt ist:
Achten Sie auf ERROR_INFO, um Einzelheiten zum Fehler zu erhalten.
sysadmin-vm:0_RP0# show controller ccc event-history detail location 0/2
CCC Card Event History for: 0/2
Event buffer info:
Total number of events recorded: 692
Number of events available for display: 255
Current State: POWER_UP_FAILED
EVENT #: 691 (record index = 179)
TIMESTAMP: 2014/08/05 14:55:17.449979 UTC
STATE: POWER_UP_FAILED
EVENT: ev_wdog_timeout
EVENT DESC: CCC watchdog timeout event
ERROR INFO: wdog__0 SysAdmin VM Watchdog stage1:0
<output omitted>
Karte, die nicht gebootet wurde und in CCC_NOT_READY steckte (Chip-Problem):
sysadmin-vm:0_RP0# show controller ccc event-history detail location 0/FC2
CCC Card Event History for: 0/FC2
Event buffer info:
Total number of events recorded: 2
Number of events available for display: 2
Current State: CCC_NOT_READY
EVENT #: 1 (record index = 1)
TIMESTAMP: 2014/08/04 14:10:49.891845 UTC
STATE: WAIT_CCC_READY
EVENT: ev_ccc_ready_timeout
EVENT DESC: Timeout waiting for CCC to be ready
ERROR INFO: CCC READY Timeout - CLOCK_OK signal not being asserted (I/O Expander port0=0xf0, port1=0xff) ß
<output omitted>
Es gibt Fälle, in denen Karten entfernt/wieder eingesetzt werden müssen. Hierfür bietet die CCC-Komponente OIR-History für die Einfügung/Entfernung der Rack-Trackingkarte. Beachten Sie, dass das Schlüsselwort slave verwendet wird. Dadurch erhalten Sie Informationen zum Standby-RP.
sysadmin-vm:0_RP0# show controller ccc oir-history rack 0
Cards OIR History of rack: 0
OIR Events as seen by Master (0/RP0)- View from the Active RP
DATE TIME (UTC) EVENT LOC CARD TYPE SERIAL NO
----- ------------ ---------- ----- ------------------ -----------
10/09 16:59:14.280 INSERTED 0/0 NC6-10X100G-M-K SAL1650UCN9
10/09 16:58:49.064 REMOVED 0/0 NC6-10X100G-M-K SAL1650UCN9
<output omitted>
sysadmin-vm:0_RP1# show controller ccc slave oir-history rack 0
Cards OIR History of rack: 0
OIR Events as seen by Slave (0/RP1)- <-- View from the standby RP
DATE TIME (UTC) EVENT LOC CARD TYPE SERIAL NO
----- ------------ ---------- ----- ------------------ -----------
11/06 05:54:31.374 DISCOVERED 0/2 NC6-10X100G-M-K SAD161300XK
11/06 05:53:37.442 DISCOVERED 0/6 NC6-10X100G-M-K SAL1649TN46
<output omitted>
Die Informationen müssen aus Sicht beider RPs identisch sein.
Mithilfe dieser Befehlskombination kann die Ursache ermittelt werden, warum die Fabric Card nicht starten konnte.
Karte im POWEROFF- oder IM AKTUELLEN ZUSTAND stecken
Wenn die Karte in POWEROFF/PRESENT STATE steckt, ist es sehr wahrscheinlich, dass sie mehrere Resets durchlaufen hat und von shelf_mgr ausgeschaltet wurde.
Führen Sie folgende Befehle aus, um die Ursache des Problems zu ermitteln:
- Erfassung von show tech ctrace von Sysadmin VM
- Speicherort der Plattform <>
- show reboot-history card location <> (Ermitteln Sie, wie oft der RESET-Prozess durchlief)
- show controller ccc event history detail location <>
- show controller ccc reset-history Onboard location <>
Die Karte kann mithilfe des Befehls "hw-module reset" zurückgesetzt werden, und der Bootvorgang kann mit dem später in diesem Dokument beschriebenen Konsolenverfahren beobachtet werden.
sysadmin-vm:F0_SC0# hw-module location 0/0 reload
Reload hardware module ? [no,yes] Yes
Karte stecken in POWER_ON STATE
Wenn die Karte POWERED_ON gedrückt ist, bedeutet dies, dass CCC die grundlegenden Energiezonen aktiviert hat, die für die Arbeit anderer Treiber erforderlich sind. Es obliegt den jeweiligen Treibern, die Karte in einen Betriebszustand zu versetzen.
Der SFE-Treiber versetzt FCs in den Betriebszustand, nachdem er alle internen Geräte auf dieser Karte, auch ASICs genannt, erkennt und initialisiert hat.
ESD-Treiber verschiebt SC-SW-Karten und LCs von Scapa in den Betriebszustand (fast sofort, nichts zu überprüfen/initialisieren im Gegensatz zu SFE-Treiber).
Wenn die Karte im Zustand POWERED_ON feststeckt, bedeutet dies, dass einer der oben genannten Treiber Schwierigkeiten hatte, die Karte in den Betriebszustand zu versetzen. Probleme treten bei CPU-losen Karten häufiger auf. Beispiel: Fabric Cards oder SCs Switch Cards (SC-SW).
Der erste Schritt besteht in der Überprüfung des Befehls "ccc event history":
sysadmin-vm:F0_SC0# show controller ccc event-history detail location 0/0
CCC Card Event History for: 0/0
Card Event History as seen by Master (0/RP1)
Event buffer info:
Total number of events recorded: 13
Number of events available for display: 13
<output ommited>
EVENT #: 7 (record index = 7)
TIMESTAMP: 2015/10/02 15:16:54.195808 UTC
STATE: PON_POWERED_ON
EVENT: to_ccc_driver_init
Prüfen Sie anschließend die erforderlichen grundlegenden Energiezonen:
sysadmin-vm:0_RP0# show controller ccc register location 0/RP0 offset 0x4c
Register Register
Address Value
------------------------
0x4C 0x3 - zones 0 and 1 OK
sysadmin-vm:0_RP0# show controller ccc register location 0/RP0 offset 0x50
Register Register
Address Value
------------------------
0x50 0x3 - zone 0 and 1 Enabled
sysadmin-vm:0_RP0# show controller ccc power detail location 0/RP0
Power detail : Zone information for 0/RP0:
---------------------------------------------------------
| Power Zone | Power Status | Power Contrl | Power Fault |
---------------------------------------------------------
| 0 | OK | SET | -- | - Power Status OK
| 1 | OK | SET | -- | - Power Status OK
sysadmin-vm:F0_SC0# show controller ccc i2c-dev ioexpander location 0/0
CCC IO Expander information for location: 0/0
------------------------------------------------------
Port 0: 0x3e
Port Bit I/O Val Bit Name
-------------------------------------
P0 0 O 0 Power Cycle
P0 1 I 1 FPGA OK
P0 2 I 1 uBlaze OK
P0 3 I 1 Clock OK
P0 4 I 1 Core Volt OK
P0 5 I 1 OTH Volt0 OK
P0 6 I 0 OTH Volt1 NOT OK
P0 7 I 0 OTH Volt2 NOT OK
Port 1: 0x3
Port Bit I/O Val Bit Name
-------------------------------------
P1 0 I 1 FPGA INIT OK
Wenn diese Validierung nicht zu einer eigentlichen Ursache führt, besteht der nächste Schritt darin, eine TAC-Serviceanfrage zu öffnen.
Karte im SW_INACTIVE-STATUS stecken
sysadmin-vm:0_RP0# show platform
Location Card Type HW State SW State Config State
--------------------------------------------------------------------- -------
0/1 P-L-10X100G-F-P POWERED_OFF SW_INACTIVE SHUT
0/RP0 P-L-RP OPERATIONAL OPERATIONAL NSHUT
0/RP1 P-L-RP OPERATIONAL OPERATIONAL NSHUT
0/FC0 P-L-FC-S OPERATIONAL N/A NSHUT
0/FC1 P-L-FC-S OPERATIONAL N/A NSHUT
0/FT0 PANINI-SIM-FT OPERATIONAL N/A NSHUT
0/FT1 PANINI-SIM-FT OPERATIONAL N/A NSHUT
Mögliche Fehlerursachen sind:
- Host-Betriebssystem startet wegen SSD-Zugriffsproblem nicht.
- Host-Betriebssystem startet aufgrund von HW-Problem nicht mehr
- SysAdmin VM konnte nicht ausgelöst werden.
- Probleme mit der Ethernet-Verbindung steuern
- Karte MAC/IP aufgrund von SW-Ausfall nicht programmiert
- Vom CCC Power-On-Interpreter nicht korrekt programmierte Ethernet-Switches
- Das ESD Color Switch-Image konnte nicht im CCC SPI Flash programmiert werden.
Szenario 1. SW_EVENT_FAILURE: SW_EVENT_ADMIN_VM_FAILURE Bericht von shelf_mgr syslogs
sysadmin-vm:0_RP0# show platform
Location Card Type HW State SW State Config State
----------------------------------------------------------------------------
0/1 PROTO-CXP-2XPITA OPERATIONAL OPERATIONAL NSHUT
0/RP0 NC6-RP OPERATIONAL OPERATIONAL NSHUT
0/RP1 NC6-RP OPERATIONAL SW_INACTIVE NSHUT
0/FC0 NC6-FC-MC OPERATIONAL N/A NSHUT
0/CI0 P-L-CRFT OPERATIONAL N/A NSHUT
0/FT0 P-L-FANTRAY OPERATIONAL N/A NSHUT
0/FT1 P-L-FANTRAY OPERATIONAL N/A NSHUT
Es kann verschiedene Gründe geben, warum RP1 nicht bootet. Das Problem lässt sich am einfachsten durch Konsolenzugriff auf dem RP und durch Überprüfen der Anmeldungen feststellen (siehe Konsolenverfahren, das am Ende dieses Dokuments ausgeführt wird).
Szenario 2. LC im FEHLER-Status stecken, letztes Ereignis: HW_EVENT_FAILURE fail_code=LC_POWER_MAIN_FAULT
Stellen Sie sicher, dass der HW-Status "FEHLER" und der SW-Status "SW_INACTIVE" anzeigt:
sysadmin-vm:0_RP0# show platform location 0/1
Location Card Type HW State SW State Config State
----------------------------------------------------------------------------
0/1 NC6-60X10GE-M-S FAILED SW_INACTIVE NSHUT
Führen Sie diesen Befehl aus, und aktivieren Sie Last Even Reason:
sysadmin-vm:0_RP0# show platform detail location 0/1
Platform Information for 0/1
PID : NC6-60X10GE-M-S
Description : "NCS 6000 60x10G Multi-Service SFP+"
VID/SN : V01
HW Oper State : FAILED
SW Oper State : SW_INACTIVE
Configuration : "NSHUT RST"
HW Version : 0.6
Last Event : HW_EVENT_FAILURE
Last Event Reason : "pon exit <-- UP_WARM_RESET cnt=123 fail_code=LC_POWER_MAIN_FAULT"
sysadmin-vm:0_RP0#
Filtern Sie Syslog für die betroffene Karte, um Protokollmeldungen zu überprüfen:
0/RP0/ADMIN0:Jun 21 00:33:13.487 : cm[1795]: %ROUTING-TOPO-5-OIR_ACTION : OIR card failed having serial number: SAD173501R7.
0/RP0/ADMIN0:Jun 21 00:33:13.528 : shelf_mgr[1818]: %INFRA-SHELF_MGR-5-CARD_INSERTION : Location: 0/1, Serial #: SAD173501R7
0/RP0/ADMIN0:Jun 21 00:33:13.528 : shelf_mgr[1818]: %INFRA-SHELF_MGR-6-HW_EVENT : Rcvd HW event HW_EVENT_FAILURE, event_reason_str 'Initial discovery FAIL: EXIT0, power request on , but not finish ccc-pon startup. power_control 0x00000001' for card 0/1
0/RP0/ADMIN0:Jun 21 00:33:13.530 : shelf_mgr[1818]: %INFRA-SHELF_MGR-3-CARD_HW_FAILED : Card: 0/1 hardware state going to FAILED
0/RP0/ADMIN0:Jun 21 00:34:06.734 : shelf_mgr[1818]: %INFRA-SHELF_MGR-6-HW_EVENT : Rcvd HW event HW_EVENT_RESET, event_reason_str 'pon enter --> DOWN_WARM_RESET cnt=3! ' for card 0/1
0/RP0/ADMIN0:Jun 21 00:34:15.987 : shelf_mgr[1818]: %INFRA-SHELF_MGR-6-HW_EVENT : Rcvd HW event HW_EVENT_POWERED_OFF, event_reason_str 'CCC Warm Reset #8' for card 0/1
0/RP0/ADMIN0:Jun 21 00:34:21.419 : cm[1795]: %ROUTING-TOPO-5-OIR_ACTION : OIR card failed having serial number: SAD173501R7.
0/RP0/ADMIN0:Jun 21 00:34:21.459 : shelf_mgr[1818]: %INFRA-SHELF_MGR-3-CARD_HW_FAILED : Card: 0/1 hardware state going to FAILED
0/RP0/ADMIN0:Jun 21 00:34:21.459 : shelf_mgr[1818]: %INFRA-SHELF_MGR-6-HW_EVENT : Rcvd HW event HW_EVENT_FAILURE, event_reason_str 'pon exit <-- UP_WARM_RESET cnt=4 fail_code=LC_POWER_MAIN_FAULT' for card 0/1
Führen Sie den Befehl show reboot history aus, und überprüfen Sie, ob zwischen den Meldungen AssrtHR und DeAssrtHR ein großer Zeitunterschied besteht. Dies liegt vermutlich daran, dass es ein internes Verbindungsproblem zwischen den VMs gibt.
sysadmin-vm:0_RP0#show reboot-history card location 0/1
Reset history example: every 20 mins for 2 hours before it recovered:
33 0 WarmRst DeAssrtHR 0x00000F32 0x53A4D367 Sat Jun 21 00:35:51 2014
34 0 WarmRst AssrtHR 0x00000F10 0x53A4D81D Sat Jun 21 00:55:57 2014
35 0 WarmRst DeAssrtHR 0x00000F32 0x53A4D821 Sat Jun 21 00:56:01 2014
36 0 WarmRst AssrtHR 0x00000F10 0x53A4DCD7 Sat Jun 21 01:16:07 2014
Karte im UNBEKANNTEN STAAT stecken
Wenn die Karte den Admin-Status als UNKNOWN meldet, konnte CCC die IDPROM höchstwahrscheinlich nicht von der Karte lesen, daher kann die Karte den Boot nicht abschließen. Führen Sie in solchen Fällen diese Befehle an dem angegebenen Speicherort aus:
RP/0/RP0/CPU0:A41-PE1#show platform
Node name Node type Node state Admin state Config state
-----------------------------------------------------------------------------------
0/RP1 NC6-RP OPERATIONAL UNKNOWN
0/FC1 NC6-FC OPERATIONAL UNKNOWN
sysadmin-vm:F0_SC0# show controller ccc event-history brief location 0/0
CCC Card Event History for: 0/0
Card Event History as seen by Master (0/RP1)
Current State: CARD_READY
DATE TIME (UTC) STATE EVENT
----- ------------ ---------------------- ------------------------------
10/02 15:16:54.194 READ_IDPROM ev_idprom_available
10/02 15:16:53.942 GET_CCC_INFO ev_get_ccc_info_done
10/02 15:16:53.723 WAIT_ETH_READY ev_eth_available
10/02 15:16:52.560 CHECK_UBLAZE_BOOT ev_ublaze_boot_ok
10/02 15:16:52.539 WAIT_CCC_READY ev_ccc_ready
10/02 15:16:52.537 IDLE ev_presence_scan
Im nächsten Schritt wird überprüft, ob der CCC beim Systemstart mithilfe der Konsole auf dem LC ausgeführt wird:
1. Erfassen Sie die Prozess-ID in SysadminVM:
sysadmin-vm:F0_SC0# show processes ccc_driver location 0/0
----------------------------------------------------------------------
PID: 2525
Executable path: /opt/cisco/calvados/packages/ncs6k-sysadmin-boot-5.2.4.CSCut24295 .all-1.0.0/sbin/ccc_driver
Instance #: 0
Respawn: ON
Respawn count: 1
Max. spawns per 4 mins: 4
Last started: 10/02/2015 15:17:23.000
Process state: Run
startup_path: /opt/cisco/calvados/packages/ncs6k-sysadmin-boot-5.2.4.CSCut24295 .all-1.0.0/etc/startup/ccc_driver.startup
Ready: 5s
2. Konsolen-Zugriff auf den LC mit folgenden Befehlen:
sysadmin-vm:F0_SC0# attach location 0/RP0
[sysadmin-vm:0_RP0:~]$ exec chvrf 2 bash
[sysadmin-vm:0_RP0:~]$ chvrf 0 bash
[sysadmin-vm:0_RP0:~]$ /opt/cisco/calvados/sbin/rconsole -l 0/0
Connecting to location 0/0 (backplane-slotid 16, console 0)
Escape sequence is "end"
Waiting for card info from CCC-driver for slot 16
Got card info from CCC-driver for slot 16
IOS Build Date : 04/22/2015 by lchinnad
System Memory Speed : 1334 MHz
Processor Type : Intel(R) Xeon(R) CPU E5-2418L @ 2.00GHz
Press F12 to goto Boot Manager..
Booting System Host OS..
Waiting For CCC Valid Time of Day..
Waiting For CCC Valid Time of Day..
CCC Time: Fri Oct 2 15:16:54 2015
GNU GRUB version 2.00
Press F2 to goto grub Menu..
Booting from Disk..
Loading Kernel..
Loading initrd..
[ 1.949229] i8042: No controller found
Starting udev: [ OK ]
Switching to new root and running init.
Starting udev: [ OK ]
Actual changes:
large-receive-offload: off [requested on]
ntuple-filters: on
Setting hostname host: [ OK ]
Checking filesystems:[ OK ]
Entering non-interactive startup
Bringing up loopback interface: [ OK ]
Bringing up interface eth0: Device eth0 does not seem to be present, delaying initialization.
[FAILED]
Starting system logger: [ OK ]
Starting kernel logger: [ OK ]
Starting kdump:[ OK ]
Starting system message bus: [ OK ]
Starting smartd: [ OK ]
Generating SSH1 RSA host key: [ OK ]
Generating SSH2 RSA host key: [ OK ]
Generating SSH2 DSA host key: [ OK ]
Starting sshd: [ OK ]
Starting xinetd: [ OK ]
Starting crond: [ OK ]
Starting libvirtd daemon: [ OK ]
Starting NCS6k programs for LC on hostos: [ OK ]
mcelog start/running, process 2637
Creating default host password file
serial (/dev/ttyserial (/dev/ttyS1) start/running, process 2649
host login: root
Password:
[host:~]$
[host:~]$
[host:~]$ telnet 0 50001 <-- to get to Calvados
Trying 0.0.0.0...
Connected to 0.
Escape character is '^]'.
sysadmin-vm:0_0 login:
sysadmin-vm:0_0 login: root
Password:
[sysadmin-vm:0_0:~]$ pgrep ccc <- use pgrep to check if the process is running
2525
[sysadmin-vm:0_0:~]$ exit
logout
RCONSOLE-Tool verwenden
Wenn die Karten nicht hochgefahren werden können, bietet das NCS6008 eine integrierte Funktion, die es ermöglicht, eine Remote-Konsole auf der Karte auszuführen und den Grund zu sehen, warum die Karte feststeckt und nicht booten kann. Dieses Feature wird als RCONSOLE bezeichnet und hier ein Beispiel für seine Verwendung.
Verfahren für die Konsolenübertragung auf einem bestimmten LC:
- Navigieren Sie zu SysadminVM
- An aktiven RP anhängen.
- Wechsel zu globalem VRF-Chvrf 0-Bash
- Ausführen /opt/cisco/calvados/sbin/rconsole -l (Linecard)
Beispiel:
RP/1/RP1/CPU0:6008-B#admin
sysadmin-vm:F0_SC0#
sysadmin-vm:F0_SC0# attach location 0/RP0 <-- You must be connected to the RP's to be able to rconsole
Tue Oct 20 18:23:54.740 UTC
[sysadmin-vm:0_RP0:~]$ exec chvrf 2 bash
[sysadmin-vm:0_RP0:~]$ chvrf 0 bash
[sysadmin-vm:0_RP0:~]$ /opt/cisco/calvados/sbin/rconsole -l 0/0 ß This is LC 0/0
Connecting to location 0/0 (backplane-slotid 16, console 0)
Escape sequence is "end"
Waiting for card info from CCC-driver for slot 16
Dieses Verfahren wird von TAC häufig verwendet, um den aktuellen Status der Karte zu ermitteln und zu überprüfen, wo sie feststeckt.
Liste der Befehle, die vor dem Öffnen eines TAC-Tickets erfasst werden sollen
XR VM:
Plattform anzeigen
show install active
Version anzeigen
Anzeige des Reboot-Verlaufsorts 0/0/cpu0
Verzeichnis fehlen/Datenträger1
show cli history detail
Protokoll anzeigen
show tech-support npu
SysAdmin VM:
Plattformdetails anzeigen
Plattformsegmente anzeigen
show install active
show sdr default-sdr reboot history
Ort der Neustart-Verlaufskarte anzeigen <>
show controller ccc reset-history onbo loc <>
show controller ccc reset-history onch loc <>
show controller ccc event history detail location <>
show tech support ccc
show tech-support Hbloss
show tech support slice_manager
show tech-support trace
show tech support sdr_mgr
Anzeigeprotokoll
Beiträge von Cisco Ingenieuren
- Andre PedroCisco TAC-Techniker
FeedbackCisco kontaktieren
- Eine Supportanfrage öffnen
- (Erfordert einen Cisco Servicevertrag)