NCS6K 카드 부팅 실패 문제 해결
다운로드 옵션
업데이트:2018년 5월 7일
문서 ID:200335
편견 없는 언어
본 제품에 대한 문서 세트는 편견 없는 언어를 사용하기 위해 노력합니다. 본 설명서 세트의 목적상, 편견 없는 언어는 나이, 장애, 성별, 인종 정체성, 민족 정체성, 성적 지향성, 사회 경제적 지위 및 교차성에 기초한 차별을 의미하지 않는 언어로 정의됩니다. 제품 소프트웨어의 사용자 인터페이스에서 하드코딩된 언어, RFP 설명서에 기초한 언어 또는 참조된 서드파티 제품에서 사용하는 언어로 인해 설명서에 예외가 있을 수 있습니다. 시스코에서 어떤 방식으로 포용적인 언어를 사용하고 있는지 자세히 알아보세요.
이 번역에 관하여
Cisco는 전 세계 사용자에게 다양한 언어로 지원 콘텐츠를 제공하기 위해 기계 번역 기술과 수작업 번역을 병행하여 이 문서를 번역했습니다. 아무리 품질이 높은 기계 번역이라도 전문 번역가의 번역 결과물만큼 정확하지는 않습니다. Cisco Systems, Inc.는 이 같은 번역에 대해 어떠한 책임도 지지 않으며 항상 원본 영문 문서(링크 제공됨)를 참조할 것을 권장합니다.
목차
소개
이 문서에서는 NCS6K(Network Convergence System 6000) 라인 카드 부팅 오류를 해결하는 방법에 대해 설명합니다.또한 수집된 데이터에 대한 개요를 제공하여 TAC에서 자세한 조사를 수행하는 데 도움이 됩니다.
사전 요구 사항
요구 사항
XR CLI(Command Line Interface)에 대한 기본적인 지식이 있는 것이 좋습니다.
사용되는 구성 요소
이 문서는 XR 릴리스 버전 5.0.1, 5.2.1, 5.2.3 및 5.2.4을 사용하여 작성되었습니다.
이 문서의 정보는 특정 랩 환경의 디바이스를 토대로 작성되었습니다.이 문서에 사용된 모든 디바이스는 초기화된(기본) 컨피그레이션으로 시작되었습니다.현재 네트워크가 작동 중인 경우, 모든 명령어의 잠재적인 영향을 미리 숙지하시기 바랍니다.
배경 정보
RP(Route Processor), FC(Fabric Card) 또는 LC(Line Card)가 부팅되지 않고 부팅 단계에서 문제가 발생하는 경우, 첫 번째 단계는 VM(Syadmin Virtual Machine)에서 show tech trace를 수집하기 시작하는 것입니다. 이 show tech는 현재 시스템 상태와 다른 구성 요소 간의 상호 작용에 대한 정보를 제공합니다.그러나 Calvados라고도 하는 Sysadmin이 카드에 연결되어 있지 않아 show tech trace가 영향받는 카드에 대한 정보를 수집할 수 없을 가능성이 있습니다.이는 SSH(Secure Shell)를 통해 카드에 연결할 수 없기 때문에 발생합니다. 이러한 경우 부팅 프로세스 시 카드가 정지되는 이유를 알아보려면 콘솔 절차가 필요합니다.
참고:이 파일은 일반적으로 꽤 큰 파일(500MB-1GB)이며 Sysadmin VM에 저장됩니다.상자에서 압축을 풀려면 XR VM에 이를 복사해야 합니다(같은 문서의 뒷부분에 제공된 지침).
문제 해결
Sysadmin VM에서 각 카드의 상태를 확인하고 현재 상태를 확인합니다.H/W 및 S/W State에 특별히 주의하십시오.S/w 상태를 N/A로 표시하는 카드는 RP CPU에 의해 기본적으로 제어되는 CPU 없는 카드(FC 카드, 팬 트레이 등)입니다.작동 상태의 카드는 CPU 기반 카드이므로 소프트웨어가 로드됩니다.
sysadmin-vm:0_RP0# show platform
Location Card Type HW State SW State Config State
----------------------------------------------------------------------------
0/0 PROTO-CXP-1XPITA OPERATIONAL OPERATIONAL NSHUT
0/2 PROTO-CXP-2XPITA POWERED_OFF SW_INACTIVE NSHUT
0/3 NC6-10X100G-M-K OPERATIONAL OPERATIONAL NSHUT
0/RP0 NC6-RP OPERATIONAL OPERATIONAL NSHUT
0/RP1 NC6-RP POWERED_ON SW_INACTIVE NSHUT
0/FC0 NC6-FC POWERED_ON N/A NSHUT
0/FC1 NC6-FC-MC POWERED_ON N/A NSHUT
0/FC2 UNKNOWN FAILED N/A NSHUT
0/FC3 NC6-FC POWERED_ON N/A NSHUT
0/FC4 NC6-FC-B2B POWERED_ON N/A NSHUT
0/FC5 NC6-FC OPERATIONAL N/A NSHUT
0/FT0 NC6-FANTRAY OPERATIONAL N/A NSHUT
0/FT1 NC6-FANTRAY OPERATIONAL N/A NSHUT
0/PT0 NCS-AC-PWRTRAY OPERATIONAL N/A NSHUT
0/PT1 NCS-AC-PWRTRAY OPERATIONAL N/A NSHUT
0/PT2 NCS-AC-PWRTRAY OPERATIONAL N/A NSHUT
다음 단계는 CCC(Card Chip Controller) inventory 명령을 확인하고 카드 상태를 확인하는 것입니다.
sysadmin-vm:0_RP0# show controller ccc inventory summary
CCC Inventory Summary :
BP HW
Location Card Type ID Serial Number Ver Card State
--------------------------------------------------------------------------------
0/RP0 NC6-RP (master) 0 SAD15270129 0.1 CARD_READY
0/RP1 NC6-RP (slave) 1 SAD1527012P 0.1 CARD_READY
0/FC0 NC6-FC 8 SAD1618002F 0.2 WAIT_DEV_INIT
0/FC1 NC6-FC 9 SAD153901ZT 0.2 WAIT_DEV_INIT
0/FC4 NC6-FC 12 SAL1803KQEY 1.0 PON_POWERING_UP
0/FC5 NC6-FC 13 SAD16180043 0.2 WAIT_DEV_INIT
0/0 NC6-10X100G-M-K 16 SAL1650UCN9 0.4 PXE_BOOTING
0/4 NC6-10X100G-M-K 20 SAD154502XU 0.1 CARD_READY
다양한 시나리오를 살펴보겠습니다. 또한 여기에 나열된 것은 예상 출력 및 다음 문제 해결 단계입니다.
라인 카드가 예상대로 부팅됨
sysadmin-vm:F0_SC0# show platform detail location 0/0
Platform Information for 0/0
PID : NC6-10X100G-M-P
Description : "NCS 6000 10x100G Multi-Service CXP"
VID/SN : V01
HW Oper State : OPERATIONAL
SW Oper State : OPERATIONAL
Configuration : "NSHUT RST"
HW Version : 1.0
Last Event : HW_EVENT_OK
Last Event Reason : "Initial discovered state:BOOTED (card ok)"
Last Event(마지막 이벤트) 및 Last Event Reason(마지막 이벤트 사유)의 출력에는 카드가 양호함을 나타냅니다.이 특정 카드에 이전에 문제가 있는지, 문제가 있는 경우 문제가 무엇인지 확인하려면 show reboot history 명령을 실행합니다.
sysadmin-vm:F0_SC0# show reboot-history card location 0/0
Card Reboot History for 0/0
0
Timestamp "Fri Oct 2 15:15:26 2015"
Reason Code 7
Reason "Install Activate System Reload"
Src Location ""
Src Name INSTALL
Timestamp "Tue Sep 8 18:56:29 2015"
Reason Code 7
Reason "ADMIN CLI RELOAD ROUTER GRACEFUL"
Src Location ""
Src Name "CONFD USER"
Aborted: by user
Linecard 0/0이 작동하고 마지막 다시 로드의 이유는 기본적으로 소프트웨어 유지관리 업데이트(SMU) 설치 또는 소프트웨어 업그레이드가 완료되었음을 의미합니다.이는 예상되므로 이 카드에 문제가 없습니다.
드라이버 오류로 인해 패브릭 카드를 부팅할 수 없습니다.
sysadmin-vm:0_RP0# show platform
Location Card Type HW State SW State Config State
----------------------------------------------------------------------------
0/FC2 UNKNOWN FAILED N/A NSHUT <-
sysadmin-vm:F0_SC0# show reboot-history card location 0/FC2
Card Reboot History for 0/FC2
Timestamp "Thu Oct 9 12:10:22 2014"
Reason Code 15 <--
"Board reload as devices not up on Fabric Card"
Src Location 0/FC0
Src Name FAM_AGENT_CALV_DRIVER_SFE ß
이 예에서는 sfe_driver가 제대로 초기화되지 않았기 때문에 FC 카드가 부팅되지 않았습니다.
CCC 관점에서 reset-history를 보려면 몇 가지 명령을 더 실행합니다.reboot-history CLI는 CCC 드라이버의 reset-history CLI와 함께 사용하여 카드 다시 로드의 소스 및 이유를 확인할 수 있습니다.
두 가지 옵션이 있습니다.
Onboard(온보드) - 이 옵션을 사용하여 카드가 Warm Reset(Warm Reset)을 통과했는지(CPU만 재로드됨) 정보를 확인합니다.
Onchip - 이 옵션을 사용하여 카드가 콜드 리셋(카드가 완전히 다시 로드됨 - 하드 리셋)을 통과했는지 정보를 확인합니다.
예:
sysadmin-vm:F0_SC0# show controller ccc reset-history on
Possible completions:
onboard CCC Reset history in onboard EEPROM detail information
onchip On-chip reset history entries since last CCC Cold Reset
sysadmin-vm:F0_SC0# show controller ccc reset-history onchip location 0/0
****************************************************
*** On Chip Reset History for location 0/0 ***
****************************************************
TimeofDay : Tue Oct 20 17:17:40 2015
Uptime : 18 days 02:01:59 <--
Resets : 2
Reset Reset Reset
idx Source Command Time
--- --------------- ------------ -------------------
0 ColdRst AssrtHR 2015/10/02 15:15:43
1 ColdRst DeAssrtHR 2015/10/02 15:15:50 --> List reset source as "ColdRst"
sysadmin-vm:F0_SC0# show controller ccc reset-history onboard location 0/0
*****************************************************
*** On Board Reset History for location 0/0 ***
*****************************************************
Scratch EEPROM Magic : PON
Scratch EEPROM Version : 0x00014000
Reset History Magic : HIST
Number of Resets : 102 <---
Reset Reset Reset
idx Source Command Time
--- --------------- ------------ -------------------
0 ColdRst AssrtHR 1970/01/01 0:00:00 <-- ColdRst
1 ColdRst DeAssrtHR 1970/01/01 0:00:06
2 ColdRst AssrtHR 1970/01/01 0:00:00
3 ColdRst DeAssrtHR 1970/01/01 0:00:06
4 WarmRst AssrtHR 1970/05/03 7:21:55 <-- WarmRst
<output omitted>
ColdRst can either be initiated by Software or Hardware. WarmRst, is only initiated through Software. Other reset sources can be HRESET_L, SRESET_L, Wtchdog, SW_assgn or plain Rsrvd.
또한 재설정 작업당 두 개의 고유한 항목이 수행됩니다.AssrtHR 작업 및 DeAssrtHR 작업.이는 재설정 신호가 어설션된 후 설정 해제되었음을 의미하므로 칩이 재설정을 완료합니다.
각 작업의 타임스탬프를 기록해 둡니다.이 CLI를 CCC Inventory Status CLI와 함께 사용하여 재설정이 언제 발생했는지, 카드가 작동 또는 중단된 기간을 확인할 수 있습니다.
다음으로, 다시 로드 프로세스 시 카드가 통과한 CCC 단계를 확인합니다.다음은 여러 가지 상태 예입니다.
CCC 관점에서 올바르게 부팅된 카드:
sysadmin-vm:F0_SC0# show controller ccc event-history brief location 0/0
CCC Card Event History for: 0/0
Card Event History as seen by Master (0/RP1)
Current State: CARD_READY
DATE TIME (UTC) STATE EVENT
----- ------------ ---------------------- ------------------------------
10/02 15:16:55.234 WAIT_BOOT_IMAGE ev_boot_ssd_image
10/02 15:16:54.233 BIOS_STARTED if_wait_ssd_image_booting
10/02 15:16:54.233 CPU_READY if_bios_started
10/02 15:16:54.231 OIR_INSERT_NOTIF if_cpu_is_ready
10/02 15:16:54.217 CCC_DRIVER_INIT if_oir_insert_notif_not_done
10/02 15:16:54.195 PON_POWERED_ON to_ccc_driver_init
10/02 15:16:54.195 CHECK_CCC_STATUS if_pon_powered_on
10/02 15:16:54.194 READ_IDPROM ev_idprom_available
10/02 15:16:53.942 GET_CCC_INFO ev_get_ccc_info_done
10/02 15:16:53.723 WAIT_ETH_READY ev_eth_available
10/02 15:16:52.560 CHECK_UBLAZE_BOOT ev_ublaze_boot_ok
10/02 15:16:52.539 WAIT_CCC_READY ev_ccc_ready
10/02 15:16:52.537 IDLE ev_presence_scan
현재 PXE_BOOTING 단계에 있는 카드:
sysadmin-vm:0_RP0# show controller ccc event-history brief location 0/3
CCC Card Event History for: 0/3
Current State: PXE_BOOTING
DATE TIME (UTC) STATE EVENT
----- ------------ ---------------------- ------------------------------
08/07 19:50:40.607 BIOS_STARTED if_internal_pxe_booting
08/07 19:50:40.607 WAIT_BIOS_START ev_bios_started
08/07 19:50:18.605 CPU_READY if_bios_not_started
08/07 19:50:18.595 CCC_DRIVER_INIT if_cpu_is_ready
08/07 19:50:18.568 PON_POWERED_ON to_ccc_driver_init
08/07 19:50:18.568 CHECK_CCC_STATUS if_pon_powered_on
08/07 19:50:18.567 GET_CCC_INFO ev_get_ccc_info_done
08/07 19:50:18.550 WAIT_ETH_READY ev_eth_ready
08/07 19:50:18.550 CHECK_UBLAZE_BOOT ev_ublaze_boot_ok
08/07 19:50:18.517 PON_UP_WARM ev_ccc_reset_done
08/07 19:50:12.627 PON_DOWN_WARM ev_pon_up_warm
08/07 19:50:08.239 PON_DOWN_WARM ev_warm_reset_req_ignored
08/07 19:50:07.239 PON_DOWN_WARM ev_warm_reset_req_ignored
08/07 19:50:06.239 PON_DOWN_WARM ev_warm_reset_req_ignored
08/07 19:50:05.239 PON_DOWN_WARM ev_warm_reset_req_ignored
08/07 19:50:04.238 PON_DOWN_WARM ev_warm_reset_req_ignored
GET_CCC_INFO에 칩이 걸려 카드를 부팅할 수 없습니다.
sysadmin-vm:0_RP0# show controller ccc event-history brief location 3/6
CCC Card Event History for: 3/6
Card Event History as seen by Master (3/RP0)
Current State: GET_CCC_INFO
DATE TIME (UTC) STATE EVENT
----- ------------ ---------------------- ------------------------------
10/26 23:43:04.559 UBLAZE_NOT_READY ev_timer_expired
10/26 23:42:34.559 CHECK_UBLAZE_BOOT ev_timer_expired
10/26 23:42:24.528 WAIT_CCC_READY ev_ccc_ready
10/26 23:42:21.516 RECOVERY_RESET ev_timer_expired
10/26 23:42:03.516 CHECK_UBLAZE_BOOT ev_ublaze_pre_boot_failed
10/26 23:41:52.480 WAIT_CCC_READY ev_ccc_ready
10/26 23:41:49.468 RECOVERY_RESET ev_timer_expired
10/26 23:41:32.467 WAIT_CCC_READY ev_no_fpga_ok_signal
10/26 23:41:29.456 RECOVERY_RESET ev_timer_expired
10/26 23:41:13.455 WAIT_CCC_READY ev_no_fpga_ok_signal
10/26 23:41:10.444 RECOVERY_RESET ev_timer_expired
10/26 23:40:55.444 CHECK_UBLAZE_BOOT ev_ublaze_pre_boot_failed
10/26 23:40:55.439 WAIT_CCC_READY ev_ccc_ready
10/26 23:40:52.320 IDLE ev_presence_scan
POWER_UP_FAILED 상태 때문에 카드를 부팅할 수 없습니다.
sysadmin-vm:0_RP0# show controller ccc event-history brief location 0/2
CCC Card Event History for: 0/2
Current State: POWER_UP_FAILED
DATE TIME (UTC) STATE EVENT
----- ------------ ---------------------- ------------------------------
08/05 14:55:17.449 POWER_UP_FAILED ev_wdog_timeout
08/05 14:45:31.265 CCC_DRIVER_INIT if_pwr_up_failed
08/05 14:45:31.260 CHECK_CCC_STATUS if_pwr_up_failed_again
08/05 14:45:31.258 GET_CCC_INFO ev_get_ccc_info_done
08/05 14:45:31.223 WAIT_ETH_READY ev_eth_ready
08/05 14:45:31.157 CHECK_UBLAZE_BOOT ev_ublaze_boot_ok
08/05 14:45:31.124 PON_UP_WARM ev_ccc_reset_done
08/05 14:45:17.489 CCC_IN_RESET ev_pon_up_warm
08/05 14:45:08.921 POWER_UP_FAILED ev_pon_down_warm
08/05 14:35:07.152 POWER_UP_FAILED ev_wdog_timeout
08/05 14:25:20.946 CCC_DRIVER_INIT if_pwr_up_failed
08/05 14:25:20.941 CHECK_CCC_STATUS if_pwr_up_failed_again
08/05 14:25:20.939 GET_CCC_INFO ev_get_ccc_info_done
08/05 14:25:20.923 WAIT_ETH_READY ev_eth_ready
08/05 14:25:20.887 CHECK_UBLAZE_BOOT ev_ublaze_boot_ok
08/05 14:25:20.830 PON_UP_WARM ev_ccc_reset_done
Aborted: by user
brief 옵션과 함께 이 명령을 사용할 경우 문제의 근본 원인과 관련된 전체 데이터가 제공되지 않습니다.이 정보는 brief 키워드를 detail로 대체합니다.
참고:이는 문제 해결 카드가 CCC 레벨에서 부팅되지 않을 때 가장 중요한 CLI입니다.
Event Desc(이벤트 설명)와 Reason of the failure(실패 사유)에 집중하여 오류에 대한 더 나은 설명을 얻을 수 있습니다.
sysadmin-vm:F0_SC0# show controller ccc event-history detail location 0/0
CCC Card Event History for: 0/0
Card Event History as seen by Master (0/RP1)
Event buffer info:
Total number of events recorded: 13
Number of events available for display: 13
Current State: CARD_READY
EVENT #: 12 (record index = 12)
TIMESTAMP: 2015/10/02 15:16:55.234814 UTC
STATE: WAIT_BOOT_IMAGE
EVENT: ev_boot_ssd_image
EVENT DESC: SSD image is booting
EVENT #: 11 (record index = 11)
TIMESTAMP: 2015/10/02 15:16:54.233898 UTC
STATE: BIOS_STARTED
EVENT: if_wait_ssd_image_booting
EVENT #: 10 (record index = 10)
TIMESTAMP: 2015/10/02 15:16:54.233855 UTC
STATE: CPU_READY
EVENT: if_bios_started
EVENT #: 9 (record index = 9)
TIMESTAMP: 2015/10/02 15:16:54.231426 UTC
STATE: OIR_INSERT_NOTIF
EVENT: if_cpu_is_ready
EVENT #: 8 (record index = 8)
TIMESTAMP: 2015/10/02 15:16:54.217351 UTC
STATE: CCC_DRIVER_INIT
EVENT: if_oir_insert_notif_not_done
EVENT #: 7 (record index = 7)
TIMESTAMP: 2015/10/02 15:16:54.195808 UTC
STATE: PON_POWERED_ON
EVENT: to_ccc_driver_init
EVENT #: 6 (record index = 6)
TIMESTAMP: 2015/10/02 15:16:54.195786 UTC
STATE: CHECK_CCC_STATUS
다음은 다양한 시나리오의 출력 예입니다.
전원 문제로 부팅되지 않고 POWER_UP_FAILED에 걸린 카드:
ERROR_INFO에 주의를 기울여 오류에 대한 세부 정보를 얻으십시오.
sysadmin-vm:0_RP0# show controller ccc event-history detail location 0/2
CCC Card Event History for: 0/2
Event buffer info:
Total number of events recorded: 692
Number of events available for display: 255
Current State: POWER_UP_FAILED
EVENT #: 691 (record index = 179)
TIMESTAMP: 2014/08/05 14:55:17.449979 UTC
STATE: POWER_UP_FAILED
EVENT: ev_wdog_timeout
EVENT DESC: CCC watchdog timeout event
ERROR INFO: wdog__0 SysAdmin VM Watchdog stage1:0
<output omitted>
부팅되지 않고 CCC_NOT_READY에 걸린 카드(칩 문제):
sysadmin-vm:0_RP0# show controller ccc event-history detail location 0/FC2
CCC Card Event History for: 0/FC2
Event buffer info:
Total number of events recorded: 2
Number of events available for display: 2
Current State: CCC_NOT_READY
EVENT #: 1 (record index = 1)
TIMESTAMP: 2014/08/04 14:10:49.891845 UTC
STATE: WAIT_CCC_READY
EVENT: ev_ccc_ready_timeout
EVENT DESC: Timeout waiting for CCC to be ready
ERROR INFO: CCC READY Timeout - CLOCK_OK signal not being asserted (I/O Expander port0=0xf0, port1=0xff) ß
<output omitted>
카드를 제거/다시 삽입해야 하는 인스턴스가 있습니다.이를 위해 CCC 구성 요소는 지정된 랙 추적 카드 삽입/제거를 위한 OIR-History를 제공합니다.키워드 슬레이브가 사용됩니다.그러면 대기 RP에 대한 정보가 제공됩니다.
sysadmin-vm:0_RP0# show controller ccc oir-history rack 0
Cards OIR History of rack: 0
OIR Events as seen by Master (0/RP0)- View from the Active RP
DATE TIME (UTC) EVENT LOC CARD TYPE SERIAL NO
----- ------------ ---------- ----- ------------------ -----------
10/09 16:59:14.280 INSERTED 0/0 NC6-10X100G-M-K SAL1650UCN9
10/09 16:58:49.064 REMOVED 0/0 NC6-10X100G-M-K SAL1650UCN9
<output omitted>
sysadmin-vm:0_RP1# show controller ccc slave oir-history rack 0
Cards OIR History of rack: 0
OIR Events as seen by Slave (0/RP1)- <-- View from the standby RP
DATE TIME (UTC) EVENT LOC CARD TYPE SERIAL NO
----- ------------ ---------- ----- ------------------ -----------
11/06 05:54:31.374 DISCOVERED 0/2 NC6-10X100G-M-K SAD161300XK
11/06 05:53:37.442 DISCOVERED 0/6 NC6-10X100G-M-K SAL1649TN46
<output omitted>
정보는 두 RP 관점에서 모두 동일해야 합니다.
이 명령 조합을 사용하면 패브릭 카드가 부팅할 수 없는 근본 원인을 확인할 수 있습니다.
전원이 꺼짐 또는 현재 상태로 카드 정지
카드가 POWEROFF/PRESENT STATE에 고정되어 있는 경우 여러 재설정을 통과하여 shelf_mgr에 의해 전원이 꺼진 것 같습니다.
문제의 근본 원인을 확인하려면 다음 명령을 실행합니다.
- Sysadmin VM에서 show tech trace 수집
- 플랫폼 세부 정보 위치 표시 <>
- show reboot-history card location <>(RESET 프로세스를 통과한 횟수 확인)
- show controller ccc event-history detail location <>
- show controller ccc reset-history onboard location <>
hw-module reset 명령을 사용하여 카드를 재설정할 수 있으며 부팅 프로세스는 이 문서의 뒷부분에서 설명한 rconsole 절차를 사용하여 확인할 수 있습니다.
sysadmin-vm:F0_SC0# hw-module location 0/0 reload
Reload hardware module ? [no,yes] Yes
POWER_ON 상태에서 카드 정지
카드가 POWERED_ON으로 고정되어 있으면 CCC에서 다른 드라이버의 작업을 시작하는 데 필요한 기본 전원 영역을 켰음을 의미합니다.카드를 작동 상태로 전환하는 것은 각 드라이버의 책임입니다.
SFE 드라이버는 ASIC라고도 하는 해당 카드의 모든 내부 디바이스를 탐지하고 초기화한 후 FC를 작동 상태로 전환합니다.
ESD 드라이버는 SC-SW 카드와 Scapa의 LC를 작동 상태로 이동합니다(거의 즉시, SFE 드라이버와 달리 확인/초기화할 수 없음).
카드가 POWERED_ON 상태에 있으면 위의 드라이버 중 하나가 카드를 작동 상태로 이동하는 데 문제가 있음을 의미합니다.CPU 없는 카드에서는 문제가 더 자주 발생합니다.예:패브릭 카드 또는 SC의 스위치 카드(SC-SW).
첫 번째 단계는 ccc event-history 명령을 확인하는 것입니다.
sysadmin-vm:F0_SC0# show controller ccc event-history detail location 0/0
CCC Card Event History for: 0/0
Card Event History as seen by Master (0/RP1)
Event buffer info:
Total number of events recorded: 13
Number of events available for display: 13
<output ommited>
EVENT #: 7 (record index = 7)
TIMESTAMP: 2015/10/02 15:16:54.195808 UTC
STATE: PON_POWERED_ON
EVENT: to_ccc_driver_init
다음으로, 필요한 기본 전원 영역을 확인합니다.
sysadmin-vm:0_RP0# show controller ccc register location 0/RP0 offset 0x4c
Register Register
Address Value
------------------------
0x4C 0x3 - zones 0 and 1 OK
sysadmin-vm:0_RP0# show controller ccc register location 0/RP0 offset 0x50
Register Register
Address Value
------------------------
0x50 0x3 - zone 0 and 1 Enabled
sysadmin-vm:0_RP0# show controller ccc power detail location 0/RP0
Power detail : Zone information for 0/RP0:
---------------------------------------------------------
| Power Zone | Power Status | Power Contrl | Power Fault |
---------------------------------------------------------
| 0 | OK | SET | -- | - Power Status OK
| 1 | OK | SET | -- | - Power Status OK
sysadmin-vm:F0_SC0# show controller ccc i2c-dev ioexpander location 0/0
CCC IO Expander information for location: 0/0
------------------------------------------------------
Port 0: 0x3e
Port Bit I/O Val Bit Name
-------------------------------------
P0 0 O 0 Power Cycle
P0 1 I 1 FPGA OK
P0 2 I 1 uBlaze OK
P0 3 I 1 Clock OK
P0 4 I 1 Core Volt OK
P0 5 I 1 OTH Volt0 OK
P0 6 I 0 OTH Volt1 NOT OK
P0 7 I 0 OTH Volt2 NOT OK
Port 1: 0x3
Port Bit I/O Val Bit Name
-------------------------------------
P1 0 I 1 FPGA INIT OK
이 검증이 근본 원인이 되지 않을 경우 다음 단계에서는 TAC 서비스 요청을 엽니다.
SW_INACTIVE STATE에 카드 고정
sysadmin-vm:0_RP0# show platform
Location Card Type HW State SW State Config State
--------------------------------------------------------------------- -------
0/1 P-L-10X100G-F-P POWERED_OFF SW_INACTIVE SHUT
0/RP0 P-L-RP OPERATIONAL OPERATIONAL NSHUT
0/RP1 P-L-RP OPERATIONAL OPERATIONAL NSHUT
0/FC0 P-L-FC-S OPERATIONAL N/A NSHUT
0/FC1 P-L-FC-S OPERATIONAL N/A NSHUT
0/FT0 PANINI-SIM-FT OPERATIONAL N/A NSHUT
0/FT1 PANINI-SIM-FT OPERATIONAL N/A NSHUT
가능한 실패 원인은 다음과 같습니다.
- SSD 액세스 문제로 인해 호스트 OS가 부팅되지 않음
- HW 문제로 인해 호스트 OS가 부팅되지 않음
- SysAdmin VM을 생성하지 못했습니다.
- 이더넷 연결 문제 제어
- SW 장애로 인해 카드 MAC/IP가 프로그래밍되지 않음
- CCC Power-On 인터프리터에 의해 올바르게 프로그래밍되지 않는 이더넷 스위치
- CCC SPI 플래시에서 ESD 컬러 스위치 이미지를 프로그래밍하지 못했습니다.
시나리오 1. SW_EVENT_FAILURE:shelf_mgr syslogs에 의해 보고된 SW_EVENT_ADMIN_VM_FAILURE
sysadmin-vm:0_RP0# show platform
Location Card Type HW State SW State Config State
----------------------------------------------------------------------------
0/1 PROTO-CXP-2XPITA OPERATIONAL OPERATIONAL NSHUT
0/RP0 NC6-RP OPERATIONAL OPERATIONAL NSHUT
0/RP1 NC6-RP OPERATIONAL SW_INACTIVE NSHUT
0/FC0 NC6-FC-MC OPERATIONAL N/A NSHUT
0/CI0 P-L-CRFT OPERATIONAL N/A NSHUT
0/FT0 P-L-FANTRAY OPERATIONAL N/A NSHUT
0/FT1 P-L-FANTRAY OPERATIONAL N/A NSHUT
RP1이 부팅되지 않는 이유는 여러 가지가 있을 수 있습니다.이 문제를 가장 쉽게 파악할 수 있는 방법은 RP에서 로그인하여 로그온을 확인하는 것입니다(이 문서의 하단에 있는 rconsole 절차 참조).
시나리오 2. LC가 실패 상태, 마지막 이벤트:HW_EVENT_FAILURE fail_code=LC_POWER_MAIN_FAULT
HW 상태가 FAILED로 표시되고 SW State가 SW_INACTIVE로 표시되는지 확인합니다.
sysadmin-vm:0_RP0# show platform location 0/1
Location Card Type HW State SW State Config State
----------------------------------------------------------------------------
0/1 NC6-60X10GE-M-S FAILED SW_INACTIVE NSHUT
이 명령을 실행하고 마지막 짝수 사유를 확인합니다.
sysadmin-vm:0_RP0# show platform detail location 0/1
Platform Information for 0/1
PID : NC6-60X10GE-M-S
Description : "NCS 6000 60x10G Multi-Service SFP+"
VID/SN : V01
HW Oper State : FAILED
SW Oper State : SW_INACTIVE
Configuration : "NSHUT RST"
HW Version : 0.6
Last Event : HW_EVENT_FAILURE
Last Event Reason : "pon exit <-- UP_WARM_RESET cnt=123 fail_code=LC_POWER_MAIN_FAULT"
sysadmin-vm:0_RP0#
로그 메시지를 확인하기 위해 영향받는 카드에 대한 syslog 필터링:
0/RP0/ADMIN0:Jun 21 00:33:13.487 : cm[1795]: %ROUTING-TOPO-5-OIR_ACTION : OIR card failed having serial number: SAD173501R7.
0/RP0/ADMIN0:Jun 21 00:33:13.528 : shelf_mgr[1818]: %INFRA-SHELF_MGR-5-CARD_INSERTION : Location: 0/1, Serial #: SAD173501R7
0/RP0/ADMIN0:Jun 21 00:33:13.528 : shelf_mgr[1818]: %INFRA-SHELF_MGR-6-HW_EVENT : Rcvd HW event HW_EVENT_FAILURE, event_reason_str 'Initial discovery FAIL: EXIT0, power request on , but not finish ccc-pon startup. power_control 0x00000001' for card 0/1
0/RP0/ADMIN0:Jun 21 00:33:13.530 : shelf_mgr[1818]: %INFRA-SHELF_MGR-3-CARD_HW_FAILED : Card: 0/1 hardware state going to FAILED
0/RP0/ADMIN0:Jun 21 00:34:06.734 : shelf_mgr[1818]: %INFRA-SHELF_MGR-6-HW_EVENT : Rcvd HW event HW_EVENT_RESET, event_reason_str 'pon enter --> DOWN_WARM_RESET cnt=3! ' for card 0/1
0/RP0/ADMIN0:Jun 21 00:34:15.987 : shelf_mgr[1818]: %INFRA-SHELF_MGR-6-HW_EVENT : Rcvd HW event HW_EVENT_POWERED_OFF, event_reason_str 'CCC Warm Reset #8' for card 0/1
0/RP0/ADMIN0:Jun 21 00:34:21.419 : cm[1795]: %ROUTING-TOPO-5-OIR_ACTION : OIR card failed having serial number: SAD173501R7.
0/RP0/ADMIN0:Jun 21 00:34:21.459 : shelf_mgr[1818]: %INFRA-SHELF_MGR-3-CARD_HW_FAILED : Card: 0/1 hardware state going to FAILED
0/RP0/ADMIN0:Jun 21 00:34:21.459 : shelf_mgr[1818]: %INFRA-SHELF_MGR-6-HW_EVENT : Rcvd HW event HW_EVENT_FAILURE, event_reason_str 'pon exit <-- UP_WARM_RESET cnt=4 fail_code=LC_POWER_MAIN_FAULT' for card 0/1
show reboot history 명령을 실행하고 AssrtHR과 DeAssrtHR 메시지 간에 시간 차이가 큰지 확인합니다.이는 VM 간에 내부 연결 문제가 있기 때문일 수 있습니다.
sysadmin-vm:0_RP0#show reboot-history card location 0/1
Reset history example: every 20 mins for 2 hours before it recovered:
33 0 WarmRst DeAssrtHR 0x00000F32 0x53A4D367 Sat Jun 21 00:35:51 2014
34 0 WarmRst AssrtHR 0x00000F10 0x53A4D81D Sat Jun 21 00:55:57 2014
35 0 WarmRst DeAssrtHR 0x00000F32 0x53A4D821 Sat Jun 21 00:56:01 2014
36 0 WarmRst AssrtHR 0x00000F10 0x53A4DCD7 Sat Jun 21 01:16:07 2014
알 수 없는 상태에서 카드 정지
카드가 Admin(관리) 상태를 Unknown(알 수 없음)으로 보고하면 CCC가 보드에서 IDPROM을 읽을 수 없으므로 카드가 부팅을 완료할 수 없습니다.이러한 인스턴스의 경우 지정된 위치에서 다음 명령을 실행합니다.
RP/0/RP0/CPU0:A41-PE1#show platform
Node name Node type Node state Admin state Config state
-----------------------------------------------------------------------------------
0/RP1 NC6-RP OPERATIONAL UNKNOWN
0/FC1 NC6-FC OPERATIONAL UNKNOWN
sysadmin-vm:F0_SC0# show controller ccc event-history brief location 0/0
CCC Card Event History for: 0/0
Card Event History as seen by Master (0/RP1)
Current State: CARD_READY
DATE TIME (UTC) STATE EVENT
----- ------------ ---------------------- ------------------------------
10/02 15:16:54.194 READ_IDPROM ev_idprom_available
10/02 15:16:53.942 GET_CCC_INFO ev_get_ccc_info_done
10/02 15:16:53.723 WAIT_ETH_READY ev_eth_available
10/02 15:16:52.560 CHECK_UBLAZE_BOOT ev_ublaze_boot_ok
10/02 15:16:52.539 WAIT_CCC_READY ev_ccc_ready
10/02 15:16:52.537 IDLE ev_presence_scan
다음 단계는 rconsole을 사용하여 부팅 프로세스 시 CCC가 LC에서 실행되는지 확인하는 것입니다.
1. SysadminVM에서 프로세스 ID를 수집합니다.
sysadmin-vm:F0_SC0# show processes ccc_driver location 0/0
----------------------------------------------------------------------
PID: 2525
Executable path: /opt/cisco/calvados/packages/ncs6k-sysadmin-boot-5.2.4.CSCut24295 .all-1.0.0/sbin/ccc_driver
Instance #: 0
Respawn: ON
Respawn count: 1
Max. spawns per 4 mins: 4
Last started: 10/02/2015 15:17:23.000
Process state: Run
startup_path: /opt/cisco/calvados/packages/ncs6k-sysadmin-boot-5.2.4.CSCut24295 .all-1.0.0/etc/startup/ccc_driver.startup
Ready: 5s
2. 다음 명령을 사용하여 LC로 전환합니다.
sysadmin-vm:F0_SC0# attach location 0/RP0
[sysadmin-vm:0_RP0:~]$ exec chvrf 2 bash
[sysadmin-vm:0_RP0:~]$ chvrf 0 bash
[sysadmin-vm:0_RP0:~]$ /opt/cisco/calvados/sbin/rconsole -l 0/0
Connecting to location 0/0 (backplane-slotid 16, console 0)
Escape sequence is "end"
Waiting for card info from CCC-driver for slot 16
Got card info from CCC-driver for slot 16
IOS Build Date : 04/22/2015 by lchinnad
System Memory Speed : 1334 MHz
Processor Type : Intel(R) Xeon(R) CPU E5-2418L @ 2.00GHz
Press F12 to goto Boot Manager..
Booting System Host OS..
Waiting For CCC Valid Time of Day..
Waiting For CCC Valid Time of Day..
CCC Time: Fri Oct 2 15:16:54 2015
GNU GRUB version 2.00
Press F2 to goto grub Menu..
Booting from Disk..
Loading Kernel..
Loading initrd..
[ 1.949229] i8042: No controller found
Starting udev: [ OK ]
Switching to new root and running init.
Starting udev: [ OK ]
Actual changes:
large-receive-offload: off [requested on]
ntuple-filters: on
Setting hostname host: [ OK ]
Checking filesystems:[ OK ]
Entering non-interactive startup
Bringing up loopback interface: [ OK ]
Bringing up interface eth0: Device eth0 does not seem to be present, delaying initialization.
[FAILED]
Starting system logger: [ OK ]
Starting kernel logger: [ OK ]
Starting kdump:[ OK ]
Starting system message bus: [ OK ]
Starting smartd: [ OK ]
Generating SSH1 RSA host key: [ OK ]
Generating SSH2 RSA host key: [ OK ]
Generating SSH2 DSA host key: [ OK ]
Starting sshd: [ OK ]
Starting xinetd: [ OK ]
Starting crond: [ OK ]
Starting libvirtd daemon: [ OK ]
Starting NCS6k programs for LC on hostos: [ OK ]
mcelog start/running, process 2637
Creating default host password file
serial (/dev/ttyserial (/dev/ttyS1) start/running, process 2649
host login: root
Password:
[host:~]$
[host:~]$
[host:~]$ telnet 0 50001 <-- to get to Calvados
Trying 0.0.0.0...
Connected to 0.
Escape character is '^]'.
sysadmin-vm:0_0 login:
sysadmin-vm:0_0 login: root
Password:
[sysadmin-vm:0_0:~]$ pgrep ccc <- use pgrep to check if the process is running
2525
[sysadmin-vm:0_0:~]$ exit
logout
RCONSOLE 도구 사용
카드를 부팅할 수 없는 경우 NCS6008은 카드에 대해 원격 콘솔을 수행할 수 있는 기능을 제공하며, 카드가 고정되어 부팅할 수 없는 이유를 확인합니다.이 기능을 RCONSOLE이라고 하며, 이 기능의 사용 예는 다음과 같습니다.
특정 LC에서 Rconsole을 실행하는 절차:
- SysadminVM으로 이동
- 활성 RP에 연결합니다.
- 전역 VRF chvrf 0 bash로 변경
- /opt/cisco/calvados/sbin/rconsole -l(Linecard) 실행
예:
RP/1/RP1/CPU0:6008-B#admin
sysadmin-vm:F0_SC0#
sysadmin-vm:F0_SC0# attach location 0/RP0 <-- You must be connected to the RP's to be able to rconsole
Tue Oct 20 18:23:54.740 UTC
[sysadmin-vm:0_RP0:~]$ exec chvrf 2 bash
[sysadmin-vm:0_RP0:~]$ chvrf 0 bash
[sysadmin-vm:0_RP0:~]$ /opt/cisco/calvados/sbin/rconsole -l 0/0 ß This is LC 0/0
Connecting to location 0/0 (backplane-slotid 16, console 0)
Escape sequence is "end"
Waiting for card info from CCC-driver for slot 16
이 절차는 TAC에서 카드의 현재 상태를 확인하고 문제가 발생한 위치를 확인하는 데 널리 사용됩니다.
TAC 케이스를 열기 전에 수집할 명령 목록
XR VM:
플랫폼 표시
설치 활성 표시
버전 표시
재부팅 기록 위치 0/0/cpu0 표시
dir misc/disk1
cli 기록 세부 정보 표시
로그 표시
show tech-support npu
SysAdmin VM:
플랫폼 세부 정보 표시
플랫폼 조각 표시
설치 활성 표시
show sdr default-sdr reboot-history
reboot-history 카드 위치 표시 <>
show controller ccc reset-history onbo loc <>
show controller ccc reset-history onch loc <>
show controller ccc event-history detail location <>
기술 지원 ccc 표시
show tech-support Hbloss
show tech-support slice_manager
show tech-support trace
기술 지원 sdr_mgr 표시
로그 표시
피드백