ASR 1000系列 — 排除路由器崩溃故障

简介

本文档提供有关如何对Cisco® ASR 1000系列聚合服务路^由器上的崩溃进行故障排除的信息。

先决条件

要求

本文档没有任何特定的要求。

使用的组件

本文档中的信息基于以下软件和硬件版本：

• 所有Cisco ASR 1000系列聚合服务路由器，包括1002、1004和1006。

• 支持Cisco ASR 1000系列聚合服务路由器的所有Cisco IOS XE软件版本。

本文档中的信息都是基于特定实验室环境中的设备编写的。本文档中使用的所有设备最初均采用原始（默认）配置。如果您使用的是真实网络，请确保您已经了解所有命令的潜在影响。

规则

有关文档规则的详细信息，请参阅 Cisco 技术提示规则。

Cisco ASR 1000系列聚合服务路由器崩溃

崩溃类型

Cisco ASR 1000系列聚合服务路由器将Cisco IOS XE软件作为其软件架构。基于Cisco IOS软件，Cisco IOS XE软件是构建在路由处理器(RP)、嵌入式服务处理器(ESP)或SPA接口处理器(SIP)上的Linux内核上的模块化操作系统。 IOS守护程序(IOSD)和其他IOS XE进程在Linux内核上运行，因此Cisco ASR 1000系列聚合服务路由器的表1中显示了几种崩溃类型。

表1 — 崩溃类型

崩溃类型	module	描述
IOSD崩溃	RP	Cisco IOS软件在RP的Linux内核上作为IOSD运行。
SPA驱动程序崩溃	SIP	有限的Cisco IOS软件运行以控制SIP上的SPA。
Cisco IOS XE进程崩溃	RP ESP SIP	多个Cisco IOS XE进程在Linux内核上运行。例如，机箱管理器、转发管理器、接口管理器等在RP上运行。
思科量子流处理器(QFP)微码崩溃	ESP	微码在QFP上运行。QFP是ESP上的数据包转发ASIC。
Linux内核崩溃	RP ESP SIP	Linux内核在RP、ESP和SIP上运行。

获取有关崩溃的信息

如果遇到意外的模块重新加载，必须确保控制台输出、crashinfo文件目录和核心转储文件目录可用于故障排除。为了确定原因，第一步是尽可能多的获取该问题的大量信息。此信息是必要的以确定问题的原因：

• 控制台日志 — 有关详细信息，请参阅为控制台连接应用正确的终端仿真器设置。

• 系统日志信息 — 如果已将路由器设置为向系统日志服务器发送日志，则可以获取有关发生情况的信息。有关详细信息，请参阅如何针对 Syslog 配置 Cisco 设备。

• show platform — show platform命令显示RP、ESP、SPA和电源的状态。

• show tech-support — show tech-support命令是许多不同命令的汇编，包括show version和show running-config。当路由器出现问题时，思科技术支持中心(TAC)工程师通常会要求提供此信息来排除硬件问题。在重新加载或重新通电之前，必须收集show tech-support，因为这些操作可能会导致有关问题的信息丢失。

  注意：show tech-support命令不包括show platform或show logging命令。

• 启动顺序信息 — 路由器出现启动错误时的完整启动顺序。

• Crashinfo文件（如果可用） — 请参阅“Crashinfo文件”部分。

• 核心转储文件（如果可用） — 请参阅“核心转储文件”部分。

• 跟踪日志文件（如果可用） — 在Cisco ASR 1000系列聚合服务路由器上，Cisco IOS XE进程的跟踪日志在harddisk:tracelogs（ASR 1006或ASR 1004）或bootflash:tracelogs(ASR 1002)。当Cisco IOS XE进程崩溃时，Cisco TAC工程师通常要求收集此信息以排除故障。

Crashinfo文件

当IOSD或SPA驱动程序崩溃时，在表2所示的位置下生成crashinfo文件。

表2 - Crashinfo文件位置

型号	崩溃类型	Crashinfo文件位置
ASR 1002	IOSD崩溃SPA驱动程序崩溃	bootflash:在RP上
ASR 1004 ASR 1006	IOSD崩溃	bootflash:在RP上
	SPA驱动程序崩溃	硬盘：在RP上

表3显示crashinfo文件名。

表3 - Crashinfo文件名

崩溃类型	Crashinfo文件名	示例
IOSD崩溃	crashinfo_RP_SlotNumber_00_Date-Time-Zone	crashinfo_RP_00_00_20080807-063430-UTC
SPA驱动程序崩溃	crashinfo_SIP_SlotNumber_00_Date-Time-Zone	crashinfo_SIP_00_00_20080828-084907-UTC

核心转储文件

当进程崩溃时，可以在表4中所示的位置下找到核心转储文件。核心转储是进程内存映像的完整副本。建议您保存核心转储文件，直到故障排除完成。这是因为核心转储包含的崩溃问题信息比crashinfo文件多得多，因此需要进行深入调查。对于Cisco ASR 1002路由器，因为它没有硬盘：设备，核心转储文件在bootflash:core/下生成。

表4 — 核心转储文件位置

型号	核心转储文件位置
ASR 1002	bootflash:RP上的核心/
ASR 1004 ASR 1006	硬盘：RP上的核心/

不仅RP的核心转储，而且ESP或SIP进程的核心转储在同一位置生成。对于Cisco ASR 1006路由器，您必须检查备用RP的相同位置，因为在发生问题时它是主用RP。

表5 — 核心转储文件名

崩溃类型	核心转储文件名	示例
IOSD崩溃	hostname_RP_SlotNumber_ppc_linux_iosd-_ProcessID.core.gz	Router_RP_0_ppc_linux_iosd-_17407.core.gz
SPA驱动程序崩溃	hostname_SIP_SlotNumber_mcpcc-lc-ms_ProcessID.core.gz	Router_SIP_1_mcpcc-lc-ms_6098.core.gz
IOS XE进程崩溃	hostname_FRU_SlotNumber_ProcessName_ProcessID.core.gz	Router_RP_0_fman_rp_28778.core.gz Router_ESP_1_cpp_cp_svr_4497.core.gz
Cisco QFP崩溃	hostname_ESP_SlotNumber_cpp-mcplo-ucode_ID.core.gz	Router_ESP_0_cpp-mcplo-ucode_042308082102.core.gz
Linux内核崩溃	hostname_FRU_SlotNumber_kernel.core	Router_ESP_0_kernel.core

IOSD崩溃

IOS守护程序(IOSD)在RP上作为其自己的Linux进程(ppc_linux_iosd-)运行。在双IOS模式（仅限Cisco ASR 1002路由器和Cisco ASR 1004路由器）上，两个IOSD在RP上运行。

要识别IOSD崩溃，请在控制台上找到以下异常输出。如果Cisco ASR 1002路由器或Cisco ASR 1004路由器在没有双IOS模式的情况下崩溃，则重新加载机箱。如果Cisco ASR 1002路由器或Cisco ASR 1004路由器在双IOS模式下崩溃，IOSD将在RP上切换。在Cisco ASR 1006路由器崩溃时，RP会进行切换，并重新加载新的备用RP。

Exception to IOS Thread:
Frame pointer 2C111978, PC = 1029ED60

ASR1000-EXT-SIGNAL: U_SIGSEGV(11), Process = Exec
-Traceback= 1#106b90f504fce8544ce4979667ec2d5d  
   :10000000+29ED60 :10000000+29ECB4 :10000000+2A1A9C 
:10000000+2A1DAC :10000000+492438 :10000000+1C22DC0 
   :10000000+4BBBE0 

Fastpath Thread backtrace: 
-Traceback= 1#106b90f504fce8544ce4979667ec2d5d  
   c:BC16000+C2AF0 c:BC16000+C2AD0 
iosd_unix:BD73000+111DC pthread:BA1B000+5DA0 

Auxiliary Thread backtrace: 
-Traceback= 1#106b90f504fce8544ce4979667ec2d5d  
   pthread:BA1B000+95E4 pthread:BA1B000+95C8 
c:BC16000+D7294 iosd_unix:BD73000+1A83C 
   pthread:BA1B000+5DA0 

PC  = 0x1029ED60  LR  = 0x1029ECB4  MSR = 0x0002D000
CTR = 0x0BD83C2C  XER = 0x20000000
R0  = 0x00000000  R1  = 0x2C111978  R2  = 0x2C057890  R3  = 0x00000034
R4  = 0x000000B4  R5  = 0x0000003C  R6  = 0x2C111700  R7  = 0x00000000
R8  = 0x12B04780  R9  = 0x00000000  R10 = 0x2C05048C  R11 = 0x00000050
R12 = 0x22442082  R13 = 0x13B189AC  R14 = 0x00000000  R15 = 0x00000000
R16 = 0x00000000  R17 = 0x00000001  R18 = 0x00000000  R19 = 0x00000000
R20 = 0x00000000  R21 = 0x00000000  R22 = 0x00000000  R23 = 0x00000001
R24 = 0x00000001  R25 = 0x34409AD4  R26 = 0x00000000  R27 = 0x2CE88448
R28 = 0x00000001  R29 = 0x00000000  R30 = 0x3467A0FC  R31 = 0x2C1119B8

Writing crashinfo to bootflash:crashinfo_RP_00_00_20080904-092940-UTC
Buffered messages: (last 4096 bytes only)
...

当IOSD崩溃时，RP上会生成crashinfo文件和核心转储文件。

Router#dir bootflash:
Directory of bootflash:

bootflash:crashinfo_RP_00_00_20080904-092940-UTC


Router#dir harddisk:core
Directory of harddisk:core/

3620877  -rw-    10632280   Sep 4 2008 09:31:00 +00:00  
   Router_RP_0_ppc_linux_iosd-_17407.core.gz

SPA驱动程序崩溃

由于mcpcc-lc-ms进程和其中一个Cisco IOS XE进程，SPA驱动程序对SPA控制的IOS功能有限，并在SIP上运行。如果发现进程mcpcc-lc-ms被抑制，则可以识别SPA驱动程序崩溃。SPA驱动程序崩溃后，SPA重新加载。

Aug 28 08:52:12.418: %PMAN-3-PROCHOLDDOWN: SIP0: 
   pman.sh:  The process mcpcc-lc-ms has been helddown (rc 142)
Aug 28 08:52:12.425: %ASR1000_OIR-6-REMSPA: 
   SPA removed from subslot 0/0, interfaces disabled
Aug 28 08:52:12.427: %SPA_OIR-6-OFFLINECARD: 
   SPA (SPA-1X10GE-L-V2) offline in subslot 0/0
Aug 28 08:52:13.131: %ASR1000_OIR-6-INSSPA: 
   SPA inserted in subslot 0/0
Aug 28 08:52:19.060: %LINK-3-UPDOWN: SIP0/0: 
   Interface EOBC0/1, changed state to up
Aug 28 08:52:20.064: %SPA_OIR-6-ONLINECARD: 
   SPA (SPA-1X10GE-L-V2) online in subslot 0/0

当SPA驱动程序崩溃时，RP上会生成crashinfo文件和核心转储文件。

Router#dir harddisk:
Directory of harddisk:/

   14  -rw-      224579  Aug 28 2008 08:52:06 +00:00  
   crashinfo_SIP_00_00_20080828-085206-UTC

Router#dir harddisk:core
Directory of harddisk:/core/

4653060  -rw-     1389762  Aug 28 2008 08:52:12 +00:00  
   Router_SIP_0_mcpcc-lc-ms_6985.core.gz

Cisco IOS XE进程崩溃

Cisco IOS XE进程在RP、ESP和SIP上的Linux内核上运行。表6列出了其主要流程。如果发生崩溃，模块将重新加载。

表6 — 主要Cisco IOS XE进程

标题	进程名	module
机箱管理器	cmand	RP
	cman_fp	ESP
	cmcc	SIP
环境监控	emd	RP、ESP、SIP
转发管理器	fman_rp	RP
	fman_fp_image	ESP
主机管理器	人	RP、ESP、SIP
接口管理器	imand	RP
	ICCD	SIP
日志记录管理器	plogd	RP、ESP、SIP
可插拔服务	PSD	RP
QFP客户端控制过程	cpp_cr_svr	ESP
QFP驱动程序进程	cpp_driver	ESP
QFP HA服务器	cpp_ha_top_level_server	ESP
QFP客户端服务进程	cpp_sp_server	ESP
外壳管理器	smand	RP

如果cpp_cp_svr进程在Cisco ASR 1006路由器的ESP上崩溃，则此消息可能会显示在控制台上。

Jan 24 23:37:06.644 JST: %PMAN-3-PROCHOLDDOWN: 
   F0: pman.sh:  The process cpp_cp_svr has been helddown (rc 134)
Jan 24 23:37:06.727 JST: %PMAN-0-PROCFAILCRIT: F0: pvp.sh:  
   A critical processcpp_cp_svr has failed (rc 134)
Jan 24 23:37:11.539 JST: %ASR1000_OIR-6-OFFLINECARD: 
   Card (fp) offline in slot F0

您可以在硬盘：core/上找到核心转储文件。

Router#dir harddisk:core
Directory of harddisk:/core/

1032194  -rw-    38255956  Jan 24 2009 23:37:06 +09:00  
   Router_ESP_0_cpp_cp_svr_4714.core.gz

进程的跟踪日志可能包含有用的输出。

Router#dir harddisk:tracelogs/cpp_cp*
Directory of harddisk:tracelogs/

4456753  -rwx       24868  Jan 24 2009 23:37:15 +09:00  
   cpp_cp_F0-0.log.4714.20090124233714

思科量子流处理器微码崩溃

思科将Cisco Quantum Flow处理器设计为硬件和软件架构。第一代产品位于两片硅上；后代可以是符合此处所述软件架构的单芯片解决方案。术语“Cisco QuantumFlow处理器”仅指网络处理器的整体硬件和软件架构。

当QFP代码崩溃时，ESP重新加载。要识别QFP ucode崩溃，请在控制台或cpp-mcplo-ucode的核心转储文件上找到以下输出：

Dec 17 05:50:26.417 JST: %IOSXE-3-PLATFORM: F0: 
   cpp_cdm: CPP crashed, core file /tmp/corelink/
   Router_ESP_0_cpp-mcplo-ucode_121708055026.core.gz
Dec 17 05:50:28.206 JST: %ASR1000_OIR-6-OFFLINECARD: 
   Card (fp) offline in slot F0

您可以找到核心转储文件。

Router#dir harddisk:core
Directory of harddisk:core/

3719171  -rw-     1572864  Dec 17 2008 05:50:31 +09:00 
   Router_ESP_0_cpp-mcplo-ucode_121708055026.core.gz

Linux内核崩溃

在Cisco ASR 1000系列上，Linux内核在RP、ESP和SIP上运行。当Linux内核崩溃时，模块重新加载，而没有崩溃输出。在重新启动后，如果找到Linux内核的核心转储文件，则可以识别Linux内核崩溃。内核核心文件的大小可以超过100MB。

Router#dir harddisk:core
Directory of harddisk:/core/

393230  ----   137389415  Dec 19 2008 01:19:40 +09:00  
   Router_RP_0_kernel_20081218161940.core

建立 TAC 服务请求时要收集的信息

如果在执行上述步骤后仍需要帮助，并希望向Cisco TAC提交服务请求，请务必包含以下信息以排除路由器崩溃故障：
在您打开服务请求之前执行的故障排除 show platform输出（如果可能，在启用模式下） show logging输出或控制台捕获（如果可用） show tech-support输出（如果可能，在启用模式下） crashinfo文件（如果存在） 核心转储文件（如果存在） 请将收集到的数据以未压缩的纯文本格式 (.txt) 附加到服务请求中。 如果使用TAC服务请求工具上传信息(仅限注册客户)，则可将信息附加到服务请求。 如果您无法访问服务请求工具，则可以将相关信息附加到您的服务请求中，如果您将相关信息发送到attach@cisco.com，并在邮件的主题行中注明您的案例编号。 注意：在收集此信息之前，请勿手动重新加载或重新启动路由器，除非您需要对路由器崩溃进行故障排除，因为这可能导致确定问题根本原因所需的重要信息丢失。

相关信息

• 产品支持页面
• 路由器崩溃故障排除
• 从崩溃信息文件中检索信息
• Cisco ASR 1000系列聚合服务路由器产品支持
• 技术支持和文档 - Cisco Systems