排除ASR 5500中的SERDES Lane故障

下载选项

  • PDF     (375.3 KB)
    在各种设备上使用 Adobe Reader 查看
  • ePub     (82.5 KB)
    在 iPhone、iPad、Android、Sony Reader 或 Windows Phone 上使用各种应用查看
  • Mobi (Kindle)     (73.6 KB)
    在 Kindle 设备上查看或在多个设备上使用 Kindle 应用查看
已更新: 2022 年 8 月 18 日
文档 ID:218054

非歧视性语言

此产品的文档集力求使用非歧视性语言。在本文档集中，非歧视性语言是指不隐含针对年龄、残障、性别、种族身份、族群身份、性取向、社会经济地位和交叉性的歧视的语言。由于产品软件的用户界面中使用的硬编码语言、基于 RFP 文档使用的语言或引用的第三方产品使用的语言，文档中可能无法确保完全使用非歧视性语言。 深入了解思科如何使用包容性语言。

关于此翻译

思科采用人工翻译与机器翻译相结合的方式将此文档翻译成不同语言，希望全球的用户都能通过各自的语言得到支持性的内容。 请注意：即使是最好的机器翻译，其准确度也不及专业翻译人员的水平。 Cisco Systems, Inc. 对于翻译的准确性不承担任何责任，并建议您总是参考英文原始文档（已提供链接）。

    简介

    本文档介绍ASR 5500中序列化程序反序列化程序(SERDES)通道（链接）的故障排除命令。

    背景信息

    ASR 5500包含卡之间的SERDES链路，以便促进交换矩阵和存储卡(FSC)、数据处理卡(DPC)和管理输入/输出(MIO)卡之间的通信和数据路径。有时，这些SERDES链路可能会由于错误或硬件故障而中断。

    SERDES Lane故障排除命令

    调查ASR 5500机箱的SERDES通道的命令：

    • 收集 show support details，请查看“debug console..” 输出行部分：
    1397273780.205 card 5-cpu0: afio [5/0/7808] [  80616.933] afio/afio_fe600_serdes.c:3297: #1: fe600=47=16/1, Fabric SERDES lane transitioned from up to down, serdes=29, devid=25=7/1
    • 机箱CLI的访问测试模式 cli test-commands password .

    警告：使用此模式可能会导致严重的服务中断

    • 问题 show fabric health 命令获取交换矩阵的整体视图。

    提示：可从 show fabric support details show support details的一部分

    在本例中，DPC卡2和FSC卡14之间出现问题。

    在输出中，从插槽2中的源DPC向插槽14中的FSC报告故障：

    Command: petra-b system-device-id 3
    Command: show health
    Petra-B 3=2/1
    Fabric Status:
     Status OK(+)------------------------+
     Topology fault(T)------------------+|
     Far side not expected(*)----------+||
     Logically not connected(L)-------+|||
     Physically not connected(P)-----+||||           NIF Status:
     Rx Down(*)---------------------+||||| +----------NIF powered off(*)
     Tx Down(*)--------------------+|||||| |+---------SERDES powered off(*)
     Code Group(G)----------------+||||||| ||+--------Local side down(l)
     Misalignment(M)-------------+|||||||| |||+-------Remote side down(r)
     Cell Size(C)---------------+||||||||| ||||+------Rx activity(r)
     Internally fixed(I)-------+|||||||||| |||||+-----Tx activity(t)
     Not Accept Cells(A)------+||||||||||| ||||||+----Status OK(+)
                              |||||||||||| |||||||
    SERDES Status:            |||||||||||| |||||||
     Status OK(+)-----------+ |||||||||||| |||||||
     Rx power off(*)-------+| |||||||||||| |||||||
     Tx power off(*)------+|| |||||||||||| |||||||
     Sig not locked(S)---+||| |||||||||||| |||||||
     Rx signal loss(*)--+|||| |||||||||||| |||||||
     Modified Parms(m)-+||||| |||||||||||| |||||||
     Admin down(D)----+|||||| |||||||||||| |||||||
                      ||||||| |||||||||||| |||||||
    Fabric lane-----+ ||||||| |||||||||||| |||||||
    SERDES lane--+  | ||||||| |||||||||||| |||||||                                      Config
    Source  Dev SL FL vvvvvvv vvvvvvvvvvvv vvvvvvv     Rate     Topology CRC Errs  Remote Dev SL FL       Last Change 
    ------- --- -- -- ------- ------------ ------- ------------ -------- -------- ------- --- -- -- ----------------------
     3= 2/1 FAP 47 15       + A  M    L            6250.00 Mbps        -        - 43=14/1  FE 82 82 FAULT_DETECTED         ***

    从插槽14中的FSC卡到插槽2中的DPC卡，在另一个方向的相同链路的输出中报告了相同的错误：

    Command: fe600 system-device-id 43
    Command: show health
    FE600 43=14/1
    Fabric Status:
     Status OK(+)------------------------+
     Topology fault(T)------------------+|
     Far side not expected(*)----------+||
     Logically not connected(L)-------+|||
     Physically not connected(P)-----+||||           NIF Status:
     Rx Down(*)---------------------+||||| +----------NIF powered off(*)
     Tx Down(*)--------------------+|||||| |+---------SERDES powered off(*)
     Code Group(G)----------------+||||||| ||+--------Local side down(l)
     Misalignment(M)-------------+|||||||| |||+-------Remote side down(r)
     Cell Size(C)---------------+||||||||| ||||+------Rx activity(r)
     Internally fixed(I)-------+|||||||||| |||||+-----Tx activity(t)
     Not Accept Cells(A)------+||||||||||| ||||||+----Status OK(+)
                              |||||||||||| |||||||
    SERDES Status:            |||||||||||| |||||||
     Status OK(+)-----------+ |||||||||||| |||||||
     Rx power off(*)-------+| |||||||||||| |||||||
     Tx power off(*)------+|| |||||||||||| |||||||
     Sig not locked(S)---+||| |||||||||||| |||||||
     Rx signal loss(*)--+|||| |||||||||||| |||||||
     Modified Parms(m)-+||||| |||||||||||| |||||||
     Admin down(D)----+|||||| |||||||||||| |||||||
                      ||||||| |||||||||||| |||||||
    Fabric lane-----+ ||||||| |||||||||||| |||||||
    SERDES lane--+  | ||||||| |||||||||||| |||||||                                      Config
    Source  Dev SL FL vvvvvvv vvvvvvvvvvvv vvvvvvv     Rate     Topology CRC Errs  Remote Dev SL FL       Last Change 
    ------- --- -- -- ------- ------------ ------- ------------ -------- -------- ------- --- -- -- ----------------------
    43=14/1  FE 82 82       +         L T          6250.00 Mbps   3= 2/1        -  3= 2/1 FAP 47 15 FAULT_DETECTED         ***

    SERDES链路的另一类问题是链路的脱机状态。在本示例中，插槽6中的DPC卡和17中的FSC卡之间的链路处于脱机状态：

    23= 6/3 FAP 38  6 D                            6250.00 Mbps  50=17/2  1557643 50=17/2  FE 65 65 OFFLINE                ***

    活动SERDES链路的总数和活动链路数显示在 show fabric status 命令。在图中所示的示例中，对两条链路进行了计数，每条链路一端对应一条链路。一条车道倒闭不是问题。交换矩阵容量过大，单个通道不会影响吞吐量。唯一的问题是，如果链路由于错误而不断上下，那么用户和控制流量有可能被丢弃，因此如果链路断开，情况会更好。

    [local]ASR5500> show fabric status

    Total number of FAPs: 24
    Total number of FEs : 8
    Total number of SERDES links:        1600
    Total number of active SERDES links: 1598

    注意：交换矩阵容量过大，单个通道不会影响机箱的吞吐量。

    • 通常，链路问题会自行清除。系统通过称为Eyescan的自动步骤来解决问题。自动恢复的结果将在 show serdes all-serdes history 部分 show fabric support details

    注意：FE（交换矩阵元素）是FSC卡侧。FAP（交换矩阵阵列处理器）是DPC和/或MIO卡端。
    DPC卡有2个FAP，DPC2卡只有1个FAP;mio卡有4个FAP，FSC有2个FE。
    命令输出的格式为<card #>/<FAP/FE #>，例如，MIO 5将有5/1、5/2、5/3、5/4。
    满载DPC2机箱将有28个终端：8(8 DPC)+ 8(2 MIO * 4)+ 12(6 FCS * 2)


    显示了自动恢复后恢复的FE端的示例：

    card=5, cpu=0, pid=7808, peer_mode=AFIO_IPC_PEER_MODE_DAEMON, sys_dev_id=47=16/1
                      Fabric Status:
                         Topology fault(T)----------------+
                         Far side not expected(*)--------+|
                         Logically not connected(L)-----+||
                         Physically not connected(P)---+|||
                         Rx Down(*)-------------------+||||
                         Tx Down(*)------------------+|||||        NIF Status:
                         Code Group(G)--------------+|||||| +--------NIF powered off(*)
                         Misalignment(M)-----------+||||||| |+-------SERDES powered off(*)
                         Cell Size(C)-------------+|||||||| ||+------Local side down(l)
                         Internally fixed(I)-----+||||||||| |||+-----Remote side down(r)
                         Not Accept Cells(A)----+|||||||||| ||||
                                                ||||||||||| ||||
                      SERDES Status:            ||||||||||| ||||
                         Rx power off(*)------+ ||||||||||| ||||
                         Tx power off(*)-----+| ||||||||||| ||||
                         Sig not locked(S)--+|| ||||||||||| ||||
                         Rx signal loss(*)-+||| ||||||||||| ||||
                         Admin Down(D)----+|||| ||||||||||| ||||
                                          ||||| ||||||||||| ||||
                        Fabric lane-----+ ||||| ||||||||||| ||||
                        SERDES lane--+  | ||||| ||||||||||| ||||
        Record time     Source  Dev SL FL vvvvv vvvvvvvvvvv vvvv Remote  Dev SL FL CRC Errs        Last Change
    ------------------- ------- --- -- -- ----- ----------- ---- ------- --- -- -- -------- ----------------------
    2014-05-18+12:38:17 47=16/1  FE 40 40        I               31= 8/1 FAP 43 11        1 CRC_ERROR
    2014-05-18+12:39:27 47=16/1  FE 40 40                        31= 8/1 FAP 43 11        1 ADMIN_DOWN
    2014-05-18+12:39:28 47=16/1  FE 40 40                        31= 8/1 FAP 43 11        1 EYESCAN_START
    2014-05-18+13:14:41 47=16/1  FE 40 40                        31= 8/1 FAP 43 11        1 EYESCAN_COMPLETE
    2014-05-18+13:14:50 47=16/1  FE 40 40                        31= 8/1 FAP 43 11        1 ADMIN_UP


    恢复线路的另一端如示例所示：

    card=5, cpu=0, pid=7808, peer_mode=AFIO_IPC_PEER_MODE_DAEMON, sys_dev_id=47=16/1
                      Fabric Status:
                         Topology fault(T)----------------+
                         Far side not expected(*)--------+|
                         Logically not connected(L)-----+||
                         Physically not connected(P)---+|||
                         Rx Down(*)-------------------+||||
                         Tx Down(*)------------------+|||||        NIF Status:
                         Code Group(G)--------------+|||||| +--------NIF powered off(*)
                         Misalignment(M)-----------+||||||| |+-------SERDES powered off(*)
                         Cell Size(C)-------------+|||||||| ||+------Local side down(l)
                         Internally fixed(I)-----+||||||||| |||+-----Remote side down(r)
                         Not Accept Cells(A)----+|||||||||| ||||
                                                ||||||||||| ||||
                      SERDES Status:            ||||||||||| ||||
                         Rx power off(*)------+ ||||||||||| ||||
                         Tx power off(*)-----+| ||||||||||| ||||
                         Sig not locked(S)--+|| ||||||||||| ||||
                         Rx signal loss(*)-+||| ||||||||||| ||||
                         Admin Down(D)----+|||| ||||||||||| ||||
                                          ||||| ||||||||||| ||||
                        Fabric lane-----+ ||||| ||||||||||| ||||
                        SERDES lane--+  | ||||| ||||||||||| ||||
        Record time     Source  Dev SL FL vvvvv vvvvvvvvvvv vvvv Remote  Dev SL FL CRC Errs        Last Change
    ------------------- ------- --- -- -- ----- ----------- ---- ------- --- -- -- -------- ----------------------
    2014-05-18+12:38:17 47=16/1  FE 40 40        I               31= 8/1 FAP 43 11        1 CRC_ERROR
    2014-05-18+12:39:27 47=16/1  FE 40 40                        31= 8/1 FAP 43 11        1 ADMIN_DOWN
    2014-05-18+12:39:28 47=16/1  FE 40 40                        31= 8/1 FAP 43 11        1 EYESCAN_START
    2014-05-18+13:14:41 47=16/1  FE 40 40                        31= 8/1 FAP 43 11        1 EYESCAN_COMPLETE
    2014-05-18+13:14:50 47=16/1  FE 40 40                        31= 8/1 FAP 43 11        1 ADMIN_UP
    • 在StarOS版本16.1及更高版本中，系统能够在机箱观察到配置的出口队列丢弃(EGQ)阈值时生成SNMP陷阱。此处显示了用于将阈值设置为每30秒丢弃50个EGQ的命令示例。
    [local]asr5500# config 
    [local]asr5500(config)# fabric egress drop-threshold enable count 50 interval-secs 30

    手动恢复

    当Eyescan测试并重新编程后尚未恢复SERDES链路时，则需要手动恢复。遗憾的是，在软件方面，我们无法确定SERDES链路的哪一端存在故障。我们必须采取有条不紊的方式来解决这个问题。

    警告：第1步和第2步在RMA之前是强制性的

    1. 首先重新拔插一个卡。从卡中滑出并检查卡背板上是否有损坏和弯曲的针脚以及机箱背板。
      • 如果观察到针脚损坏和弯曲，则拍照并向Cisco TAC提出服务请求(SR)。
      • 监控72小时。
      • 如果问题仍然存在，请转至步骤2。
      • 如果清除，问题会得到解决。
    2. 重新拔插其它卡。从卡中滑出并检查卡背板上是否有损坏和弯曲的针脚以及机箱背板。
      • 如果观察到针脚损坏和弯曲，则拍照并向Cisco TAC提出服务请求(SR)。
      • 监控72小时。
      • 如果问题仍然存在，请转至步骤3。
      • 如果清除，问题会得到解决。
    3. 使用Cisco TAC打开SR，并连接重新插卡之前和之后收集的show support details以及损坏或弯曲的针脚图片。

    问题解决后， show fabric status 如下所示：

    [local]ASR5500> show fabric status
    Total number of FAPs: 24
    Total number of FEs : 8
    Total number of SERDES links:        1600
    Total number of active SERDES links: 1600

    SNMP陷阱 SERDESLanePermenentlyDown 现在已实施以指示何时由于Eyescan故障而永久关闭SERDES通道：

    Sun Apr 17 00:05:00 2016 Internal trap notification 1303 (SERDESLanePermanentlyDown) SERDES lane is Down on local: slot 17 device 2 serdes lane index 14, Remote: slot 1 device 1 serdes lane index 40

[local]ASR5500> show fabric status
Total number of FAPs: 16
Total number of FEs : 12
Total number of SERDES links:        1456
Total number of active SERDES links: 1454
Total number of Fabric SERDES with errors: 0
Total number of NIF SERDES with errors   : 0 

[local]ASR5500> show fabric history
Command: arad system-device-id 1
Command: show serdes all-serdes history
                                                    Fabric Status:
                                                +------Not Accept Cells(A)
                    SERDES Status:              |+-----Cell Size(C)
                     Power off(*)-------------+ ||+----Misalignment(M)
                     Sig not locked(S)-------+| |||+---Code Group(G)
                     Admin down(D)----------+|| ||||+--Topology fault(T)
                                            ||| |||||
                    Logical Port---------+  ||| |||||
                    Fabric lane-----+    |  ||| |||||
                    SERDES lane--+  |    |  ||| |||||
    Record time     Source  Dev SL  FL   |  vvv vvvvv Remote  Dev SL  FL  CRC Errs      Last Change
------------------- ------- --- --- --- --- --- ----- ------- --- --- --- -------- ----------------------
2016-04-16+23:53:05  1= 1/1 FAP  40   8 264         T 42=17/2  FE  14  14        - FAULT_DETECTED        
2016-04-16+23:53:14  1= 1/1 FAP  40   8 264         T 42=17/2  FE  14  14        - ADMIN_DOWN            
2016-04-16+23:57:02  1= 1/1 FAP  40   8 264         T 42=17/2  FE  14  14        - ADMIN_UP              
2016-04-16+23:57:02  1= 1/1 FAP  40   8 264         T 42=17/2  FE  14  14        - FAULT_DETECTED        
2016-04-16+23:57:11  1= 1/1 FAP  40   8 264         T 42=17/2  FE  14  14        - ADMIN_DOWN            
2016-04-17+00:00:59  1= 1/1 FAP  40   8 264         T 42=17/2  FE  14  14        - ADMIN_UP              
2016-04-17+00:00:59  1= 1/1 FAP  40   8 264         T 42=17/2  FE  14  14        - FAULT_DETECTED        
2016-04-17+00:01:08  1= 1/1 FAP  40   8 264         T 42=17/2  FE  14  14        - ADMIN_DOWN            
2016-04-17+00:05:00  1= 1/1 FAP  40   8 264         T 42=17/2  FE  14  14        - ADMIN_UP              
2016-04-17+00:05:00  1= 1/1 FAP  40   8 264         T 42=17/2  FE  14  14        - FAULT_DETECTED        
...
Command: fe600 system-device-id 42
Command: show serdes all-serdes history
                    NIF Status:                               Fabric Status:
                     Remote side down(r)-------+ +------------Not Accept Cells(A)
                     Local side down(l)-------+| |+-----------Internally fixed(*)
                     SERDES powered off(*)---+|| ||+----------Cell Size(C)
                     NIF powered off(*)-----+||| |||+---------Misalignment(M)
                                            |||| ||||+--------Code Group(G)
                    SERDES Status:          |||| |||||+-------Tx Down(*)
                     Rx power off(*)------+ |||| ||||||+------Rx Down(*)
                     Tx power off(*)-----+| |||| |||||||+-----Physically not connected(P)
                     Sig not locked(S)--+|| |||| ||||||||+----Logically not connected(L)
                     Rx signal loss(*)-+||| |||| |||||||||+---Far side not expected(*)
                     Admin down(D)----+|||| |||| ||||||||||+--Topology fault(T)
                                      ||||| |||| |||||||||||
                    Fabric lane-----+ ||||| |||| |||||||||||
                    SERDES lane--+  | ||||| |||| |||||||||||
    Record time     Source  Dev SL FL vvvvv vvvv vvvvvvvvvvv Remote  Dev SL  FL  CRC Errs      Last Change
------------------- ------- --- -- -- ----- ---- ----------- ------- --- --- --- -------- ----------------------
2016-04-16+23:57:01 42=17/2  FE 14 14  *S        A  M   PL T  1= 1/1 FAP  40   8        - FAULT_DETECTED        
2016-04-16+23:57:11 42=17/2  FE 14 14  *S        A  M   PL T  1= 1/1 FAP  40   8        - ADMIN_DOWN            
2016-04-16+23:57:11 42=17/2  FE 14 14  *S        A  M   PL T  1= 1/1 FAP  40   8        - EYESCAN_START         
2016-04-17+00:00:52 42=17/2  FE 14 14  *S        A  M   PL T  1= 1/1 FAP  40   8        - EYESCAN_FAILURE       
2016-04-17+00:00:55 42=17/2  FE 14 14  *S        A  M   PL T  1= 1/1 FAP  40   8        - ADMIN_UP              
2016-04-17+00:00:58 42=17/2  FE 14 14  *S        A  M   PL T  1= 1/1 FAP  40   8        - FAULT_DETECTED        
2016-04-17+00:01:08 42=17/2  FE 14 14  *S        A  M   PL T  1= 1/1 FAP  40   8        - ADMIN_DOWN            
2016-04-17+00:01:08 42=17/2  FE 14 14  *S        A  M   PL T  1= 1/1 FAP  40   8        - EYESCAN_START         
2016-04-17+00:04:56 42=17/2  FE 14 14  *S        A  M   PL T  1= 1/1 FAP  40   8        - EYESCAN_FAILURE      

2016-Apr-17+00:05:00.023 [snmp 22002 info] [5/0/7150 <afctrl:0> trap_api.c:17297] [software internal system syslog] Internal trap notification 1303 (SERDESLanePermanentlyDown) SERDES lane is Down on local: slot 17 device 2 serdes lane index 14, Remote: slot 1 device 1 serdes lane index 40
2016-Apr-17+00:05:00.023 [afctrl 186019 critical] [5/0/7150 <afctrl:0> l_msg_handler.c:1541] [hardware internal system syslog] Fabric device 17/2, serdes lane index 14, (remote fabric device 1/1, serdes lane index 40) is Administratively offline due to excessive calibration failures

2016-Apr-16+23:41:09.247 [system 1009 warning] [6/0/10430 <evlogd:1> evlgd_syslogd.c:162] [software internal system critical-info syslog] CPU[5/0]:  afio: afio [5/0/9285] [ 426721.037] afio/afio_fe600_serdes.c:2827: #1: fe600=42=17/2, Fabric SERDES lane transitioned from up to down, serdes=14, devid=1=1/1, serdes=40
2016-Apr-16+23:41:09.247 [system 1009 warning] [5/0/7073 <evlogd:0> evlgd_syslogd.c:162] [software internal system critical-info syslog] CPU[5/0]:  afio: afio [5/0/9285] [ 426721.037] afio/afio_fe600_serdes.c:2827: #1: fe600=42=17/2, Fabric SERDES lane transitioned from up to down, serdes=14, devid=1=1/1, serdes=40

    相关信息

    修订历史记录

    版本 发布日期 备注
    1.0
    19-Aug-2022
    初始版本
    TAC Authored

    由思科工程师提供

    • Mike Lugo
      Cisco TAC技术主管
    • Dave Damerjian
      Cisco TAC技术主管
    • Dennis Lanov
      Cisco TAC技术主管

    此文档是否有帮助?

    Feedback反馈

    联系我们

    本文档适用于以下产品