NCS6K カードのブート障害のトラブルシューティング

概要

このドキュメントでは、Network Convergence System 6000（NCS6K）ラインカードの起動の障害をトラブルシューティングする方法について説明します。また、TACが詳細な調査を行う際に役立つ、収集できるデータの概要についても説明します。

前提条件

要件

XR コマンド ライン インターフェイス（CLI）の基本的な知識があることが推奨されます。

使用するコンポーネント

このドキュメントは、XR リリース バージョン 5.0.1、5.2.1、5.2.3、および 5.2.4 を使用して作成されました。

このドキュメントの情報は、特定のラボ環境にあるデバイスに基づいて作成されました。このドキュメントで使用するすべてのデバイスは、初期（デフォルト）設定の状態から起動しています。対象のネットワークが実稼働中である場合には、どのようなコマンドについても、その潜在的な影響について確実に理解しておく必要があります。

背景説明

ルートプロセッサ(RP)、ファブリックカード(FC)、またはラインカード(LC)が起動せず、ブートステージでスタックしている場合は、最初にshow tech ctraceをSyadmin Virtual Machine(VM)から収集します。 この show tech は、現在のシステム状態とさまざまなコンポーネント間のインタラクションに関する情報を提供します。ただし、SysadminはCalvadosとも呼ばれ、カード上で起動していない可能性があり、show tech ctraceは該当カードの情報を収集できません。これは、カードがセキュアシェル(SSH)経由で到達不能であるために発生します。 このような場合、ブートプロセス時にカードがスタックする理由を知るには、rconsoleの手順が必要です。

トラブルシュート

Sysadmin VMの各カードのステータスを確認し、現在の状態を確認します。ハードウェアとソフトウェアの状態に特に注意してください。S/w状態がN/Aと表示されるカードは、RP CPUによって基本的に制御されるCPUレスカード（FCカード、ファントレイなど）であることに注意してください。動作状態のカードはCPUベースのカードであるため、ソフトウェアがロードされています。

 sysadmin-vm:0_RP0# show platform

 Location  Card Type               HW State      SW State      Config State
 ----------------------------------------------------------------------------
 0/0       PROTO-CXP-1XPITA        OPERATIONAL   OPERATIONAL   NSHUT
 0/2       PROTO-CXP-2XPITA        POWERED_OFF   SW_INACTIVE   NSHUT 
 0/3       NC6-10X100G-M-K         OPERATIONAL   OPERATIONAL   NSHUT
 0/RP0     NC6-RP                  OPERATIONAL   OPERATIONAL   NSHUT
 0/RP1     NC6-RP                  POWERED_ON    SW_INACTIVE   NSHUT 
 0/FC0     NC6-FC                  POWERED_ON    N/A           NSHUT
 0/FC1     NC6-FC-MC               POWERED_ON    N/A           NSHUT
 0/FC2     UNKNOWN                 FAILED        N/A           NSHUT 
 0/FC3     NC6-FC                  POWERED_ON    N/A           NSHUT
 0/FC4     NC6-FC-B2B              POWERED_ON    N/A           NSHUT
 0/FC5     NC6-FC                  OPERATIONAL   N/A           NSHUT
 0/FT0     NC6-FANTRAY             OPERATIONAL   N/A           NSHUT
 0/FT1     NC6-FANTRAY             OPERATIONAL   N/A           NSHUT
 0/PT0     NCS-AC-PWRTRAY          OPERATIONAL   N/A           NSHUT
 0/PT1     NCS-AC-PWRTRAY          OPERATIONAL   N/A           NSHUT
 0/PT2     NCS-AC-PWRTRAY          OPERATIONAL   N/A           NSHUT
 

次に、カード チップ コントローラ（CCC）インベントリ コマンドを調べて、カードの状態を確認します。

 sysadmin-vm:0_RP0# show controller ccc inventory summary

 CCC Inventory Summary :
                                  BP                   HW
 Location Card Type               ID    Serial Number  Ver   Card State
 --------------------------------------------------------------------------------
 0/RP0    NC6-RP (master)         0     SAD15270129    0.1   CARD_READY
 0/RP1    NC6-RP (slave)          1     SAD1527012P    0.1   CARD_READY
 0/FC0    NC6-FC                  8     SAD1618002F    0.2   WAIT_DEV_INIT
 0/FC1    NC6-FC                  9     SAD153901ZT    0.2   WAIT_DEV_INIT
 0/FC4    NC6-FC                  12    SAL1803KQEY    1.0   PON_POWERING_UP
 0/FC5    NC6-FC                  13    SAD16180043    0.2   WAIT_DEV_INIT
 0/0      NC6-10X100G-M-K         16    SAL1650UCN9    0.4   PXE_BOOTING
 0/4      NC6-10X100G-M-K         20    SAD154502XU    0.1   CARD_READY        

次に、さまざまなシナリオを示します。  また、次に示す予想される出力とトラブルシューティング手順も示します。

ラインカードが正常に起動した

sysadmin-vm:F0_SC0# show platform detail location 0/0
 
 Platform Information for 0/0
  PID :               NC6-10X100G-M-P
  Description :       "NCS 6000 10x100G Multi-Service CXP"
  VID/SN :            V01
  HW Oper State :     OPERATIONAL
  SW Oper State :     OPERATIONAL
  Configuration :     "NSHUT RST"
  HW Version :        1.0
  Last Event :        HW_EVENT_OK
  Last Event Reason : "Initial discovered state:BOOTED (card ok)"

Last EventとLast Event Reasonの出力は、カードが正常であることを示しています。show reboot historyコマンドを実行して、この特定のカードに過去に問題が発生したかどうかを確認します。問題が発生している場合は、何が問題だったかを確認します。

 sysadmin-vm:F0_SC0# show reboot-history card location 0/0
 
 Card Reboot History for 0/0
  0
   Timestamp    "Fri Oct  2 15:15:26 2015"
   Reason Code  7
   Reason       "Install Activate System Reload"
   Src Location ""
   Src Name     INSTALL
   Timestamp    "Tue Sep  8 18:56:29 2015"
   Reason Code  7
   Reason       "ADMIN CLI RELOAD ROUTER GRACEFUL"
   Src Location ""
   Src Name     "CONFD USER"
 Aborted: by user

ラインカード0/0が動作可能で、最後のリロードの理由はインストール済みです。これは、基本的にSoftware Maintenance Update(SMU)のインストールまたはソフトウェアアップグレードが実行されたことを意味します。これは想定どおりであるため、このカードに問題は発生していません。

ドライバエラーによりファブリックカードが起動できない

sysadmin-vm:0_RP0# show platform

 Location  Card Type               HW State      SW State      Config State
 ----------------------------------------------------------------------------
 0/FC2     UNKNOWN                 FAILED        N/A           NSHUT <-

sysadmin-vm:F0_SC0# show reboot-history card location 0/FC2

  Card Reboot History for 0/FC2 
  Timestamp    "Thu Oct  9 12:10:22 2014" 
  Reason Code  15  <--
 "Board reload as devices not up on Fabric Card"
  Src Location 0/FC0 
  Src Name     FAM_AGENT_CALV_DRIVER_SFE ß

この例では、sfe_driverが正しく初期化されていないため、FCカードが起動しませんでした。

CCCの観点からリセット履歴を表示するには、さらにコマンドをいくつか実行します。再起動履歴 CLI を CCC ドライバのリセット履歴 CLI とともに使用すると、カードのリロードの発生源と原因を特定できます。

次の 2 つのオプションがあります。

Onboard：このオプションを使用すると、カードがウォームリセット（CPUがリロードされただけ）された場合に情報を検索できます。

Onchip：カードがコールドリセット（カードが完全にリロードされた – ハードリセット）された場合に、このオプションを使用して情報を検索します。


以下に、いくつかの例を示します。

 sysadmin-vm:F0_SC0# show controller ccc reset-history on
 Possible completions:
   onboard   CCC Reset history in onboard EEPROM detail information
   onchip    On-chip reset history entries since last CCC Cold Reset

 

sysadmin-vm:F0_SC0# show controller ccc reset-history onchip location 0/0

 
 ****************************************************
 ***   On Chip Reset History for location 0/0   ***
 ****************************************************
 TimeofDay    : Tue Oct 20 17:17:40 2015
 Uptime       : 18 days 02:01:59 <--
 Resets       : 2         
 
     Reset           Reset        Reset
 idx Source          Command      Time
 --- --------------- ------------ -------------------
 0   ColdRst         AssrtHR      2015/10/02 15:15:43 
 1   ColdRst         DeAssrtHR    2015/10/02 15:15:50 --> List reset source as "ColdRst" 

 sysadmin-vm:F0_SC0# show controller ccc reset-history onboard  location 0/0
 
 *****************************************************
 ***   On Board Reset History for location 0/0   ***
 *****************************************************
 Scratch EEPROM Magic   : PON 
 Scratch EEPROM Version : 0x00014000
 Reset History Magic    : HIST
 Number of Resets       : 102    <--- 
 
     Reset           Reset        Reset
 idx Source          Command      Time
 --- --------------- ------------ -------------------
 0   ColdRst         AssrtHR      1970/01/01  0:00:00 <-- ColdRst
 1   ColdRst         DeAssrtHR    1970/01/01  0:00:06
 2   ColdRst         AssrtHR      1970/01/01  0:00:00
 3   ColdRst         DeAssrtHR    1970/01/01  0:00:06
 4   WarmRst         AssrtHR      1970/05/03  7:21:55 <-- WarmRst
 <output omitted> 
 
ColdRst can either be initiated by Software or Hardware. WarmRst, is only initiated through Software. Other reset sources can be HRESET_L, SRESET_L, Wtchdog, SW_assgn or plain Rsrvd.

さらに、実行されたリセット操作ごとに 2 つの固有のエントリがあります。つまり AssrtHR 操作と DeAssrtHR 操作です。これは、リセット信号がアサートされ、その後デアサートされたことを意味します。したがって、チップはリセットを完了します。

これらの各操作のタイムスタンプをメモします。この CLI を CCC インベントリ ステータス CLI と組み合わせると、リセットが発生した日時、およびカードが稼働状態または停止状態だった時間の長さを判別できます。

次に、カードがリロードプロセス時に通過したCCCステージを確認します。次に、さまざまな状態の例を示します。

CCC の観点から正常に起動したカード：

sysadmin-vm:F0_SC0# show controller ccc event-history brief location 0/0

 CCC Card Event History for: 0/0
   
 Card Event History as seen by Master (0/RP1)
   Current State: CARD_READY 
 
   DATE   TIME (UTC)    STATE                   EVENT                           
   -----  ------------  ----------------------  ------------------------------
   10/02  15:16:55.234  WAIT_BOOT_IMAGE         ev_boot_ssd_image               
   10/02  15:16:54.233  BIOS_STARTED            if_wait_ssd_image_booting       
   10/02  15:16:54.233  CPU_READY               if_bios_started                 
   10/02  15:16:54.231  OIR_INSERT_NOTIF        if_cpu_is_ready                 
   10/02  15:16:54.217  CCC_DRIVER_INIT         if_oir_insert_notif_not_done    
   10/02  15:16:54.195  PON_POWERED_ON          to_ccc_driver_init              
   10/02  15:16:54.195  CHECK_CCC_STATUS        if_pon_powered_on               
   10/02  15:16:54.194  READ_IDPROM             ev_idprom_available             
   10/02  15:16:53.942  GET_CCC_INFO            ev_get_ccc_info_done            
   10/02  15:16:53.723  WAIT_ETH_READY          ev_eth_available                
   10/02  15:16:52.560  CHECK_UBLAZE_BOOT       ev_ublaze_boot_ok               
   10/02  15:16:52.539  WAIT_CCC_READY          ev_ccc_ready                    
   10/02  15:16:52.537  IDLE                    ev_presence_scan                

現在 PXE_BOOTING 段階にあるカード：

sysadmin-vm:0_RP0# show controller ccc event-history brief location 0/3
 
 CCC Card Event History for: 0/3
 
 Current State: PXE_BOOTING
 
   DATE   TIME (UTC)    STATE                   EVENT
   -----  ------------  ----------------------  ------------------------------
   08/07  19:50:40.607  BIOS_STARTED            if_internal_pxe_booting
   08/07  19:50:40.607  WAIT_BIOS_START         ev_bios_started
   08/07  19:50:18.605  CPU_READY               if_bios_not_started
   08/07  19:50:18.595  CCC_DRIVER_INIT         if_cpu_is_ready
   08/07  19:50:18.568  PON_POWERED_ON          to_ccc_driver_init
   08/07  19:50:18.568  CHECK_CCC_STATUS        if_pon_powered_on
   08/07  19:50:18.567  GET_CCC_INFO            ev_get_ccc_info_done
   08/07  19:50:18.550  WAIT_ETH_READY          ev_eth_ready
   08/07  19:50:18.550  CHECK_UBLAZE_BOOT       ev_ublaze_boot_ok
   08/07  19:50:18.517  PON_UP_WARM             ev_ccc_reset_done
   08/07  19:50:12.627  PON_DOWN_WARM           ev_pon_up_warm
   08/07  19:50:08.239  PON_DOWN_WARM           ev_warm_reset_req_ignored
   08/07  19:50:07.239  PON_DOWN_WARM           ev_warm_reset_req_ignored
   08/07  19:50:06.239  PON_DOWN_WARM           ev_warm_reset_req_ignored
   08/07  19:50:05.239  PON_DOWN_WARM           ev_warm_reset_req_ignored
   08/07  19:50:04.238  PON_DOWN_WARM           ev_warm_reset_req_ignored

GET_CCC_INFO でスタックしているチップが原因で起動できないカード：

sysadmin-vm:0_RP0# show controller ccc event-history brief location 3/6 
 
 CCC Card Event History for: 3/6
   
 Card Event History as seen by Master (3/RP0)
   Current State: GET_CCC_INFO
 
   DATE   TIME (UTC)    STATE                   EVENT                           
   -----  ------------  ----------------------  ------------------------------
   10/26  23:43:04.559  UBLAZE_NOT_READY        ev_timer_expired          
   10/26  23:42:34.559  CHECK_UBLAZE_BOOT       ev_timer_expired               
   10/26  23:42:24.528  WAIT_CCC_READY          ev_ccc_ready                    
   10/26  23:42:21.516  RECOVERY_RESET          ev_timer_expired                
   10/26  23:42:03.516  CHECK_UBLAZE_BOOT       ev_ublaze_pre_boot_failed       
   10/26  23:41:52.480  WAIT_CCC_READY          ev_ccc_ready                    
   10/26  23:41:49.468  RECOVERY_RESET          ev_timer_expired                
   10/26  23:41:32.467  WAIT_CCC_READY          ev_no_fpga_ok_signal            
   10/26  23:41:29.456  RECOVERY_RESET          ev_timer_expired                
   10/26  23:41:13.455  WAIT_CCC_READY          ev_no_fpga_ok_signal            
   10/26  23:41:10.444  RECOVERY_RESET          ev_timer_expired                
   10/26  23:40:55.444  CHECK_UBLAZE_BOOT       ev_ublaze_pre_boot_failed       
   10/26  23:40:55.439  WAIT_CCC_READY          ev_ccc_ready                    
   10/26  23:40:52.320  IDLE                    ev_presence_scan   

POWER_UP_FAILED 状態が原因で起動できないカード：

sysadmin-vm:0_RP0# show controller ccc event-history brief location 0/2

 CCC Card Event History for: 0/2
 
 Current State: POWER_UP_FAILED
 
   DATE   TIME (UTC)    STATE                   EVENT
   -----  ------------  ----------------------  ------------------------------
   08/05  14:55:17.449  POWER_UP_FAILED         ev_wdog_timeout
   08/05  14:45:31.265  CCC_DRIVER_INIT         if_pwr_up_failed
   08/05  14:45:31.260  CHECK_CCC_STATUS        if_pwr_up_failed_again
   08/05  14:45:31.258  GET_CCC_INFO            ev_get_ccc_info_done
   08/05  14:45:31.223  WAIT_ETH_READY          ev_eth_ready
   08/05  14:45:31.157  CHECK_UBLAZE_BOOT       ev_ublaze_boot_ok
   08/05  14:45:31.124  PON_UP_WARM             ev_ccc_reset_done
   08/05  14:45:17.489  CCC_IN_RESET            ev_pon_up_warm
   08/05  14:45:08.921  POWER_UP_FAILED         ev_pon_down_warm
   08/05  14:35:07.152  POWER_UP_FAILED         ev_wdog_timeout
   08/05  14:25:20.946  CCC_DRIVER_INIT         if_pwr_up_failed
   08/05  14:25:20.941  CHECK_CCC_STATUS        if_pwr_up_failed_again
   08/05  14:25:20.939  GET_CCC_INFO            ev_get_ccc_info_done
   08/05  14:25:20.923  WAIT_ETH_READY          ev_eth_ready
   08/05  14:25:20.887  CHECK_UBLAZE_BOOT       ev_ublaze_boot_ok
   08/05  14:25:20.830  PON_UP_WARM             ev_ccc_reset_done
 Aborted: by user

        

このコマンドをbriefオプションとともに使用する場合、問題の根本原因に関連する完全なデータは提供されません。そのような情報を入手するには、brief キーワードを detail に置き換えます。

障害の詳細な説明を得るには、[Event Desc]と[Reason of the failure]に注目してください。

sysadmin-vm:F0_SC0# show controller ccc event-history detail location 0/0
 
 CCC Card Event History for: 0/0
   
 Card Event History as seen by Master (0/RP1)
   Event buffer info:
         Total number of events recorded: 13
         Number of events available for display: 13
 
   Current State: CARD_READY
 
      EVENT #: 12 (record index = 12)
    TIMESTAMP: 2015/10/02 15:16:55.234814 UTC
        STATE: WAIT_BOOT_IMAGE
        EVENT: ev_boot_ssd_image
   EVENT DESC: SSD image is booting
    
      EVENT #: 11 (record index = 11)
    TIMESTAMP: 2015/10/02 15:16:54.233898 UTC
        STATE: BIOS_STARTED
        EVENT: if_wait_ssd_image_booting
    
      EVENT #: 10 (record index = 10)
    TIMESTAMP: 2015/10/02 15:16:54.233855 UTC
        STATE: CPU_READY
        EVENT: if_bios_started
    
      EVENT #: 9 (record index = 9)
    TIMESTAMP: 2015/10/02 15:16:54.231426 UTC
        STATE: OIR_INSERT_NOTIF
        EVENT: if_cpu_is_ready
         
      EVENT #: 8 (record index = 8)
    TIMESTAMP: 2015/10/02 15:16:54.217351 UTC
        STATE: CCC_DRIVER_INIT
        EVENT: if_oir_insert_notif_not_done
         
      EVENT #: 7 (record index = 7)
    TIMESTAMP: 2015/10/02 15:16:54.195808 UTC
        STATE: PON_POWERED_ON
        EVENT: to_ccc_driver_init
         
      EVENT #: 6 (record index = 6)
    TIMESTAMP: 2015/10/02 15:16:54.195786 UTC
        STATE: CHECK_CCC_STATUS

さまざまなシナリオの出力例を次に示します。

電源の問題が原因で起動せず、POWER_UP_FAILED でスタックしているカード：

障害の詳細情報を得るには ERROR_INFO に注目してください。

 sysadmin-vm:0_RP0# show controller ccc event-history detail location 0/2 
 
 CCC Card Event History for: 0/2
   Event buffer info:
         Total number of events recorded: 692
         Number of events available for display: 255
 
   Current State: POWER_UP_FAILED 
 
      EVENT #: 691 (record index = 179)
    TIMESTAMP: 2014/08/05 14:55:17.449979 UTC
        STATE: POWER_UP_FAILED
        EVENT: ev_wdog_timeout 
   EVENT DESC: CCC watchdog timeout event
   ERROR INFO: wdog__0 SysAdmin VM Watchdog stage1:0 
 
 <output omitted>

起動せず、CCC_NOT_READY（チップの問題）でスタックしているカード：

 sysadmin-vm:0_RP0# show controller ccc event-history detail location 0/FC2
 
 CCC Card Event History for: 0/FC2
   Event buffer info:
         Total number of events recorded: 2
         Number of events available for display: 2
 
   Current State: CCC_NOT_READY
 
      EVENT #: 1 (record index = 1)
    TIMESTAMP: 2014/08/04 14:10:49.891845 UTC
        STATE: WAIT_CCC_READY
        EVENT: ev_ccc_ready_timeout
   EVENT DESC: Timeout waiting for CCC to be ready
   ERROR INFO: CCC READY Timeout - CLOCK_OK signal not being asserted (I/O Expander port0=0xf0, port1=0xff) ß
 
 <output omitted>

カードを取り外して挿入し直す必要が生じることがあります。これに関して、CCC コンポーネントは、特定のラック トラッキング カード挿入/削除の OIR 履歴を提供します。キーワードslaveが使用されていることに注意してください。これにより、スタンバイ RP での情報が得られます。

 sysadmin-vm:0_RP0# show controller ccc oir-history rack 0
 
 Cards OIR History of rack: 0
   
 OIR Events as seen by Master (0/RP0)-  View from the Active RP 
   DATE   TIME (UTC)     EVENT        LOC     CARD TYPE            SERIAL NO  
   -----  ------------   ----------   -----   ------------------   -----------
   10/09  16:59:14.280   INSERTED     0/0     NC6-10X100G-M-K     SAL1650UCN9
   10/09  16:58:49.064   REMOVED      0/0     NC6-10X100G-M-K     SAL1650UCN9

<output omitted>

 sysadmin-vm:0_RP1# show controller ccc slave oir-history rack 0 
 
 Cards OIR History of rack: 0
   
 OIR Events as seen by Slave (0/RP1)- <-- View from the standby RP 
   DATE   TIME (UTC)     EVENT        LOC     CARD TYPE            SERIAL NO  
   -----  ------------   ----------   -----   ------------------   -----------
   11/06  05:54:31.374   DISCOVERED   0/2     NC6-10X100G-M-K     SAD161300XK
   11/06  05:53:37.442   DISCOVERED   0/6     NC6-10X100G-M-K      SAL1649TN46

<output omitted>

両方の RP で情報が同じである必要があります。

このコマンドの組み合わせを使用すると、ファブリックカードがブートできなかった原因の根本原因を特定できます。

カードが POWEROFF または PRESENT STATE でスタックしている

カードがPOWEROFF/PRESENT STATEでスタックしている場合は、複数のリセットが発生し、shelf_mgrによって電源がオフになった可能性が非常に高いです。

問題の根本原因を特定するには、次のコマンドを発行します。

1. Collect show tech ctrace from Sysadmin VM
2. show platform detail location <>
3. show reboot-history card location <>（RESETプロセスの実行回数を調べます）
4. show controller ccc event-history detail location <>
5. show controller ccc reset-history onboard  location <>

hw-module resetコマンドを使用してカードをリセットでき、このドキュメントで後述するrconsole手順を使用してブートプロセスを確認できます。

sysadmin-vm:F0_SC0# hw-module location 0/0 reload
Reload hardware module ? [no,yes] Yes

カードが POWER_ON STATE でスタックしている

カードが POWERED_ON でスタックしている場合は、他のドライバの動作を開始するのに必要な基本的な電源ゾーンを CCC がオンにしたことを意味します。カードを動作状態に移行するのは、それぞれのドライバの責任です。

SFE ドライバは FC を OPERATIONAL 状態に移行させます。その前に、そのカード上のすべての内部デバイス（ASIC とも呼ばれる）を検出して初期化します。

ESD ドライバは、SC-SW カードと Scapa の LC を OPERATIONAL 状態に移行します（SFE ドライバとは異なり、確認または初期化する項目がないため、ほぼ即時に移行します）。

カードが POWERED_ON 状態でスタックしている場合は、上記のいずれかのドライバがカードを OPERATIONAL 状態に移行できないことを意味します。CPU のないカードで、より頻繁に問題が発生します。例：ファブリック カードまたは SC のスイッチ カード（SC-SW）。

最初のステップは、ccc event-historyコマンドを確認することです。

sysadmin-vm:F0_SC0# show controller ccc event-history detail location 0/0
 
 CCC Card Event History for: 0/0
   
 Card Event History as seen by Master (0/RP1)
   Event buffer info:
         Total number of events recorded: 13
         Number of events available for display: 13
 <output ommited>
         
      EVENT #: 7 (record index = 7)
    TIMESTAMP: 2015/10/02 15:16:54.195808 UTC
        STATE: PON_POWERED_ON
        EVENT: to_ccc_driver_init 

次に、必要な基本的な電源ゾーンを検証します：    

 sysadmin-vm:0_RP0# show controller ccc register location 0/RP0 offset 0x4c

 Register    Register
 Address     Value
 ------------------------
 0x4C        0x3           - zones 0 and 1 OK

 sysadmin-vm:0_RP0# show controller ccc register location 0/RP0 offset 0x50

 Register    Register
 Address     Value
 ------------------------
 0x50        0x3           - zone 0 and 1 Enabled
 
 

 sysadmin-vm:0_RP0# show controller ccc power detail location 0/RP0
 
 Power detail : Zone information for 0/RP0:
 ---------------------------------------------------------
 | Power Zone | Power Status | Power Contrl | Power Fault |
 ---------------------------------------------------------
 |   0        |   OK         |   SET        |   --        |  - Power Status OK
 |   1        |   OK         |   SET        |   --        |  - Power Status OK

 sysadmin-vm:F0_SC0# show controller ccc i2c-dev ioexpander location 0/0
 
   CCC IO Expander information for location: 0/0
   ------------------------------------------------------
   Port 0: 0x3e
    Port Bit I/O Val Bit Name
    -------------------------------------
    P0   0   O   0   Power Cycle 
    P0   1   I   1   FPGA OK
    P0   2   I   1   uBlaze OK 
    P0   3   I   1   Clock OK
    P0   4   I   1   Core Volt OK
    P0   5   I   1   OTH Volt0 OK
    P0   6   I   0   OTH Volt1 NOT OK
    P0   7   I   0   OTH Volt2 NOT OK
    
   Port 1: 0x3
    Port Bit I/O Val Bit Name
    -------------------------------------
    P1   0   I   1   FPGA INIT OK

この検証によって根本原因が判明しない場合は、次のステップとしてTACサービスリクエストをオープンします。

カードが SW_INACTIVE STATE でスタックしている

sysadmin-vm:0_RP0# show platform

 Location  Card Type               HW State      SW State      Config State
 --------------------------------------------------------------------- -------
 0/1       P-L-10X100G-F-P         POWERED_OFF   SW_INACTIVE   SHUT 
 0/RP0     P-L-RP                  OPERATIONAL   OPERATIONAL   NSHUT
 0/RP1     P-L-RP                  OPERATIONAL   OPERATIONAL   NSHUT
 0/FC0     P-L-FC-S                OPERATIONAL   N/A           NSHUT
 0/FC1     P-L-FC-S                OPERATIONAL   N/A           NSHUT
 0/FT0     PANINI-SIM-FT           OPERATIONAL   N/A           NSHUT
 0/FT1     PANINI-SIM-FT           OPERATIONAL   N/A           NSHUT

障害の理由として以下が考えられます。

• SSDアクセスの問題により、ホストOSが起動しない
• ハードウェアの問題により、ホストOSのブートがスタックする
• SysAdmin VMを生成できませんでした
• コントロールイーサネット接続の問題
• ソフトウェア障害が原因でカード MAC/IP がプログラムされない
• CCC Power-On interpreterによってイーサネットスイッチが正しくプログラムされない
• CCC SPIフラッシュでESDカラースイッチイメージのプログラムに失敗しました
  
  

シナリオ1.SW_EVENT_FAILURE:shelf_mgr syslog によって SW_EVENT_ADMIN_VM_FAILURE が報告された

sysadmin-vm:0_RP0# show platform

 Location  Card Type               HW State      SW State      Config State
 ----------------------------------------------------------------------------
 0/1       PROTO-CXP-2XPITA        OPERATIONAL   OPERATIONAL   NSHUT
 0/RP0     NC6-RP                  OPERATIONAL   OPERATIONAL   NSHUT
 0/RP1     NC6-RP                  OPERATIONAL   SW_INACTIVE   NSHUT        
 0/FC0     NC6-FC-MC               OPERATIONAL   N/A           NSHUT
 0/CI0     P-L-CRFT                OPERATIONAL   N/A           NSHUT
 0/FT0     P-L-FANTRAY             OPERATIONAL   N/A           NSHUT
 0/FT1     P-L-FANTRAY             OPERATIONAL   N/A           NSHUT
 

RP1がブートしない理由には、いくつかの理由があります。この問題を見つける最も簡単な方法は、RPでrconsoleを実行してログオンを確認することです（このドキュメントの最後にあるrconsoleの手順を参照してください）。

シナリオ2:LCがFAILED状態のままになる、最後のイベント：HW_EVENT_FAILURE fail_code=LC_POWER_MAIN_FAULT

HW状態がFAILED、SW状態がSW_INACTIVEであることを確認します。

sysadmin-vm:0_RP0# show platform location 0/1

 Location  Card Type               HW State      SW State      Config State
 ----------------------------------------------------------------------------
 0/1       NC6-60X10GE-M-S         FAILED        SW_INACTIVE   NSHUT        

次のコマンドを実行し、[Last Even Reason]をオンにします。

sysadmin-vm:0_RP0# show platform detail location 0/1
 
 Platform Information for 0/1
  PID :               NC6-60X10GE-M-S
  Description :       "NCS 6000 60x10G Multi-Service SFP+"
  VID/SN :            V01
  HW Oper State :     FAILED
  SW Oper State :     SW_INACTIVE
  Configuration :     "NSHUT RST"
  HW Version :        0.6
  Last Event :        HW_EVENT_FAILURE
  Last Event Reason : "pon exit  <-- UP_WARM_RESET cnt=123  fail_code=LC_POWER_MAIN_FAULT"
 sysadmin-vm:0_RP0#

該当するカードのsyslogをフィルタリングして、ログメッセージを確認します。

 0/RP0/ADMIN0:Jun 21 00:33:13.487 : cm[1795]: %ROUTING-TOPO-5-OIR_ACTION : OIR card failed having serial number: SAD173501R7.
 0/RP0/ADMIN0:Jun 21 00:33:13.528 : shelf_mgr[1818]: %INFRA-SHELF_MGR-5-CARD_INSERTION : Location: 0/1, Serial #: SAD173501R7
 0/RP0/ADMIN0:Jun 21 00:33:13.528 : shelf_mgr[1818]: %INFRA-SHELF_MGR-6-HW_EVENT : Rcvd HW event HW_EVENT_FAILURE, event_reason_str 'Initial discovery FAIL: EXIT0, power request on , but not finish ccc-pon startup. power_control 0x00000001' for card 0/1
 0/RP0/ADMIN0:Jun 21 00:33:13.530 : shelf_mgr[1818]: %INFRA-SHELF_MGR-3-CARD_HW_FAILED : Card: 0/1 hardware state going to FAILED
 0/RP0/ADMIN0:Jun 21 00:34:06.734 : shelf_mgr[1818]: %INFRA-SHELF_MGR-6-HW_EVENT : Rcvd HW event HW_EVENT_RESET, event_reason_str 'pon enter --> DOWN_WARM_RESET cnt=3! ' for card 0/1
 0/RP0/ADMIN0:Jun 21 00:34:15.987 : shelf_mgr[1818]: %INFRA-SHELF_MGR-6-HW_EVENT : Rcvd HW event HW_EVENT_POWERED_OFF, event_reason_str 'CCC Warm Reset #8' for card 0/1
 0/RP0/ADMIN0:Jun 21 00:34:21.419 : cm[1795]: %ROUTING-TOPO-5-OIR_ACTION : OIR card failed having serial number: SAD173501R7.
 0/RP0/ADMIN0:Jun 21 00:34:21.459 : shelf_mgr[1818]: %INFRA-SHELF_MGR-3-CARD_HW_FAILED : Card: 0/1 hardware state going to FAILED
 0/RP0/ADMIN0:Jun 21 00:34:21.459 : shelf_mgr[1818]: %INFRA-SHELF_MGR-6-HW_EVENT : Rcvd HW event HW_EVENT_FAILURE, event_reason_str 'pon exit  <-- UP_WARM_RESET cnt=4  fail_code=LC_POWER_MAIN_FAULT' for card 0/1

show reboot historyコマンドを実行し、AssrtHRメッセージとDeAssrtHRメッセージの間に大きな時間差があるかどうかを確認します。これは、VM間に内部接続の問題があるためと考えられます。

sysadmin-vm:0_RP0#show reboot-history card location 0/1
 
 Reset history example: every 20 mins for 2 hours before it recovered:
 
 33  0    WarmRst      DeAssrtHR    0x00000F32 0x53A4D367 Sat Jun 21 00:35:51 2014
 34  0    WarmRst      AssrtHR      0x00000F10 0x53A4D81D Sat Jun 21 00:55:57 2014
 
 35  0    WarmRst      DeAssrtHR    0x00000F32 0x53A4D821 Sat Jun 21 00:56:01 2014
 36  0    WarmRst      AssrtHR      0x00000F10 0x53A4DCD7 Sat Jun 21 01:16:07 2014 

カードがUNKNOWN状態のままになる

カードから管理状態がUNKNOWNと報告された場合、CCCはボードからIDPROMを読み取れなかったため、カードはブートを完了できません。このような場合は、指定された場所で次のコマンドを実行します。

RP/0/RP0/CPU0:A41-PE1#show platform

 Node name         Node type             Node state       Admin state   Config state
 -----------------------------------------------------------------------------------
 0/RP1             NC6-RP                OPERATIONAL      UNKNOWN 
 0/FC1             NC6-FC                OPERATIONAL      UNKNOWN

 sysadmin-vm:F0_SC0# show controller ccc event-history brief location 0/0
 
 CCC Card Event History for: 0/0
   
 Card Event History as seen by Master (0/RP1)
   Current State: CARD_READY
 
   DATE   TIME (UTC)    STATE                   EVENT                           
   -----  ------------  ----------------------  ------------------------------
             
   10/02  15:16:54.194  READ_IDPROM             ev_idprom_available       
   10/02  15:16:53.942  GET_CCC_INFO            ev_get_ccc_info_done            
   10/02  15:16:53.723  WAIT_ETH_READY          ev_eth_available                
   10/02  15:16:52.560  CHECK_UBLAZE_BOOT       ev_ublaze_boot_ok               
   10/02  15:16:52.539  WAIT_CCC_READY          ev_ccc_ready                    
   10/02  15:16:52.537  IDLE                    ev_presence_scan                

次に、rconsoleを使用して、ブートアッププロセス時にLCでCCCが実行されているかどうかを確認します。

1. SysadminVMでプロセスIDを収集します。

sysadmin-vm:F0_SC0# show processes ccc_driver location 0/0

 ----------------------------------------------------------------------
                      PID: 2525 
          Executable path: /opt/cisco/calvados/packages/ncs6k-sysadmin-boot-5.2.4.CSCut24295  .all-1.0.0/sbin/ccc_driver
               Instance #: 0
                  Respawn: ON
            Respawn count: 1
   Max. spawns per 4 mins: 4
             Last started: 10/02/2015 15:17:23.000
            Process state: Run 
             startup_path: /opt/cisco/calvados/packages/ncs6k-sysadmin-boot-5.2.4.CSCut24295  .all-1.0.0/etc/startup/ccc_driver.startup
                    Ready: 5s

2.次のコマンドを使用してLCにRconsoleを実行します。

sysadmin-vm:F0_SC0# attach location 0/RP0 
 
 [sysadmin-vm:0_RP0:~]$ exec chvrf 2 bash
 [sysadmin-vm:0_RP0:~]$ chvrf 0 bash
 [sysadmin-vm:0_RP0:~]$ /opt/cisco/calvados/sbin/rconsole -l 0/0
 Connecting to location 0/0 (backplane-slotid 16, console 0)
 Escape sequence is "end"
 Waiting for card info from CCC-driver for slot 16
 Got card info from CCC-driver for slot 16
 IOS Build Date : 04/22/2015 by lchinnad
 System Memory Speed : 1334 MHz
 Processor Type : Intel(R) Xeon(R) CPU E5-2418L @ 2.00GHz
 
 Press F12 to goto Boot Manager..
 
 Booting System Host OS..
 Waiting For CCC Valid Time of Day..
 Waiting For CCC Valid Time of Day..
 CCC Time: Fri Oct 2 15:16:54 2015
 
 GNU GRUB version 2.00
 Press F2 to goto grub Menu..
 Booting from Disk..
 Loading Kernel..
 Loading initrd..
 [    1.949229] i8042: No controller found
 Starting udev: [  OK  ]
 Switching to new root and running init.
 Starting udev: [  OK  ]
 Actual changes:
 large-receive-offload: off [requested on]
 ntuple-filters: on
 Setting hostname host:  [  OK  ]
 Checking filesystems:[  OK  ]
 Entering non-interactive startup
 Bringing up loopback interface:  [  OK  ]
 Bringing up interface eth0:  Device eth0 does not seem to be present, delaying initialization.
 [FAILED]
 Starting system logger: [  OK  ]
 Starting kernel logger: [  OK  ]
 Starting kdump:[  OK  ]
 Starting system message bus: [  OK  ]
 Starting smartd: [  OK  ]
 Generating SSH1 RSA host key: [  OK  ]
 Generating SSH2 RSA host key: [  OK  ]
 Generating SSH2 DSA host key: [  OK  ]
 Starting sshd: [  OK  ]
 Starting xinetd: [  OK  ]
 Starting crond: [  OK  ]
 Starting libvirtd daemon: [  OK  ]
 Starting NCS6k programs for LC on hostos: [  OK  ]
 mcelog start/running, process 2637
 Creating default host password file
 serial (/dev/ttyserial (/dev/ttyS1) start/running, process 2649
 
 host login: root
 Password: 
 [host:~]$ 
 [host:~]$ 
 [host:~]$ telnet 0 50001 <-- to get to Calvados 
 Trying 0.0.0.0...
 Connected to 0.
 Escape character is '^]'.
 
 sysadmin-vm:0_0 login: 
 sysadmin-vm:0_0 login: root
 Password: 
 
 [sysadmin-vm:0_0:~]$ pgrep ccc  <- use pgrep to check if the process is running 
 2525 
 [sysadmin-vm:0_0:~]$ exit
 logout

RCONSOLEツールの使用

カードが起動できない場合、NCS6008には内蔵機能が搭載されており、カード上でリモートコンソールを実行する機能が提供され、カードがスタックして起動できない理由が確認されます。この機能はRCONSOLEと呼ばれ、次にその使用例を示します。

特定の LC で rconsole を実行する手順：

1. [SysadminVM]に移動します
2. アクティブ RP に接続します.
3. グローバル VRF chvrf 0 bash に変更します
4. /opt/cisco/calvados/sbin/rconsole -l（ラインカード）を実行します。

例：

RP/1/RP1/CPU0:6008-B#admin
sysadmin-vm:F0_SC0#
 sysadmin-vm:F0_SC0# attach location 0/RP0 <-- You must be connected to the RP's to be able to rconsole 
 Tue Oct  20 18:23:54.740 UTC
 [sysadmin-vm:0_RP0:~]$ exec chvrf 2 bash
 [sysadmin-vm:0_RP0:~]$ chvrf 0 bash
 [sysadmin-vm:0_RP0:~]$ /opt/cisco/calvados/sbin/rconsole -l 0/0 ß This is LC 0/0 
 Connecting to location 0/0 (backplane-slotid 16, console 0)
 Escape sequence is "end"
 Waiting for card info from CCC-driver for slot 16

カードの現在の状態を判別し、スタックしいる場所を確認するために、この手順が TAC で広く使用されます。

TACケースをオープンする前に収集するコマンドのリスト

XR VM：

show platform
show install active
Show version
Show reboot history location 0/0/cpu0
dir misc/disk1
show cli history detail
Show log
show tech-support npu


SysAdmin VM：

show platform detail
show platform slices
show install active
show sdr default-sdr reboot-history
show reboot-history card location <>
show controller ccc reset-history onbo loc <>
show controller ccc reset-history onch loc <>
show controller ccc event-history detail location <>
show tech-support ccc
show tech-support Hbloss
show tech-support slice_manager
show tech-support ctrace
show tech-support sdr_mgr
show log