Catalyst 3850 および Catalyst 9000 シリーズ スイッチでの In Service Software Upgrade（ISSU）の実行

はじめに

このドキュメントでは、Catalyst 3850 および Catalyst 9000 シリーズ スイッチで In-Service Software Upgrade（ISSU）を実行する手順について説明します。

ISSUとは

In-Service Software Upgrade(ISSU)は、ネットワークがパケットの転送を継続している間に、デバイス上のイメージを別のイメージにアップグレードするプロセスです。ISSUは、ネットワーク管理者がソフトウェアのアップグレードを実行する際に、ネットワークの停止を回避するのに役立ちます。イメージはインストールモードでアップグレードされます。ここで、各パッケージは個別にアップグレードされます。

ISSUは、Stackwise仮想をサポートするすべてのCatalyst 3850およびCatalyst 9000シリーズと、デュアルスーパーバイザを備えたCatalyst 9400/9600スタンドアロンシャーシでサポートされます。

StackWise仮想(SVL)は、2台のスイッチで構成され、スイッチが相互に接続されて1台の仮想スイッチを形成します。SVLはインサービスソフトウェアアップグレードをサポートします。

サポート対象プラットフォームとリリースサポートマトリックス

ISSUに進む前に、プラットフォームが実際にISSUをサポートしているかどうかを確認します。また、現在のコードとターゲットコードの間でISSUがサポートされているかどうかを確認します。サポートされているプラットフォームとISSUの互換性マトリックスのモードの詳細については、次を参照してください。

リリース間のISSUサポート

ISSU前の前提条件

注：このドキュメントの例は、Stackwise仮想として設定されたCisco Catalyst 9500スイッチに基づいています。この手順は、デュアルスーパーバイザエンジンを搭載したCat9400/Cat9600スタンドアロンシャーシと、Stackwise仮想として設定されたCatalyst 3850/Catalyst 9000デバイスに適用されます。
プロセス中のパケット損失を回避するために、ISSUではアクティブデバイスとスタンバイデバイスの両方に対するノードの冗長性が必要です。リロードが発生し、ネットワークのハイアベイラビリティを確保するためにリロードとリロード間のスイッチオーバーが必要です。

1. 現在のコードバージョンの確認

C9500#show version | in IOS XE 
Cisco IOS XE Software, Version 16.09.02

2. ブートモードの確認

ISSUは、Stackwise仮想スイッチの両方がインストールモードで起動している場合にのみサポートされます。

C9500#show ver | in INSTALL
*    1 50    C9500-40X          16.9.2            CAT9K_IOSXE           INSTALL
     2 50    C9500-40X          16.9.2            CAT9K_IOSXE           INSTALL

On Catalyst 9400, the above output is not available. Check if the switch booted from packages.conf file

C9400#show version | in System image
System image file is "flash:packages.conf"
 

シャーシがバンドルモードでブートされる場合、ISSUはサポートされません。スイッチがバンドルモードで動作しているときにISSUを実行しようとすると、次のようなエラーが表示される場合があります。

*Nov 13 14:55:57.338: %INSTALL-5-INSTALL_START_INFO: Chassis 1 R1/0: install_engine: Started install one-shot ISSU flash:cat9k_iosxe.16.09.02.SPA.bininstall_add_activate_commit: Adding ISSU
ERROR: install_add_activate_commit: One-Shot ISSU operation is not supported in bundle boot mode
FAILED: install_add_activate_commit  exit(1) Tue Nov 13 14:56:03 UTC 2018

3. フラッシュに十分な空きメモリがあるかどうかを確認する

C9500#dir flash: | in free
11353194496 bytes total (8565174272 bytes free)

C9500#dir stby-flash: | in free
11353980928 bytes total (8566865920 bytes free)

新しいイメージを拡張するために、フラッシュに少なくとも1 GBの空き領域があることを確認します。スペースが不十分な場合は、古いインストールファイルをクリーンアップして、install remove inactiveコマンドを使用します。

4. スイッチがSSOモードであるかどうかを確認する

C9500#show redundancy 
Redundant System Information :
------------------------------
       Available system uptime = 4 minutes
Switchovers system experienced = 0
              Standby failures = 0
        Last switchover reason = none

                 Hardware Mode = Duplex
    Configured Redundancy Mode = sso
     Operating Redundancy Mode = sso
              Maintenance Mode = Disabled
                Communications = Up

Current Processor Information :
-------------------------------
               Active Location = slot 1
        Current Software state = ACTIVE
       Uptime in current state = 30 minutes
                 Image Version = Cisco IOS Software [Fuji], Catalyst L3 Switch Software (CAT9K_IOSXE), Version 16.9.2, RELEASE SOFTWARE (fc4)
Technical Support: http://www.cisco.com/techsupport
Copyright (c) 1986-2018 by Cisco Systems, Inc.
Compiled Mon 05-Nov-18 19:32 by mcpre
                          BOOT = flash:packages.conf;
                   CONFIG_FILE = 
        Configuration register = 0x102

Peer Processor Information :
----------------------------
              Standby Location = slot 2
        Current Software state = STANDBY HOT 
       Uptime in current state = 26 minutes
                 Image Version = Cisco IOS Software [Fuji], Catalyst L3 Switch Software (CAT9K_IOSXE), Version 16.9.2, RELEASE SOFTWARE (fc4)
Technical Support: http://www.cisco.com/techsupport
Copyright (c) 1986-2018 by Cisco Systems, Inc.
Compiled Mon 05-Nov-18 19:32 by mcpre
                          BOOT = flash:packages.conf;
                   CONFIG_FILE = 
        Configuration register = 0x102
        

5. 自動ブートが有効になっているかどうかの確認

C9500#show boot system 
---------------------------
Switch 1
---------------------------
Current Boot Variables:
BOOT variable = flash:packages.conf;

Boot Variables on next reload:
BOOT variable = flash:packages.conf;
Manual Boot = no                       <<<<< Manual Boot should be set to "no"       
Enable Break = no
Boot Mode = DEVICE
iPXE Timeout = 0
---------------------------
Switch 2
---------------------------
Current Boot Variables:
BOOT variable = flash:packages.conf;

Boot Variables on next reload:
BOOT variable = flash:packages.conf;
Manual Boot = no
Enable Break = no
Boot Mode = DEVICE
iPXE Timeout = 0 

自動ブートが有効になっていない場合は、次のように変更できます。

C9500(config)#no boot manual

6. 現在のISSUとインストールの状態の確認

C9500#show issu state detail
--- Starting local lock acquisition on switch 1 ---
Finished local lock acquisition on switch 1

No ISSU operation is in progress      <<<<<<<<< If see anything else, abort ISSU before proceeding.
Check on how to manually abort ISSU.



 
C9500#show install summary
[ Switch 1 2 ] Installed Package(s) Information:
State (St): I - Inactive, U - Activated & Uncommitted,
            C - Activated & Committed, D - Deactivated & Uncommitted
--------------------------------------------------------------------------------
Type  St   Filename/Version    
--------------------------------------------------------------------------------
IMG   C    16.9.2.0.2433      <<<<<<<< State should be Activated & Committed for current version alone.
 If not clear install state before proceeding. Check on how to clear install state.                                                  

--------------------------------------------------------------------------------
Auto abort timer: inactive
--------------------------------------------------------------------------------

7. アップグレード/ダウングレードする新しいイメージをコピーします。

イメージをアクティブシャーシ（Stackwiseの場合）またはアクティブスーパーバイザ（Cat9400デュアルSUPの場合）にのみコピーすれば十分です。

C9500#copy tftp: bootflash:
Address or name of remote host []? X.X.X.X
Source filename []? cat9k_iosxe.16.09.02.SPA.bin
Destination filename [cat9k_iosxe.16.09.02.SPA.bin]? 
 

ISSUワークフロー – 実際のアップグレード

すべての前提条件を確認したら、実際のアップグレードに進み、次に示す方法のいずれかを使用できます。

• 1ステップのワークフロー（1ステップのみ。ロールバックはサポートされていません）
• 3ステップのワークフロー（3ステップを含み、障害発生時のロールバックをサポート）

ワンステップのワークフロー

このワークフローには1つのステップのみが含まれ、最適化に役立ちます。

// This example has SW-2 as Active and Sw-1 as Standby before starting ISSU


C9500#install add file flash:cat9k_iosxe.16.09.02.SPA.bin activate issu commit
install_add_activate_commit: START Fri Feb  8 10:07:51 jst 2019

*Feb  8 10:07:52.456 jst: %INSTALL-5-INSTALL_START_INFO: Switch 2 R0/0: install_engine: Started install one-shot ISSU flash:cat9k_iosxe.16.09.02.SPA.bininstall_add_activate_commit: Adding ISSU

--- Starting initial file syncing ---
[2]: Copying flash:cat9k_iosxe.16.09.02.SPA.bin from switch 2 to switch 1
[1]: Finished copying to switch 1  
Info: Finished copying flash:cat9k_iosxe.16.09.02.SPA.bin to the selected switch(es)
Finished initial file syncing

--- Starting Add ---
Performing Add on all members
  [1] Add package(s) on switch 1
  [1] Finished Add on switch 1
  [2] Add package(s) on switch 2
  [2] Finished Add on switch 2
Checking status of Add on [1 2]
Add: Passed on [1 2]
Finished Add

install_add_activate_commit: Activating ISSU

Going to start Oneshot ISSU install process

STAGE 0: Initial System Level Sanity Check before starting ISSU
===================================================
--- Verifying install_issu supported ---
--- Verifying standby is in Standby Hot state ---
--- Verifying booted from the valid media ---
--- Verifying AutoBoot mode is enabled ---
Finished Initial System Level Sanity Check


STAGE 1: Installing software on Standby
===================================================
--- Starting install_remote ---
Performing install_remote on Chassis remote
[1] install_remote package(s) on switch 1
[1] Finished install_remote on switch 1
install_remote: Passed on [1]
Finished install_remote


STAGE 2: Restarting Standby
===================================================
--- Starting standby reload ---
Finished standby reload

--- Starting wait for Standby to reach terminal redundancy state ---     <<<<< Standby (Sw-1) reloads here!!!


<<<<<<<< After Standby (Sw-1) comes up >>>>>>>>>>>

*Feb  8 10:19:10.223 jst: %REDUNDANCY-3-IPC: IOS versions do not match.

*Feb  8 10:19:48.421 jst: %HA_CONFIG_SYNC-6-BULK_CFGSYNC_SUCCEED: Bulk Sync succeeded

*Feb  8 10:19:49.422 jst: %RF-5-RF_TERMINAL_STATE: Terminal state reached for (SSO)   <<<<< Standby (Sw-1) comes up on new code and joins as Hot Standby..


*Feb  8 10:21:02.975 jst: %PLATFORM-6-HASTATUS_DETAIL: RP switchover, received chassis event became active. Switch to primary (count 1)   <<<<<< Switchover happens after this log and the previous active (Sw-2) reloads.

<<<<<<<< After new Standby (Sw-2) comes up >>>>>>>>

*Feb  8 10:27:09.715 jst: %HA_CONFIG_SYNC-6-BULK_CFGSYNC_SUCCEED: Bulk Sync succeeded

*Feb  8 10:27:10.717 jst: %RF-5-RF_TERMINAL_STATE: Terminal state reached for (SSO).  <<<< ISSU commit starts after this automatically..


*Feb  8 10:28:27.302 jst: %INSTALL-5-INSTALL_START_INFO: Switch 2 R0/0: install_engine: Started install commit
%IOSXEBOOT-4-ISSU_ONE_SHOT: (rp/0): ISSU finished successfully

*Feb  8 10:29:32.127 jst: %INSTALL-5-INSTALL_COMPLETED_INFO: Switch 2 R0/0: install_engine: Completed install commit ISSU

 ISSUが完了したら、に進みます。

3ステップのワークフロー

• このワークフローには、追加、アクティブ化、およびコミットの3つの手順が含まれます。アクティブ化後、すべてのスイッチが新しいソフトウェアバージョンにアップグレードされます。ただし、ソフトウェアは自動的にはコミットされませんが、install commitコマンドを使用して手動で実行する必要があります。
• このアプローチの利点は、システムを以前のソフトウェアバージョンにロールバックできることです。
• ロールバックタイマーが停止していなければ、システムは自動的にロールバックし、install auto-abort-timer stopまたはinstall commitコマンドを使用します。ロールバックタイマーが停止している場合は、新しいソフトウェアバージョンをデバイス上で任意の期間にわたって実行した後、以前のバージョンにロールバックできます。

ステップ 1： addをインストールします。

 このコマンドは、ブートフラッシュにイメージをダウンロードし、両方のスイッチで展開します。

// This example has SW-1 as Active and Sw-2 as Standby before starting ISSU

C9500#install add file flash:cat9k-universalk9.SPA.16.09.03.BETA.E1.SSA.bin.bin    
install_add: START Fri Feb  8 09:22:00 jst 2019

*Feb  8 09:22:02.055 jst: %INSTALL-5-INSTALL_START_INFO: Switch 1 R0/0: install_engine: Started install add flash:cat9k-universalk9.SPA.16.09.03.BETA.E1.SSA.bin.bininstall_add: Adding PACKAGE

--- Starting initial file syncing ---
[1]: Copying flash:cat9k-universalk9.SPA.16.09.03.BETA.E1.SSA.bin.bin from switch 1 to switch 2
[2]: Finished copying to switch 2  
Info: Finished copying flash:cat9k-universalk9.SPA.16.09.03.BETA.E1.SSA.bin.bin to the selected switch(es)
Finished initial file syncing

--- Starting Add ---
Performing Add on all members
  [1] Add package(s) on switch 1
  [1] Finished Add on switch 1
  [2] Add package(s) on switch 2
  [2] Finished Add on switch 2
Checking status of Add on [1 2]
Add: Passed on [1 2]
Finished Add

SUCCESS: install_add  Fri Feb  8 09:26:26 jst 2019  <<<< Wait until install_add says SUCCESS. If fails, manually abort ISSU.

ステップ 2： activateをインストールします。

• このコマンドを実行すると、次の一連のイベントが発生します。
  
  (i)ロールバック・タイマーが起動していること。ロールバックタイマーの期限が切れると、システムはISSUの開始前に同じ状態にロールバックします。ロールバックタイマーは、install auto-abort-timer stopコマンドを使用すると停止できます。install abort issu コマンドを使用すると、ISSUをロールバックできます。
  
      (ii)スタンバイスイッチに新しいソフトウェアがプロビジョニングされ、スタンバイスイッチは新しいソフトウェアバージョンでリロードされます。次に、アクティブスイッチに新しいソフトウェアがプロビジョニングされ、リロードされます。新しいイメージを持つスタンバイスイッチがアクティブスイッチになり、古いアクティブスイッチがスタンバイになります。

この手順の最後に、両方のスイッチが新しいソフトウェアイメージで動作します。

C9500#install activate issu
install_activate: START Fri Feb  8 09:28:27 jst 2019
install_activate: Activating ISSU

*Feb  8 09:28:28.905 jst: %INSTALL-5-INSTALL_START_INFO: Switch 1 R0/0: install_engine: Started install activate ISSU
Going to start Activate ISSU install process

STAGE 0: Initial System Level Sanity Check before starting ISSU===================================================
--- Verifying install_issu supported ---
--- Verifying standby is in Standby Hot state ---
--- Verifying booted from the valid media ---
--- Verifying AutoBoot mode is enabled ---
Finished Initial System Level Sanity Check
STAGE 1: Installing software on Standby
===================================================
--- Starting install_remote ---
Performing install_remote on Chassis remote

*Feb  8 09:28:31.880 jst: %INSTALL-5-INSTALL_AUTO_ABORT_TIMER_PROGRESS: Switch 1 R0/0: rollback_timer: Install auto abort timer can expire in 7200 seconds


[2] install_remote package(s) on switch 2
[2] Finished install_remote on switch 2
install_remote: Passed on [2]
Finished install_remote

STAGE 2: Restarting Standby
===================================================
--- Starting standby reload ---
Finished standby reload--- Starting wait for Standby to reach terminal redundancy state ---      <<<<<<<< Standby (Sw-2) reloads here!!!*Feb  8 09:35:16.489 jst: %REDUNDANCY-3-IPC: IOS versions do not match.
 
*Feb  8 09:36:00.238 jst: %HA_CONFIG_SYNC-6-BULK_CFGSYNC_SUCCEED: Bulk Sync succeeded
*Feb  8 09:36:01.240 jst: %RF-5-RF_TERMINAL_STATE: Terminal state reached for (SSO)     <<<< At this point, Standby (Sw-2) comes up with new code and joins as Hot Standby
Finished wait for Standby to reach terminal redundancy state

STAGE 3: Installing software on Active
===================================================
--- Starting install_active ---

Performing install_active on Chassis 11] install_active package(s) on switch 1
[1] Finished install_active on switch 1
install_active: Passed on [1]
Finished install_active
Chassis 1 reloading, reason - Non participant detected

STAGE 4: Restarting Active (switchover to standby)      <<<<<<<< At this point, there is a switchover and then the previous Active (Sw-1) reloads.
===================================================
--- Starting active reload ---
 New software can load after reboot process is completed
SUCCESS: install_activate  Fri Feb  8 09:37:14 jst 2019

アクティブ化ステートの最後に、ISSUステートをチェックします。

C9500#show issu state detail
--- Starting local lock acquisition on switch 2 ---
Finished local lock acquisition on switch 2

Operation type: Step-by-step ISSU
Install type  : Image installation using ISSUCurrent state : Activated state
Last operation: Switchover

Completed operations:

Operation                           Start time
-------------------------------------------------------
Activate location standby Chassis 2 2019-02-08:09:28:32
Activate location active Chassis 1  2019-02-08:09:36:03
Switchover                          2019-02-08:09:37:16

State transition: Added -> Standby activated -> Active switched-over 

Auto abort timer: automatic, remaining time before rollback: 01:43:55
Running image: flash:packages.conf
Operating mode: sso, terminal state reached    <<<<< Wait until SSO terminal state before proceeding to commit.

ステップ3:commitをインストールします。

commitコマンドは、必要なクリーンアップを実行し、新しいソフトウェアを永続的に有効にし（古いバージョンのソフトウェアを削除し）、ロールバックタイマーを停止します。コミット後のリブートはすべて、新しいソフトウェアでブートできます。

C9500#install commit 
install_commit: START Fri Feb  8 09:45:22 jst 2019
install_commit: Committing ISSU

*Feb  8 09:45:23.533 jst: %INSTALL-5-INSTALL_START_INFO: Switch 2 R0/0: install_engine: Started install commit

Going to start Commit ISSU install process

STAGE 0: Initial System Level Sanity Check before starting ISSU
===================================================
--- Verifying install_issu supported ---
--- Verifying standby is in Standby Hot state ---
--- Verifying booted from the valid media ---
--- Verifying AutoBoot mode is enabled ---

Finished Initial System Level Sanity Check

--- Starting install_commit_2 ---
Performing install_commit_2 on Chassis 2
[2] install_commit_2 package(s) on switch 2
[2] Finished install_commit_2 on switch 2
install_commit_2: Passed on [2]
Finished install_commit_2


STAGE 1: Dispatching the commit command to remote
===================================================
--- Starting install_commit_remote ---
Performing install_commit_remote on Chassis 1
Feb  8 09:48:33.364: %INSTALL-5-INSTALL_START_INFO: R0/0: install_engine: Started install commit

*Feb  8 09:48:33.352 jst: %INSTALL-5-INSTALL_START_INFO: Switch 1 R0/0: install_engine: Started install commit


Feb  8 09:51:27.505: %INSTALL-5-INSTALL_COMPLETED_INFO: R0/0: install_engine: Completed install commit ISSU
[1] install_commit_remote package(s) on switch 1
[1] Finished install_commit_remote on switch 1
install_commit_remote: Passed on [1]
Finished install_commit_remote

SUCCESS: install_commit  Fri Feb  8 09:51:27 jst 2019     <<<<< ISSU is completed here!!!!!

ISSU後のチェックリスト

ISSUが正常に完了すると、

• 両方のスイッチが新しいソフトウェアで動作していることを確認します。
• show issu state detailの出力がクリーンであり、進行中のISSUが表示されていないことを確認します。
• show install issu historyの出力を調べて、ISSUの動作が正常に行われたことを確認します（コマンドは16.10.1リリース以降でのみ使用可能）。
• 新しい機能を有効にする前に、新しいソフトウェアに十分な時間をかけることをお勧めします。

ISSU障害時のアクション

• ISSUに障害が発生した場合、自動中断によってシステムが初期状態（古いイメージ）に回復することが予想されます。ただし、この方法でも失敗する場合は、シャーシの手動リカバリが想定されます。
• 手動リカバリ中に、アクティブとスタンバイの両方で古いイメージが実行されているかどうかを確認します（実行されていない場合は、個々のシャーシをリカバリします）。
• 両方のシャーシで古いイメージが稼働していることを確認した後、install remove inactiveを実行して未使用のイメージパッケージを削除します。
• 両方のシャーシで古いソフトウェアが稼働するようになったら、ISSU動作の内部状態をすべて手動で消去します。（内部ISSU状態をクリアする方法については、ここを参照してください）。

ISSUの中止

• 3ステップのワークフローでは、ISSUのアクティブ化プロセス中にabort-timerの期限が切れると、システムが古いイメージに自動中断できます。

EXAMPLE : During install add, we notice these errors:

C9400#install add file flash:cat9k_iosxe.16.09.02.SPA.bin
install_add: START Tue Nov 13 20:47:53 UTC 2018

*Nov 13 20:47:54.787: %INSTALL-5-INSTALL_START_INFO: Chassis 1 R1/0: install_engine: Started install add flash:cat9k_iosxe.16.09.02.SPA.bininstall_add: Adding PACKAGE

--- Starting initial file syncing ---
[1]: Copying flash:cat9k_iosxe.16.09.02.SPA.bin from chassis 1 to chassis 2
[2]: Finished copying to chassis 2  
Info: Finished copying flash:cat9k_iosxe.16.09.02.SPA.bin to the selected chassis
Finished initial file syncing

--- Starting Add ---
Performing Add on all members
  [1] Add package(s) on chassis 1
  [1] Finished Add on chassis 1
  [2] Add package(s) on chassis 2
    cp: cannot stat '/tmp/packages.conf': No such file or directory
  [2] Finished Add on chassis 2
Checking status of Add on [1 2]
Add: Passed on [1]. Failed on [2]
Finished Add

FAILED: install_add  exit(1) Tue Nov 13 20:51:58 UTC 2018   <<<<<< install_add failed. If see any such error, first do a manual abort before proceeding further.  


C9400#install abort issu 
install_abort: START Tue Nov 13 20:57:40 UTC 2018
install_abort: Abort type ISSU subtype NONE smutype NONE

*Nov 13 20:57:41.759: %INSTALL-5-INSTALL_START_INFO: Chassis 1 R1/0: install_engine: Started install abort ISSU
NOTE: Going to start Abort ISSU install process

STAGE 0: Initial System Level Sanity Check before starting ISSU
===================================================
--- Verifying install_issu supported ---
--- Verifying booted from the valid media ---
--- Verifying AutoBoot mode is enabled ---
Finished Initial System Level Sanity Check

FAILED: ABORT operation is not allowed in ADDED state
ERROR: install_abort  exit(2 ) Tue Nov 13 20:57:49 UTC 2018

*Nov 13 20:57:49.756: %INSTALL-5-INSTALL_COMPLETED_INFO: Chassis 1 R1/0: install_engine: Completed install abort ISSU

クリーンISSU状態

ISSU upgrade/downgrade/abort/auto-abortが失敗した場合は、ISSUの内部状態を手動でクリーンアップする必要があります。

C9400#sh issu state detail
--- Starting local lock acquisition on chassis 1 ---
Finished local lock acquisition on chassis 1

Operation type: One-shot ISSU
Install type  : Image installation using ISSU
Current state : Added state
Last operation: Activate location standby Chassis 2   <<<< Previous Add is still pending. This needs to be cleared before starting ISSU

Completed operations:

Operation                           Start time
-------------------------------------------------------
Activate location standby Chassis 2 2018-11-13:16:26:34   

State transition: Added 

Auto abort timer: inactive
Running image: flash:packages.conf
Operating mode: sso, terminal state not reached

Enable Service Internal before you run this command

C9400#clear install state   
clear_install_state: START Tue Nov 13 17:05:47 UTC 2018
--- Starting clear_install_state ---
Performing clear_install_state on all members
  [1] clear_install_state package(s) on chassis 1
  [1] Finished clear_install_state on chassis 1
Checking status of clear_install_state on [1]
clear_install_state: Passed on [1]
Finished clear_install_state

C9400#sh issu state detail 
--- Starting local lock acquisition on chassis 1 ---
Finished local lock acquisition on chassis 1

No ISSU operation is in progress