Nexus 9000でのリンクフラップ問題のトラブルシューティング
ダウンロード オプション
偏向のない言語
この製品のドキュメントセットは、偏向のない言語を使用するように配慮されています。このドキュメントセットでの偏向のない言語とは、年齢、障害、性別、人種的アイデンティティ、民族的アイデンティティ、性的指向、社会経済的地位、およびインターセクショナリティに基づく差別を意味しない言語として定義されています。製品ソフトウェアのユーザインターフェイスにハードコードされている言語、RFP のドキュメントに基づいて使用されている言語、または参照されているサードパーティ製品で使用されている言語によりドキュメントに例外が存在する場合があります。シスコのインクルーシブ ランゲージの取り組みの詳細は、こちらをご覧ください。
翻訳について
シスコは世界中のユーザにそれぞれの言語でサポート コンテンツを提供するために、機械と人による翻訳を組み合わせて、本ドキュメントを翻訳しています。ただし、最高度の機械翻訳であっても、専門家による翻訳のような正確性は確保されません。シスコは、これら翻訳の正確性について法的責任を負いません。原典である英語版（リンクからアクセス可能）もあわせて参照することを推奨します。
内容
はじめに
本資料 d説明 nexus 9000スイッチでのレイヤ1リンクフラップ問題のトラブルシューティング方法
前提条件
要件
このドキュメントで説明する情報に進む前に、Cisco Nexusオペレーティングシステム(NX-OS)と基本的なNexusアーキテクチャに精通しておくことをお勧めします。
使用するコンポーネント
このドキュメントの情報は、次のソフトウェアとハードウェアのバージョンに基づいています。
- N9K-C93180YC-FX
- nxos64-cs.10.2.6.M（入手可能）
このドキュメントの情報は、特定のラボ環境にあるデバイスに基づいて作成されました。このドキュメントで使用するすべてのデバイスは、クリアな（デフォルト）設定で作業を開始しています。本稼働中のネットワークでは、各コマンドによって起こる可能性がある影響を十分確認してください。
リンクフラップの原因の理解
リンクフラップは、Nexus 9000などのスイッチ上の物理インターフェイスがアップ状態とダウン状態を交互に繰り返すネットワーキングの問題です。この破壊的な動作は、ネットワークパフォーマンスを低下させ、ネットワークを不安定にし、通信を中断させ、それによって大きな不都合を引き起こす可能性があります。リンクフラップは通常、物理層の障害やプロトコル同期の問題によって発生します。
- プロトコルトリガーリンクフラップ
プロトコルによってトリガーされるリンクフラップは、プロトコル同期に問題がある場合に発生します。これには、Link Aggregation Control Protocol(LACP)、Virtual Port-Channel(VPC)などのプロトコルが含まれます。この問題は、プロトコルの設定ミスやパケットの損失によってリンクが不安定になることによって発生する可能性があります。定期的なモニタリングとソフトウェアのタイムリーなアップデートにより、このタイプのリンクフラップを防止できます。
- レイヤ1の物理的な問題
リンクのフラップは、ネットワークの物理層であるレイヤ1からも発生する可能性があります。多くの場合、これにはケーブルやインターフェイスなどの物理コンポーネントが含まれます。ケーブルの損傷、緩み、または老朽化、およびインターフェイスの誤動作により、リンクがフラップする可能性があります。ケーブルのチェックやインターフェイスのテストなど、定期的な物理的な検査とメンテナンスは、リンクのフラップが発生する前にこれらの問題を特定して修正するのに役立ちます。
この記事では、レイヤ1の物理的な問題のトラブルシューティングに重点を置いています。
リンクフラップの特定
リンクのフラップは、ログから簡単に特定できます。この例では、ポートE1/5でのリンクフラップイベントを示しています。このイベントでは、ポートがダウンした後、アップに戻ります。
2024 Jan 21 05:27:35 N9K-C93180YC-FX %ETH_PORT_CHANNEL-5-FOP_CHANGED: port-channel100: first operational port changed from Ethernet1/5 to none
2024 Jan 21 05:27:35 N9K-C93180YC-FX %ETH_PORT_CHANNEL-5-PORT_DOWN: port-channel100: Ethernet1/5 is down
2024 Jan 21 05:27:35 N9K-C93180YC-FX %ETHPORT-5-IF_DOWN_PORT_CHANNEL_MEMBERS_DOWN: Interface port-channel100 is down (No operational members)
2024 Jan 21 05:27:35 N9K-C93180YC-FX %ETHPORT-5-IF_BANDWIDTH_CHANGE: Interface port-channel100,bandwidth changed to 100000 Kbit
2024 Jan 21 05:27:35 N9K-C93180YC-FX %ETHPORT-5-IF_DOWN_LINK_FAILURE: Interface Ethernet1/5 is down (Link failure)
2024 Jan 21 05:27:35 N9K-C93180YC-FX %ETHPORT-5-IF_DOWN_PORT_CHANNEL_MEMBERS_DOWN: Interface port-channel100 is down (No operational members)
2024 Jan 21 05:27:58 N9K-C93180YC-FX %ETHPORT-5-SPEED: Interface Ethernet1/5, operational speed changed to 10 Gbps
2024 Jan 21 05:27:58 N9K-C93180YC-FX %ETHPORT-5-IF_DUPLEX: Interface Ethernet1/5, operational duplex mode changed to Full
2024 Jan 21 05:27:58 N9K-C93180YC-FX %ETHPORT-5-IF_RX_FLOW_CONTROL: Interface Ethernet1/5, operational Receive Flow Control state changed to off
2024 Jan 21 05:27:58 N9K-C93180YC-FX %ETHPORT-5-IF_TX_FLOW_CONTROL: Interface Ethernet1/5, operational Transmit Flow Control state changed to off
2024 Jan 21 05:27:58 N9K-C93180YC-FX %ETHPORT-5-SPEED: Interface port-channel100, operational speed changed to 10 Gbps
2024 Jan 21 05:27:58 N9K-C93180YC-FX %ETHPORT-5-IF_DUPLEX: Interface port-channel100, operational duplex mode changed to Full
2024 Jan 21 05:27:58 N9K-C93180YC-FX %ETHPORT-5-IF_RX_FLOW_CONTROL: Interface port-channel100, operational Receive Flow Control state changed to off
2024 Jan 21 05:27:58 N9K-C93180YC-FX %ETHPORT-5-IF_TX_FLOW_CONTROL: Interface port-channel100, operational Transmit Flow Control state changed to off
2024 Jan 21 05:28:02 N9K-C93180YC-FX %ETH_PORT_CHANNEL-5-PORT_UP: port-channel100: Ethernet1/5 is up
2024 Jan 21 05:28:02 N9K-C93180YC-FX %ETH_PORT_CHANNEL-5-FOP_CHANGED: port-channel100: first operational port changed from none to Ethernet1/5
2024 Jan 21 05:28:02 N9K-C93180YC-FX %ETHPORT-5-IF_BANDWIDTH_CHANGE: Interface port-channel100,bandwidth changed to 10000000 Kbit
2024 Jan 21 05:28:02 N9K-C93180YC-FX %ETHPORT-5-IF_UP: Interface Ethernet1/5 is up in mode access
2024 Jan 21 05:28:02 N9K-C93180YC-FX %ETHPORT-5-IF_UP: Interface port-channel100 is up in mode access
レイヤ1リンクフラップまたはプロトコルトリガーリンクフラップを特定する
イーサネットポートマネージャ(Ethpm)は、イーサネットインターフェイスを管理するプロセスです。Ethpmイベント履歴は、リンクフラップの原因を特定するために使用できます。
レイヤ1フラップの例
E1/5では、05:28:35にリンク障害が発生し、ethpm移行はETH_PORT_FSM_EV_LINK_DOWNによってトリガーされます。これは、レイヤ1フラップを示しています。
2024 Jan 21 05:27:35 N9K-C93180YC-FX %ETHPORT-5-IF_DOWN_PORT_CHANNEL_MEMBERS_DOWN: Interface port-channel100 is down (No operational members)
2024 Jan 21 05:27:35 N9K-C93180YC-FX %ETHPORT-5-IF_BANDWIDTH_CHANGE: Interface port-channel100,bandwidth changed to 100000 Kbit
2024 Jan 21 05:27:35 N9K-C93180YC-FX %ETHPORT-5-IF_DOWN_LINK_FAILURE: Interface Ethernet1/5 is down (Link failure)
2024 Jan 21 05:27:35 N9K-C93180YC-FX %ETHPORT-5-IF_DOWN_PORT_CHANNEL_MEMBERS_DOWN: Interface port-channel100 is down (No operational members)
N9K-C93180YC-FX# show system internal ethpm event-history interface e1/5
[143] 2024-01-21T05:26:02.100255000+00:00 [-] FSM:<Ethernet1/5> Transition:
Previous state: [ETH_PORT_FSM_ST_WAIT_BUNDLE_MEMBER_BRINGUP]
Triggered event: [ETH_PORT_FSM_EV_FIRST_BRINGUP_BUNDLE_MEMBER_DONE]
Next state: [ETH_PORT_FSM_ST_BUNDLE_MEMBER_UP]
[144] 2024-01-21T05:27:35.783495000+00:00 [-] FSM:<Ethernet1/5> Transition:
Previous state: [ETH_PORT_FSM_ST_BUNDLE_MEMBER_UP]
Triggered event: [ETH_PORT_FSM_EV_LINK_DOWN]
Next state: [FSM_ST_NO_CHANGE]
LACPでトリガーされるフラップの例
E1/8は07:40:07に初期化停止状態に入り、ethpm移行はETH_PORT_FSM_EV_EXTERNAL_REINIT_NO_FLAP_REQによってトリガーされます。これは、Link Aggregation Control Protocol(LACP)によってトリガーされるリンクフラップを示します。
2024 Jan 21 07:37:20 N9K-C93180YC-FX %ETHPORT-5-IF_UP: Interface port-channel200 is up in Layer3
2024 Jan 21 07:40:07 N9K-C93180YC-FX %ETHPORT-5-IF_DOWN_PORT_CHANNEL_MEMBERS_DOWN: Interface port-channel200 is down (No operational members)
2024 Jan 21 07:40:07 N9K-C93180YC-FX %ETH_PORT_CHANNEL-5-FOP_CHANGED: port-channel200: first operational port changed from Ethernet1/8 to none
2024 Jan 21 07:40:07 N9K-C93180YC-FX %ETH_PORT_CHANNEL-5-PORT_DOWN: port-channel200: Ethernet1/8 is down
2024 Jan 21 07:40:07 N9K-C93180YC-FX %ETHPORT-5-IF_BANDWIDTH_CHANGE: Interface port-channel200,bandwidth changed to 100000 Kbit
2024 Jan 21 07:40:07 N9K-C93180YC-FX %ETHPORT-5-IF_DOWN_INITIALIZING: Interface Ethernet1/8 is down (Initializing)
N9K-C93180YC-FX# show system internal ethpm event-history interface e1/8
[218] 2024-01-21T07:37:20.551880000+00:00 [-] FSM:<Ethernet1/8> Transition:
Previous state: [ETH_PORT_FSM_ST_WAIT_BUNDLE_MEMBER_BRINGUP]
Triggered event: [ETH_PORT_FSM_EV_FIRST_BRINGUP_BUNDLE_MEMBER_DONE]
Next state: [ETH_PORT_FSM_ST_BUNDLE_MEMBER_UP]
[219] 2024-01-21T07:40:07.104339000+00:00 [-] FSM:<Ethernet1/8> Transition:
Previous state: [ETH_PORT_FSM_ST_BUNDLE_MEMBER_UP]
Triggered event: [ETH_PORT_FSM_EV_EXTERNAL_REINIT_NO_FLAP_REQ]
Next state: [FSM_ST_NO_CHANGE]
レイヤ1リンクフラップのトラブルシューティング
シスコは、さまざまな速度、メディア、距離に対応する幅広いオプティカルモジュールを提供しています。リンクをNexus 9000に接続する前に、SFPとケーブルが現在お使いのソフトウェアとハードウェアと互換性があることを確認します。これを確認するには、次の手順を実行します。
Cisco Optics-to-Device互換性マトリクス
Cisco Optics-to-Opticsの相互運用性マトリクス
NX-OS 10.2.1以降のリリースでのレイヤ1の問題
NX-OS 10.2.1以降、Platform Insights Engine(PIE)はすべてのCloudscale ToRおよびEoRプラットフォームでサポートされています。PIEは、オンスイッチのリアルタイムの根本原因分析アプリケーションです。
3つのPIEは、レイヤ1リンクフラップの問題への対処に役立ちます。
リンクフラップPIE
リンクフラップPIEは、ユーザ空間ドライバ(USD)によって発行されたリンクフラップイベントを分析し、リンクフラップの根本原因を特定します。PIEは、根本原因の分析に関する情報をブローカに発行します。リンクフラップイベントは、リンクがフラップしたときにUSD（PIEクライアント）によって発行されます。USDは、根本原因の分析に必要なASICおよびUSDからすべての関連データを収集し、そのデータをブローカに公開します。リンクフラップPIEはデータを分析し、最も可能性の高いフラップの根本原因に到達します。
リンクダウンPIE
リンクダウンPIEは、リンクがアップしない根本的な原因を見つけます。インターフェイスがアップに設定されているが、インターフェイスの動作状態がアップではない場合、USDはインターフェイスに関するデータを収集します。このデータはPIEアプリケーションに発行されます。リンクダウンPIEはこれらのイベントにサブスクライブし、ブローカからデータを受信し、根本原因を見つけるためにデータを分析します。
光ファイバPIE
光ファイバPIEは、定期的に収集されたDOMデータの時系列分析を実行する継続的なモニタリングエンジンです。DOM内のさまざまなパラメータを一定期間にわたって追跡することで、PIEは各光ポートの光の状態を記述するメトリックに到達します。このメトリックは、光トランシーバの健全性の傾向に関する洞察です。
詳細については、次のPIEドキュメントを参照してください。
Cisco Nexus 9000シリーズNX-OSプラットフォームInsights Engineガイド、リリース10.2(x)
PIEの例：ピア側のポートをシャットダウンしてから再度有効にすることによって発生するリンクフラップ
2024 Jan 21 05:27:35 N9K-C93180YC-FX %ETH_PORT_CHANNEL-5-FOP_CHANGED: port-channel100: first operational port changed from Ethernet1/5 to none
2024 Jan 21 05:27:35 N9K-C93180YC-FX %ETH_PORT_CHANNEL-5-PORT_DOWN: port-channel100: Ethernet1/5 is down
2024 Jan 21 05:27:35 N9K-C93180YC-FX %ETHPORT-5-IF_DOWN_PORT_CHANNEL_MEMBERS_DOWN: Interface port-channel100 is down (No operational members)
2024 Jan 21 05:27:35 N9K-C93180YC-FX %ETHPORT-5-IF_BANDWIDTH_CHANGE: Interface port-channel100,bandwidth changed to 100000 Kbit
2024 Jan 21 05:27:35 N9K-C93180YC-FX %ETHPORT-5-IF_DOWN_LINK_FAILURE: Interface Ethernet1/5 is down (Link failure)
2024 Jan 21 05:27:35 N9K-C93180YC-FX %ETHPORT-5-IF_DOWN_PORT_CHANNEL_MEMBERS_DOWN: Interface port-channel100 is down (No operational members)
2024 Jan 21 05:27:58 N9K-C93180YC-FX %ETHPORT-5-SPEED: Interface Ethernet1/5, operational speed changed to 10 Gbps
<snip>
2024 Jan 21 05:28:02 N9K-C93180YC-FX %ETH_PORT_CHANNEL-5-PORT_UP: port-channel100: Ethernet1/5 is up
N9K-C93180YC-FX# show pie interface ethernet 1/5 link-flap-rca
2024-01-21 05:27:35 Event Id: 00000068 Ethernet1/5 Source Id: 436209664 RCA Code: 41 >>>PIE event time
Reason: Link flapped/down due to Local Fault, check peer >>>PIE link flap reason
N9K-C93180YC-FX# show pie interface ethernet 1/5 transceiver-insights
2024-01-21 05:30:12 Event Id: 00000080 Event Class: xcvr DOM DB Event Interface: Ethernet1/5 Health Metric: --------GOOD------- Mod: 01
2024-01-21 05:28:12 Event Id: 00000072 Event Class: xcvr DOM DB Event Interface: Ethernet1/5 Health Metric: --------GOOD------- Mod: 01
PIEの例：ピア側のポートのシャットダウンによるリンクダウン
2024 Jan 21 05:48:38 N9K-C93180YC-FX %ETH_PORT_CHANNEL-5-FOP_CHANGED: port-channel100: first operational port changed from Ethernet1/5 to none
2024 Jan 21 05:48:38 N9K-C93180YC-FX %ETH_PORT_CHANNEL-5-PORT_DOWN: port-channel100: Ethernet1/5 is down
2024 Jan 21 05:48:38 N9K-C93180YC-FX %ETHPORT-5-IF_DOWN_PORT_CHANNEL_MEMBERS_DOWN: Interface port-channel100 is down (No operational members)
2024 Jan 21 05:48:38 N9K-C93180YC-FX %ETHPORT-5-IF_BANDWIDTH_CHANGE: Interface port-channel100,bandwidth changed to 100000 Kbit
2024 Jan 21 05:48:38 N9K-C93180YC-FX %ETHPORT-5-IF_DOWN_LINK_FAILURE: Interface Ethernet1/5 is down (Link failure)
2024 Jan 21 05:48:38 N9K-C93180YC-FX %ETHPORT-5-IF_DOWN_PORT_CHANNEL_MEMBERS_DOWN: Interface port-channel100 is down (No operational members)
N9K-C93180YC-FX# show pie interface ethernet 1/5 link-down-rca
2024-01-21 05:48:48 Event Id: 00000197 Ethernet1/5 Source Id: 436209664 RCA Code: 16 >>>PIE event time
Reason: No PCS alignment detected. Please check Fec, speed, Autoneg configurations with peer >>>Physical layer failed
N9K-C93180YC-FX# show pie interface ethernet 1/5 transceiver-insights
2024-01-21 05:50:12 Event Id: 00000199 Event Class: xcvr DOM DB Event Interface: Ethernet1/5 Health Metric: ********BAD******** Mod: 01
2024-01-21 05:48:12 Event Id: 00000187 Event Class: xcvr DOM DB Event Interface: Ethernet1/5 Health Metric: --------GOOD------- Mod: 01
障害のある部品の交換
PIEの出力に基づいて、障害が発生する可能性のあるコンポーネントを交換し、監視を続行することを推奨します。リンクフラップが続く場合は、障害のある部分を絞り込むためにスワップテストが必要です。スワップテストは、他のすべてを変更せずに、一度に1つのコンポーネントを変更することで実行できます。最終的には、障害のある特定のコンポーネントが交換された後に、リンクが安定します。
NX-OS 10.1.2以前のリリースでのレイヤ1の問題
10.2(1)より前のNX-OSソフトウェアリリースでは、PIEはサポートされていません。レイヤ1リンクフラップをチェックするには、手動で複数の手順を実行する必要があります。
ポートクライアントイベント履歴の確認
これにより、接続されたモジュール上のすべてのリンクイベントがリストされます。デバウンス時間とは、インターフェイスがスーパーバイザにリンクのダウンを通知するまで待機する時間です。この間、インターフェイスはリンクがアップに戻るかどうかを確認するために待機します。これは、リンクがダウンしているかどうか、または軽度のフラップが発生しただけかどうかを判断するために使用されます。
N9K-C93180YC-FX# attach module 1
module-1# show system internal port-client link-event
*************** Port Client Link Events Log ***************
---- ------ ----- ----- ------
Time PortNo Speed Event Stsinfo
---- ------ ----- ----- ------
Jan 21 05:48:38 2024 00122142 Ethernet1/5 ---- DOWN Link down debounce timer stopped and link is down
Jan 21 05:48:37 2024 00993003 Ethernet1/5 ---- DOWN Link down debounce timer started(0x40e50006)
Jan 21 05:45:14 2024 00432606 Ethernet1/5 10G UP SUCCESS(0x0)
ASICイベントの確認
これらのイベントは、各リンクイベントに関する詳細情報を提供します。
N9K-C93180YC-FX# attach module 1
module-1# show hardware internal tah link-events fp-port 5
324) Jan 21 05:48:37 2024 uSec 992843: Fp 5 : tahusd_isr.c #8469
Port Down with an ASIC interrupt
------------- ASIC MAC/PCS/Serdes REGS (Mac Channel 0) -------------
Link flapped due to Local Fault, check peer >>>Local Fault means the local device detected the issue on the receive path.
>>>Remote Fault means a Local Fault is detected across the link.
Intr Regs 00:0x0000, 01:0x0000, 02:0x0000, 03:0x0010, 07:0x0000, 11:0x0000, 15:0x0000
sts2.bercount : 0x0f00 sts2.erroredblocks : 0x0000
bercounthi : 0x0000 erroredblockhi : 0x0000
counters0.syncloss : 0x0001 counters0.blocklockloss: 0x0001
counters1.highber : 0x0000 counters1.vlderr : 0x0000
counters2.unkerr : 0x0012 counters2.invlderr : 0x0000
| エラー コード |
説明 |
|
| sts2.erroredブロック |
エラーのあるブロック（上位ビット）をカウントします。 |
|
| sts2.bercountを使用します。 |
不正な同期ヘッダー（下位ビット）をカウントします。 |
|
| ベルカント |
不正な同期ヘッダー（上位ビット）のカウント。 |
|
| エラーBLOCKHI |
エラーのあるブロック（上位ビット）をカウントします。 |
|
| カウンタ0.syncloss |
同期損失 |
|
| counters0.blocklockloss |
ブロックのロック損失 |
|
| カウンタ1.highber |
高いBER |
|
| カウンタ1.vlderr |
有効なエラー |
|
| カウンタ2.unkerr |
不明なエラー |
|
| カウンタ2.invlderr |
無効なエラー |
|
両側のデジタルオプティカルモニタリング(DOM)情報のチェック
この出力には、Small Form-factor Pluggable（SFP；着脱可能小型フォームファクタ）に関するいくつかの情報が含まれています。いずれかの値がSFP診断で許容される範囲を超えている場合は、SFPが損傷している可能性のあるコンポーネントと見なされ、交換する必要があります。この例では、すべてが正常に動作しています。
N9K-C93180YC-FX# show interface e1/5 transceiver details
Ethernet1/5
transceiver is present
type is 10Gbase-SR >>>SFP type
name is CISCO-OPLINK >>>SFP vendor
part number is TPP4XGDS0CCISE2G
revision is 02
serial number is OPMXXXXXXXX >>>SFP SN
nominal bitrate is 10300 MBit/sec >>>SFP bitrate
Link length supported for 50/125um OM2 fiber is 82 m
Link length supported for 62.5/125um fiber is 26 m
Link length supported for 50/125um OM3 fiber is 300 m
cisco id is 3
cisco extended id number is 4
cisco part number is 10-2415-03
cisco product id is SFP-10G-SR >>>SFP PID
cisco version id is V03
SFP Detail Diagnostics Information (internal calibration)
----------------------------------------------------------------------------
Current Alarms Warnings
Measurement High Low High Low
----------------------------------------------------------------------------
Temperature 36.52 C 75.00 C -5.00 C 70.00 C 0.00 C
Voltage 3.28 V 3.63 V 2.97 V 3.46 V 3.13 V
Current 6.61 mA 12.00 mA 0.50 mA 11.50 mA 1.00 mA
Tx Power -2.70 dBm 1.99 dBm -11.30 dBm -1.00 dBm -7.30 dBm
Rx Power -2.40 dBm 1.99 dBm -13.97 dBm -1.00 dBm -9.91 dBm
Transmit Fault Count = 0
----------------------------------------------------------------------------
Note: ++ high-alarm; + high-warning; -- low-alarm; - low-warning
peer side information is snipped.
テストと障害部品の交換の交換
上記のチェックですべて問題なく見える場合は、障害のある部分を絞り込むためにスワップテストが必要です。スワップテストは、他のすべてを変更せずに、一度に1つのコンポーネントを変更することで実行できます。最終的には、障害のある特定のコンポーネントが交換された後、リンクが安定します。
関連情報
更新履歴
| 改定 | 発行日 | コメント |
|---|---|---|
1.0 |
31-Jan-2024 |
初版 |
シスコ エンジニア提供
- ボーエン寺シスコテクニカルコンサルティングエンジニア
フィードバックシスコに問い合わせ
- サポート ケースをオープン
- (シスコ サービス契約が必要です。)