Nexus 9000クラウドスケールASIC CRCの特定とトレース
内容
はじめに
このドキュメントでは、Cisco Nexus 9000クラウドスケールASICモジュールで見られるCRCエラーの原因をトレースする手順について説明します。
前提条件
要件
カットスルースイッチングとストアアンドフォワードスイッチングの基本を理解しておくことをお勧めします。また、イーサネットフレームチェックシーケンス(FCS)フィールドの基本と、FCSフィールドで使用される巡回冗長検査(CRC)アルゴリズムについても理解しておくことを推奨します。詳細については、次のドキュメントを参照してください。
使用するコンポーネント
このドキュメントの情報は、NX-OSソフトウェアリリース7.0(3)I7(8)を実行しているCloud Scale ASICを搭載したCisco Nexus 9000シリーズスイッチに基づくものです。
このドキュメントの情報は、特定のラボ環境にあるデバイスに基づいて作成されました。このドキュメントで使用するすべてのデバイスは、クリアな（デフォルト）設定で作業を開始しています。本稼働中のネットワークでは、各コマンドによって起こる可能性がある影響を十分確認してください。
背景説明
このドキュメントでは、モジュラNexusスイッチの物理インターフェイスと内部ファブリックリンクで見られるストンプおよび非ストンプのCRCエラーを区別するために使用する手順についても説明します。
Cisco Nexus 9000シリーズスイッチは、カットスルースイッチングをデフォルトで使用します。カットスルースイッチングでは、スイッチがフレーム上で転送の決定を行い、有効な転送の決定を行うためにフレームのヘッダーが十分に処理され次第、出力インターフェイスからフレームの転送を開始します。これは、出力インターフェイスからフレームを転送する前にフレーム全体をバッファリングするストアアンドフォワードスイッチングとは異なります。
イーサネットフレームのFCSフィールドは、フレームの整合性を検証し、フレームが送信中に破損していないことを確認します。イーサネットフレームのFCSフィールドは、フレームのペイロードの背後にあるイーサネットフレームの末尾に配置されます。ストアアンドフォワードスイッチングモードで動作するスイッチは、フレームを出力インターフェイスから転送する前に（または、FCSフィールドに無効な内容が含まれている場合はフレームを廃棄する前に）、FCSフィールドを使用してイーサネットフレームの整合性を確認できます。ただし、カットスルースイッチングモードで動作するスイッチは、出力インターフェイスからフレームを転送する前にFCSフィールドでイーサネットフレームの整合性を確認できません。つまり、カットスルースイッチがイーサネットフレームの整合性を確認できる時点で、イーサネットフレームの大部分はすでに出力インターフェイスから転送されています。
カットスルースイッチングモードで動作しているスイッチが、無効なFCSフィールドを含むイーサネットフレームを受信した場合、スイッチは次のアクションを実行できます。
- 着信した破損フレームのCRC値を計算し、計算されたCRC値のビット単位の反転を使用してイーサネットフレームのFCSフィールドを書き換えます。フレームをルーティングする必要がある場合、破損したフレームのCRC値が計算され、フレームのイーサネットヘッダーが書き換えられた後にビット単位で反転されます。この動作は、CRCの「ストンプ」と呼ばれます。
- フレームに対する転送の決定に従って、イーサネットフレームの残りの部分を（ストンプされたCRCとともに）出力インターフェイスから転送します。
- 入力インターフェイスのinput errorsカウンタとCRC errorsカウンタのいずれか、または両方を増やします。
このドキュメントでは、入力インターフェイスに関連付けられたCRCカウンタが通常のCRC（通常は、入力インターフェイスに接続されているリンク上の物理層の問題を示す）か、またはストンプCRC（入力インターフェイスに接続されているデバイスもカットスルースイッチングモードで動作していて、不正なイーサネットフレームを受信したことを示す）かを確認する手順について説明します。
該当ハードウェア
このドキュメントで説明する手順は、次のハードウェアにのみ適用されます。
Nexus 9200/9300固定構成スイッチ
- N9K-C92160YC-X
- N9K-C92300YC
- N9K-C92304QC
- N9K-C92348GC-X
- N9K-C9236C
- N9K-C9272Q
- N9K-C9332C
- N9K-C9364C
- N9K-C93108TC-EX
- N9K-C93108TC-EX-24
- N9K-C93180LC-EX
- N9K-C93180YC-EX
- N9K-C93180YC-EX-24
- N9K-C93108TC-FX
- N9K-C93108TC-FX-24
- N9K-C93180YC-FX
- N9K-C93180YC-FX-24
- N9K-C9348GC-FXP
- N9K-C93240YC-FX2
- N9K-C93216TC-FX2
- N9K-C9336C-FX2
- N9K-C9336C-FX2-E
- N9K-C93360YC-FX2
- N9K-C93180YC-FX3
- N9K-C93108TC-FX3P
- N9K-C93180YC-FX3S
- N9K-C9316D-GX
- N9K-C93600CD-GX
- N9K-C9364C-GX
- N9K-C9364D-GX2A
- N9K-C9332D-GX2B
Nexus 9500モジュラスイッチラインカード
- N9K-X97160YC-EX
- N9K-X9732C-EX
- N9K-X9736C-EX
- N9K-X97284YC-FX
- N9K-X9732C-FX
- N9K-X9788TC-FX
- N9K-X9716D-GX
Cisco Nexus 9200および9300クラウドスケールCRCの識別およびトレース手順
このセクションでは、Cisco Nexus 9200および9300シリーズスイッチの特定の物理インターフェイスEthernet1/1で見られるCRCエラーの発生源を特定する手順について説明します。
NX-OSソフトウェアリリース10.2(1)以降
NX-OSソフトウェアリリース10.2(1)以降、Cloud Scale ASICを搭載したNexusスイッチには、スイッチを通過するイーサネットフレームのFCSフィールドに、ストンプCRCを持つパケット用の新しいインターフェイスカウンタが追加されました。show interfaceコマンドを使用すると、ゼロ以外のCRCカウンタとストンプしたCRCカウンタが増加している物理インターフェイスを特定できます。次に例を示します。物理インターフェイスEthernet1/1には、CRCカウンタとストンプCRCカウンタがゼロになっています。これは、無効なCRCとストンプCRCを持つフレームがこのインターフェイスで受信されたことを示します。
switch# show interface
<snip>
Ethernet1/1 is up
admin state is up, Dedicated Interface
Hardware: 100/1000/10000/25000 Ethernet, address: 00d7.8f86.2bbe (bia 00d7.8f86.2bbe)
MTU 1500 bytes, BW 10000000 Kbit, DLY 10 usec
reliability 255/255, txload 1/255, rxload 1/255
Encapsulation ARPA, medium is broadcast
Port mode is trunk
full-duplex, 10 Gb/s, media type is 10G
Beacon is turned off
Auto-Negotiation is turned on FEC mode is Auto
Input flow-control is off, output flow-control is off
Auto-mdix is turned off
Rate mode is dedicated
Switchport monitor is off
EtherType is 0x8100
EEE (efficient-ethernet) : n/a
admin fec state is auto, oper fec state is off
Last link flapped 04:09:21
Last clearing of "show interface" counters 00:50:37
0 interface resets
RX
8 unicast packets 253 multicast packets 2 broadcast packets
1832838280 input packets 2199405650587 bytes
0 jumbo packets 0 storm suppression bytes
0 runts 0 giants 1832838019 CRC 0 no buffer
1832838019 input error 0 short frame 0 overrun 0 underrun 0 ignored
0 watchdog 0 bad etype drop 0 bad proto drop 0 if down drop
0 input with dribble 0 input discard
0 Rx pause
1832838019 Stomped CRC
TX
908 unicast packets 323 multicast packets 3 broadcast packets
1234 output packets 113342 bytes
0 jumbo packets
0 output error 0 collision 0 deferred 0 late collision
0 lost carrier 0 no carrier 0 babble 0 output discard
0 Tx pause
注:CRCカウンタが増加している場合は、フレームがストンプされたCRCまたは無効だがストンプされていないCRCで受信されたことを示しています。ストンプCRCカウンタの増加は、ストンプCRCを持つフレームが受信されたことを示します。
または、show interface counters errors non-zeroコマンドを使用して、インターフェイスエラーカウンタを表示することもできます。次に例を示します。
switch# show interface counters errors non-zero
--------------------------------------------------------------------------------
Port Align-Err FCS-Err Xmit-Err Rcv-Err UnderSize OutDiscards
--------------------------------------------------------------------------------
Eth1/1 1790348828 1790348828 0 1790348828 0 0
--------------------------------------------------------------------------------
Port Single-Col Multi-Col Late-Col Exces-Col Carri-Sen Runts
--------------------------------------------------------------------------------
--------------------------------------------------------------------------------
Port Giants SQETest-Err Deferred-Tx IntMacTx-Er IntMacRx-Er Symbol-Err
--------------------------------------------------------------------------------
--------------------------------------------------------------------------------
Port InDiscards
--------------------------------------------------------------------------------
--------------------------------------------------------------------------------
Port Stomped-CRC
--------------------------------------------------------------------------------
Eth1/1 1790348828
パイプを使用してshow interfaceコマンドをjsonコマンドまたはjson-prettyコマンドに渡し、CRCカウンタとストンプCRCカウンタの統計情報を構造化形式で取得できます。次に例を示します。
switch# show interface Ethernet1/1 | json-pretty | include ignore-case crc
"eth_crc": "828640831",
"eth_stomped_crc": "828640831",
NX-API REST APIは、sys/intf/phys-[intf-id]/dbgEtherStats.jsonオブジェクトモデルを使用して、これらの同じ統計情報を取得するために使用できます。次に例を示します。
/api/node/mo/sys/intf/phys-[eth1/1]/dbgEtherStats.json
{
"totalCount": "1",
"imdata": [
{
"rmonEtherStats": {
"attributes": {
"cRCAlignErrors": "26874272810",
"dn": "sys/intf/phys-[eth1/1]/dbgEtherStats",
"dropEvents": "0",
"rXNoErrors": "26874276337",
"stompedCRCAlignErrors": "26874272810",
...
}
}
}
]
}
NX-OSソフトウェアリリース10.1(2)以前
10.2(1)より前のNX-OSソフトウェアリリースでは、インターフェイスにストンプされたCRCカウンタは使用できません。無効なCRCが観察される入力インターフェイスを特定し、CRCが無効であるかストンプであるかを検証するには、いくつかの手順が必要です。
ステップ 1：物理インターフェイスでのCRCカウンタの増加の確認
show interfaceコマンドを使用し、ゼロ以外のCRCカウンタが増加している物理インターフェイスを特定します。ここに示す例では、物理インターフェイスEthernet1/1にゼロ以外のCRCカウンタがあります。
switch# show interface
<snip> Ethernet1/1 is up admin state is up, Dedicated Interface Hardware: 100/1000/10000/25000 Ethernet, address: 00d7.8f86.2bbe (bia 00d7.8f86.2bbe) MTU 1500 bytes, BW 10000000 Kbit, DLY 10 usec reliability 255/255, txload 1/255, rxload 1/255 Encapsulation ARPA, medium is broadcast Port mode is trunk full-duplex, 10 Gb/s, media type is 10G Beacon is turned off Auto-Negotiation is turned on FEC mode is Auto Input flow-control is off, output flow-control is off Auto-mdix is turned off Rate mode is dedicated Switchport monitor is off EtherType is 0x8100 EEE (efficient-ethernet) : n/a admin fec state is auto, oper fec state is off Last link flapped 04:09:21 Last clearing of "show interface" counters 00:50:37 0 interface resets RX 3 unicast packets 3087 multicast packets 0 broadcast packets 3097 input packets 244636 bytes 7 jumbo packets 0 storm suppression bytes 0 runts 7 giants 7 CRC 0 no buffer 7 input error 0 short frame 0 overrun 0 underrun 0 ignored 0 watchdog 0 bad etype drop 0 bad proto drop 0 if down drop 0 input with dribble 0 input discard 0 Rx pause
または、show interface counters errors non-zeroコマンドを使用して、ゼロ以外のエラーカウンタ（ゼロ以外のCRCカウンタを含む）を持つすべてのインターフェイスを表示します。ここに示す例では、物理インターフェイスEthernet1/1にFCS-Err列に表示されるゼロ以外のCRCカウンタがあります。
switch# show interface counters errors non-zero <snip> -------------------------------------------------------------------------------- Port Align-Err FCS-Err Xmit-Err Rcv-Err UnderSize OutDiscards -------------------------------------------------------------------------------- Eth1/1 7 7 0 7 0 0
ステップ 2：ASIC、MACブロック、およびMACブロックサブポートへの物理インターフェイスのマッピング
show interface hardware-mappingsコマンドを使用して、次の3つの主要な特性を特定します。
- Unit：物理インターフェイスが接続するクラウドスケールASICのID。これは、ゼロから始まる番号付け方式を使用します（たとえば、最初のASICは0、2番目のASICは1など）
- MacId：物理インターフェイスが接続するMACブロックのID。これは、ゼロから始まる番号付け方式を使用します（たとえば、最初のMACブロックは0、2番目のMACブロックは1など）
- MacSP：物理インターフェイスが接続するMACブロックサブポートのID。各MACブロックには、関連付けられた4つのサブポートがあります。これらのサブポートは、ゼロベースの番号体系を使用し、2の値で増分されます。したがって、第1サブポートのインデックスは0、第2サブポートのインデックスは2、第3サブポートのインデックスは4、第4サブポートのインデックスは6である。
これは、物理インターフェイスEthernet1/1がクラウドスケールASIC 0、MACブロック4、およびMACブロックサブポート0に関連付けられている場合の例で示されています。
switch# show interface hardware-mappings
<snip>
-------------------------------------------------------------------------------------------------------
Name Ifindex Smod Unit HPort FPort NPort VPort Slice SPort SrcId MacId MacSP VIF Block BlkSrcID
-------------------------------------------------------------------------------------------------------
Eth1/1 1a000000 1 0 16 255 0 -1 0 16 32 4 0 1 0 32
Eth1/2 1a000200 1 0 17 255 4 -1 0 17 34 4 2 5 0 34
Eth1/3 1a000400 1 0 18 255 8 -1 0 18 36 4 4 9 0 36
Eth1/4 1a000600 1 0 19 255 12 -1 0 19 38 4 6 13 0 38
Eth1/5 1a000800 1 0 12 255 16 -1 0 12 24 3 0 17 0 24
ステップ 3：クラウドスケールASICレジスタでのCRC関連カウンタの確認
slot {x} show hardware internal tah counters asic {y}コマンドを使用して、Cloud Scale ASICのレジスタカウンタを表示します。このコマンドには、次の2つの変数が含まれます。
- {x}：この値をラインカードのスロット番号に置き換えます。トップオブラックスイッチの場合、この値は常に1です。エンドオブローのモジュラスイッチの場合、ラインカードのスロット番号は物理インターフェイス名の最初の番号です。たとえば、物理インターフェイスEthernet1/1のラインカードスロット番号は1で、物理インターフェイスEthernet4/24のラインカードスロット番号は4です。
- {y} – この値をステップ2で特定されたクラウドスケールASIC識別子で置き換えます。たとえば、物理インターフェイスEthernet1/1のUnitカラムの値が0の場合、この変数の値は0になります。物理インターフェイスEthernet4/24のUnitカラムの値が3の場合、この変数の値は3になります。
この出力には表が表示されます。テーブルの各行は異なるASICレジスタです。テーブルの各列は、スイッチの物理インターフェイスに対応します。各列に使用される名前は、物理インターフェイスの名前ではなく、MACブロックとMACブロックサブポートの組み合わせです。列ヘッダーに使用される形式は次のとおりです。
M{A},{B}-{InterfaceSpeed}
この形式には、次の3つの変数があります。
- {A}：この値をMACブロック番号で置き換えます。
- {B}：この値をMACブロックサブポート番号で置き換えます。
- {InterfaceSpeed}：この値は、インターフェイスの物理速度に対応します（10G、25G、40Gx4など）。
次の例では、これについて説明します。物理インターフェイスEthernet1/1は、ラインカードスロット番号1とクラウドスケールASIC 0に関連付けられていることを思い出してください。つまり、実行する必要があるコマンドは、slot 1 show hardware internal tah counters asic 0です。物理インターフェイスEthernet1/1に関連付けられたMACブロックは4、物理インターフェイスEthernet1/1に関連付けられたMACブロックサブポートは0、物理インターフェイスEthernet1/1は10Gインターフェイスです。したがって、探しているカラムヘッダーはM4,0-10Gです。
switch# slot 1 show hardware internal tah counters asic 0 <snip> *************** PER MAC/CH SRAM COUNTERS **************** REG_NAME M4,0-10G M4,2-10G M4,4-10G M4,6-10G M5,0-40Gx4 M6,0-40Gx4 M7,0-40Gx4 M8,0-10G ---------------------------------------------------------------------------------------------------------------------------- 02-RX Frm with FCS Err .... .... .... .... .... .... .... .... 16-RX Frm CRC Err(Stomp) c .... .... .... .... .... .... ....
このコマンドの出力には、数十のレジスタカウンタがあります。自然なCRCエラーとストンプされたCRCの区別に関連するキーレジスタカウンタが2つあります。
- 02-RX Frm with FCS Err：フレームが無効ですが、ストンプされていないCRCを受信したことを示します。
- 16-RX Frm CRC Err(Stomp)：ストンプCRCを持つフレームが受信されたことを示します。
これらのカウンタの値は16進数です。次に示すように、dec NX-OSコマンドを使用すると、16進数値を10進数値に変換できます。
N9K-C93180YC-EX-2# dec 0xc
12
両方のレジスタカウンタを合わせた値は、show interfaceまたはshow interface counters errors non-zeroの出力によって物理インターフェイスで観察されたCRCの数と同じです。
Cisco Nexus 9500クラウドスケール – モジュラスイッチでのCRCの識別とトレース手順
このドキュメントのこのセクションでは、Cisco Nexus 9500シリーズスイッチの特定の物理インターフェイスEthernet1/1で見られるCRCエラーの発生源を特定する手順について説明します。
Nexus 9500シリーズスイッチの各ラインカードは、内部リンク(iEth)を介してファブリックモジュールに接続されます。各ラインカードの各ASICは、すべてのファブリックモジュールにフルメッシュ接続されています。次の例は、4つのSugarbowl ASICを搭載し、内部リンクがモジュラNexus 9500スイッチ内の4つのファブリックモジュールに接続されているラインカードを示しています。
ASICが受信したトラフィックが別のASICまたはラインカードから出力される必要がある場合、そのトラフィックはファブリックモジュールを介してファブリックに送信される必要があります。入力ASICは、パケットのヘッダーのハッシュとASICで使用可能なiEthリンクの数に基づいて、ファブリックモジュールへのiEthリンクの1つを選択します。
ステップ 1：ラインカードとファブリックモジュール間の内部リンクのマッピング
show system internal fabric connectivity module {x}コマンド（{x}はラインカードまたはファブリックモジュールのスロット番号）を使用して、指定したラインカードとすべてのファブリックモジュール間の内部リンクを表示します。この出力では表が表示され、各行にはラインカードの内部リンク（LC-iEthLink列の下）と各ファブリックモジュールの内部リンク（FM-iEthLink列の下）の間の1対1のマッピングが示されます。この例を以下に示します。これは、8枚のラインカードと4枚のファブリックモジュールが挿入されたNexus 9508スイッチから取得したものです。この出力例は、スイッチのスロット8に挿入されたラインカードの各ASICインスタンスが、2つの内部リンクを介して、取り付けられている4つのファブリックモジュール（スロット22、23、24、および26に挿入）のそれぞれに接続されていることを示しています。
Nexus9500# show system internal fabric connectivity module 8
Internal Link-info Linecard slot:8
------------------------------------------------------------------------
LC-Slot LC-Unit LC-iEthLink MUX FM-Slot FM-Unit FM-iEthLink
------------------------------------------------------------------------
8 0 iEth01 - 22 0 iEth18
8 0 iEth02 - 22 1 iEth50
8 0 iEth03 - 23 0 iEth18
8 0 iEth04 - 23 1 iEth50
8 0 iEth05 - 24 0 iEth18
8 0 iEth06 - 24 1 iEth50
8 0 iEth07 - 26 0 iEth18
8 0 iEth08 - 26 1 iEth50
8 1 iEth09 - 22 0 iEth03
8 1 iEth10 - 22 1 iEth35
8 1 iEth11 - 23 0 iEth03
8 1 iEth12 - 23 1 iEth35
8 1 iEth13 - 24 0 iEth03
8 1 iEth14 - 24 1 iEth35
8 1 iEth15 - 26 0 iEth03
8 1 iEth16 - 26 1 iEth35
8 2 iEth17 - 22 0 iEth32
8 2 iEth18 - 22 1 iEth53
8 2 iEth19 - 23 0 iEth32
8 2 iEth20 - 23 1 iEth53
8 2 iEth21 - 24 0 iEth32
8 2 iEth22 - 24 1 iEth53
8 2 iEth23 - 26 0 iEth32
8 2 iEth24 - 26 1 iEth53
8 3 iEth25 - 22 0 iEth31
8 3 iEth26 - 22 1 iEth54
8 3 iEth27 - 23 0 iEth31
8 3 iEth28 - 23 1 iEth54
8 3 iEth29 - 24 0 iEth31
8 3 iEth30 - 24 1 iEth54
8 3 iEth31 - 26 0 iEth31
8 3 iEth32 - 26 1 iEth54
同様に、iEthリンクマッピングは、ファブリックモジュールの観点からチェックできます。次に例を示します。ここでは、スロット22に挿入されたファブリックモジュールと、Nexus 9508シャーシに取り付けられた8枚の各ラインカードとの間の内部リンクが表示されています。
Nexus9500# show system internal fabric connectivity module 22
Internal Link-info Fabriccard slot:22
------------------------------------------------------------------------
FM-Slot FM-Unit FM-iEthLink LC-Slot LC-Unit LC-EthLink MUX
------------------------------------------------------------------------
22 0 iEth09 1 0 iEth01 -
22 0 iEth06 1 1 iEth11 -
22 0 iEth25 1 2 iEth21 -
22 0 iEth26 1 3 iEth31 -
22 0 iEth10 2 0 iEth01 -
22 0 iEth05 2 1 iEth11 -
22 0 iEth23 2 2 iEth21 -
22 0 iEth24 2 3 iEth31 -
22 0 iEth12 3 0 iEth01 -
22 0 iEth11 3 1 iEth11 -
22 0 iEth21 3 2 iEth21 -
22 0 iEth22 3 3 iEth31 -
22 0 iEth14 4 0 iEth01 -
22 0 iEth13 4 1 iEth11 -
22 0 iEth07 4 2 iEth21 -
22 0 iEth08 4 3 iEth31 -
22 0 iEth16 5 0 iEth01 -
22 0 iEth15 5 1 iEth11 -
22 0 iEth01 5 2 iEth21 -
22 0 iEth04 5 3 iEth31 -
22 0 iEth20 6 0 iEth01 -
22 0 iEth17 6 1 iEth11 -
22 0 iEth28 6 2 iEth21 -
22 0 iEth27 6 3 iEth31 -
22 0 iEth19 7 0 iEth01 -
22 0 iEth02 7 1 iEth09 -
22 0 iEth30 7 2 iEth17 -
22 0 iEth29 7 3 iEth25 -
22 0 iEth18 8 0 iEth01 -
22 0 iEth03 8 1 iEth09 -
22 0 iEth32 8 2 iEth17 -
22 0 iEth31 8 3 iEth25 -
22 1 iEth41 1 0 iEth02 -
22 1 iEth38 1 1 iEth12 -
22 1 iEth59 1 2 iEth22 -
22 1 iEth60 1 3 iEth32 -
22 1 iEth42 2 0 iEth02 -
22 1 iEth37 2 1 iEth12 -
22 1 iEth62 2 2 iEth22 -
22 1 iEth61 2 3 iEth32 -
22 1 iEth44 3 0 iEth02 -
22 1 iEth43 3 1 iEth12 -
22 1 iEth64 3 2 iEth22 -
22 1 iEth63 3 3 iEth32 -
22 1 iEth46 4 0 iEth02 -
22 1 iEth45 4 1 iEth12 -
22 1 iEth39 4 2 iEth22 -
22 1 iEth40 4 3 iEth32 -
22 1 iEth48 5 0 iEth02 -
22 1 iEth47 5 1 iEth12 -
22 1 iEth36 5 2 iEth22 -
22 1 iEth33 5 3 iEth32 -
22 1 iEth52 6 0 iEth02 -
22 1 iEth49 6 1 iEth12 -
22 1 iEth57 6 2 iEth22 -
22 1 iEth58 6 3 iEth32 -
22 1 iEth34 7 0 iEth02 -
22 1 iEth51 7 1 iEth10 -
22 1 iEth55 7 2 iEth18 -
22 1 iEth56 7 3 iEth26 -
22 1 iEth50 8 0 iEth02 -
22 1 iEth35 8 1 iEth10 -
22 1 iEth53 8 2 iEth18 -
22 1 iEth54 8 3 iEth26 -
show system internal fabric link-state module {x}コマンドを使用して、内部ポートがアップしているかどうか（STカラムの下）と、特定の内部リンクの対応するASICスライスとMAC識別子（MACカラムの下）を確認します。次に例を示します。
Nexus9500# show system internal fabric link-state module 8
cli : mod = 8
module number = 8
========================================================================================================================
Module number = 8
========================================================================================================================
[LC] [ INST:SLI:MAC:GLSRC] [IETH] [ST] <========> [FM] [ INST:SLI:MAC:GLSRC] [IETH] [ST]
========================================================================================================================
[ 8] [ 0 : 0 : 7 : 0x38] [iEth01] [UP] <========> [22] [ 0 : 3 : 21 : 0x18] [iEth18] [UP]
[ 8] [ 0 : 1 : 9 : 0x0] [iEth02] [UP] <========> [22] [ 1 : 3 : 21 : 0x18] [iEth50] [UP]
[ 8] [ 0 : 0 : 6 : 0x30] [iEth03] [UP] <========> [23] [ 0 : 3 : 21 : 0x18] [iEth18] [UP]
[ 8] [ 0 : 1 : 16 : 0x38] [iEth04] [UP] <========> [23] [ 1 : 3 : 21 : 0x18] [iEth50] [UP]
[ 8] [ 0 : 0 : 8 : 0x40] [iEth05] [UP] <========> [24] [ 0 : 3 : 21 : 0x18] [iEth18] [UP]
[ 8] [ 0 : 1 : 15 : 0x30] [iEth06] [UP] <========> [24] [ 1 : 3 : 21 : 0x18] [iEth50] [UP]
[ 8] [ 0 : 0 : 5 : 0x28] [iEth07] [UP] <========> [26] [ 0 : 3 : 21 : 0x18] [iEth18] [UP]
[ 8] [ 0 : 1 : 17 : 0x40] [iEth08] [UP] <========> [26] [ 1 : 3 : 21 : 0x18] [iEth50] [UP]
[ 8] [ 1 : 0 : 7 : 0x38] [iEth09] [UP] <========> [22] [ 0 : 0 : 4 : 0x20] [iEth03] [UP]
[ 8] [ 1 : 1 : 9 : 0x0] [iEth10] [UP] <========> [22] [ 1 : 0 : 4 : 0x20] [iEth35] [UP]
[ 8] [ 1 : 0 : 6 : 0x30] [iEth11] [UP] <========> [23] [ 0 : 0 : 4 : 0x20] [iEth03] [UP]
[ 8] [ 1 : 1 : 16 : 0x38] [iEth12] [UP] <========> [23] [ 1 : 0 : 4 : 0x20] [iEth35] [UP]
[ 8] [ 1 : 0 : 8 : 0x40] [iEth13] [UP] <========> [24] [ 0 : 0 : 4 : 0x20] [iEth03] [UP]
[ 8] [ 1 : 1 : 15 : 0x30] [iEth14] [UP] <========> [24] [ 1 : 0 : 4 : 0x20] [iEth35] [UP]
[ 8] [ 1 : 0 : 5 : 0x28] [iEth15] [UP] <========> [26] [ 0 : 0 : 4 : 0x20] [iEth03] [UP]
[ 8] [ 1 : 1 : 17 : 0x40] [iEth16] [UP] <========> [26] [ 1 : 0 : 4 : 0x20] [iEth35] [UP]
[ 8] [ 2 : 0 : 7 : 0x38] [iEth17] [UP] <========> [22] [ 0 : 5 : 35 : 0x28] [iEth32] [UP]
[ 8] [ 2 : 1 : 9 : 0x0] [iEth18] [UP] <========> [22] [ 1 : 4 : 24 : 0x0] [iEth53] [UP]
[ 8] [ 2 : 0 : 6 : 0x30] [iEth19] [UP] <========> [23] [ 0 : 5 : 35 : 0x28] [iEth32] [UP]
[ 8] [ 2 : 1 : 16 : 0x38] [iEth20] [UP] <========> [23] [ 1 : 4 : 24 : 0x0] [iEth53] [UP]
[ 8] [ 2 : 0 : 8 : 0x40] [iEth21] [UP] <========> [24] [ 0 : 5 : 35 : 0x28] [iEth32] [UP]
[ 8] [ 2 : 1 : 15 : 0x30] [iEth22] [UP] <========> [24] [ 1 : 4 : 24 : 0x0] [iEth53] [UP]
[ 8] [ 2 : 0 : 5 : 0x28] [iEth23] [UP] <========> [26] [ 0 : 5 : 35 : 0x28] [iEth32] [UP]
[ 8] [ 2 : 1 : 17 : 0x40] [iEth24] [UP] <========> [26] [ 1 : 4 : 24 : 0x0] [iEth53] [UP]
[ 8] [ 3 : 0 : 7 : 0x38] [iEth25] [UP] <========> [22] [ 0 : 5 : 34 : 0x20] [iEth31] [UP]
[ 8] [ 3 : 1 : 9 : 0x0] [iEth26] [UP] <========> [22] [ 1 : 4 : 25 : 0x8] [iEth54] [UP]
[ 8] [ 3 : 0 : 6 : 0x30] [iEth27] [UP] <========> [23] [ 0 : 5 : 34 : 0x20] [iEth31] [UP]
[ 8] [ 3 : 1 : 16 : 0x38] [iEth28] [UP] <========> [23] [ 1 : 4 : 25 : 0x8] [iEth54] [UP]
[ 8] [ 3 : 0 : 8 : 0x40] [iEth29] [UP] <========> [24] [ 0 : 5 : 34 : 0x20] [iEth31] [UP]
[ 8] [ 3 : 1 : 15 : 0x30] [iEth30] [UP] <========> [24] [ 1 : 4 : 25 : 0x8] [iEth54] [UP]
[ 8] [ 3 : 0 : 5 : 0x28] [iEth31] [UP] <========> [26] [ 0 : 5 : 34 : 0x20] [iEth31] [UP]
[ 8] [ 3 : 1 : 17 : 0x40] [iEth32] [UP] <========> [26] [ 1 : 4 : 25 : 0x8] [iEth54] [UP]
ステップ 2：iEthリンク上のCRCカウンタをチェックし、破損フレームの原因を追跡する
モジュラ型のNexus 9500スイッチでは、次のシナリオで1つ以上のiEthリンクでCRCエラーを確認できます。
- スイッチがカットスルースイッチングモードで動作している場合、FCSフィールドに不正なCRC値を持つ破損したイーサネットフレームを受信したラインカードは、ローカルでフレームを廃棄しません。その代わり、ラインカードはパケットを通常どおり転送します。パケットの出力インターフェイスが別のASICまたはラインカードに属している場合、入力ラインカードはパケットをファブリックモジュールに転送します。ファブリックモジュールはカットスルースイッチングモードでも動作するため、ファブリックモジュールはパケットを出力ラインカードに転送します。出力ラインカードはパケットをネクストホップに転送し、出力インターフェイスの出力エラーカウンタを増加させます。
- ハードウェアの障害が原因で内部リンクに障害が発生した場合、ラインカードとファブリックモジュール間で内部リンクを通過するパケットが破損する可能性があります。
show system internal fabric connectivity stats module {x}コマンドを使用して、対応する内部リンクのCRCカウンタを確認します。この例を次に示します。ここでは、スロット22に挿入されたファブリックモジュールが、スイッチのスロット7に挿入されたラインカードのiEth26に接続されたiEth56で、無効なCRCを持つパケットを受信しています。これは、破損したイーサネットフレームが、スイッチのスロット7に挿入されたラインカードからファブリックモジュールで受信されたことを示します。
Nexus9500# show system internal fabric connectivity stats module 22
Internal Link-info Stats Fabriccard slot:22
-------------------------------------------------------------------------------------
FM-Slot FM-Unit FM-iEthLink LC-Slot LC-Unit LC-EthLink MUX CRC
-------------------------------------------------------------------------------------
22 0 iEth09 1 0 iEth01 - 0
22 0 iEth06 1 1 iEth11 - 0
22 0 iEth25 1 2 iEth21 - 0
22 0 iEth26 1 3 iEth31 - 0
22 0 iEth10 2 0 iEth01 - 0
22 0 iEth05 2 1 iEth11 - 0
22 0 iEth23 2 2 iEth21 - 0
22 0 iEth24 2 3 iEth31 - 0
22 0 iEth12 3 0 iEth01 - 0
22 0 iEth11 3 1 iEth11 - 0
22 0 iEth21 3 2 iEth21 - 0
22 0 iEth22 3 3 iEth31 - 0
22 0 iEth14 4 0 iEth01 - 0
22 0 iEth13 4 1 iEth11 - 0
22 0 iEth07 4 2 iEth21 - 0
22 0 iEth08 4 3 iEth31 - 0
22 0 iEth16 5 0 iEth01 - 0
22 0 iEth15 5 1 iEth11 - 0
22 0 iEth01 5 2 iEth21 - 0
22 0 iEth04 5 3 iEth31 - 0
22 0 iEth20 6 0 iEth01 - 0
22 0 iEth17 6 1 iEth11 - 0
22 0 iEth28 6 2 iEth21 - 0
22 0 iEth27 6 3 iEth31 - 0
22 0 iEth19 7 0 iEth01 - 0
22 0 iEth02 7 1 iEth09 - 0
22 0 iEth30 7 2 iEth17 - 0
22 0 iEth29 7 3 iEth25 - 0
22 0 iEth18 8 0 iEth01 - 0
22 0 iEth03 8 1 iEth09 - 0
22 0 iEth32 8 2 iEth17 - 0
22 0 iEth31 8 3 iEth25 - 0
22 1 iEth41 1 0 iEth02 - 0
22 1 iEth38 1 1 iEth12 - 0
22 1 iEth59 1 2 iEth22 - 0
22 1 iEth60 1 3 iEth32 - 0
22 1 iEth42 2 0 iEth02 - 0
22 1 iEth37 2 1 iEth12 - 0
22 1 iEth62 2 2 iEth22 - 0
22 1 iEth61 2 3 iEth32 - 0
22 1 iEth44 3 0 iEth02 - 0
22 1 iEth43 3 1 iEth12 - 0
22 1 iEth64 3 2 iEth22 - 0
22 1 iEth63 3 3 iEth32 - 0
22 1 iEth46 4 0 iEth02 - 0
22 1 iEth45 4 1 iEth12 - 0
22 1 iEth39 4 2 iEth22 - 0
22 1 iEth40 4 3 iEth32 - 0
22 1 iEth48 5 0 iEth02 - 0
22 1 iEth47 5 1 iEth12 - 0
22 1 iEth36 5 2 iEth22 - 0
22 1 iEth33 5 3 iEth32 - 0
22 1 iEth52 6 0 iEth02 - 0
22 1 iEth49 6 1 iEth12 - 0
22 1 iEth57 6 2 iEth22 - 0
22 1 iEth58 6 3 iEth32 - 0
22 1 iEth34 7 0 iEth02 - 0
22 1 iEth51 7 1 iEth10 - 0
22 1 iEth55 7 2 iEth18 - 0
22 1 iEth56 7 3 iEth26 - 1665601166
22 1 iEth50 8 0 iEth02 - 0
22 1 iEth35 8 1 iEth10 - 0
22 1 iEth53 8 2 iEth18 - 0
22 1 iEth54 8 3 iEth26 - 0
ラインカードまたはファブリックモジュールでslot {x} show hardware internal tah counters asic {y}コマンドを使用して、CRCエラーが無効であるか、CRCがストンプされているかどうかを確認します。無効なCRCエラーとストンプされたCRCエラーを区別する2つのレジスタカウンタは次のとおりです。
- 02-RX Frm with FCS Err：フレームが無効であるが、ストンプされていないCRCを受信したことを示します。
- 16-RX Frm CRC Err(Stomp)：ストンプCRCを持つフレームが受信されたことを示します。
次に例を示します。この例では、シャーシのスロット22に挿入されたファブリックモジュール上で、内部リンクiEth54を介して破損したフレームが受信され、シャーシのスロット8に挿入されたラインカードへの接続が、ストンプされたCRCで受信されます。
Nexus9500# slot 22 show hardware internal tah counters asic 1
REG_NAME M24,0-100Gx4 M25,0-100Gx4
--------------------------------------------------------------------------------------------------------------------------
02-RX Frm with FCS Err .... ....
03-RX Frm with any Err .... 144912733e
16-RX Frm CRC Err(Stomp) .... 14491277d7
または、show hardware internal errors module {x}コマンドを使用して、特定のモジュールのASICエラーカウンタを表示します。次に例を示します。
注：この出力では、Interface Inbound Errors(CRC,len,Algn Err)カウンタが無効なCRCおよびストンプされたCRCの両方で増加し、Interface Inbound CRC Error StoppedカウンタがストンプされたCRCの両方で増加します。
Nexus9500# show hardware internal errors module 22
|------------------------------------------------------------------------|
| Device:Lacrosse Role:MAC Mod:22 |
| Last cleared @ Tue Jul 6 04:10:45 2021
| Device Statistics Category :: ERROR
|------------------------------------------------------------------------|
Instance:0
ID Name Value Ports
-- ---- ----- -----
Instance:1
ID Name Value Ports
-- ---- ----- -----
196635 Interface Inbound Errors (CRC,len,Algn Err) 0000053053264536 27:0
1048603 Interface Inbound CRC Error Stomped 0000053053264535 27:0
破損フレームの受信元の入力ラインカードを特定した後で、同様の方法でslot {x} show hardware internal tah counters asic {y}コマンドまたはshow hardware internal errors module {x}コマンドを使用し、エラーが受信された入力インターフェイスを特定し、エラーが無効なCRCまたはストンプされたCRCとして受信されているかどうかを特定します。
まれに、ファブリックモジュールまたは出力ラインカードでiEthリンクにCRCエラーが表示されるものの、接続されたラインカードに入力CRCの兆候がない場合があります。この問題の根本原因は、通常、ファブリックモジュールのハードウェア障害です。この問題をさらにトラブルシューティングして必要に応じてファブリックモジュールを交換するには、Cisco TACのサポートケースをオープンすることをお勧めします。
例
このセクションでは、いくつかの例を使用して、前の手順の概要を説明します。
シナリオ 1.ストンプCRCを受信する物理インターフェイス
次の例は、物理インターフェイスのCRCエラーがストンプCRCであることを識別する方法を示しています。
このトポロジを参照してください。
この例では、インターフェイスSVI 10（IPアドレス192.0.2.1を所有）からN9K-3のインターフェイスSVI 10（IPアドレス192.0.2.3を所有）を宛先とし、MTUが1500バイトのジャンボサイズの8000バイトのICMPパケットを介して、スイッチN9K-1上で意図的にストンプされたCRCエラーが生成されます。N9K-1、N9K-2、およびN9K-3はすべてNexus 93180YC-EXモデルスイッチです。
N9K-1# ping 192.0.2.3 count 5 packet-size 8000 PING 192.0.2.3 (192.0.2.3): 8000 data bytes Request 0 timed out Request 1 timed out Request 2 timed out Request 3 timed out Request 4 timed out Request 5 timed out --- 192.0.2.3 ping statistics --- 5 packets transmitted, 0 packets received, 100.00% packet loss
この例では、スイッチN9K-3の物理インターフェイスEthernet1/1でCRCエラーの増加が見られます。
N9K-3# show interface Ethernet1/1
<snip>
Ethernet1/1 is up
admin state is up, Dedicated Interface
Hardware: 100/1000/10000/25000 Ethernet, address: 00d7.8f86.2bbe (bia 00d7.8f86.2bbe)
MTU 1500 bytes, BW 10000000 Kbit, DLY 10 usec
reliability 255/255, txload 1/255, rxload 1/255
Encapsulation ARPA, medium is broadcast
Port mode is trunk
full-duplex, 10 Gb/s, media type is 10G
Beacon is turned off
Auto-Negotiation is turned on FEC mode is Auto
Input flow-control is off, output flow-control is off
Auto-mdix is turned off
Rate mode is dedicated
Switchport monitor is off
EtherType is 0x8100
EEE (efficient-ethernet) : n/a
admin fec state is auto, oper fec state is off
Last link flapped 06:13:44
Last clearing of "show interface" counters 02:55:00
0 interface resets
RX
9 unicast packets 10675 multicast packets 0 broadcast packets
10691 input packets 816924 bytes
7 jumbo packets 0 storm suppression bytes
0 runts 7 giants 7 CRC 0 no buffer
7 input error 0 short frame 0 overrun 0 underrun 0 ignored
0 watchdog 0 bad etype drop 0 bad proto drop 0 if down drop
0 input with dribble 0 input discard
0 Rx pause
ステップ 1：CRCの増加の確認
N9K-1のインターフェイスSVI 10（IPアドレス192.0.2.1を所有）からN9K-3のインターフェイスSVI 10（IPアドレス192.0.2.3を所有）を宛先として、ジャンボサイズの8000バイトのICMPパケットを生成することによって、物理インターフェイスEthernet1/1でCRCが増加していることを確認します。
N9K-1# ping 192.0.2.3 count 5 packet-size 8000
PING 192.0.2.3 (192.0.2.3): 8000 data bytes
Request 0 timed out
Request 1 timed out
Request 2 timed out
Request 3 timed out
Request 4 timed out
Request 5 timed out
--- 192.0.2.3 ping statistics ---
5 packets transmitted, 0 packets received, 100.00% packet loss
N9K-3# show interface Ethernet1/1
Ethernet1/1 is up
admin state is up, Dedicated Interface
Hardware: 100/1000/10000/25000 Ethernet, address: 00d7.8f86.2bbe (bia 00d7.8f86.2bbe)
MTU 1500 bytes, BW 10000000 Kbit, DLY 10 usec
reliability 255/255, txload 1/255, rxload 1/255
Encapsulation ARPA, medium is broadcast
Port mode is trunk
full-duplex, 10 Gb/s, media type is 10G
Beacon is turned off
Auto-Negotiation is turned on FEC mode is Auto
Input flow-control is off, output flow-control is off
Auto-mdix is turned off
Rate mode is dedicated
Switchport monitor is off
EtherType is 0x8100
EEE (efficient-ethernet) : n/a
admin fec state is auto, oper fec state is off
Last link flapped 06:52:57
Last clearing of "show interface" counters 03:34:13
0 interface resets
RX
11 unicast packets 13066 multicast packets 0 broadcast packets
13089 input packets 1005576 bytes
12 jumbo packets 0 storm suppression bytes
0 runts 12 giants 12 CRC 0 no buffer
12 input error 0 short frame 0 overrun 0 underrun 0 ignored
0 watchdog 0 bad etype drop 0 bad proto drop 0 if down drop
0 input with dribble 0 input discard
0 Rx pause
ステップ 2：物理インターフェイスのASIC、MACブロック、およびMACブロックサブポートへのマッピング
N9K-3でshow interface hardware-mappingsコマンドを使用して、物理インターフェイスEthernet1/1をASIC番号0、MACブロック4、およびMACブロックサブポート0にマッピングします。
N9K-3# show interface hardware-mappings
<snip>
-------------------------------------------------------------------------------------------------------
Name Ifindex Smod Unit HPort FPort NPort VPort Slice SPort SrcId MacId MacSP VIF Block BlkSrcID
-------------------------------------------------------------------------------------------------------
Eth1/1 1a000000 1 0 16 255 0 -1 0 16 32 4 0 1 0 32
Eth1/2 1a000200 1 0 17 255 4 -1 0 17 34 4 2 5 0 34
Eth1/3 1a000400 1 0 18 255 8 -1 0 18 36 4 4 9 0 36
Eth1/4 1a000600 1 0 19 255 12 -1 0 19 38 4 6 13 0 38
Eth1/5 1a000800 1 0 12 255 16 -1 0 12 24 3 0 17 0 24
ステップ 3：クラウドスケールASICレジスタでのCRC関連カウンタの確認
ステップ2の情報から、次のことがわかります。
- 物理インターフェイスEthernet1/1はASIC番号0にマッピングされます。
- 物理インターフェイスEthernet1/1は、MACブロック4のMACブロックサブポート0にマッピングされる
- N9K-3はトップオブラックのNexus 93180YC-EXモデルのスイッチであるため、唯一可能なラインカードスロット番号は1です
- ステップ1で収集したshow interfaceの出力から、物理インターフェイスEthernet1/1の速度が10Gであることがわかります。
この情報を使用すると、slot 1 show hardware internal tah counters asic 0コマンドを使用して、すべての物理インターフェイスのASICレジスタカウンタを表示できます。具体的には、M4,0-10Gに関連するASICレジスタカウンタを探しています。
N9K-3# slot 1 show hardware internal tah counters asic 0 <snip> *************** PER MAC/CH SRAM COUNTERS **************** REG_NAME M4,0-10G M4,2-10G M4,4-10G M4,6-10G M5,0-40Gx4 M6,0-40Gx4 M7,0-40Gx4 M8,0-10G ---------------------------------------------------------------------------------------------------------------------------------- 02-RX Frm with FCS Err .... .... .... .... .... .... .... .... 16-RX Frm CRC Err(Stomp) c .... .... .... .... .... .... ....
レジスタ16の16進数値0xcは、この物理インターフェイスでCRCストンプが発生したフレームが受信されたことを示しています。dec 0xcコマンドを使用すると、これを10進数値の12に変換できます。この値は、物理インターフェイスEthernet1/1のCRCエラーの数と一致します。
N9K-3# dec 0xc
12
結論
N9K-3は、物理インターフェイスEthernet1/1でストンプされたCRCを持つフレームを受信していることを確認しました。これは、Ethernet1/1リンクのリモート側のデバイス（この場合はN9K-2）がこれらのフレームのCRCをストンプしていることを意味します。不正なフレームの根本原因は、Ethernet1/1に直接接続されているリンクではなく、さらにダウンストリームにあります。ダウンストリームネットワークデバイスで追加のトラブルシューティングを実行して、不正なフレームの発生源を判別できます。
シナリオ 2.物理インターフェイスが無効なCRCを持つ不正なフレームを受信した
この例は、直接接続されたリンクの物理層の問題が原因で、不正なフレームが原因で物理インターフェイスのCRCエラーが増加していることを特定する方法を示しています。
このトポロジを参照してください。
この例では、スイッチN9K-1の物理インターフェイスEthernet1/40に接続されたトラフィックジェネレータが、誤ったCRCを持つフレームを意図的に生成しています。これは、トランシーバの故障やケーブルの損傷など、Ethernet1/40に接続されているリンク上の物理層の問題をシミュレートします。N9K-1はこれらのフレームを受信し、CRCが無効であることを認識し、Ethernet1/40物理インターフェイスのCRCエラーカウンタを増加させます。 N9K-1はNexus 93180YC-EXモデルのスイッチです。
N9K-1# show interface Ethernet1/40
Ethernet1/40 is up
admin state is up, Dedicated Interface
Hardware: 100/1000/10000/25000 Ethernet, address: 00d7.8f86.2bbe (bia 00d7.8f86.2c02)
MTU 1500 bytes, BW 10000000 Kbit, DLY 10 usec
reliability 255/255, txload 1/255, rxload 1/255
Encapsulation ARPA, medium is broadcast
Port mode is trunk
full-duplex, 10 Gb/s, media type is 10G
Beacon is turned off
Auto-Negotiation is turned on FEC mode is Auto
Input flow-control is off, output flow-control is off
Auto-mdix is turned off
Rate mode is dedicated
Switchport monitor is off
EtherType is 0x8100
EEE (efficient-ethernet) : n/a
admin fec state is auto, oper fec state is off
Last link flapped 06:13:44
Last clearing of "show interface" counters 02:55:00
0 interface resets
RX
1710 unicast packets 9873 multicast packets 0 broadcast packets
11583 input packets 886321 bytes
0 jumbo packets 0 storm suppression bytes
0 runts 0 giants 1683 CRC 0 no buffer
1683 input error 0 short frame 0 overrun 0 underrun 0 ignored
0 watchdog 0 bad etype drop 0 bad proto drop 0 if down drop
0 input with dribble 0 input discard
0 Rx pause
ステップ 1：CRCの増加の確認
show interfaceまたはshow interface counters non-zeroコマンドを使用して、N9K-1の物理インターフェイスEthernet1/40でCRCが増加していることを確認します。
N9K-1# show interface Ethernet1/40
<snip>
Ethernet1/40 is up
admin state is up, Dedicated Interface
Hardware: 100/1000/10000/25000 Ethernet, address: 00d7.8f86.2bbe (bia 00d7.8f86.2c02)
MTU 1500 bytes, BW 10000000 Kbit, DLY 10 usec
reliability 255/255, txload 1/255, rxload 1/255
Encapsulation ARPA, medium is broadcast
Port mode is trunk
full-duplex, 10 Gb/s, media type is 10G
Beacon is turned off
Auto-Negotiation is turned on FEC mode is Auto
Input flow-control is off, output flow-control is off
Auto-mdix is turned off
Rate mode is dedicated
Switchport monitor is off
EtherType is 0x8100
EEE (efficient-ethernet) : n/a
admin fec state is auto, oper fec state is off
Last link flapped 06:13:44
Last clearing of "show interface" counters 02:55:00
0 interface resets
RX
14055 unicast packets 9873 multicast packets 0 broadcast packets
23928 input packets 1676401 bytes
0 jumbo packets 0 storm suppression bytes
0 runts 0 giants 14028 CRC 0 no buffer
14028 input error 0 short frame 0 overrun 0 underrun 0 ignored
0 watchdog 0 bad etype drop 0 bad proto drop 0 if down drop
0 input with dribble 0 input discard
0 Rx pause
N9K-1# show interface counters errors non-zero
<snip>
--------------------------------------------------------------------------------
Port Align-Err FCS-Err Xmit-Err Rcv-Err UnderSize OutDiscards
--------------------------------------------------------------------------------
Eth1/40 26373 26373 0 26373 0 0
ステップ 2：物理インターフェイスのASIC、MACブロック、およびMACブロックサブポートへのマッピング
N9K-1でshow interface hardware-mappingsコマンドを使用して、物理インターフェイスEthernet1/40をASIC番号0、MACブロック10、MACブロックサブポート6にマッピングします。
N9K-1# show interface hardware-mappings <snip> --------------------------------------------------------------------------------------------- Name Ifindex Smod Unit HPort FPort NPort VPort Slice SPort SrcId MacId MacSP VIF Block BlkSrcID --------------------------------------------------------------------------------------------- Eth1/38 1a004a00 1 0 45 255 148 -1 1 5 10 10 2 149 0 10 Eth1/39 1a004c00 1 0 46 255 152 -1 1 6 12 10 4 153 0 12 Eth1/40 1a004e00 1 0 47 255 156 -1 1 7 14 10 6 157 0 14 Eth1/41 1a005000 1 0 76 255 160 -1 1 36 64 17 0 161 0 64 Eth1/42 1a005200 1 0 77 255 164 -1 1 37 66 17 2 165 0 66
ステップ 3：クラウドスケールASICレジスタでのCRC関連カウンタの確認
ステップ2の情報から、次のことがわかります。
- 物理インターフェイスEthernet1/40はASIC番号0にマッピングされています。
- 物理インターフェイスEthernet1/40は、MACブロック10のMACブロックサブポート6にマッピングされます。
- N9K-1はトップオブラックのNexus 93180YC-EXモデルのスイッチであるため、唯一可能なラインカードスロット番号は1です。
- ステップ1で収集したshow interfaceの出力から、物理インターフェイスEthernet1/40の速度が10Gであることがわかります。
この情報を使用して、slot 1 show hardware internal tah counters asic 0コマンドを使用し、すべての物理インターフェイスのASICレジスタカウンタを表示できます。具体的には、M10、6-10Gに関連するASICレジスタカウンタを探します。
N9K-1# slot 1 show hardware internal tah counters asic 0 *************** PER MAC/CH SRAM COUNTERS **************** REG_NAME M8,2-10G M8,4-10G M8,6-10G M9,0-40Gx4 M10,0-10G M10,2-10G M10,4-10G M10,6-10G ------------------------------------------------------------------------------------------------------------------------------------- 02-RX Frm with FCS Err .... .... .... .... .... .... .... 973e 16-RX Frm CRC Err(Stomp) .... .... .... .... .... .... .... ....
レジスタ2にゼロ以外の16進数値0x973eが表示される場合は、この物理インターフェイスで受信されたCRCが無効でもストンプされていないフレームを示しています。
dec 0x973eコマンドを使用すると、これを10進数値の38,718に変換できます。この値は、物理インターフェイスEthernet1/40でのCRCエラーの数と一致します（または、CRCが絶えず増加するため、これよりも小さくなります）。
N9K-1# dec 0x973e
38718
結論
N9K-1は、物理インターフェイスEthernet1/40上で、無効だがストンプされていないCRCを持つフレームを受信していることを確認しました。これは、Ethernet1/40（またはリンクのリモートエンドにあるデバイス）に直接接続されているリンクが、不正なフレームの原因である可能性が最も高いことを意味します。このリンクの物理層でさらにトラブルシューティングを行い、不正なフレームの根本原因を切り分けます（損傷したケーブル配線のチェック、現在のトランシーバを正常であることがわかっているトランシーバに交換するなど）。
シナリオ 3.Nexus 9500 iEth CRCエラーSyslog
次の例は、内部インターフェイスのエラーを報告するsyslogがNexus 9500シリーズスイッチによって生成された場合に、iEth内部リンクのCRCエラーの原因を特定する方法を示しています。このsyslogの例を次に示します。
Nexus9500# show logging logfile
<snip>
2021 Jul 9 05:51:19 Nexus9500 %DEVICE_TEST-SLOT22-3-INTERNAL_PORT_MONITOR_CRC_ERRORS_DETECTED: Module 22 received tx errors on internal interface ii22/1/56 since last run TXErr=36836897 TotalTXErr=50781987904
このsyslogは、スイッチのスロット22に挿入されたファブリックモジュールのiEth56内部リンクでエラーが検出されたことを示しています。
ステップ 1：ファブリックモジュール上のiEthリンクを接続されたラインカードにマッピング
show system internal fabric connectivity stats module {x}コマンドを使用して、影響を受けるiEth内部リンクの接続先であるラインカードを識別します。この例では、スイッチのスロット22に挿入されたファブリックモジュールのiEth56にエラーがあります。この例を次に示します。ここでは、スロット22に挿入されたファブリックモジュールのiEth56が、スイッチのスロット7に挿入されたラインカードのiEth26に接続されています。
Nexus9500# show system internal fabric connectivity stats module 22 | include Eth56|FM-Slot
FM-Slot FM-Unit FM-iEthLink LC-Slot LC-Unit LC-EthLink MUX CRC
22 1 iEth56 7 3 iEth26 - 603816174
show system internal fabric link-state module {x}コマンドを使用し、ファブリックモジュールのiEth56内部リンクに関連付けられているASICインスタンスとMAC識別子(MAC ID)を探します。この例を次に示します。ここでは、ASICインスタンスが1、MAC識別子が27です。
Nexus9500# show system internal fabric link-state module 22 | include MAC|iEth56
[FM] [ INST:SLI:MAC:GLSRC] [IETH] [ST] <========> [LC] [ INST:SLI:MAC:GLSRC] [IETH] [ST]
[22] [ 1 : 4 : 27 : 0x18] [iEth56] [UP] <========> [ 7] [ 3 : 1 : 9 : 0x0] [iEth26] [UP]
ステップ 2：iEthリンクで受信されたCRCが無効またはストンプされているかどうかを確認する
前の手順では、スロット22に挿入されたファブリックモジュールに接続されたiEth56のASICインスタンスIDが1で、MAC IDが27であることが示されています。slot {x} show hardware internal tah counters asic {y}コマンドを使用して、syslogによって報告されたCRCが無効なCRCかストンプされたCRCかを識別します。次に例を示します。ここでは、M27,0-100Gx4列がMAC ID 27に関連付けられており、CRCがストンプされたことを示しています。
Nexus9500# slot 22 show hardware internal tah counters asic 1
REG_NAME M27,0-100Gx4
-----------------------------------------
02-RX Frm with FCS Err ....
16-RX Frm CRC Err(Stomp) be9cb9bd6
または、show hardware internal errors module {x}コマンドを使用して、同じ情報を収集します。次に例を示します。
Nexus9500# show hardware internal errors module 22 | include CRC|Stomp|Inst
Instance:1
196635 Interface Inbound Errors (CRC,len,Algn Err) 0000051587084851 27:0
1048603 Interface Inbound CRC Error Stomped 0000051587084850 27:0
この出力では、Interface Inbound Errors(CRC,len,Algn Err)カウンタが無効なCRCとストンプされたCRCの両方で増加し、Interface Inbound CRC Error StompedカウンタがストンプされたCRCのみの増加であることを思い出してください。
ステップ 3：入力ラインカード上の無効なCRCを持つフレームの送信元の追跡
スイッチのスロット22に挿入されたファブリックモジュールに入るCRCが、スロット7に挿入されたラインカードからスイッチに入っていることがわかります。この情報により、show interface counters errors module {x} non-zeroコマンドを使用して、関連するラインカードに属するインターフェイスで0以外のCRCカウンタを識別できます。次に例を示します。
Nexus9500# show interface counters errors module 7 non-zero
<snip>
--------------------------------------------------------------------------------
Port Align-Err FCS-Err Xmit-Err Rcv-Err UnderSize OutDiscards
--------------------------------------------------------------------------------
Eth7/32 0 0 0 1195309745 0 0
該当するラインカードでこのシナリオのステップ#2を繰り返して、ラインカードが無効なCRCまたはストンプされたCRCを受信しているかどうかを確認できます。
Nexus9500# show hardware internal errors module 7 | include ignore-case CRC|Stomp|Inst
Instance:3
196619 Interface Inbound Errors (CRC,len,Algn Err) 0000051801011139 11:0
1048587 Interface Inbound CRC Error Stomped 0000051801011140 11:0
show interface hardware-mappingsコマンドを使用して、前の出力のMacId:MacSPの値11:0がマッピングされている前面パネルポートを識別します。次に例を示します。11:0は前面パネルのポートEth7/32にマッピングされています。
Nexus9500# show interface hardware-mappings | include Name|Eth7
<snip>
Name Ifindex Smod Unit HPort FPort NPort VPort Slice SPort SrcId MacId MacSP VIF Block BlkSrcID
Eth7/1 1a300000 25 0 16 255 0 -1 0 16 32 4 0 1 0 32
Eth7/2 1a300200 25 0 12 255 4 -1 0 12 24 3 0 5 0 24
Eth7/3 1a300400 25 0 8 255 8 -1 0 8 16 2 0 9 0 16
Eth7/4 1a300600 25 0 4 255 12 -1 0 4 8 1 0 13 0 8
Eth7/5 1a300800 25 0 60 255 16 -1 1 20 40 14 0 17 0 40
Eth7/6 1a300a00 25 0 56 255 20 -1 1 16 32 13 0 21 0 32
Eth7/7 1a300c00 25 0 52 255 24 -1 1 12 24 12 0 25 0 24
Eth7/8 1a300e00 25 0 48 255 28 -1 1 8 16 11 0 29 0 16
Eth7/9 1a301000 26 1 12 255 32 -1 0 12 24 3 0 33 0 24
Eth7/10 1a301200 26 1 8 255 36 -1 0 8 16 2 0 37 0 16
Eth7/11 1a301400 26 1 4 255 40 -1 0 4 8 1 0 41 0 8
Eth7/12 1a301600 26 1 0 255 44 -1 0 0 0 0 0 45 0 0
Eth7/13 1a301800 26 1 60 255 48 -1 1 20 40 14 0 49 0 40
Eth7/14 1a301a00 26 1 56 255 52 -1 1 16 32 13 0 53 0 32
Eth7/15 1a301c00 26 1 52 255 56 -1 1 12 24 12 0 57 0 24
Eth7/16 1a301e00 26 1 48 255 60 -1 1 8 16 11 0 61 0 16
Eth7/17 1a302000 27 2 16 255 64 -1 0 16 32 4 0 65 0 32
Eth7/18 1a302200 27 2 12 255 68 -1 0 12 24 3 0 69 0 24
Eth7/19 1a302400 27 2 8 255 72 -1 0 8 16 2 0 73 0 16
Eth7/20 1a302600 27 2 4 255 76 -1 0 4 8 1 0 77 0 8
Eth7/21 1a302800 27 2 60 255 80 -1 1 20 40 14 0 81 0 40
Eth7/22 1a302a00 27 2 56 255 84 -1 1 16 32 13 0 85 0 32
Eth7/23 1a302c00 27 2 52 255 88 -1 1 12 24 12 0 89 0 24
Eth7/24 1a302e00 27 2 48 255 92 -1 1 8 16 11 0 93 0 16
Eth7/25 1a303000 28 3 12 255 96 -1 0 12 24 3 0 97 0 24
Eth7/26 1a303200 28 3 8 255 100 -1 0 8 16 2 0 101 0 16
Eth7/27 1a303400 28 3 4 255 104 -1 0 4 8 1 0 105 0 8
Eth7/28 1a303600 28 3 0 255 108 -1 0 0 0 0 0 109 0 0
Eth7/29 1a303800 28 3 60 255 112 -1 1 20 40 14 0 113 0 40
Eth7/30 1a303a00 28 3 56 255 116 -1 1 16 32 13 0 117 0 32
Eth7/31 1a303c00 28 3 52 255 120 -1 1 12 24 12 0 121 0 24
Eth7/32 1a303e00 28 3 48 255 124 -1 1 8 16 11 0 125 0 16
結論
Nexus 9500が、物理インターフェイスEthernet7/32でストンプされたCRCを持つフレームを受信していることを確認しました。これは、Ethernet7/32リンクのリモート側のデバイスがこれらのフレームのCRCをストンプしていることを意味します。不正なフレームの根本原因は、Ethernet7/32に直接接続されているリンクではなく、さらにダウンストリームにあります。ダウンストリームネットワークデバイスで追加のトラブルシューティングを実行して、不正なフレームの発生源を判別できます。
シナリオ 4.出力インターフェイスでの無効なCRCフレームの送信元の追跡
次の例は、アップストリームスイッチから、Nexus 9500がストンプされたCRCを持つフレームを生成していることが報告された場合に、Nexus 9500スイッチで無効なCRCを持つフレームの送信元を追跡する方法を示しています。このシナリオでは、アップストリームスイッチは前面パネルポートのEthernet8/9経由で接続されています。
ステップ 1：出力ラインカードに無効なCRCフレームを送信しているファブリックモジュールの識別
上流に位置するスイッチに対してストンプされたCRCを持つフレームを送信している出力インターフェイスがEthernet8/9であることがわかります。まず、シャーシのスロット8に挿入されたラインカードに、ストンプCRCを持つフレームを送信しているファブリックモジュールを特定する必要があります。このプロセスは、show hardware internal errors module {x}コマンドで開始します。次に例を示します。
Nexus9500# show hardware internal errors module 8 | i CRC|Inst
<snip>
Instance:1
196617 Interface Inbound Errors (CRC,len,Algn Err) 0000091499464650 9:0
1048585 Interface Inbound CRC Error Stomped 0000091499464651 9:0
上記の出力のMacID:MacSP 9:0は、show system internal fabric link-state module 8コマンドでソースファブリックモジュールにマッピングできます。次に例を示します。
Nexus9500# show system internal fabric link-state module 8
cli : mod = 8
module number = 8
========================================================================================================================
Module number = 8
========================================================================================================================
[LC] [ INST:SLI:MAC:GLSRC] [IETH] [ST] <========> [FM] [ INST:SLI:MAC:GLSRC] [IETH] [ST]
========================================================================================================================
...
[ 8] [ 1 : 1 : 9 : 0x0] [iEth10] [UP] <========> [22] [ 1 : 0 : 4 : 0x20] [iEth35] [UP]
スロット8に挿入されたラインカードのMAC ID 9が、シャーシのスロット22に挿入されたファブリックモジュールにマッピングされていることがわかります。内部リンクiEth10でCRCエラーが発生すると想定します。これは、show system internal fabric connectivity stats module 8コマンドで検証できます。次に例を示します。
Nexus9500# show system internal fabric connectivity stats module 8
Internal Link-info Stats Linecard slot:8
-------------------------------------------------------------------------------------
LC-Slot LC-Unit LC-iEthLink MUX FM-Slot FM-Unit FM-iEthLink CRC
-------------------------------------------------------------------------------------
8 0 iEth01 - 22 0 iEth18 0
8 0 iEth02 - 22 1 iEth50 0
8 0 iEth03 - 23 0 iEth18 0
8 0 iEth04 - 23 1 iEth50 0
8 0 iEth05 - 24 0 iEth18 0
8 0 iEth06 - 24 1 iEth50 0
8 0 iEth07 - 26 0 iEth18 0
8 0 iEth08 - 26 1 iEth50 0
8 1 iEth09 - 22 0 iEth03 0
8 1 iEth10 - 22 1 iEth35 1784603561
ステップ 2：ファブリックモジュールのiEthリンクを接続ラインカードにマッピングし、ストンプしたCRCを確認する
次に、シナリオ3と同じプロセスを使用して、CRCを受信するiEth内部リンクをチェックし、これらのCRCがファブリックモジュールのASICに従ってストンプされているかどうか、およびファブリックモジュールのiEth内部リンクにどのラインカードが接続されているかを確認します。この例は、show system internal fabric connectivity stats module {x}コマンド、show hardware internal errors module {x}コマンド、およびshow system internal fabric link-state module {x}コマンドをそれぞれ使用して、ここに示されています。
Nexus9500# show system internal fabric connectivity stats module 22
Internal Link-info Stats Fabriccard slot:22
-------------------------------------------------------------------------------------
FM-Slot FM-Unit FM-iEthLink LC-Slot LC-Unit LC-EthLink MUX CRC
22 1 iEth56 7 3 iEth26 - 1171851894
Nexus9500# show hardware internal errors module 22 | i CRC|Stomp|Inst
Instance:1
196635 Interface Inbound Errors (CRC,len,Algn Err) 0000054593935847 27:0
1048603 Interface Inbound CRC Error Stomped 0000054593935846 27:0
Nexus9500# show system internal fabric link-state module 22 | i MAC|iEth56
[FM] [ INST:SLI:MAC:GLSRC] [IETH] [ST] <========> [LC] [ INST:SLI:MAC:GLSRC] [IETH] [ST]
[22] [ 1 : 4 : 27 : 0x18] [iEth56] [UP] <========> [ 7] [ 3 : 1 : 9 : 0x0] [iEth26] [UP]
ステップ 3：入力モジュールで無効なCRCを持つフレームの送信元を追跡する
入力ラインカード（このシナリオでは、iEth26によってスロット22に挿入されたファブリックモジュールのiEth56に接続されたスロット7に挿入されたラインカード）を判別した後、破損したフレームがどの入力ポートからスイッチに入っているかを判別します。これは、show interface counters errors module {x} non-zeroコマンドで実行されます。show hardware internal errors module {x}コマンドおよびshow interface hardware-mappingsコマンドの出力では、受信したフレームが無効であるか、あるいはCRCでストンプされているかどうかを検証できます。
次に例を示します。破損したフレームが前面パネルのインターフェイスEthernet7/32からスイッチに侵入しています。
Nexus9500# show interface counters errors module 7 non-zero
<snip>
--------------------------------------------------------------------------------
Port Align-Err FCS-Err Xmit-Err Rcv-Err UnderSize OutDiscards
--------------------------------------------------------------------------------
Eth7/32 0 0 0 4128770335 0 0
--------------------------------------------------------------------------------
Port Stomped-CRC
--------------------------------------------------------------------------------
Eth7/32 4129998971
Nexus9500# show hardware internal errors module 7 | i i CRC|Stomp|Inst
<snip>
Instance:3
196619 Interface Inbound Errors (CRC,len,Algn Err) 0000054901402307 11:0
1048587 Interface Inbound CRC Error Stomped 0000054901402308 11:0
Nexus9500# show interface hardware-mappings | i Name|Eth7
<snip>
Name Ifindex Smod Unit HPort FPort NPort VPort Slice SPort SrcId MacId MacSP VIF Block BlkSrcID
...
Eth7/32 1a303e00 28 3 48 255 124 -1 1 8 16 11 0 125 0 16
結論
Nexus 9500が、物理インターフェイスEthernet7/32でストンプされたCRCを持つフレームを受信していることを確認しました。これは、Ethernet7/32リンクのリモート側のデバイスがこれらのフレームのCRCをストンプしていることを意味します。不正なフレームの根本原因は、Ethernet7/32に直接接続されているリンクではなく、さらにダウンストリームにあります。
ダウンストリームネットワークデバイスで追加のトラブルシューティングを実行して、不正なフレームの発生源を判別できます。
関連情報
更新履歴
| 改定 | 発行日 | コメント |
|---|---|---|
3.0 |
08-Nov-2023 |
タイトル、概要、テクニカルコンテンツの用語、SEO、スタイル要件、機械翻訳、フォーマットを更新。 |
2.0 |
03-Oct-2021 |
該当するハードウェアのセクションを更新して、新しいハードウェアを追加します。 |
1.0 |
13-Nov-2020 |
初版 |
フィードバック