CIMCと通信できないUCS CシリーズmLOMカードのトラブルシューティング
内容
はじめに
このドキュメントでは、Cisco UCS CシリーズラックサーバのmLOMカードがCIMCと通信できない問題をトラブルシューティングする方法について説明します。
前提条件
要件
このドキュメントに関する固有の要件はありません。
使用するコンポーネント
このドキュメントの情報は、次のソフトウェアとハードウェアのバージョンに基づいています。
- ファームウェアバージョン4.0(4i)を実行しているCisco Unified Computing System(UCS)C220-M5
- ファームウェアバージョン4.3(3b)を実行しているCisco UCS VIC 1387(モジュラLAN On Motherboard(mLOM)アダプタ)
このドキュメントの情報は、特定のラボ環境にあるデバイスに基づいて作成されました。このドキュメントで使用するすべてのデバイスは、クリアな（デフォルト）設定で作業を開始しています。本稼働中のネットワークでは、各コマンドによって起こる可能性がある影響を十分確認してください。
背景説明
mLOMは、Cisco UCSコントローラ、コンピューティング、オブジェクトストレージディスク(OSD)コンピューティング、およびcephノードにインストールされます。
仮想インターフェイスカード(VIC)は、UCSサーバでmLOMカードとして機能するアダプタです。
mLOM VICアダプタは、アンダークラウドおよびオーバークラウドのネットワーキング要件に基づいて、コントローラ、コンピューティング、およびストレージサーバに設置される現場交換可能ユニット(FRU)です。
- コントローラサーバには、2x10GigEポートを備えた1つのmLOM、2x1Gbポートを備えた1つのLOM、および1Gb Cisco Integrated Management Controller(CIMC)ポートがあります。
- コンピューティングサーバは、2x10GigEポートを搭載したmLOMを1つ、2x1Gbポートを搭載したLOMを1つ、スロット1および4に2x10GigEを搭載したPCIeカードを2つ、および1つのGigE CIMCを搭載しています。
- OSDコンピューティングサーバは、2x10GigEポートを搭載したmLOMを1つ、2xGbポートを搭載したLOMを1つ、スロット1および4のPCIeカードを2つ搭載し、2x10GigEポート10GigE、1xGb CIMCポートを搭載しています。
- ストレージサーバには、2x10GigEポートを備えた1つのmLOM、2xGbポートを備えた1つのLOM、および1Gb CIMCポートがあります。
mLOMインターフェイスは、さまざまなネットワークにVIMネットワーキングインターフェイスを提供することで、オーバークラウドプロビジョニング、VNF管理、およびオーケストレーションを提供します。これらのネットワークには、外部フローティングIPネットワーク、内部APIネットワーク、ストレージネットワーク、ストレージ管理ネットワーク、およびテナントネットワークを含めることができます。
これらのネットワーク内の機能を維持するために、mLOMとCIMC間の通信の問題をトラブルシューティングします。
症状
現象1.CIMC GUIに「Unable to communicate with the Adapter Card - mLOM」と表示される
UCS CIMCでNetworking/Adapter Card - mLOMにアクセスすると、GUIに「Unable to communicate with the Adapter Card - mLOM.WebUIをリロードして最新のデータを取得してください。
現象2.mLOMがUCSアダプタリストに表示されない
mLOMエントリが、tech_support.frupidsというラベルのUCSテクニカルサポートファイル(UCSテクニカルサポートファイルパス<TMP > tech_support.frupids>)のアダプタリストから欠落しています。
通常の状況では、mLOMはUCSテクニカルサポートのtech_support_frupidsアダプタリストに表示されます。
AdapterList:
…
Slot: MLOM
Description: Cisco UCS VIC1387 Virtual Interface Card - Dual Port 40Gb QSFP+ MLOM
PID: UCSC-MLOM-C40Q-03
CPN: xxxxx
powMin: xxxxx
powMax: xxxxx
Vendor: xxxxx
Device: xxxxx
SubVendor: xxxxx
SubDevice: xxxxx現象3.mLOMが「scope adapter mlom」に対するCIMC CLIスコープシャーシ出力に表示されない
C220-node/chassis # scope adapter mlom
Error: Managed object does not exist, use show command to list valid targets現象4.mLOMがIPMIセンサーで検出されない
UCSテクニカルサポートファイル<UCS Tech support > tmp > tech_support>により、mLOMカードがIntelligent Platform Management Interface(IPMI)センサーで検出されません。
Running: dumpIPMISensors
Querying All IPMI Sensors:
Sensor Name | Reading | Unit | Status | LNR | LC | LNC | UNC | UC | UNR |
=================|=========|==============|========|=========|=========|=========|=========|=========|=========|
MLOM_PRSNT | disc -> | discrete | 0x0280 | na | na | na | na | na | na |
MLOM_TEMP | 38.000 | degrees C | OK | na | na | na | na | 90.000 | 95.000 |mLOMカードの部分検出
CIMCはサーバのマザーボード上のセンサーと接続を通じてサーバのインベントリを監視しますが、サーバオペレーティングシステムはサーバデータチャネルを通じてハードウェアを監視します。 mLOMカードを監視するためにCIMCとサーバオペレーティングシステムのインベントリは異なる物理パスを使用するので、mLOMカードが部分的に検出されたり、CIMCインベントリデータがサーバオペレーティングシステムとは異なる結果を示す場合があります。
- mLOMは現場交換可能ユニット(FRU)レコード<UCS Tech Support > TMP > tech_support.frupids>に表示されます。
====== Dumping IPMI FRU Records ======
…
FRU Device Description : FRU_MLOM (ID
Board Mfg : Cisco Systems Inc
Board Product : UCSC-MLOM-C40Q-03
Board Serial : FCH2328764C
Board Part Number : 73-17793-06
Board Extra : A03V04
Board Extra : 0000000000
OEM (0xUnknown (0x9)) Record- mLOMの存在は、UCS Tech Support SEL Decode <UCS Tech Support > var > sel_decode>でアサートされているように見えます。
Id: 757
severity: Normal
dateTime: 2023-12-29 11:08:15 EST
dateTimeOrder: 00028
description: "FRU_MLOM MLOM_PRSNT: Presence sensor for FRU_MLOM, Device Inserted / Device Present was asserted"- BIOSテクニカルログ<UCS Tech Support > mnt > jffs2 > BIOS > bt > BiosTech.log>で、mLOMカードが事前に検出されたことが示されます。
7:2023 Dec 29 11:04:33 EST:mLomPresent = TRUE
7:2023 Dec 29 11:04:33 EST:mLomSku = mLOM-x8- mLOMは、UCSテクニカルサポートのインベントリアダプタリストとFRUの詳細リスト<UCSテクニカルサポート> var > inventory-all>で表示できます。
Adapter List
slot-number: MLOM
serial-number: FCH2328764C
card-type: 81
asic-type: 1
product-id: UCSC-MLOM-C40Q-03
asic-name: cruz
hw-part-no: 73-17793-06
hw-revision: 3
i2cLogicalBus: 112
new-card: no
active: no
standby-power: no
overtemp-condition: no
fan-running: no
ncsiPackageId: 1
eth-interface: eth0
bmc-mac0: 2c:f8:9b:29:7d:de
bmc-mac1: 2c:f8:9b:29:7d:df
cruz-mac: 2c:f8:9b:29:7d:c2
ipAddress: 127.16.3.1
remoteIPAddress: 127.16.3.2
virtual-eth-if: eth0_m3.4043
actions-blocked: yes
capabilities: 0x1
diagnostic-mode: no
UCSM-mode: Standalone
description:
...
FRU Details
FRU_MLOM(ID8)
Board Mfg : Cisco Systems Inc
Board Product : UCSC-MLOM-C40Q-03
Board Serial : FCH2328764C
Board Part Number : 73-17793-06
Board Extra : A03V04
Board Extra : 0000000000
OEM (0xUnknown (0x9)) Record- mLOMは、CIMC CLI mLOMアダプタスコープの<show detail>出力に表示されます。
C220-WZP2204006C /chassis # scope adapter MLOM
C220-WZP2204006C /chassis/adapter # show detail
PCI Slot MLOM:
Product Name: N/A
Serial Number: FCH22127H6J
Product ID: UCSC-MLOM-C40Q-03
Adapter Hardware Revision: 3
Current FW Version: N/A
VNTAG: N/A
FIP: N/A
LLDP: N/A
PORT CHANNEL: N/A
Configuration Pending:
Cisco IMC Management Enabled: no
VID: N/A
Vendor: N/A
Description:
Bootloader Version: N/A
FW Image 1 Version: N/A
FW Image 1 State: N/A
FW Image 2 Version: N/A
FW Image 2 State: N/A
FW Update Status: N/A
FW Update Error: N/A
FW Update Stage: N/A
FW Update Overall Progress: N/Aトラブルシューティングの手順
各ステップの間に、<show pci-adapter>のスコープシャーシの出力にmLOMカードが表示できるかどうかを確認します。
注:mLOMカードとの通信に問題はなく、サーバの状態が原因で「Not-Loaded」がこれらの出力に引き続き表示される場合があります。
C220-node# scope chassis
C220-node /chassis # show pci-adapter
Slot Vendor ID Device ID SubVendor ID SubDevice ID Firmware Version Product Name Option ROM Status
---------- ---------- ---------- ------------- ------------- ------------- ------------------------- ----------
MLOM 0x1137 0x0042 0x1137 0x015d 4.3(3b) Cisco UCS VIC 1387 MLOM Not-Loaded <<<<<<<<<<<<
MRAID 0x1000 0x0014 0x1137 0x020e 51.10.0-3151 Cisco 12G Modular Raid... Not-Loaded
L 0x8086 0x1563 0x1137 0x01a3 0x80000EC9... Intel X550 LOM Not-Loadedステップ 1：物理接続の確認
mLOMの2つのポートからネットワークスイッチまでのケーブルをトレースし、破損していないことを確認します。必要に応じて、ケーブルとSmall Form-factor Pluggable(SFP)を交換します。
– サーバ側のSFPを取り外して再接続し、mLOM接続を確認します。
- mLOMカードのSFPを取り外して再接続し、mLOM接続を確認します。
ステップ 2：BIOSですべてのポートが有効になっていることを確認します。有効になっていない場合は、ポートを有効にします。
ステップ 2.1：サーバをリブートし、F2をクリックしてAptio Setup Utilityに入り、サーバのBIOSにアクセスします。
ステップ 2.2：BIOSメニューでAdvanced LOM and PCI optionsに移動し、All Onboard LOM Portsがイネーブルになっていることを確認します。
ステップ 2.3：PCIe Slots Inventory Detailsの順に移動します。スロットmLOMカードの詳細が表示されている必要があります。たとえば、Missing Slot mLOMなどです。
ステップ 3：CIMCのリブート
CIMCのリブートでは、CIMC管理プレーンのみがリブートされます。サーバデータプレーンへの影響はありません。
ステップ 3.1：CIMCコマンドモードServer# scope cimcを入力します。
ステップ 3.2：Server /cimc # rebootを使用してCIMCを再起動します。
ステップ 4：Cisco UCS Host Upgrade Utility(HUU)の実行によるUCSのリフレッシュ
ステップ 4.1：<show brief>コマンドを使用して、ファームウェアのバージョンを収集します。
Running: showBrief
Fri Dec 29 11:13:29 EST 2023
BMC Version Info
ver: 4.0(4i) <<<<<<<< Firmware Versionステップ 4.2：CiscoソフトウェアダウンロードWebサイトから、UCSファームウェアのバージョンに適したCisco UCS Host Upgrade Utilityをダウンロードします。
https://software.cisco.com/download/home
たとえば、バージョン4.0(4i)のUCS C220 M5の場合、正しいユーティリティバージョンはucs-c220m5-huu-4.0.4i.isoです。
https://software.cisco.com/download/home/286318809/type/283850974/release/4.0(4i)
ステップ 4.3：同じモデルのCisco UCSサーバの『Cisco Host Upgrade Utility User Guide』の「Updating Firmware Using the Update All Option」セクションに記載されている手順に従って、UCSファームウェアを再フラッシュします。
たとえば、UCS C220 M5モデルサーバの場合、ファームウェアをアップデートするガイドはhttps://www.cisco.com/c/en/us/td/docs/unified_computing/ucs/c/sw/lomug/2-0-x/3_0/b_huu_3_0_1/b_huu_2_0_13_chapter_011.htmlにあります。
- HUUで「Running and packaged versions are same, skip update」というプロンプトが表示される場合、リフレッシュプロシージャ中に、正しいファームウェアがこのUCSサーバですでに動作しています。
- Cisco HUUにmLOMカードが表示されているかどうかを確認します。次に、mLOMカードを表示しないCisco HUUユーティリティの例を示します。
ステップ 5：mLOMアダプタカードを物理的に取り付け直す
同じモデルのCisco UCSサーバの『サーバインストールおよびサービスガイド』の「mLOMカードの交換」で説明されている手順に従って、mLOMアダプタカードを物理的に取り付け直します。
たとえば、UCS C220 M5モデルサーバの場合、mLOMを取り付け直す方法については、https://www.cisco.com/c/en/us/td/docs/unified_computing/ucs/c/hw/C220M5/install/C220M5/C220M5_chapter_010.html#task_zz5_h1m_3zを参照してください。
結論
物理的な接続とBIOSポートが確認され、CIMCでハードリブートが実行され、サーバファームウェアが正しいファームウェアでリフレッシュされ、mLOMが物理的に抜き差しされたが、mLOMカードが<show pci-adapter>の出力に表示されない場合は、mLOMハードウェアの障害である可能性があります。このような場合は、mLOMカードを交換してください。
関連情報
更新履歴
| 改定 | 発行日 | コメント |
|---|---|---|
1.0 |
08-Oct-2024 |
初版 |
フィードバック