Fehlerbehebung bei einer mLOM-Karte der UCS C-Serie, die nicht mit dem CIMC kommunizieren kann

Einleitung

In diesem Dokument wird die Fehlerbehebung bei einer mLOM-Karte mit Cisco UCS Rack-Servern der C-Serie beschrieben, die nicht mit dem CIMC kommunizieren kann.

Voraussetzungen

Anforderungen

Es gibt keine spezifischen Anforderungen für dieses Dokument.

Verwendete Komponenten

Die Informationen in diesem Dokument basierend auf folgenden Software- und Hardware-Versionen:

• Cisco Unified Computing System (UCS) C220-M5 mit Firmware-Version 4.0(4i)
• Cisco UCS VIC 1387 mit Firmware-Version 4.3(3b) (dies ist der modulare LAN On Motherboard (mLOM)-Adapter)

Die Informationen in diesem Dokument beziehen sich auf Geräte in einer speziell eingerichteten Testumgebung. Alle Geräte, die in diesem Dokument benutzt wurden, begannen mit einer gelöschten (Nichterfüllungs) Konfiguration. Wenn Ihr Netzwerk in Betrieb ist, stellen Sie sicher, dass Sie die möglichen Auswirkungen aller Befehle kennen.

Hintergrundinformationen

mLOM wird im Cisco UCS-Controller, im Computing, im Object Storage Disk (OSD) Compute und in den Ceph-Knoten installiert.

Eine Virtual Interface Card (VIC) ist der Adapter, der als mLOM-Karte im UCS-Server dient. 

Der mLOM VIC-Adapter ist eine vor Ort austauschbare Einheit (Field Replaceable Unit, FRU), die je nach den Anforderungen von Undercloud- und Overcloud-Netzwerken in Controller-, Computing- und Storage-Servern platziert wird.

• Der Controller-Server verfügt über ein mLOM mit zwei 10-GigE-Ports, ein LOM mit zwei 1-Gbit-Ports und einen 1-Gbit-Port des Cisco Integrated Management Controller (CIMC).

• Der Computing-Server verfügt über ein mLOM mit zwei 10GigE-Ports, ein LOM mit zwei 1-Gbit-Ports, zwei PCIe-Karten in den Steckplätzen 1 und 4 mit zwei 10GigE-Ports und einen GigE-CIMC.

• Der OSD-Computing-Server verfügt über ein mLOM mit 2 x 10GigE-Ports, 1 LOM mit 2 x Gbit-Ports und 2 PCIe-Karten in den Steckplätzen 1 und 4 mit 2 x 10GigE-Ports, 10GigE und 1 x Gbit CIMC-Ports.

• Der Storage-Server verfügt über ein mLOM mit 2 x 10-GigE-Ports, 1 LOM mit 2 x 1 Gbit-Ports und einen 1-Gbit-CIMC-Port.

Die mLOM-Schnittstellen dienen der Overcloud-Bereitstellung, dem VNF-Management und der Orchestrierung, indem sie VIM-Netzwerkschnittstellen für verschiedene Netzwerke bereitstellen. Diese Netzwerke können externe Floating-IP-Netzwerke, interne API-Netzwerke, Speichernetzwerke, Storage-Management-Netzwerke und Tenant-Netzwerke umfassen.

Behebung von Kommunikationsproblemen zwischen mLOM und dem CIMC, um die Aufrechterhaltung von Funktionen innerhalb dieser Netzwerke zu unterstützen

Symptome

Symptom 1. In der CIMC-GUI wird angezeigt, dass keine Kommunikation mit der Adapterkarte möglich ist (mLOM).

Beim Zugriff auf Networking/Adapter Card - mLOM im UCS CIMC wird in der GUI die Meldung angezeigt, dass keine Kommunikation mit der Adapter Card - mLOM möglich ist. Laden Sie die WebUI neu, um die neuesten Daten abzurufen."

Symptom 2. mLOM wird nicht in der Liste der UCS-Adapter angezeigt

Der mLOM-Eintrag fehlt in der Adapterliste in der UCS Tech Support-Datei mit der Bezeichnung tech_support.frupids im Dateipfad des UCS Tech Support <TMP > tech_support.frupids>.

Unter normalen Umständen wird mLOM in der Adapterliste für den technischen Support von UCS tech_support_frupids angezeigt.

AdapterList:
…
Slot: MLOM
Description: Cisco UCS VIC1387 Virtual Interface Card - Dual Port 40Gb QSFP+ MLOM
PID: UCSC-MLOM-C40Q-03
CPN: xxxxx
powMin: xxxxx
powMax: xxxxx
Vendor: xxxxx
Device: xxxxx
SubVendor: xxxxx
SubDevice: xxxxx

Symptom 3. Das mLOM wird in den Chassis-Ausgaben des CIMC CLI-Bereichs für "scope adapter mlom" nicht angezeigt.

C220-node/chassis # scope adapter mlom
Error: Managed object does not exist, use show command to list valid targets

Symptom 4. mLOM wird von den IPMI-Sensoren nicht erkannt

Die mLOM-Karte wird von den IPMI-Sensoren (Intelligent Platform Management Interface) gemäß der Datei des technischen UCS-Supports <UCS Tech support > tmp > tech_support> nicht erkannt.

Running: dumpIPMISensors
Querying All IPMI Sensors:
Sensor Name | Reading | Unit | Status | LNR | LC | LNC | UNC | UC | UNR |
=================|=========|==============|========|=========|=========|=========|=========|=========|=========|
MLOM_PRSNT | disc -> | discrete | 0x0280 | na | na | na | na | na | na |
MLOM_TEMP | 38.000 | degrees C | OK | na | na | na | na | 90.000 | 95.000 |

Teilweise Erkennung der mLOM-Karte

Der CIMC überwacht den Serverbestand über Sensoren und Verbindungen auf dem Server-Motherboard, während das Serverbetriebssystem die Hardware über Serverdatenkanäle überwacht. Da der CIMC und das Serverbetriebssystem-Inventar unterschiedliche physische Pfade verwenden, um die mLOM-Karte zu überwachen, kann die mLOM-Karte teilweise erkannt werden, oder die CIMC-Inventardaten können andere Ergebnisse anzeigen als das Serverbetriebssystem.

• mLOM kann im FRU-Datensatz (Field Replaceable Unit) angezeigt werden <Technischer Support des UCS > TMP > tech_support.frupids>.

====== Dumping IPMI FRU Records ======
…
FRU Device Description : FRU_MLOM (ID
Board Mfg : Cisco Systems Inc
Board Product : UCSC-MLOM-C40Q-03
Board Serial : FCH2328764C
Board Part Number : 73-17793-06
Board Extra : A03V04
Board Extra : 0000000000
OEM (0xUnknown (0x9)) Record

• Das Vorhandensein von mLOM kann in den SEL-Codes des technischen UCS-Supports für <Technischen UCS-Support > var > sel_decode> als bestätigt erscheinen.

Id: 757
severity: Normal
dateTime: 2023-12-29 11:08:15 EST
dateTimeOrder: 00028
description: "FRU_MLOM MLOM_PRSNT: Presence sensor for FRU_MLOM, Device Inserted / Device Present was asserted"

• Das BIOS Tech log <UCS Tech Support > mnt > jffs2 > BIOS > bt > BiosTech.log> kann zeigen, dass die mLOM-Karte zuvor erkannt wurde.

7:2023 Dec 29 11:04:33 EST:mLomPresent = TRUE
7:2023 Dec 29 11:04:33 EST:mLomSku = mLOM-x8

• mLOM kann in der Adapterliste für den technischen Support des UCS und in der FRU-Detailliste angezeigt werden <UCS Tech Support > var > Inventory-all>.

Adapter List
slot-number: MLOM
serial-number: FCH2328764C
card-type: 81
asic-type: 1
product-id: UCSC-MLOM-C40Q-03
asic-name: cruz
hw-part-no: 73-17793-06
hw-revision: 3
i2cLogicalBus: 112
new-card: no
active: no
standby-power: no
overtemp-condition: no
fan-running: no
ncsiPackageId: 1
eth-interface: eth0
bmc-mac0: 2c:f8:9b:29:7d:de
bmc-mac1: 2c:f8:9b:29:7d:df
cruz-mac: 2c:f8:9b:29:7d:c2
ipAddress: 127.16.3.1
remoteIPAddress: 127.16.3.2
virtual-eth-if: eth0_m3.4043
actions-blocked: yes
capabilities: 0x1
diagnostic-mode: no
UCSM-mode: Standalone
description:
...
FRU Details
FRU_MLOM(ID8)
Board Mfg : Cisco Systems Inc
Board Product : UCSC-MLOM-C40Q-03
Board Serial : FCH2328764C
Board Part Number : 73-17793-06
Board Extra : A03V04
Board Extra : 0000000000
OEM (0xUnknown (0x9)) Record

• mLOM kann in den Ausgaben des CIMC CLI mLOM-Adapters angezeigt <show detail> werden.

C220-WZP2204006C /chassis # scope adapter MLOM
C220-WZP2204006C /chassis/adapter # show detail
PCI Slot MLOM:
Product Name: N/A
Serial Number: FCH22127H6J
Product ID: UCSC-MLOM-C40Q-03
Adapter Hardware Revision: 3
Current FW Version: N/A
VNTAG: N/A
FIP: N/A
LLDP: N/A
PORT CHANNEL: N/A
Configuration Pending:
Cisco IMC Management Enabled: no
VID: N/A
Vendor: N/A
Description:
Bootloader Version: N/A
FW Image 1 Version: N/A
FW Image 1 State: N/A
FW Image 2 Version: N/A
FW Image 2 State: N/A
FW Update Status: N/A
FW Update Error: N/A
FW Update Stage: N/A
FW Update Overall Progress: N/A

Schritte zur Fehlerbehebung

Überprüfen Sie zwischen den einzelnen Schritten, ob die mLOM-Karte in den Gehäuseausgaben von <show pci-adapter> zu sehen ist.

C220-node# scope chassis
C220-node /chassis # show pci-adapter
Slot Vendor ID Device ID SubVendor ID SubDevice ID Firmware Version Product Name Option ROM Status
---------- ---------- ---------- ------------- ------------- ------------- ------------------------- ----------
MLOM 0x1137 0x0042 0x1137 0x015d 4.3(3b) Cisco UCS VIC 1387 MLOM Not-Loaded <<<<<<<<<<<<
MRAID 0x1000 0x0014 0x1137 0x020e 51.10.0-3151 Cisco 12G Modular Raid... Not-Loaded
L 0x8086 0x1563 0x1137 0x01a3 0x80000EC9... Intel X550 LOM Not-Loaded

Schritt 1: Überprüfen physischer Verbindungen

Verfolgen Sie die Kabel zwischen den beiden Ports des mLOM und dem zugehörigen Netzwerk-Switch, um sicherzustellen, dass sie nicht beschädigt werden. Ersetzen Sie ggf. die Kabel und das Small Form-factor Pluggable (SFP).

- Trennen und verbinden Sie die SFPs auf der Serverseite, und prüfen Sie die mLOM-Konnektivität.

- Trennen Sie die SFPs auf der mLOM-Karte, und stellen Sie sie wieder her, und prüfen Sie die mLOM-Konnektivität.

Schritt 2: Vergewissern Sie sich, dass im BIOS alle Ports aktiviert sind. Wenn sie nicht aktiviert sind, aktivieren Sie die Ports.

Schritt 2.1: Rufen Sie das BIOS auf dem Server auf, indem Sie den Server neu starten und auf F2 klicken, um das Setup-Dienstprogramm von Applio aufzurufen.

Schritt 2.2: Navigieren Sie im BIOS-Menü zu den erweiterten LOM- und PCI-Optionen, und stellen Sie sicher, dass alle integrierten LOM-Ports aktiviert sind.

Schritt 2.3: Navigieren Sie zu PCIe Slots Inventory Details (Inventardetails für PCIe-Steckplätze). Die Details der mLOM-Karte im Steckplatz müssen dort angezeigt werden. Beispiel: Fehlender Steckplatz "mLOM".

Schritt 3: Neustarten des CIMC

Ein CIMC-Neustart startet nur die CIMC-Verwaltungsebene neu. Die Datenebene des Servers ist davon nicht betroffen.

Schritt 3.1: Wechseln Sie in den CIMC-Befehlsmodus, Server# scope cimc.

Schritt 3.2: Starten Sie den CIMC mithilfe von Server /cimc # reboot neu.

Schritt 4: Führen Sie das Cisco UCS Host Upgrade Utility (HUU) aus, um ein UCS-Upgrade durchzuführen.

Schritt 4.1: Ermitteln Sie die Firmware-Version mit dem Befehl <show brief>.

Running: showBrief
Fri Dec 29 11:13:29 EST 2023
BMC Version Info
ver: 4.0(4i) <<<<<<<< Firmware Version

Schritt 4.2: Laden Sie von der Cisco Software Download-Website das entsprechende Cisco UCS Host Upgrade Utility für die Version der UCS-Firmware herunter.
https://software.cisco.com/download/home

Für einen UCS C220 M5 mit Version 4.0(4i) ist die richtige Dienstprogrammversion beispielsweise ucs-c220m5-huu-4.0.4i.iso.

https://software.cisco.com/download/home/286318809/type/283850974/release/4.0(4i)

Schritt 4.3: Aktualisieren Sie die UCS-Firmware mithilfe des Verfahrens, das im Abschnitt "Updating Firmware Using the Update All Option" (Aktualisieren der Firmware mit der Option "Update All Option") im Benutzerhandbuch zum Cisco Host-Upgrade-Dienstprogramm für denselben Cisco UCS-Server-Modell aufgeführt ist.

Für einen UCS C220 M5-Modellserver finden Sie den Leitfaden zur Aktualisierung der Firmware beispielsweise unter: https://www.cisco.com/c/en/us/td/docs/unified_computing/ucs/c/sw/lomug/2-0-x/3_0/b_huu_3_0_1/b_huu_2_0_13_chapter_011.html.

• Wenn das HUU eine Eingabeaufforderung mit der Meldung "Running and packaged versions are same, skip update." (Wird die aktuelle und die gepackte Version ausgeführt, überspringen Sie das Update) erzeugt, wird während des Reflash-Vorgangs die richtige Firmware bereits auf diesem UCS-Server ausgeführt.

• Überprüfen Sie, ob im Cisco HUU die mLOM-Karte angezeigt wird. Das folgende Beispiel zeigt, dass das Cisco HUU-Dienstprogramm die mLOM-Karte nicht zeigt.

Schritt 5: Setzen Sie die mLOM-Adapterkarte wieder ein.

Setzen Sie die mLOM-Adapterkarte wieder physisch ein. Gehen Sie dabei wie unter "Ersetzen einer mLOM-Karte" im "Server Installation and Service Guide" für den gleichen Cisco UCS-Server beschrieben vor.

Für einen UCS C220 M5-Server finden Sie die Anleitung zum Wiedereinsetzen des mLOM beispielsweise unter: https://www.cisco.com/c/en/us/td/docs/unified_computing/ucs/c/hw/C220M5/install/C220M5/C220M5_chapter_010.html#task_zz5_h1m_3z.

Schlussfolgerung

Wenn die physischen Verbindungen und die BIOS-Ports überprüft wurden, ein Neustart auf dem CIMC durchgeführt wurde, die Server-Firmware mit der richtigen Firmware neu ausgerichtet wurde und das mLOM physisch wieder eingesetzt wurde, die mLOM-Karte jedoch nicht in den Ausgaben von <show pci-adapter> erscheint, kann ein mLOM-Hardwarefehler beendet werden. Ersetzen Sie in diesem Fall die mLOM-Karte.

Zugehörige Informationen

• Austausch einer mLOM-Karte - Cisco UCS C220 M5 Server - Installations- und Serviceleitfaden
• Ultra-M-Lösungsleitfaden mit CVIM, Version 6.2.bx
• Technischer Support und Dokumentation für Cisco Systeme