Erfassen des technischen Supports der ACI und des TAC-Serviceleitfadens

Einleitung

In diesem Dokument werden die verschiedenen Protokolle und Ausgaben beschrieben, die zur Fehlerbehebung beim Arbeiten mit dem TAC für die ACI erforderlich sind.

Hintergrundinformationen

Tabelle 1 enthält eine Kurzreferenz zu den Daten, die vor dem Öffnen eines TAC-Tickets erfasst werden müssen.

Tabelle 1: Technologie-Sammelmatrix für Protokolle/Anzeigen

Probleme	Was gesammelt werden muss	Hinweise
Upgrade-Probleme	On-Demand-Techsupport von Knoten mit Upgrade-Problem. On-Demand-Techsupport von allen APICs. Zusätzliche Fehler, Ereignisse, Audits über TacOutput.	Wenn die APICs auseinander laufen und die Erfassung von technischen On-Demand-Support fehlschlägt, holen Sie TechSupport Local ein.
Beliebiges Verbindungsproblem	On-Demand-TechSupport vom src-Knoten (mit dem der src-Endpunkt verbunden ist). On-Demand-Technischer Support vom dst-Knoten (mit dem der Endpunkt verbunden ist). Zusätzliche Fehler, Ereignisse, Audits über TacOutput
Vollständiger Konnektivitätsverlust	On-Demand-Techsupport von Leafs (Quelle und Ziel) On-Demand-Techsupport von Spines On-Demand-Techsupport von APICs Zusätzliche Fehler, Ereignisse, Audits über TacOutput	Bei anhaltenden Ausfällen sollten Sie das TAC für Live-Debugging kontaktieren. Wenn Knoten aus irgendeinem Grund neu gestartet werden sollen, sammeln Sie Protokolle vor dem Neustart, wenn eine RCA angefordert werden soll.
Clustering-Probleme	On-Demand-Techsupport von allen APICs Zusätzliche Fehler, Ereignisse, Audits über TacOutput	Wenn die APICs auseinander laufen und die Erfassung von technischen On-Demand-Support fehlschlägt, holen Sie TechSupport Local ein.
Routing-Probleme	On-Demand-Techsupport von Knoten mit Routing-Problem. Zusätzliche Fehler, Ereignisse, Audits über TacOutput
Knotenabsturz/unerwarteter Neustart	On-Demand-Techsupport von abgestürzten Knoten. Absturz-/Core-Dateien von abgestürzten Knoten. Zusätzliche Fehler, Ereignisse, Audits über TacOutput
APIC-APP-Problem	On-Demand-Techsupport von allen APICs. APIC-APP-Techsupport für betroffene App.

ACI-APIC und Switch

On-Demand-Techsupport

Trigger und Upload zu Intersight über APIC - Nexus Insights Cloud Connector-Anwendung

Informationen zur Verwendung dieser Methode finden Sie unter ACI Fabric must be connected and claim on Intersight via the APIC: Nexus Insights Cloud Connector app.

1. Navigieren Sie zu: APIC > Apps > Installed Apps > Open NICC App > TAC Assist > click Begin.
2. Wählen Sie die Knoten aus, und klicken Sie dann auf Protokolle sammeln.
3. Wenn der Auftragsstatus ABGESCHLOSSEN ist, klicken Sie auf Details anzeigen.
4. Auf der Seite Job Details (Auftragsdetails) finden Sie unter Logs (Protokolle) die Datei Cloud Column (Cloud-Spalte). 
5. Klicken Sie für die TechSupport-Pakete der einzelnen Geräte auf Hochladen.

Trigger und Upload zu Intersight über ND - Nexus Dashboard Insights

Zur Verwendung dieser Methode muss die ACI-Fabric über das Nexus Dashboard: Nexus Dashboard Insights (Einblicke in das Nexus Dashboard) mit Intersight verbunden und beansprucht werden.

1. Navigieren Sie zu: Nexus Dashboard > Admin Console > Services > Open Nexus Dashboard Insights > Troubleshoot > Log Collector.
2. Klicken Sie auf Neue Protokollsammlung.
   1. Geben Sie einen Namen für die Protokollsammlung ein.
   2. Wählen Sie einen Standort aus. 
   3. Aktivieren Sie das Kontrollkästchen zum automatischen Hochladen von Protokolldateien.
   4. Klicken Sie auf Knoten auswählen, und wählen Sie die Knoten aus.
   5. Klicken Sie auf Sammlung starten.
   6. TechSupport-Dateien werden hochgeladen unter intersight.com  
3. Sobald der Upload abgeschlossen ist, benachrichtigen Sie das TAC, dass die Dateien in Intersight hochgeladen wurden. 
4. Der TAC-Techniker kann die Dateien zur Analyse von der Abfrage auf den TAC-Fall übertragen. 

Auslöser über APIC-UI

Erstellen einer On-Demand-Techsupport-Richtlinie

Hinweis: Geben Sie nur dann einen TechSupport-Zeitraum an, wenn Sie vom TAC ausdrücklich dazu aufgefordert werden. Bei einer übermäßigen Protokollabwanderung kann dies zu einem Protokollverlust führen. Dies hat gravierende Auswirkungen auf die Fähigkeit des TAC, eine rechtzeitige RCA bereitzustellen. Wenn ein TechSupport-Zeitbereich bereitgestellt wird, werden Protokolle basierend auf dem Zeitstempel der letzten Dateiänderung und NICHT basierend auf den Zeitstempeln in der Protokolldatei selbst getrimmt.

1. Klicken Sie in der Menüleiste auf Admin > Import/Export > Export Policies > Right-click On-Demand TechSupport > Create On-Demand TechSupport.
2. Geben Sie die entsprechenden Werte in die Felder des Dialogfelds Create On-demand TechSupport ein.
   • Wenn kein Remote-Standort verfügbar ist, aktivieren Sie die Option Export to Controller (Auf Controller exportieren). Generierte TechSupports können nach der Generierung über die Registerkarte Operational (Betrieb) der GUI heruntergeladen werden.
   • Aktivieren Sie das Kontrollkästchen Include All Controllers in TechSupport (Alle Controller in TechSupport einschließen), um APIC-Techsupports zu generieren.
   • Im Feld "Source Nodes" (Quellknoten) können Sie Switch-Knoten angeben, die einen TechSupport generieren.
3. Klicken Sie auf Submit (Senden), um die On-Demand-Techsupport-Richtlinie zu erstellen.

Erstellen eines On-Demand-TechSupport

1. Navigieren Sie zu einer vorhandenen On-Demand-Techsupport-Richtlinie. Erstellte Richtlinien finden Sie unter: Admin > Import/Export > Export Policies > On-Demand TechSupport > Expand On-Demand TechSupport folder > Klick mit der rechten Maustaste auf die zu verwendende Richtlinie > Collect Tech Support.
   
   • Oder klicken Sie mit der linken Maustaste auf die On-Demand-TechSupport-Richtlinie, um sie im Hauptbereich aufzurufen. Klicken Sie dann auf das Symbol Schraubenschlüssel/Hammer, und wählen Sie Technische Unterstützung sammeln aus.
2. Wählen Sie Yes (Ja), um mit der Erfassung von TechSupport-Informationen zu beginnen.

Sammeln Sie den generierten TechSupport.

1. Wenn Export to Controller (Exportieren an Controller) während der Generierung von TechSupport nicht aktiviert wurde, kann das Exportziel (Remote-Speicherort) auf alle Dateien für den technischen Support überprüft werden.
2. Wenn Export to Controller aktiviert war, navigieren Sie zu der On-Demand-Techsupport-Richtlinie, für welche die Techsupports generiert wurden. Erstellte Richtlinien finden Sie unter Admin > Import/Export > Export Policies > On-Demand TechSupport.
   • Die generierten Techsupports finden Sie auf der Registerkarte Operational (Betrieb) dieser On-Demand-Techsupport-Richtlinie. Jede Datei hat einen Link, um sie über http/https herunterzuladen. Jeder Knoten verfügt über drei Links, von denen eine mit jeder Datei verknüpft ist.

Hinweis: Wenn die Version älter als 2.2 ist, müssen Sie das lokale Admin-Benutzerkonto verwenden, um TechSupports über die Benutzeroberfläche herunterzuladen. Andernfalls können Sie jedes beliebige lokale Konto mit Administratorrechten verwenden. Remote-Benutzer können keine technischenSupport-Dokumente über die Benutzeroberfläche herunterladen. Stattdessen können sie sftp oder eine andere Methode verwenden, um die Dateien für den technischen Support aus dem Verzeichnis /data/techsupport/ der entsprechenden APICs abzurufen.

Hinweis: Die Zahl in der URL des Techsupport-Bundle zeigt an, auf welchem APIC sich die Datei befindet. files/2/techsupport.tgz gibt beispielsweise an, dass sich dieses spezielle Paket im Verzeichnis "/data/techsupport/" des APIC 2 befindet.

Erläuterung zu On-Demand-Techsupport-Dateien

Wenn die Techsupports mit der Option Export to Controller generiert wurden, zeigt die GUI drei URLs pro ACI-Knoten (APIC-Knoten oder Switch-Knoten) an. Jede URL ist ein anderer Protokolldateityp und enthält eindeutige Informationen. TAC erfordert in der Regel, dass alle drei Dateien pro Knoten hochgeladen werden, um die gesamte Protokollierung für eine vollständige Analyse zu erhalten.

Jede URL ist einem der folgenden drei Dateitypen zugeordnet:

Kategorie	Typisches Suffix	Nützlich für:	Dateigröße
Export	_1of3.tgz	Audit-/Fehlerprotokolle	Klein – mittelgroß
Protokolle	_logs_3of3.tgz	Prozessprotokolle	Größtes
DB	_db_2of3.tgz	MO-Dump	Klein

Hinweis: Wenn anstelle von Export to Controller (Nach Controller exportieren) ein Exportziel ausgewählt wurde, erstellt der definierte Remotestandort einen Ordner, der die drei Dateien pro Knoten enthält.

Wenn beim Herunterladen des technischen Supports über den Browser-Link ein Problem auftritt, laden Sie die Dateien direkt vom APIC-Speicher mit einem scp- oder sftp-Client wie WinSCP oder FileZilla herunter.

1. Verbinden Sie (SFTP) mit jedem APIC. Die erfassten Dateien für den technischen Support werden in allen verfügbaren APICs gespeichert. Daher ist es wichtig, jeden APIC auf die erfassten Dateien für den technischen Support zu überprüfen.

2. Navigieren Sie zum Ordner /data/techSupport im angeschlossenen APIC (wiederholen Sie diesen Schritt in allen APIC-Controllern).

Suchen Sie nach Dateien mit dem Namen, der den Namen der On-Demand-TechSupport-Richtlinie enthält (in diesem Beispiel ABCTECH), und laden Sie diese Dateien auf Ihren Computer herunter.

Lokaler Techsupport

Ein On-Demand-TechSupport wird immer einem lokalen TechSupport vorgezogen, da ein On-Demand-TechSupport ein vollständigeres Bild bietet. Er ist jedoch auf ein vollständig angepasstes APIC-Cluster angewiesen, da die Erfassung über eine Richtlinie ausgelöst wird.

Techsupport Local-Szenarien

• Der APIC ist nicht voll funktionsfähig.
• Der ACI-Switch wird vom APIC noch nicht erkannt.
• Die Kommunikation zwischen ACI-Switch und APIC ist unterbrochen.
• Interne Prozessstörung verhindert On-Demand TechSupport Betrieb (selten).

Auslöser über APIC-CLI

1. Öffnen Sie eine SSH-Sitzung mit dem APIC mit Administratoranmeldeinformationen.
   • Wenn Sie sich nicht mit Admin-Anmeldeinformationen anmelden können, verwenden Sie den Benutzernamen rescue-user. Das Kennwort kann mit dem lokalen Administrator-Benutzer identisch sein.
2. Führen Sie den Befehl bash -c "techsupport local" aus.

   Using username "admin".
   Application Policy Infrastructure Controller
   
   apic1# bash -c "techsupport local"
   This command is being deprecated on APIC controller, please use NXOS-style equivalent command
   Running bash commands
   Completed 1 of 10 commands
   ...
   Completed 10 of 10 commands
   Starting data compression
   Techsupport collected at /data/techsupport/local_apic1_2018-05-29T08-17.tgz . Please remove the file once done.
   

3. Laden Sie den lokalen TechSupport herunter.
   
   • Option A: Laden Sie die Datei für den technischen Support über SCP herunter:
     • WinSCP oder pscp.exe (Windows-Benutzer)
     • Nativer SCP-Client (MAC-Benutzer)
   • Option B: Laden Sie die Datei für den technischen Support über HTTPS herunter:
     1. Öffnen Sie einen Browser wie Chrome oder Firefox.
     2. Navigieren Sie zu: https://<aci.apic.ip.addr>/files/<apic#>/techsupport/<ts_filename>
        • Beispiel: https://a.p.i.c/files/1/techsupport/local_apic1_2018-05-29T08-17.tgz
     3. Melden Sie sich mit Administratorinformationen an.
     4. Wenn Sie dazu aufgefordert werden, wählen Sie in der Browser-Download-Aufforderung Save File (Datei speichern) aus.

Auslöser über Switch-CLI

1. Öffnen Sie eine SSH-Sitzung mit dem ACI-Switch mit Administratoranmeldeinformationen.
   • Wenn der Switch vom APIC noch nicht erkannt wird, verwenden Sie den Benutzernamen admin.
2. Führen Sie den Befehl "techsupport local" aus.

fab5-leaf1# techsupport local
Running bash commands
Completed 1 of 9 commands
...
Completed 9 of 9 commands
Starting data compression
Techsupport collected at /data/techsupport/local_fab5-leaf1_2018-05-29T08-16.tgz . Please remove the file once done

3. Laden Sie den lokalen technischen Support herunter.

• Option A: Laden Sie die Datei für den technischen Support über SCP vom ACI-Switch herunter:
  • WinSCP oder pscp.exe (Windows-Benutzer)
  • Nativer SCP-Client (MAC-Benutzer)
• Option B: Laden Sie die Datei für den technischen Support über HTTPS und den APIC herunter:
  
  1. Melden Sie sich bei einer APIC-CLI an (beachten Sie, welcher APIC für Schritt 4 verwendet wird).
  2. Übertragen Sie die Datei für den technischen Support vom ACI-Switch zum APIC mit folgendem Befehl:
     • scp <Knotenname>:/data/techsupport/<ts_Dateiname> /data/techsupport
     • Beispiel: apic1# scp fab5-leaf1:/data/techsupport/local_fab5-leaf1_2018-05-29T08-16.tgz /data/techSupport
  3. Öffnen Sie einen Browser wie Chrome oder Firefox.
  4. Navigieren Sie zu: https://<aci.apic.ip.addr>/files/<apic#>/techsupport/<ts_filename>
     • Beispiel: https://a.p.i.c/files/1/techsupport/local_fab5-leaf1_2018-05-29T08-16.tgz
  5. Melden Sie sich mit Administratorinformationen an.
  6. Wenn Sie dazu aufgefordert werden, wählen Sie in der Browser-Download-Aufforderung Save File (Datei speichern) aus.

CIMC-Techsupport

Auslöser über CIMC-UI

Der technische Support des APIC CIMC kann genutzt werden, um Protokolle des APIC-Chassis zu überprüfen. Ein CIMC-Show-Tech kann lokal erfasst oder über den Abschnitt "Dienstprogramme" der Registerkarte "CIMC-Verwaltung" an einen Remote-Standort gesendet werden. 

Trigger über CIMC CLI

Geben Sie in der APIC CIMC-CLI Folgendes ein:

~ # scope cimc
~ /cimc # scope tech-support
~ /cimc/tech-support # set tftp-ip 192.168.1.1
~ /cimc/tech-support *# set path \techsupport\showtech
~ /cimc/tech-support *# commit
~ /cimc/tech-support *# start 

Analysieren von CIMC-TechSupports

Einige der Schlüsselfelder aus dem Befehl show tech sind hier aufgelistet.

TechSup-Datei/Speicherort	Beschreibung
var/	Enthält detaillierte Protokolle und den Status aller überwachten Dienste. sowie Serviceinformationsdateien wie die Konfiguration von SOL- und IPMI-Sensoralarmen.
var/log	Enthält die fortlaufenden flüchtigen Protokollmeldungen.
obfl/	Enthält die fortlaufenden, nicht flüchtigen Protokollmeldungen.
erfüllt/	Nichtflüchtige Konfiguration und SEL
MP/	Die Textdateien für den technischen Support werden zusammen mit den Textdateien für den technischen BIOS-Support angezeigt. Die Textdateien enthalten alle Prozess-, Netzwerk-, System-, Mezzanine- und BIOS-Statusinformationen.
Mikrowerkzeug	Ruft grundlegende Informationen zum Status des CIMC ab.
Netzwerk	Ruft die aktuelle Netzwerkkonfiguration und Socket-Informationen ab.
obfl	Ruft Live-OBFL (On-Board Failure Logs) ab.
Nachrichten	Ruft die Live-Datei /var/log/messages ab.
Alarme	Listet Sensoren in Alarmzuständen auf.
Sensoren	Aktuelle Sensormessungen von IPMI.
leistung	Aktueller Leistungsstatus des x86-Systems

Erweiterte Audits, Ereignisse, Fehler und mehr (TacOutput)

TAC kann zusätzliche grundlegende Ausgaben wie Fehler, Ereignisse und Audits anfordern, die im Allgemeinen für RCA erforderlich sind.

Derzeit enthalten die Show Techs eine Teilmenge dieser Objekte, jedoch nur die letzten 10.000 Datensätze. In einigen Fällen benötigt das TAC den vollständigen Datensatz, der weit über 10.000 Datensätze hinausgeht.

Hinweis: Ab Version 5.2(1g) können Sie die Tacoutput des CLI-Befehls vom APIC verwenden, um diese zusätzlichen Objekte zu erfassen. In Versionen vor 5.3(x) und 6.0(3d) kann das integrierte Skript jedoch nicht alle Seiten von Datensätzen sammeln.  In diesem Fall wird empfohlen, die aktuellste Version des Skripts im aci-tac-scripts-Repository zu verwenden, das im nächsten Abschnitt beschrieben wird.

Trigger über Trigger Tacoutput - 5.2/5.3/6.0(3d) und spätere Versionen

Für ACI-Fabrics mit Version 5.2/5.3/6.0(3d) und höheren Versionen bietet die Trigger-Tacoutput eine vereinfachte Erfassungsschnittstelle für Ereignisse, Fehler, Audits und andere Fehlerbehebungsausgaben.):

apic1# trigger tacoutput
Select corresponding numbers of objects to collect. Separate numbers with commas. *Note, topSystem, fabricNode, and firmwareARunning are automatically included.
Ex: 1,2,3,4,5
1. faultInfo *collected unfiltered
2. faultRecord
3. eventRecord
4. aaaModLR *collected unfiltered
5. polDeploymentRecord
6. epRecord
7. healthRecord
8. healthInst *collected unfiltered
Enter selections: 1,2,3,4,5,6,7,8
Enter record start date (format: 2019-12-15T00:00:00) *default is one month prior to current date: 
Enter record end date (format: 2019-12-15T00:00:00) *default is current date: 

... collection runs...

2021-12-17T08:19:59 TacOutput collection completed.
2021-12-17T08:19:59 Verify files and file sizes at /tmp/TacOutput2021-12-17T08-16-19
2021-12-17T08:19:59 Compressing files...
2021-12-17T08:20:01 Compression completed
Logs available for SCP or SFTP download from /data/techsupport/TacOutput-2021-11-17T08:18:06-to-2021-12-17T08:18:06.tgz
To download through your web browser go to https://<apic address>/files/1/techsupport/TacOutput-2021-11-17T08:18:06-to-2021-12-17T08:18:06.tgz
Note: in the URL previous 1 denotes the APIC ID 1, if script was run on APIC-n, then n must be specified in the URL (n = APIC-ID).

To remove files when done run
rm -rf /tmp/TacOutput2021-12-17T08-16-19
rm -f /data/techsupport/TacOutput-2021-11-17T08:18:06-to-2021-12-17T08:18:06.tgz

Trigger über Collect TacOutputs-Skript

Für ACI-Fabrics mit einer Laufzeit vor 5.2/5.3/6.0(3d) steht im aci-tac-scripts-Repository ein Collect TacOutput-Skript zur Verfügung, das eine ähnliche Schnittstelle wie der trigger tacoutput-Befehl verwendet:

apic# /tmp/collectTacOutputs.sh
Select corresponding numbers of objects to collect. Separate numbers with commas. *Note, topSystem, fabricNode, and firmwareARunning are automatically included.
Ex: 1,2,3,4,5
1. faultInfo *collected unfiltered
2. faultRecord
3. eventRecord
4. aaaModLR
5. polDeploymentRecord
6. epRecord
7. healthRecord
8. healthInst *collected unfiltered
Enter selections: 1,2,3,4,5,6,7,8
Enter record start date (format: 2019-12-15T00:00:00) *default is one month prior to current date: 2019-12-25T00:00:00
Enter record end date (format: 2019-12-15T00:00:00) *default is current date: 2020-01-05T00:00:00

...script collection runs...

Compression completed
Logs available for SCP or SFTP download from /data/techsupport/TacOutput-2019-12-25T00:00:00-to-2020-01-05T00:00:00.tgz
To download through your web browser go to https:///files/1/techsupport/TacOutput-2019-12-25T00:00:00-to-2020-01-05T00:00:00.tgz

Absturz-/Core-Dateien

Erfassung über APIC-UI

Der ACI-Switch-Knoten und der APIC verfügen über zahlreiche Prozesse, die verschiedene funktionale Aspekte des Systems steuern. Wenn im System ein Softwarefehler in einem bestimmten Prozess auftritt, wird eine Core-Datei generiert und der Prozess neu geladen. Wenn ein Prozess abstürzt und eine Core-Datei generiert wird, werden sowohl ein Fehler als auch ein Ereignis generiert. Wenn der Prozess auf dem Switch/APIC abstürzt, wird die Core-Datei komprimiert und auf den APIC kopiert.

Die APIC-GUI stellt einen zentralen Speicherort zum Erfassen der Core-Dateien für die Fabric-Knoten bereit.

Eine neue Exportrichtlinie kann erstellt werden unter Admin > IMPORT/EXPORT in Export Policies > Core.

Es gibt eine Standard-Core-Richtlinie, über die Dateien direkt heruntergeladen werden können. Alle generierten Core-Dateien versuchen nach der Generierung eine Übertragung an den APIC-Controller. Wenn sie erfolgreich sind, finden Sie sie unter der Core-Standardrichtlinie.

Eigenständige Audit-Protokolle

Erfassung über NDO/MSO-UI

MSC Audit Logs können in JSON auf CSV Format heruntergeladen werden.