Raccolta del supporto tecnico ACI e guida agli output richiesti TAC

Introduzione

Questo documento descrive i vari log e output necessari per la risoluzione dei problemi quando si lavora con TAC per ACI.

Premesse

Per un rapido riferimento ai dati da raccogliere prima di aprire una richiesta TAC, fare riferimento alla tabella 1.

Tabella 1: mostra/registra matrice di raccolta dei dati tecnici

Problemi	Dati da raccogliere	Note
Problemi di aggiornamento	Informazioni per il supporto tecnico su richiesta sui nodi con problemi di aggiornamento. Informazioni per il supporto tecnico su richiesta su tutti gli APIC. Ulteriori errori, eventi, verifiche tramite TacOutput.	Se gli APIC sono diversi e la raccolta di supporto tecnico su richiesta non riesce, è necessario raccogliere il supporto tecnico locale.
Problema di connettività casuale	Supporto tecnico su richiesta dal nodo src (dove è connesso l'endpoint src). Supporto tecnico su richiesta dal nodo dst (dove è connesso dstendpoint). Ulteriori errori, eventi, verifiche tramite TacOutput
Perdita completa di connettività	Informazioni per il supporto tecnico su richiesta sui nodi leaf (origine e destinazione) Informazioni per il supporto tecnico su richiesta sui nodi spine Informazioni per il supporto tecnico su richiesta sugli APIC Ulteriori errori, eventi, verifiche tramite TacOutput	In caso di interruzioni operative, chiedere al team TAC di eseguire un debug in tempo reale. Se i nodi devono essere riavviati per analizzare le cause profonde di un problema (RCA, Root Cause Analysis), raccogliere i log prima di ricaricare i nodi.
Problemi di clustering	Informazioni per il supporto tecnico su richiesta su tutti gli APIC Ulteriori errori, eventi, verifiche tramite TacOutput	Se gli APIC sono diversi e la raccolta di supporto tecnico su richiesta non riesce, è necessario raccogliere il supporto tecnico locale.
Problemi di routing	Informazioni per il supporto tecnico su richiesta sui nodi con problemi di routing. Ulteriori errori, eventi, verifiche tramite TacOutput
Arresto anomalo / ricaricamento imprevisto del nodo	Informazioni per il supporto tecnico su richiesta sui nodi bloccati. Crash/core file da nodi arrestati in modo anomalo. Ulteriori errori, eventi, verifiche tramite TacOutput
Problema sull'appliance APIC	Informazioni per il supporto tecnico su richiesta su tutti gli APIC. Informazioni per il supporto tecnico per l'appliance APIC interessata.

ACI APIC e switch

Informazioni per il supporto tecnico su richiesta

Attivazione e caricamento su Intersight tramite APIC - App Nexus Insights Cloud Connector

Per utilizzare questo metodo, fare riferimento a ACI Fabric deve essere connesso e richiesto su Intersight tramite l'app APIC: Nexus Insights Cloud Connector.

1. Selezionare: APIC > Apps > Installed Apps > open NICC app > TAC Assist > click Begin
2. Selezionare i nodi, quindi fare clic su Raccogli log.
3. Una volta che lo stato del job è COMPLETO, fare clic su Visualizza dettagli.
4. Nella pagina Dettagli job, sotto tabella Log, è possibile trovare il file Colonna cloud. 
5. Fare clic su Upload per ciascun pacchetto di supporto tecnico del dispositivo.

Attivazione e caricamento su Intersight tramite ND - Nexus Dashboard Insights

Per utilizzare questo metodo, fare riferimento a ACI Fabric deve essere connesso e richiesto su Intersight via Nexus Dashboard: Nexus Dashboard Insights.

1. Passare a: Nexus Dashboard > Admin Console > Servizi > Apri Nexus Dashboard Insights > Risoluzione dei problemi > Log Collector.
2. Fare clic su Nuova raccolta di log.
   1. Assegnare un nome alla raccolta di log.
   2. Selezionare un sito. 
   3. Selezionare la casella di controllo Caricamento automatico file registro.
   4. Fare clic su Seleziona nodi e scegliere i nodi.
   5. Fare clic su Avvia raccolta.
   6. I file di TechSupport vengono caricati su intersight.com  
3. Una volta completato il caricamento, notificare a TAC che i file vengono caricati su intersight. 
4. Il tecnico TAC sarebbe in grado di spostare i file dall'intervista al caso TAC per analizzarli. 

Attivazione dall'interfaccia utente dell'APIC

Creazione di una policy di supporto tecnico su richiesta

Nota: non specificare un intervallo di tempo di TechSupport a meno che non sia esplicitamente richiesto da TAC. Se si verifica una variazione eccessiva del log, si potrebbe verificare una perdita di log. Ciò incide gravemente sulla capacità di TAC di fornire un RCA tempestivo. Se viene fornito un Intervallo di tempo di Techsupport, i registri vengono tagliati in base all'ultimo timestamp di modifica del file e NON in base ai timestamp all'interno del file di registro stesso.

1. Nella barra dei menu, fare clic su Amministrazione > Importa/Esporta > Esporta criteri > Fare clic con il pulsante destro del mouse su Supporto tecnico su richiesta > Crea supporto tecnico su richiesta.
2. Compilare i campi della finestra di dialogo Create On-demand TechSupport (Crea file di supporto tecnico su richiesta) con le informazioni necessarie.
   • Se un percorso remoto non è disponibile, fare clic su Export to Controller (Esporta nel controller). Una volta generati, i supporti tecnologici generati possono essere scaricati dalla scheda Operational della GUI.
   • Selezionare Include All Controllers in TechSupport (Includi tutti i controller nei file di supporto tecnico) per generare i file di supporto tecnico degli APIC.
   • Il campo Nodi origine consente di specificare i nodi di switch che generano un supporto tecnico.
3. Fare clic su Submit (Invia) per creare la policy di supporto tecnico su richiesta.

Generare un supporto tecnico su richiesta.

1. Selezionare una policy di supporto tecnico su richiesta esistente. I criteri creati sono disponibili all'indirizzo: Admin > Import/Export > Export Policies > On-demand TechSupport > Expand On-demand TechSupport folder > fare clic con il pulsante destro del mouse sul criterio da utilizzare > Collect Tech Support.
   
   • In alternativa, fare clic sulla policy di supporto tecnico su richiesta per visualizzarla nel riquadro principale, quindi fare clic sull'icona Chiave/Martello e scegliere Raccogli supporto tecnico.
2. Selezionare Yes (Sì) per iniziare a raccogliere informazioni per il supporto tecnico.

Raccogli il supporto tecnico generato.

1. Se l'esportazione nel controller non è stata abilitata durante la generazione del supporto tecnico, è possibile controllare la destinazione di esportazione (posizione remota) per tutti i file del supporto tecnico.
2. Se l'opzione Export to Controller (Esporta nel controller) è stata abilitata, selezionare la policy di supporto tecnico su richiesta usata per generare le informazioni. I criteri creati sono disponibili all'indirizzo Admin > Import/Export > Export Policies > On-demand TechSupport.
   • I file di supporto tecnico su richiesta vengono inseriti nella scheda Operational (File raccolti) della policy di supporto tecnico su richiesta. Ogni file ha un collegamento per scaricarlo tramite http/https. Ogni nodo dispone di tre collegamenti, uno collegato a ciascun file.

Nota: se la versione è precedente alla 2.2, è necessario utilizzare l'account utente admin locale per scaricare Techsupport tramite l'interfaccia utente. In alternativa, usare un altro account locale con privilegi di amministratore. Gli utenti remoti non sono in grado di scaricare il supporto tecnico tramite l'interfaccia utente. Possono invece utilizzare sftp o un altro metodo per estrarre i file di supporto tecnico dalla directory /data/supporto tecnico/ degli APIC corrispondenti.

Nota: il numero nell'URL del bundle di supporto tecnico indica l'APIC su cui si trova il file. Ad esempio, files/2/techsupport.tgz indica che questo bundle specifico si trova nella directory /data/techsupport/ di APIC 2.

Informazioni sui file di supporto tecnico su richiesta

Se i file di supporto tecnico sono generati con l'opzione Export to Controller (Esporta nel controller), sull'interfaccia grafica vengono visualizzati tre URL per nodo ACI (nodo APIC o nodo switch). Ogni URL rappresenta un file di log di tipo diverso e contiene informazioni univoche. Il team TAC in genere chiede che vengano caricati tutti e tre i file per singolo nodo per avere dettagli esaustivi ed effettuare un'analisi approfondita.

Ogni URL è associato a uno dei tre tipi di file:

Categoria	Suffisso tipico	Utile per:	Dimensioni file
Esporta	_1of3.tgz	Log di audit/errori	Medio-piccole
Log	_logs_3of3.tgz	Log di processo	Molto elevate
DB	_db_2of3.tgz	Dump MO	Piccole

Nota: se è stata selezionata una destinazione di esportazione anziché Esporta in controller, la posizione remota definita crea una cartella contenente i tre file per nodo.

Se si verifica un problema durante il download del supporto tecnico utilizzando il collegamento del browser, scaricare direttamente i file dallo storage APIC utilizzando un client SCP o SFTP come WinSCP o FileZilla.

1. Connettersi (sftp) a ciascun APIC. I file del supporto tecnico raccolti vengono memorizzati su tutti gli APIC disponibili, quindi è importante controllare ogni APIC per individuare i file del supporto tecnico raccolti.

2. Passare alla cartella /data/techsupport dell'APIC connesso (ripetere questo passaggio per tutti i controller APIC).

Cercare i file con un nome che contiene il nome del criterio TechSupport su richiesta (in questo esempio, è ABCTECH) e scaricare tali file nel computer.

Supporto tecnico locale

L'assistenza tecnica su richiesta è sempre preferibile all'assistenza tecnica locale, in quanto offre un quadro più completo. Tuttavia, il cluster APIC deve essere completamente integrato in quanto la raccolta è attivata dalla policy.

Scenari per la raccolta di informazioni per il supporto tecnico locale

• APIC non è completamente adatto.
• Lo switch ACI non è stato ancora individuato dall'APIC.
• Lo switch ACI ha perso la comunicazione con l'APIC.
• Malfunzionamento interno del processo che impedisce l'utilizzo del supporto tecnico su richiesta (raro).

Attivazione dalla CLI dall'APIC

1. Aprire una sessione SSH sull'APIC usando le credenziali admin.
   • Se non è possibile utilizzare le credenziali di amministratore per eseguire l'accesso, utilizzare il nome utente save-user. La password può essere la stessa dell'utente locale amministratore.
2. Eseguire il comando bash -c "supporto tecnico locale".

   Using username "admin".
   Application Policy Infrastructure Controller
   
   apic1# bash -c "techsupport local"
   This command is being deprecated on APIC controller, please use NXOS-style equivalent command
   Running bash commands
   Completed 1 of 10 commands
   ...
   Completed 10 of 10 commands
   Starting data compression
   Techsupport collected at /data/techsupport/local_apic1_2018-05-29T08-17.tgz . Please remove the file once done.
   

3. Scaricare il file di supporto tecnico locale.
   
   • Opzione A: Scaricare il file di supporto tecnico utilizzando SCP:
     • WinSCP o pscp.exe (utenti Windows)
     • client SCP nativo (utenti MAC)
   • Opzione B: Scaricare il file del supporto tecnico utilizzando HTTPS:
     1. Aprire un browser, Chrome o Firefox.
     2. Passare a: https://<aci.apic.ip.addr>/files/<apic#>/techsupport/<ts_filename>
        • Esempio: https://a.p.i.c/files/1/techsupport/local_apic1_2018-05-29T08-17.tgz
     3. usando le credenziali admin.
     4. Se richiesto, selezionare Save File (Salva file) sul prompt di download del browser.

Attivazione dalla CLI dello switch

1. Aprire una sessione SSH sullo switch ACI con le credenziali admin.
   • Se lo switch non è stato ancora rilevato dall'APIC, usare il nome utente admin.
2. Eseguire il comando: "techsupport local".

fab5-leaf1# techsupport local
Running bash commands
Completed 1 of 9 commands
...
Completed 9 of 9 commands
Starting data compression
Techsupport collected at /data/techsupport/local_fab5-leaf1_2018-05-29T08-16.tgz . Please remove the file once done

3. Scaricare il file di supporto tecnico locale.

• Opzione A: Scaricare il file del supporto tecnico dallo switch ACI utilizzando SCP:
  • WinSCP o pscp.exe (utenti Windows)
  • client SCP nativo (utenti MAC)
• Opzione B: Scaricare il file del supporto tecnico utilizzando HTTPS tramite APIC:
  
  1. Eseguire il login a una CLI APIC (notare quale APIC viene utilizzato per il passo 4).
  2. Trasferire il file di supporto tecnico dallo switch ACI all'APIC utilizzando questo comando:
     • scp <nome-nodo>:/data/techsupport/<nome_file_ts> /data/techsupport
     • Esempio: apic1# scp fab5-leaf1:/data/techsupport/local_fab5-leaf1_2018-05-29T08-16.tgz /data/techsupport
  3. Aprire un browser, Chrome o Firefox.
  4. Passare a: https://<aci.apic.ip.addr>/files/<apic#>/techsupport/<ts_filename>
     • Esempio: https://a.p.i.c/files/1/techsupport/local_fab5-leaf1_2018-05-29T08-16.tgz
  5. usando le credenziali admin.
  6. Se richiesto, selezionare Save File (Salva file) sul prompt di download del browser.

File di supporto tecnico in CIMC

Attivazione dall'interfaccia utente di CIMC

È possibile raccogliere un supporto tecnico da CIMC APIC per esaminare i registri relativi allo chassis APIC. Un programma CIMC può essere acquisito localmente o inviato a una postazione remota dalla sezione Utilità della scheda Amministrazione CIMC. 

Attivazione tramite CLI CIMC

Nella CLI dell'APIC CIMC, immettere:

~ # scope cimc
~ /cimc # scope tech-support
~ /cimc/tech-support # set tftp-ip 192.168.1.1
~ /cimc/tech-support *# set path \techsupport\showtech
~ /cimc/tech-support *# commit
~ /cimc/tech-support *# start 

Analisi del supporto tecnico CIMC

Di seguito vengono elencati alcuni dei campi chiave del comando show tech.

File Techsup/Percorso	Descrizione
var/	Contiene registri dettagliati e lo stato di tutti i servizi monitorati. Contiene inoltre i file di informazioni sui servizi, come la configurazione degli allarmi dei sensori SOL e IPMI.
var/log	Contiene i messaggi di log volatili in sequenza.
obfl/	Contiene i messaggi di registro non volatile in sequenza.
soddisfatto/	Configurazione non volatile e SEL
mp/	I file di testo show tech-support, insieme ai file di testo del BIOS tech-support. I file di testo contengono tutte le informazioni sullo stato di processo, rete, sistema, scheda mezzanino e BIOS.
mctool	Ottiene informazioni di base sullo stato del CIMC.
rete	Ottiene la configurazione di rete corrente e le informazioni sul socket.
obfl	Ottiene un obfl live (On-Board Failure Logs).
messaggi	Ottiene il file live /var/log/messages.
allarmi	Elenca i sensori negli stati di allarme.
sensori	Rilevazioni correnti del sensore da IPMI.
potenza	Stato di alimentazione corrente di x86.

Verifiche estese, eventi, errori (TacOutput)

Il team TAC può chiedere ulteriori output base come errori, eventi e verifiche in genere necessari per eseguire l'analisi delle cause profonde, o RCA (Root Cause Analysis).

Al momento, il comando show techs include già alcuni di questi dati, ma solo per gli ultimi 10.000 record. In alcuni casi, la funzione TAC richiede la serie completa di record, ovvero oltre 10.000 record.

Nota: a partire dalla versione 5.2(1g), è possibile usare il throughput del trigger del comando CLI dell'APIC per raccogliere questi oggetti aggiuntivi. Nelle versioni precedenti alla 5.3(x) e alla 6.0(3d), tuttavia, lo script incorporato potrebbe non riuscire a raccogliere tutte le pagine di record.  In questo caso, si consiglia di utilizzare la versione più aggiornata dello script all'interno del repository aci-tac-scripts descritto nella sezione successiva.

Trigger tramite Trigger Output - 5.2/5.3/6.0(3d) e versioni successive

Per ACI Fabric con versione 5.2/5.3/6.0(3d) e successive, il trigger taoutput fornisce un'interfaccia di raccolta semplificata per eventi, errori, audit e altri output per la risoluzione dei problemi):

apic1# trigger tacoutput
Select corresponding numbers of objects to collect. Separate numbers with commas. *Note, topSystem, fabricNode, and firmwareARunning are automatically included.
Ex: 1,2,3,4,5
1. faultInfo *collected unfiltered
2. faultRecord
3. eventRecord
4. aaaModLR *collected unfiltered
5. polDeploymentRecord
6. epRecord
7. healthRecord
8. healthInst *collected unfiltered
Enter selections: 1,2,3,4,5,6,7,8
Enter record start date (format: 2019-12-15T00:00:00) *default is one month prior to current date: 
Enter record end date (format: 2019-12-15T00:00:00) *default is current date: 

... collection runs...

2021-12-17T08:19:59 TacOutput collection completed.
2021-12-17T08:19:59 Verify files and file sizes at /tmp/TacOutput2021-12-17T08-16-19
2021-12-17T08:19:59 Compressing files...
2021-12-17T08:20:01 Compression completed
Logs available for SCP or SFTP download from /data/techsupport/TacOutput-2021-11-17T08:18:06-to-2021-12-17T08:18:06.tgz
To download through your web browser go to https://<apic address>/files/1/techsupport/TacOutput-2021-11-17T08:18:06-to-2021-12-17T08:18:06.tgz
Note: in the URL previous 1 denotes the APIC ID 1, if script was run on APIC-n, then n must be specified in the URL (n = APIC-ID).

To remove files when done run
rm -rf /tmp/TacOutput2021-12-17T08-16-19
rm -f /data/techsupport/TacOutput-2021-11-17T08:18:06-to-2021-12-17T08:18:06.tgz

Trigger tramite script Collect TacOutputs

Per i fabric ACI con versione precedente alla 5.2/5.3/6.0(3d), è disponibile uno script Collect TacOutput nel repository aci-tac-scripts che serve un'interfaccia simile al comando trigger tacoutput:

apic# /tmp/collectTacOutputs.sh
Select corresponding numbers of objects to collect. Separate numbers with commas. *Note, topSystem, fabricNode, and firmwareARunning are automatically included.
Ex: 1,2,3,4,5
1. faultInfo *collected unfiltered
2. faultRecord
3. eventRecord
4. aaaModLR
5. polDeploymentRecord
6. epRecord
7. healthRecord
8. healthInst *collected unfiltered
Enter selections: 1,2,3,4,5,6,7,8
Enter record start date (format: 2019-12-15T00:00:00) *default is one month prior to current date: 2019-12-25T00:00:00
Enter record end date (format: 2019-12-15T00:00:00) *default is current date: 2020-01-05T00:00:00

...script collection runs...

Compression completed
Logs available for SCP or SFTP download from /data/techsupport/TacOutput-2019-12-25T00:00:00-to-2020-01-05T00:00:00.tgz
To download through your web browser go to https:///files/1/techsupport/TacOutput-2019-12-25T00:00:00-to-2020-01-05T00:00:00.tgz

File degli arresti anomali/core

Raccolta dall'interfaccia utente dell'APIC

Sullo switch ACI e sull'APIC sono disponibili numerosi processi che permettono di controllare i vari aspetti funzionali del sistema. Se il sistema presenta un errore software in un determinato processo, viene generato un file core e il processo viene ricaricato. Quando un processo si arresta in modo anomalo e viene generato un file core, viene generato anche un errore e un evento. In caso di arresto anomalo del processo sullo switch/APIC, il file core viene compresso e copiato nell'APIC.

L'interfaccia utente grafica APIC offre una posizione centrale per la raccolta dei file di base per i nodi della struttura.

È possibile creare un nuovo criterio di esportazione da Admin > IMPORT/EXPORT in Criteri di esportazione > Core.

Esiste una regola di base predefinita che consente di scaricare direttamente i file. Tutti i file di base generati tentano il trasferimento al controller APIC quando vengono generati. Se l'operazione ha esito positivo, è possibile trovarle nei criteri di base predefiniti.

Log di audit autonomo

Raccolta dall'interfaccia utente di NDO/MSO

I registri di controllo MSC possono essere scaricati in formato JSON su CSV.