Solucionar falhas de ACI F1527, F1528, F1529 - fltEqptStorageFull

Introdução

Este documento descreve os códigos de falha F1527, F1528 e F1529 da Infraestrutura Centrada em Aplicações (ACI) junto com as etapas de correção.

Informações de Apoio

Essas três falhas ocorrem quando a utilização da capacidade de armazenamento de um controlador excede seu limite.
F1527 é uma falha de aviso que ocorre quando o uso é maior que 75%.

F1528 é uma falha principal que ocorre quando o uso está entre 85% e 90%.

F1529 é uma falha crítica que ocorre quando o uso é maior que 90%.

code : F1529
cause : equipment-full
descr : Storage unit /techsupport on node 1 with hostname rtp-aci08-apic1 mounted at /techsupport is 100% full
dn : topology/pod-1/node-1/sys/ch/p-[/techsupport]-f-[/dev/mapper/vg_ifc0-techsupport]/fault-F1529
rule : eqpt-storage-full-critical
severity : critical

Início rápido para solucionar falha

1. Identifique o diretório que está na capacidade.
2. Verifique se a capacidade foi atingida.
3. Limpar arquivos no diretório.

Tip: Também há uma ferramenta automatizada que pode ajudá-lo a resolver problemas de consumo excessivo de disco. Essa ferramenta identifica o ponto de montagem mencionado na falha e fornece uma lista de arquivos que podem ser excluídos para liberar espaço em disco. Você pode acessar a ferramenta em: https://github.com/datacenter/aci-tac-scripts/tree/main/aci-exceeded-storage-allocation

Etapas detalhadas para solucionar a falha

Identificar o Diretório

O diretório no qual a falha é gerada é identificado na descrição da falha.

Nos dois exemplos aqui, você pode ver que a falha F1527 é gerada no diretório /firmware e a falha F1529 é vinculada ao /techsupport.

Você também pode ver na descrição que as falhas são geradas no nó 1.

code : F1527
descr : Storage unit /firmware on Node 1 mounted at /firmware is 76% full
dn : topology/pod-1/node-1/sys/ch/p-[/firmware]-f-[/dev/mapper/vg_ifc0-firmware]/fault-F1527

code : F1529
descr : Storage unit /techsupport on node 1 with hostname rtp-aci08-apic1 mounted at /techsupport is 100% full
dn : topology/pod-1/node-1/sys/ch/p-[/techsupport]-f-[/dev/mapper/vg_ifc0-techsupport]/fault-F1529

Verificando a capacidade

Depois de saber em qual diretório a falha é gerada, você pode usar a CLI para verificar se está usando esse espaço na unidade.

Usando o comandodf -h,  você pode ver o espaço em disco disponível para cada montagem.
Na tabela aqui, você vê que o /firmware está usando 76% de seu espaço disponível e/data/techsupportestá usando 100%.

rtp-aci08-apic1# df -h
Filesystem                       Size  Used Avail Use% Mounted on
/dev/vg_ifc0/boot                 40G   13G   25G  35% /bin
/dev/mapper/vg_ifc0_ssd-data     176G  4.2G  162G   3% /var/log/dme
devtmpfs                          32G     0   32G   0% /dev
tmpfs                            4.0G  182M  3.9G   5% /dev/shm
/dev/mapper/vg_ifc0-firmware      40G   28G  9.3G  76% /firmware
/dev/mapper/vg_ifc0-scratch       40G   49M   38G   1% /home
tmpfs                             32G     0   32G   0% /sys/fs/cgroup
/dev/mapper/vg_ifc0-techsupport   40G   38G     0 100% /data/techsupport
tmpfs                             16G  592K   16G   1% /tmp
/dev/sdc1                         55M  1.2M   49M   3% /tmp/bootflash
tmpfs                            2.0G  721M  1.3G  36% /var/log/dme/log
/dev/mapper/vg_ifc0-logs          40G  5.0G   33G  14% /var/log/dme/oldlog
/dev/mapper/vg_ifc0-data2        156G   11G  137G   8% /data2
/dev/mapper/vg_ifc0-dmecores      50G   53M   47G   1% /var/log/dme/core
tmpfs                             32G  9.0G   23G  29% /var/run/utmp

Limpar arquivos

Depois de verificar se a condição de falha está presente, você pode limpar os arquivos no diretório.
Para fazer isso, navegue até esse diretório; em seguida, você pode listar os arquivos por tamanho (ls -lahS) e remover todos os arquivos grandes (rm ) que não são mais necessários.

Você pode verificar novamente com o comandodf -hse o espaço foi limpo.

rtp-aci08-apic1# cd /data/techsupport
rtp-aci08-apic1# ls -lahS
total 38G
-rw-r--r--  1 admin   admin    10G Aug 10 18:12 dbgexp_tsod-case-12345_rtp-aci08-apic1_sysid-1_2023-07-24T07-49UTC_logs_3of3.tgz
-rw-r--r--  1 admin   admin   9.4G Aug 10 18:13 dbgexp_tsod-case-12345_rtp-aci08-apic1_sysid-1_2023-07-24T07-79UTC_logs_3of3.tgz
-r--r-----  1 ifc     admin   3.9G Jul 24 02:05 dbgexp_tsod-case-12345_rtp-aci08-apic1_sysid-1_2023-07-24T01-49UTC_logs_3of3.tgz
-r--r-----  1 ifc     admin   3.7G Jul 24 01:55 dbgexp_tsod-case-12345_rtp-aci08-apic1_sysid-1_2023-07-24T01-49UTC_1of3.tgz
-r--r-----  1 ifc     admin   2.5G May 15 19:33 dbgexp_tsod-upgrde427sto524d_rtp-aci08-apic1_sysid-1_2023-05-15T19-24UTC_logs_3of3.tgz
-r--r-----  1 ifc     admin   2.1G May  4 19:17 dbgexp_tsod-failed_upgrade_repro_rtp-aci08-apic1_sysid-1_2023-05-04T19-08UTC_logs_3of3.tgz
-r--r-----  1 ifc     admin   1.1G Aug 10 18:04 dbgexp_tsod-case-12345_rtp-aci08-apic1_sysid-1_2023-08-10T17-59UTC_logs_3of3.tgz
-rw-r--r--  1 admin   admin   1.1G Aug 10 18:11 1g.img
-r--r-----  1 ifc     admin   952M May  4 19:17 dbgexp_tsod-failed_upgrade_repro_pod8-spine1_sysid-201_2023-05-04T19-08UTC_logs_3of3.tgz
-r--r-----  1 ifc     admin   946M May  3 19:44 dbgexp_tsod-failed_upgrade_repro_pod8-spine1_sysid-201_2023-05-03T19-35UTC_logs_3of3.tgz
-r--r-----  1 ifc     admin   894M May 15 19:27 dbgexp_tsod-upgrde427sto524d_rtp-aci08-apic1_sysid-1_2023-05-15T19-24UTC_1of3.tgz
-r--r-----  1 ifc     admin   892M May  4 19:12 dbgexp_tsod-failed_upgrade_repro_rtp-aci08-apic1_sysid-1_2023-05-04T19-08UTC_1of3.tgz
-r--r-----  1 ifc     admin   253M Mar 31 20:33 dbgexp_tsod-12345_12345_sysid-105_2023-03-31T20-25UTC_logs_3of3.tgz
-r--r-----  1 ifc     admin   205M Jul 18 14:40 dbgexp_coreexp-default_pod8-spine3_sysid-203_2023-07-18T14-21UTC_1689690102_0x1b01_kernel_log.0.tar.gz
-r--r-----  1 ifc     admin   141M Aug 10 18:02 dbgexp_tsod-case-12345_rtp-aci08-apic1_sysid-1_2023-08-10T17-59UTC_db_2of3.tgz
-r--r-----  1 ifc     admin   134M Jul 24 02:00 dbgexp_tsod-case-12345_rtp-aci08-apic1_sysid-1_2023-07-24T01-49UTC_db_2of3.tgz
-r--r-----  1 ifc     admin   130M May 15 19:29 dbgexp_tsod-upgrde427sto524d_rtp-aci08-apic1_sysid-1_2023-05-15T19-24UTC_db_2of3.tgz

    
    
      rtp-aci08-apic1# rm dbgexp_tsod-case-12345_rtp-aci08-apic1_sysid-1_2023-07-24T07-49UTC_logs_3of3.tgz rtp-aci08-apic1# rm dbgexp_tsod-case-12345_rtp-aci08-apic1_sysid-1_2023-07-24T07-79UTC_logs_3of3.tgz rtp-aci08-apic1# df -h | grep techsupport /dev/mapper/vg_ifc0-techsupport 40G 18G 20G 49% /data/techsupport 
    

Falha gerada em /

Se o diretório cheio for o diretório /, você não poderá limpar os arquivos afetados sem ser a raiz.

code : F1528
descr : Storage unit / on Node 1 with hostname rtp-aci08-apic1 mounted at / is 89% full
dn : topology/pod-1/node-1/sys/ch/p-[/]-f-[/dev/vg_ifc0/boot]/fault-F1528

Quando você usa odf -hcomando aqui, você não vê nada montado em /.
Você usa aquele /bin que está 100% cheio. No entanto, ao analisar os arquivos, você verá apenas que 606M é usado e não 40G.

rtp-aci08-apic1# df -h                                             
Filesystem                       Size  Used Avail Use% Mounted on
/dev/vg_ifc0/boot                 40G   40G     0 100% /bin
/dev/mapper/vg_ifc0_ssd-data     176G  4.2G  162G   3% /var/log/dme
devtmpfs                          32G     0   32G   0% /dev
tmpfs                            4.0G  182M  3.9G   5% /dev/shm
/dev/mapper/vg_ifc0-firmware      40G   28G  9.3G  76% /firmware
/dev/mapper/vg_ifc0-scratch       40G   49M   38G   1% /home
tmpfs                             32G     0   32G   0% /sys/fs/cgroup
/dev/mapper/vg_ifc0-techsupport   40G   18G   20G  49% /data/techsupport
tmpfs                             16G  592K   16G   1% /tmp
/dev/sdc1                         55M  1.2M   49M   3% /tmp/bootflash
tmpfs                            2.0G  726M  1.3G  36% /var/log/dme/log
/dev/mapper/vg_ifc0-logs          40G  5.1G   33G  14% /var/log/dme/oldlog
/dev/mapper/vg_ifc0-data2        156G   11G  137G   8% /data2
/dev/mapper/vg_ifc0-dmecores      50G   53M   47G   1% /var/log/dme/core
tmpfs                             32G  7.1G   25G  23% /var/run/utmp
rtp-aci08-apic1# cd /bin 
rtp-aci08-apic1# ls -lahS | head
total 606M
-rwxr-xr-x  1 root root  103M Jul 26 20:44 nomad
-rwxr-xr-x  1 root root   60M Mar  1  2021 podman
-rwxr-xr-x  1 root root   51M Sep  9  2020 containerd
-rwxr-xr-x  1 root root   47M Aug  4  2021 consul
-rwxr-xr-x  1 root root   32M Apr 27  2021 atomix
-rwxr-xr-x  1 root root   30M Apr 27  2021 atomix-downgrade-grub
-rwxr-xr-x  1 root root   26M Sep  9  2020 ctr
-rwxr-xr-x  1 root root   25M Feb 13  2019 etcd
-rwxr-xr-x  1 root root   21M Feb 13  2019 etcdctl

Para ver os arquivos reais ocupando espaço em /, você precisa acessar a CLI do APIC com o login raiz.
Para fazer isso, você precisa entrar em contato com o TAC da Cisco para obter assistência.

Validação de Defeito

CSCwj42027 - Pasta de registro DME cruzando 75% de uso no APIC

As versões de software afetadas podem gerar uma falha com a descrição "Unidade de armazenamento /dados/log no nó <#> com o nome de host <HOSTNAME> montado em /dados/log está <##>% cheio". Vários arquivos de log no diretório /data/log não podem girar em tamanho de 20M.

Entre em contato com o TAC para truncar todos os arquivos de log grandes e aplicar uma solução não persistente para evitar que a falha ocorra novamente.

Referência: https://bst.cloudapps.cisco.com/bugsearch/bug/CSCwj42027