Beheben Sie ACI-Fehler F1527, F1528, F1529 - fltEqptStorageFull

Einleitung

Dieses Dokument beschreibt die Application Centric Infrastructure (ACI) mit den Fehlercodes F1527, F1528 und F1529 sowie den entsprechenden Sanierungsschritten.

Hintergrundinformationen

Diese drei Fehler treten dann auf, wenn die Auslastung der Speicherkapazität eines Controllers dessen Grenzwert überschreitet.
F1527 ist ein Warnfehler, der auftritt, wenn die Nutzung größer als 75 % ist.

F1528 ist ein Hauptfehler, der auftritt, wenn die Nutzung zwischen 85% und 90% liegt.

F1529 ist ein kritischer Fehler, der auftritt, wenn die Nutzung größer als 90 % ist.

code : F1529
cause : equipment-full
descr : Storage unit /techsupport on node 1 with hostname rtp-aci08-apic1 mounted at /techsupport is 100% full
dn : topology/pod-1/node-1/sys/ch/p-[/techsupport]-f-[/dev/mapper/vg_ifc0-techsupport]/fault-F1529
rule : eqpt-storage-full-critical
severity : critical

Schnellstart zur Fehlerbehebung

1. Identifizieren Sie das Verzeichnis, das gerade ausgelastet ist.
2. Überprüfen Sie, ob die Kapazität erreicht wurde.
3. Dateien im Verzeichnis bereinigen.

Tipp: Es gibt auch ein automatisiertes Tool, das Ihnen bei der Lösung übermäßiger Probleme mit der Festplattenbelegung helfen kann. Dieses Tool identifiziert den im Fehler erwähnten Bereitstellungspunkt und stellt Ihnen eine Liste der Dateien zur Verfügung, die gelöscht werden können, um Speicherplatz freizugeben. Sie finden das Tool unter: https://github.com/datacenter/aci-tac-scripts/tree/main/aci-exceeded-storage-allocation

Detaillierte Schritte zur Behebung von Fehlern

Identifizieren des Verzeichnisses

Das Verzeichnis, gegen das der Fehler ausgelöst wird, ist in der Fehlerbeschreibung angegeben.

In den beiden Beispielen hier können Sie sehen, dass der Fehler F1527 im Verzeichnis /firmware ausgelöst wird und dass der Fehler F1529 mit /techsupport verknüpft ist.

In der Beschreibung sehen Sie auch, dass die Fehler auf Knoten 1 ausgelöst werden.

code : F1527
descr : Storage unit /firmware on Node 1 mounted at /firmware is 76% full
dn : topology/pod-1/node-1/sys/ch/p-[/firmware]-f-[/dev/mapper/vg_ifc0-firmware]/fault-F1527

code : F1529
descr : Storage unit /techsupport on node 1 with hostname rtp-aci08-apic1 mounted at /techsupport is 100% full
dn : topology/pod-1/node-1/sys/ch/p-[/techsupport]-f-[/dev/mapper/vg_ifc0-techsupport]/fault-F1529

Überprüfen der Kapazität

Sobald Sie wissen, in welchem Verzeichnis der Fehler aufgetreten ist, können Sie mithilfe der CLI überprüfen, ob so viel Speicherplatz auf dem Laufwerk belegt ist.

Mit dem Befehldf -h,  können Sie den verfügbaren Speicherplatz für jede Einbindung sehen.
In der Tabelle hier sehen Sie, dass die /firmware 76% des verfügbaren Speicherplatzes/data/techsupportnutzt und 100%.

rtp-aci08-apic1# df -h
Filesystem                       Size  Used Avail Use% Mounted on
/dev/vg_ifc0/boot                 40G   13G   25G  35% /bin
/dev/mapper/vg_ifc0_ssd-data     176G  4.2G  162G   3% /var/log/dme
devtmpfs                          32G     0   32G   0% /dev
tmpfs                            4.0G  182M  3.9G   5% /dev/shm
/dev/mapper/vg_ifc0-firmware      40G   28G  9.3G  76% /firmware
/dev/mapper/vg_ifc0-scratch       40G   49M   38G   1% /home
tmpfs                             32G     0   32G   0% /sys/fs/cgroup
/dev/mapper/vg_ifc0-techsupport   40G   38G     0 100% /data/techsupport
tmpfs                             16G  592K   16G   1% /tmp
/dev/sdc1                         55M  1.2M   49M   3% /tmp/bootflash
tmpfs                            2.0G  721M  1.3G  36% /var/log/dme/log
/dev/mapper/vg_ifc0-logs          40G  5.0G   33G  14% /var/log/dme/oldlog
/dev/mapper/vg_ifc0-data2        156G   11G  137G   8% /data2
/dev/mapper/vg_ifc0-dmecores      50G   53M   47G   1% /var/log/dme/core
tmpfs                             32G  9.0G   23G  29% /var/run/utmp

Dateien bereinigen

Nachdem Sie überprüft haben, ob der Fehler vorliegt, können Sie Dateien im Verzeichnis bereinigen.
Navigieren Sie zu diesem Verzeichnis. dann können Sie die Dateien nach Größe (ls -lahS) auflisten und alle großen Dateien (rm ), die nicht mehr benötigt werden, entfernen.

Sie können dann erneut mit demdf -hBefehl überprüfen, ob der Speicherplatz bereinigt wurde.

rtp-aci08-apic1# cd /data/techsupport
rtp-aci08-apic1# ls -lahS
total 38G
-rw-r--r--  1 admin   admin    10G Aug 10 18:12 dbgexp_tsod-case-12345_rtp-aci08-apic1_sysid-1_2023-07-24T07-49UTC_logs_3of3.tgz
-rw-r--r--  1 admin   admin   9.4G Aug 10 18:13 dbgexp_tsod-case-12345_rtp-aci08-apic1_sysid-1_2023-07-24T07-79UTC_logs_3of3.tgz
-r--r-----  1 ifc     admin   3.9G Jul 24 02:05 dbgexp_tsod-case-12345_rtp-aci08-apic1_sysid-1_2023-07-24T01-49UTC_logs_3of3.tgz
-r--r-----  1 ifc     admin   3.7G Jul 24 01:55 dbgexp_tsod-case-12345_rtp-aci08-apic1_sysid-1_2023-07-24T01-49UTC_1of3.tgz
-r--r-----  1 ifc     admin   2.5G May 15 19:33 dbgexp_tsod-upgrde427sto524d_rtp-aci08-apic1_sysid-1_2023-05-15T19-24UTC_logs_3of3.tgz
-r--r-----  1 ifc     admin   2.1G May  4 19:17 dbgexp_tsod-failed_upgrade_repro_rtp-aci08-apic1_sysid-1_2023-05-04T19-08UTC_logs_3of3.tgz
-r--r-----  1 ifc     admin   1.1G Aug 10 18:04 dbgexp_tsod-case-12345_rtp-aci08-apic1_sysid-1_2023-08-10T17-59UTC_logs_3of3.tgz
-rw-r--r--  1 admin   admin   1.1G Aug 10 18:11 1g.img
-r--r-----  1 ifc     admin   952M May  4 19:17 dbgexp_tsod-failed_upgrade_repro_pod8-spine1_sysid-201_2023-05-04T19-08UTC_logs_3of3.tgz
-r--r-----  1 ifc     admin   946M May  3 19:44 dbgexp_tsod-failed_upgrade_repro_pod8-spine1_sysid-201_2023-05-03T19-35UTC_logs_3of3.tgz
-r--r-----  1 ifc     admin   894M May 15 19:27 dbgexp_tsod-upgrde427sto524d_rtp-aci08-apic1_sysid-1_2023-05-15T19-24UTC_1of3.tgz
-r--r-----  1 ifc     admin   892M May  4 19:12 dbgexp_tsod-failed_upgrade_repro_rtp-aci08-apic1_sysid-1_2023-05-04T19-08UTC_1of3.tgz
-r--r-----  1 ifc     admin   253M Mar 31 20:33 dbgexp_tsod-12345_12345_sysid-105_2023-03-31T20-25UTC_logs_3of3.tgz
-r--r-----  1 ifc     admin   205M Jul 18 14:40 dbgexp_coreexp-default_pod8-spine3_sysid-203_2023-07-18T14-21UTC_1689690102_0x1b01_kernel_log.0.tar.gz
-r--r-----  1 ifc     admin   141M Aug 10 18:02 dbgexp_tsod-case-12345_rtp-aci08-apic1_sysid-1_2023-08-10T17-59UTC_db_2of3.tgz
-r--r-----  1 ifc     admin   134M Jul 24 02:00 dbgexp_tsod-case-12345_rtp-aci08-apic1_sysid-1_2023-07-24T01-49UTC_db_2of3.tgz
-r--r-----  1 ifc     admin   130M May 15 19:29 dbgexp_tsod-upgrde427sto524d_rtp-aci08-apic1_sysid-1_2023-05-15T19-24UTC_db_2of3.tgz

    
    
      rtp-aci08-apic1# rm dbgexp_tsod-case-12345_rtp-aci08-apic1_sysid-1_2023-07-24T07-49UTC_logs_3of3.tgz rtp-aci08-apic1# rm dbgexp_tsod-case-12345_rtp-aci08-apic1_sysid-1_2023-07-24T07-79UTC_logs_3of3.tgz rtp-aci08-apic1# df -h | grep techsupport /dev/mapper/vg_ifc0-techsupport 40G 18G 20G 49% /data/techsupport 
    

Validierung von Fehlern

CSCwj42027 - DME-Protokollordner überschreitet 75% Nutzung im APIC

Nicht-Fixed-Versionen können Dateien in 'var/log/dme/log' aufweisen, die sich nicht wie erwartet um 20M drehen.

Das TAC kann kontaktiert werden, um eine temporäre Problemumgehung zu implementieren, bis für die ACI-Fabric ein Upgrade auf eine feste Version durchgeführt wird.

Fehler ausgelöst am/

Wenn das Verzeichnis, das voll ist, das Verzeichnis / ist, können Sie die betroffenen Dateien nicht bereinigen, ohne root zu sein.

code : F1528
descr : Storage unit / on Node 1 with hostname rtp-aci08-apic1 mounted at / is 89% full
dn : topology/pod-1/node-1/sys/ch/p-[/]-f-[/dev/vg_ifc0/boot]/fault-F1528

Wenn Sie hier dendf -hBefehl verwenden, sehen Sie nichts, das auf / gemountet ist.
Sie verwenden den /bin, der 100% voll ist. Wenn Sie sich jedoch die Dateien dort ansehen, sehen Sie, dass nur 606M und nicht 40G verwendet wird.

rtp-aci08-apic1# df -h                                             
Filesystem                       Size  Used Avail Use% Mounted on
/dev/vg_ifc0/boot                 40G   40G     0 100% /bin
/dev/mapper/vg_ifc0_ssd-data     176G  4.2G  162G   3% /var/log/dme
devtmpfs                          32G     0   32G   0% /dev
tmpfs                            4.0G  182M  3.9G   5% /dev/shm
/dev/mapper/vg_ifc0-firmware      40G   28G  9.3G  76% /firmware
/dev/mapper/vg_ifc0-scratch       40G   49M   38G   1% /home
tmpfs                             32G     0   32G   0% /sys/fs/cgroup
/dev/mapper/vg_ifc0-techsupport   40G   18G   20G  49% /data/techsupport
tmpfs                             16G  592K   16G   1% /tmp
/dev/sdc1                         55M  1.2M   49M   3% /tmp/bootflash
tmpfs                            2.0G  726M  1.3G  36% /var/log/dme/log
/dev/mapper/vg_ifc0-logs          40G  5.1G   33G  14% /var/log/dme/oldlog
/dev/mapper/vg_ifc0-data2        156G   11G  137G   8% /data2
/dev/mapper/vg_ifc0-dmecores      50G   53M   47G   1% /var/log/dme/core
tmpfs                             32G  7.1G   25G  23% /var/run/utmp
rtp-aci08-apic1# cd /bin 
rtp-aci08-apic1# ls -lahS | head
total 606M
-rwxr-xr-x  1 root root  103M Jul 26 20:44 nomad
-rwxr-xr-x  1 root root   60M Mar  1  2021 podman
-rwxr-xr-x  1 root root   51M Sep  9  2020 containerd
-rwxr-xr-x  1 root root   47M Aug  4  2021 consul
-rwxr-xr-x  1 root root   32M Apr 27  2021 atomix
-rwxr-xr-x  1 root root   30M Apr 27  2021 atomix-downgrade-grub
-rwxr-xr-x  1 root root   26M Sep  9  2020 ctr
-rwxr-xr-x  1 root root   25M Feb 13  2019 etcd
-rwxr-xr-x  1 root root   21M Feb 13  2019 etcdctl

Um zu sehen, welche Dateien den Speicherplatz auf / belegen, müssen Sie mit der Root-Anmeldung auf die APIC-CLI zugreifen.
Wenden Sie sich hierfür an das Cisco TAC.