简介
本文档介绍以应用为中心的基础设施(ACI)故障代码F1527、F1528和F1529以及补救步骤。
背景信息
当控制器的存储容量利用率超过其阈值时,会发生这三个故障。
F1527是警告故障,在使用率大于75%时发生。
F1528是当使用率介于85%和90%之间时发生的主要故障。
F1529是当使用率大于90%时发生的严重故障。
code : F1529
cause : equipment-full
descr : Storage unit /techsupport on node 1 with hostname rtp-aci08-apic1 mounted at /techsupport is 100% full
dn : topology/pod-1/node-1/sys/ch/p-[/techsupport]-f-[/dev/mapper/vg_ifc0-techsupport]/fault-F1529
rule : eqpt-storage-full-critical
severity : critical
解决故障的快速入门
- 确定容量最大的目录。
- 检验容量是否已达到。
- 清理目录中的文件。
解决故障的详细步骤
识别目录
故障说明中标识了引发故障的目录。
在此处的两个示例中,您可以看到,针对/firmware目录引发了F1527故障,并且F1529故障与/techsupport关联。
在描述中还可以看到在节点1上引发了故障。
code : F1527
descr : Storage unit /firmware on Node 1 mounted at /firmware is 76% full
dn : topology/pod-1/node-1/sys/ch/p-[/firmware]-f-[/dev/mapper/vg_ifc0-firmware]/fault-F1527
code : F1529
descr : Storage unit /techsupport on node 1 with hostname rtp-aci08-apic1 mounted at /techsupport is 100% full
dn : topology/pod-1/node-1/sys/ch/p-[/techsupport]-f-[/dev/mapper/vg_ifc0-techsupport]/fault-F1529
检验容量
一旦知道故障发生在哪个目录,即可使用CLI验证您使用的驱动器空间是否很大。
使用命令df -h
,
,您可以看到每个装载的可用磁盘空间。
在此处的表中,您看到/firmware占用的可用空间为76%,/data/techsupport
为100%。
rtp-aci08-apic1# df -h
Filesystem Size Used Avail Use% Mounted on
/dev/vg_ifc0/boot 40G 13G 25G 35% /bin
/dev/mapper/vg_ifc0_ssd-data 176G 4.2G 162G 3% /var/log/dme
devtmpfs 32G 0 32G 0% /dev
tmpfs 4.0G 182M 3.9G 5% /dev/shm
/dev/mapper/vg_ifc0-firmware 40G 28G 9.3G 76% /firmware
/dev/mapper/vg_ifc0-scratch 40G 49M 38G 1% /home
tmpfs 32G 0 32G 0% /sys/fs/cgroup
/dev/mapper/vg_ifc0-techsupport 40G 38G 0 100% /data/techsupport
tmpfs 16G 592K 16G 1% /tmp
/dev/sdc1 55M 1.2M 49M 3% /tmp/bootflash
tmpfs 2.0G 721M 1.3G 36% /var/log/dme/log
/dev/mapper/vg_ifc0-logs 40G 5.0G 33G 14% /var/log/dme/oldlog
/dev/mapper/vg_ifc0-data2 156G 11G 137G 8% /data2
/dev/mapper/vg_ifc0-dmecores 50G 53M 47G 1% /var/log/dme/core
tmpfs 32G 9.0G 23G 29% /var/run/utmp
清理文件
验证存在故障条件后,可以清除目录中的文件。
为此,请导航到该目录;然后您可以按大小(ls -lahS
)列出文件,并删除不再需要的任何大型文件(rm
)。
然后,您可以使用命令df -h
,再次验证空间是否已清除。
rtp-aci08-apic1# cd /data/techsupport
rtp-aci08-apic1# ls -lahS
total 38G
-rw-r--r-- 1 admin admin 10G Aug 10 18:12 dbgexp_tsod-case-12345_rtp-aci08-apic1_sysid-1_2023-07-24T07-49UTC_logs_3of3.tgz
-rw-r--r-- 1 admin admin 9.4G Aug 10 18:13 dbgexp_tsod-case-12345_rtp-aci08-apic1_sysid-1_2023-07-24T07-79UTC_logs_3of3.tgz
-r--r----- 1 ifc admin 3.9G Jul 24 02:05 dbgexp_tsod-case-12345_rtp-aci08-apic1_sysid-1_2023-07-24T01-49UTC_logs_3of3.tgz
-r--r----- 1 ifc admin 3.7G Jul 24 01:55 dbgexp_tsod-case-12345_rtp-aci08-apic1_sysid-1_2023-07-24T01-49UTC_1of3.tgz
-r--r----- 1 ifc admin 2.5G May 15 19:33 dbgexp_tsod-upgrde427sto524d_rtp-aci08-apic1_sysid-1_2023-05-15T19-24UTC_logs_3of3.tgz
-r--r----- 1 ifc admin 2.1G May 4 19:17 dbgexp_tsod-failed_upgrade_repro_rtp-aci08-apic1_sysid-1_2023-05-04T19-08UTC_logs_3of3.tgz
-r--r----- 1 ifc admin 1.1G Aug 10 18:04 dbgexp_tsod-case-12345_rtp-aci08-apic1_sysid-1_2023-08-10T17-59UTC_logs_3of3.tgz
-rw-r--r-- 1 admin admin 1.1G Aug 10 18:11 1g.img
-r--r----- 1 ifc admin 952M May 4 19:17 dbgexp_tsod-failed_upgrade_repro_pod8-spine1_sysid-201_2023-05-04T19-08UTC_logs_3of3.tgz
-r--r----- 1 ifc admin 946M May 3 19:44 dbgexp_tsod-failed_upgrade_repro_pod8-spine1_sysid-201_2023-05-03T19-35UTC_logs_3of3.tgz
-r--r----- 1 ifc admin 894M May 15 19:27 dbgexp_tsod-upgrde427sto524d_rtp-aci08-apic1_sysid-1_2023-05-15T19-24UTC_1of3.tgz
-r--r----- 1 ifc admin 892M May 4 19:12 dbgexp_tsod-failed_upgrade_repro_rtp-aci08-apic1_sysid-1_2023-05-04T19-08UTC_1of3.tgz
-r--r----- 1 ifc admin 253M Mar 31 20:33 dbgexp_tsod-12345_12345_sysid-105_2023-03-31T20-25UTC_logs_3of3.tgz
-r--r----- 1 ifc admin 205M Jul 18 14:40 dbgexp_coreexp-default_pod8-spine3_sysid-203_2023-07-18T14-21UTC_1689690102_0x1b01_kernel_log.0.tar.gz
-r--r----- 1 ifc admin 141M Aug 10 18:02 dbgexp_tsod-case-12345_rtp-aci08-apic1_sysid-1_2023-08-10T17-59UTC_db_2of3.tgz
-r--r----- 1 ifc admin 134M Jul 24 02:00 dbgexp_tsod-case-12345_rtp-aci08-apic1_sysid-1_2023-07-24T01-49UTC_db_2of3.tgz
-r--r----- 1 ifc admin 130M May 15 19:29 dbgexp_tsod-upgrde427sto524d_rtp-aci08-apic1_sysid-1_2023-05-15T19-24UTC_db_2of3.tgz
rtp-aci08-apic1# rm dbgexp_tsod-case-12345_rtp-aci08-apic1_sysid-1_2023-07-24T07-49UTC_logs_3of3.tgz rtp-aci08-apic1# rm dbgexp_tsod-case-12345_rtp-aci08-apic1_sysid-1_2023-07-24T07-79UTC_logs_3of3.tgz rtp-aci08-apic1# df -h | grep techsupport /dev/mapper/vg_ifc0-techsupport 40G 18G 20G 49% /data/techsupport
缺陷验证
CSCwj42027 - DME日志文件夹超出APIC中75%的使用率
非固定版本可能显示“var/log/dme/log”中的文件,这些文件未按预期在20M旋转。
可以联系TAC实施临时解决方法,直到ACI交换矩阵升级到固定版本。
故障发生于/
如果已满的目录是/目录,则如果不成为根目录,您将无法清除受影响的文件。
code : F1528
descr : Storage unit / on Node 1 with hostname rtp-aci08-apic1 mounted at / is 89% full
dn : topology/pod-1/node-1/sys/ch/p-[/]-f-[/dev/vg_ifc0/boot]/fault-F1528
当您在此处使用df -h
命令时,不会看到任何装载在/上的内容。
您使用的是100%满的/bin。但是,当您看到这些文件时,您只看到606M被使用,而不是40G。
rtp-aci08-apic1# df -h
Filesystem Size Used Avail Use% Mounted on
/dev/vg_ifc0/boot 40G 40G 0 100% /bin
/dev/mapper/vg_ifc0_ssd-data 176G 4.2G 162G 3% /var/log/dme
devtmpfs 32G 0 32G 0% /dev
tmpfs 4.0G 182M 3.9G 5% /dev/shm
/dev/mapper/vg_ifc0-firmware 40G 28G 9.3G 76% /firmware
/dev/mapper/vg_ifc0-scratch 40G 49M 38G 1% /home
tmpfs 32G 0 32G 0% /sys/fs/cgroup
/dev/mapper/vg_ifc0-techsupport 40G 18G 20G 49% /data/techsupport
tmpfs 16G 592K 16G 1% /tmp
/dev/sdc1 55M 1.2M 49M 3% /tmp/bootflash
tmpfs 2.0G 726M 1.3G 36% /var/log/dme/log
/dev/mapper/vg_ifc0-logs 40G 5.1G 33G 14% /var/log/dme/oldlog
/dev/mapper/vg_ifc0-data2 156G 11G 137G 8% /data2
/dev/mapper/vg_ifc0-dmecores 50G 53M 47G 1% /var/log/dme/core
tmpfs 32G 7.1G 25G 23% /var/run/utmp
rtp-aci08-apic1# cd /bin
rtp-aci08-apic1# ls -lahS | head
total 606M
-rwxr-xr-x 1 root root 103M Jul 26 20:44 nomad
-rwxr-xr-x 1 root root 60M Mar 1 2021 podman
-rwxr-xr-x 1 root root 51M Sep 9 2020 containerd
-rwxr-xr-x 1 root root 47M Aug 4 2021 consul
-rwxr-xr-x 1 root root 32M Apr 27 2021 atomix
-rwxr-xr-x 1 root root 30M Apr 27 2021 atomix-downgrade-grub
-rwxr-xr-x 1 root root 26M Sep 9 2020 ctr
-rwxr-xr-x 1 root root 25M Feb 13 2019 etcd
-rwxr-xr-x 1 root root 21M Feb 13 2019 etcdctl
要查看实际文件占用/上的空间,您需要使用根登录访问APIC CLI。
为此,您需要联系思科TAC寻求帮助。