ACI 결함 해결 F1527, F1528, F1529 - fltEqptStorageFull

소개

이 문서에서는 ACI(Application Centric Infrastructure) 결함 코드 F1527, F1528, F1529를 리미디에이션 단계와 함께 설명합니다.

배경 정보

이러한 세 가지 결함은 컨트롤러의 스토리지 용량 활용도가 임계값을 초과할 때 발생합니다.
F1527은 사용량이 75%를 초과할 때 발생하는 경고 결함입니다.

F1528은 사용량이 85%에서 90% 사이일 때 발생하는 주요 결함입니다.

F1529는 사용량이 90%보다 클 때 발생하는 중대한 결함입니다.

code : F1529
cause : equipment-full
descr : Storage unit /techsupport on node 1 with hostname rtp-aci08-apic1 mounted at /techsupport is 100% full
dn : topology/pod-1/node-1/sys/ch/p-[/techsupport]-f-[/dev/mapper/vg_ifc0-techsupport]/fault-F1529
rule : eqpt-storage-full-critical
severity : critical

빠른 시작 - 결함 해결

1. 용량에 있는 디렉토리를 식별합니다.
2. 용량에 도달했는지 확인합니다.
3. 디렉터리의 파일을 정리합니다.

팁: 또한 과도한 디스크 소비 문제를 해결하는 데 도움이 될 수 있는 자동화된 툴도 제공됩니다. 이 도구는 결함에 언급된 마운트 지점을 식별하고 디스크 공간을 확보하기 위해 삭제할 수 있는 파일 목록을 제공합니다. 다음 위치에서 툴에 액세스할 수 있습니다. https://github.com/datacenter/aci-tac-scripts/tree/main/aci-exceeded-storage-allocation

결함 해결을 위한 세부 단계

디렉토리 식별

결함이 제기된 디렉토리는 결함 설명에서 식별됩니다.

이 두 예에서 F1527 결함이 /firmware 디렉토리에 대해 제기되고 F1529 결함이 /techsupport에 연결되어 있음을 확인할 수 있습니다.

노드 1에서 장애가 발생한다는 것을 설명에서도 확인할 수 있습니다.

code : F1527
descr : Storage unit /firmware on Node 1 mounted at /firmware is 76% full
dn : topology/pod-1/node-1/sys/ch/p-[/firmware]-f-[/dev/mapper/vg_ifc0-firmware]/fault-F1527

code : F1529
descr : Storage unit /techsupport on node 1 with hostname rtp-aci08-apic1 mounted at /techsupport is 100% full
dn : topology/pod-1/node-1/sys/ch/p-[/techsupport]-f-[/dev/mapper/vg_ifc0-techsupport]/fault-F1529

용량 확인

결함이 제기되는 디렉토리를 알게 되면 CLI를 사용하여 드라이브 공간이 그만큼 많이 사용되고 있는지 확인할 수 있습니다.

명령을 사용하여df -h,  각 마운트에 사용 가능한 디스크 공간을 확인할 수 있습니다.
이 표에서 /firmware가 사용 가능한 공간의 76%를 사용하고 있으며/data/techsupport100%를 사용하고 있음을 확인할 수 있습니다.

rtp-aci08-apic1# df -h
Filesystem                       Size  Used Avail Use% Mounted on
/dev/vg_ifc0/boot                 40G   13G   25G  35% /bin
/dev/mapper/vg_ifc0_ssd-data     176G  4.2G  162G   3% /var/log/dme
devtmpfs                          32G     0   32G   0% /dev
tmpfs                            4.0G  182M  3.9G   5% /dev/shm
/dev/mapper/vg_ifc0-firmware      40G   28G  9.3G  76% /firmware
/dev/mapper/vg_ifc0-scratch       40G   49M   38G   1% /home
tmpfs                             32G     0   32G   0% /sys/fs/cgroup
/dev/mapper/vg_ifc0-techsupport   40G   38G     0 100% /data/techsupport
tmpfs                             16G  592K   16G   1% /tmp
/dev/sdc1                         55M  1.2M   49M   3% /tmp/bootflash
tmpfs                            2.0G  721M  1.3G  36% /var/log/dme/log
/dev/mapper/vg_ifc0-logs          40G  5.0G   33G  14% /var/log/dme/oldlog
/dev/mapper/vg_ifc0-data2        156G   11G  137G   8% /data2
/dev/mapper/vg_ifc0-dmecores      50G   53M   47G   1% /var/log/dme/core
tmpfs                             32G  9.0G   23G  29% /var/run/utmp

파일 정리

결함 상태가 있는지 확인한 후 디렉토리에서 파일을 정리할 수 있습니다.
이렇게 하려면 해당 디렉토리로 이동합니다. 그런 다음 파일을 크기(ls -lahS)별로 나열하고 더 이상 필요하지 않은 큰 파일rm (파일)을 제거할 수 있습니다.

그런 다음 명령을 사용하여 공간이 정리되었음을df -h다시 확인할 수 있습니다.

rtp-aci08-apic1# cd /data/techsupport
rtp-aci08-apic1# ls -lahS
total 38G
-rw-r--r--  1 admin   admin    10G Aug 10 18:12 dbgexp_tsod-case-12345_rtp-aci08-apic1_sysid-1_2023-07-24T07-49UTC_logs_3of3.tgz
-rw-r--r--  1 admin   admin   9.4G Aug 10 18:13 dbgexp_tsod-case-12345_rtp-aci08-apic1_sysid-1_2023-07-24T07-79UTC_logs_3of3.tgz
-r--r-----  1 ifc     admin   3.9G Jul 24 02:05 dbgexp_tsod-case-12345_rtp-aci08-apic1_sysid-1_2023-07-24T01-49UTC_logs_3of3.tgz
-r--r-----  1 ifc     admin   3.7G Jul 24 01:55 dbgexp_tsod-case-12345_rtp-aci08-apic1_sysid-1_2023-07-24T01-49UTC_1of3.tgz
-r--r-----  1 ifc     admin   2.5G May 15 19:33 dbgexp_tsod-upgrde427sto524d_rtp-aci08-apic1_sysid-1_2023-05-15T19-24UTC_logs_3of3.tgz
-r--r-----  1 ifc     admin   2.1G May  4 19:17 dbgexp_tsod-failed_upgrade_repro_rtp-aci08-apic1_sysid-1_2023-05-04T19-08UTC_logs_3of3.tgz
-r--r-----  1 ifc     admin   1.1G Aug 10 18:04 dbgexp_tsod-case-12345_rtp-aci08-apic1_sysid-1_2023-08-10T17-59UTC_logs_3of3.tgz
-rw-r--r--  1 admin   admin   1.1G Aug 10 18:11 1g.img
-r--r-----  1 ifc     admin   952M May  4 19:17 dbgexp_tsod-failed_upgrade_repro_pod8-spine1_sysid-201_2023-05-04T19-08UTC_logs_3of3.tgz
-r--r-----  1 ifc     admin   946M May  3 19:44 dbgexp_tsod-failed_upgrade_repro_pod8-spine1_sysid-201_2023-05-03T19-35UTC_logs_3of3.tgz
-r--r-----  1 ifc     admin   894M May 15 19:27 dbgexp_tsod-upgrde427sto524d_rtp-aci08-apic1_sysid-1_2023-05-15T19-24UTC_1of3.tgz
-r--r-----  1 ifc     admin   892M May  4 19:12 dbgexp_tsod-failed_upgrade_repro_rtp-aci08-apic1_sysid-1_2023-05-04T19-08UTC_1of3.tgz
-r--r-----  1 ifc     admin   253M Mar 31 20:33 dbgexp_tsod-12345_12345_sysid-105_2023-03-31T20-25UTC_logs_3of3.tgz
-r--r-----  1 ifc     admin   205M Jul 18 14:40 dbgexp_coreexp-default_pod8-spine3_sysid-203_2023-07-18T14-21UTC_1689690102_0x1b01_kernel_log.0.tar.gz
-r--r-----  1 ifc     admin   141M Aug 10 18:02 dbgexp_tsod-case-12345_rtp-aci08-apic1_sysid-1_2023-08-10T17-59UTC_db_2of3.tgz
-r--r-----  1 ifc     admin   134M Jul 24 02:00 dbgexp_tsod-case-12345_rtp-aci08-apic1_sysid-1_2023-07-24T01-49UTC_db_2of3.tgz
-r--r-----  1 ifc     admin   130M May 15 19:29 dbgexp_tsod-upgrde427sto524d_rtp-aci08-apic1_sysid-1_2023-05-15T19-24UTC_db_2of3.tgz

    
    
      rtp-aci08-apic1# rm dbgexp_tsod-case-12345_rtp-aci08-apic1_sysid-1_2023-07-24T07-49UTC_logs_3of3.tgz rtp-aci08-apic1# rm dbgexp_tsod-case-12345_rtp-aci08-apic1_sysid-1_2023-07-24T07-79UTC_logs_3of3.tgz rtp-aci08-apic1# df -h | grep techsupport /dev/mapper/vg_ifc0-techsupport 40G 18G 20G 49% /data/techsupport 
    

/ 의 오류 발생

가득 찬 디렉터리가 / 디렉터리인 경우 루트 디렉터리가 아니고는 영향을 받은 파일을 정리할 수 없습니다.

code : F1528
descr : Storage unit / on Node 1 with hostname rtp-aci08-apic1 mounted at / is 89% full
dn : topology/pod-1/node-1/sys/ch/p-[/]-f-[/dev/vg_ifc0/boot]/fault-F1528

여기서 명령을df -h사용하면 / 의 마운트된 항목이 표시되지 않습니다.
100% 채워진 /bin을 사용합니다. 그러나 파일을 보면 40G가 아니라 606M만 사용된다는 것을 알 수 있습니다.

rtp-aci08-apic1# df -h                                             
Filesystem                       Size  Used Avail Use% Mounted on
/dev/vg_ifc0/boot                 40G   40G     0 100% /bin
/dev/mapper/vg_ifc0_ssd-data     176G  4.2G  162G   3% /var/log/dme
devtmpfs                          32G     0   32G   0% /dev
tmpfs                            4.0G  182M  3.9G   5% /dev/shm
/dev/mapper/vg_ifc0-firmware      40G   28G  9.3G  76% /firmware
/dev/mapper/vg_ifc0-scratch       40G   49M   38G   1% /home
tmpfs                             32G     0   32G   0% /sys/fs/cgroup
/dev/mapper/vg_ifc0-techsupport   40G   18G   20G  49% /data/techsupport
tmpfs                             16G  592K   16G   1% /tmp
/dev/sdc1                         55M  1.2M   49M   3% /tmp/bootflash
tmpfs                            2.0G  726M  1.3G  36% /var/log/dme/log
/dev/mapper/vg_ifc0-logs          40G  5.1G   33G  14% /var/log/dme/oldlog
/dev/mapper/vg_ifc0-data2        156G   11G  137G   8% /data2
/dev/mapper/vg_ifc0-dmecores      50G   53M   47G   1% /var/log/dme/core
tmpfs                             32G  7.1G   25G  23% /var/run/utmp
rtp-aci08-apic1# cd /bin 
rtp-aci08-apic1# ls -lahS | head
total 606M
-rwxr-xr-x  1 root root  103M Jul 26 20:44 nomad
-rwxr-xr-x  1 root root   60M Mar  1  2021 podman
-rwxr-xr-x  1 root root   51M Sep  9  2020 containerd
-rwxr-xr-x  1 root root   47M Aug  4  2021 consul
-rwxr-xr-x  1 root root   32M Apr 27  2021 atomix
-rwxr-xr-x  1 root root   30M Apr 27  2021 atomix-downgrade-grub
-rwxr-xr-x  1 root root   26M Sep  9  2020 ctr
-rwxr-xr-x  1 root root   25M Feb 13  2019 etcd
-rwxr-xr-x  1 root root   21M Feb 13  2019 etcdctl

/ 의 공간을 차지하는 실제 파일을 보려면 루트 로그인으로 APIC CLI에 액세스해야 합니다.
이를 위해서는 Cisco TAC에 지원을 요청해야 합니다.

결함 검증

CSCwj 42027 - APIC에서 DME 로그 폴더가 75% 사용률 초과

영향을 받는 소프트웨어 버전에서는 "호스트 이름 <HOSTNAME>이 /data/log에 마운트된 <##> 노드의 스토리지 유닛 /data/log가 <##>% 찼습니다."라는 설명이 있을 수 있습니다. /data/log 디렉토리의 다양한 로그 파일은 20M 크기로 회전하지 못합니다.

TAC에 문의하여 대형 로그 파일을 자르고 영구적이지 않은 해결 방법을 적용하여 결함이 다시 발생하지 않도록 방지합니다.

참조: https://bst.cloudapps.cisco.com/bugsearch/bug/CSCwj42027