ACI-Switch-Knoten SSD-Lebensdauer erklärt

Einleitung

In diesem Dokument wird das Erschöpfungsverhalten von Solid State Drives (SSDs) auf Application Centric Infrastructure (ACI)-Switch-Plattformen beschrieben.

Wenn Sie aufgrund eines SSD-Fehlers auf dieser Seite gelandet sind, der gegen den Application Policy Infrastructure Controller (APIC) (keinen Switch-Knoten) ausgelöst wurde, finden Sie weitere Informationen unter FN64329.

Der APIC SSD-Austausch dokumentiert das APIC SSD-Austauschverfahren.

Hintergrundinformationen

ACI-Leaf- und Spine-Knoten nutzen SSDs für die Speicher- und Ereignisprotokollierung. Alle SSDs haben unabhängig vom Herstellertyp eine feste Lebensdauer, die auf vom Hersteller definierten Attributen basiert. Einige Beispiele hierfür sind die Anzahl der Schreibvorgänge und Löschvorgänge sowie das Datenvolumen, das über einen bestimmten Zeitraum auf die Laufwerke übertragen wurde. Die SSD-Lebensdauer auf Leaf- und Spine-Knoten kann durch regelmäßigen Verschleiß erschöpft sein. Wenn der Benutzer keine geeigneten Maßnahmen gegen einen Switch ergreift, dessen SSD bald erschöpft ist, kann der Switch abstürzen, weil die SSD in den schreibgeschützten Modus wechselt. Aus diesem Grund ist es zwingend erforderlich, den SSD-Austausch zu priorisieren, wenn der F3073-Fehler an einem bestimmten Knoten auftritt. SSDs können vor Ort durch einen von Cisco zertifizierten Außendiensttechniker ersetzt werden.

F3073 wurde in den Versionen 2.1(4), 2.2(4), 2.3(1o) und 3.1(2m) implementiert. Alle nachfolgenden Softwareversionen verfügen über die Funktion, F3073 zu aktivieren.

Hinweis: Wenn Sie eine ACI-Softwareversion ohne SSD-Überwachungsfunktion ausführen, wird dringend empfohlen, ein Upgrade auf eine Version durchzuführen, in der eine solche Überwachung verfügbar ist.

Typische Symptome, wenn die SSD nicht ersetzt wird

1. Wenn der Switch nicht gestartet werden kann, werden auf der Konsole folgende Fehler angezeigt:

/dev/hd-cfg0: ********** WARNING: Filesystem still has errors **********
e2fsck 1.42.1 (17-Feb-2012)
/dev/hd-cfg1: recovering journal
/sbin/e2fsck: unable to set superblock flags on /dev/hd-cfg1

2. Das System ist in der Lage, Fehler im Zusammenhang mit der SSD (F3073 oder F3074 basierend auf der SSD-Lebensdauer) bei späteren Code-Releases (die in einem späteren Abschnitt behandelt werden) proaktiv zu beheben.

• F3074: fltEqptFlashFlash-minor-alarm (80% lifetime) 

• F3073: fltEqptFlashFlash-worn-out    (90% lifetime) 

3. Möglicherweise wird auch der Fehler F3525 für eine hohe SSD-Nutzung ausgelöst. Dieser Fehler wird oft mit F3073/F3074 verwechselt.

# fault.Inst
code : F3525
ack : no
annotation :
cause : equipment-flash-warning
changeSet : deltape (New: 21), peCycles (New: 1678), tbw (New: 32.465179), warning (New: yes)
childAction :
created : 2019-08-05T18:22:01.455-07:00
delegated : no
descr : High SSD usage observed. Please check switch activity and contact Cisco Technical Support about high SSD usage.
dn : topology/pod-1/node-206/sys/ch/supslot-1/sup/flash/fault-F3525
domain : infra
extMngdBy : undefined
highestSeverity : warning
lastTransition : 2019-08-05T18:24:02.029-07:00
lc : raised
modTs : never
occur : 1
origSeverity : warning
prevSeverity : warning
rn : fault-F3525
rule : eqpt-flash-flash-warning-alarm
severity : warning
status :
subject : flash-warning-alarm
type : operational

Der Fehler F3525 wird ausgelöst, wenn sich die P/E-Zyklen (Programm-Löschvorgang) innerhalb von sieben Tagen um mehr als 21 erhöhen. Es bedeutet nicht, dass die SSD abgenutzt ist, sondern nur, dass es eine große Abwanderung gibt, die letztendlich dazu führen könnte, dass die SSDs abgenutzt werden.

Sie müssen das Technical Assistance Center (TAC) kontaktieren, um die Ursache für diese Abwanderung zu ermitteln und Abhilfe zu schaffen. Es gibt auch eine Richtlinie zum Ändern der Schwellenwerte, aufgrund derer F3525 für einen bestimmten SSD-Typ ausgelöst wird (siehe Zugriffsrichtlinien > Richtlinien > Switch > Geräte-Flash-Konfigurationsrichtlinien).

So überprüfen Sie den aktuellen Status eines SSD

Es gibt zwei Möglichkeiten, den Status der SSD-Lebensdauer zu überprüfen:

• Proaktive Systemwarnungen
• Manuelle Datenanalyse

Proaktive Systemwarnungen

Die SSD-Lebensdauerüberwachung wurde als Teil des Cisco Bugs CSCve88634 in den folgenden Codeversionen hinzugefügt:

• 2.1(4) und höher für den 2.1 Zug
• 2.2(4) und höher für 2.2 zug
• 2.3(1o) und neuere Versionen für 2.3 zug
• 3.1(2m) und alle zukünftigen Versionen

Ein kleiner Fehler tritt auf, wenn sich das Laufwerk 80 % seiner Lebensdauer nähert, und ein großer Fehler tritt auf, wenn es 90 % seiner Lebensdauer überschreitet.

So können Netzwerkbetreiber jeden Switch überwachen und proaktiv austauschen, bevor er aufgrund einer Überschreitung der SSD-Lebensdauer ausfällt.

• F3074: fltEqptFlashFlash-minor-alarm (80 % Lebensdauer)
• F3073: fltEqptFlashAbgenutzt (90 % Lebensdauer)

Frühere Codeversionen verfügten nicht über eine SSD-Lebensdauerüberprüfung für Switch-SSDs. Selbst wenn sich der Switch dem Ende des SSD-Zeitraums nähert, wird daher kein Fehler ausgelöst.

Manuelle Datenanalyse

Die SSD-Nutzungsprotokollierung wurde ab den folgenden Versionen eingeführt: 3.2(5d), 3.2(6i), 3.2(7f) und 4.1(1i).

a-leaf101# cat /mnt/pss/ssd_log_amp.log   (Tested on 4.2.3l)
Model                     SerialNo        Software-Version               Date                           RawReadError(1) GBB(5)  UpTime(9)  PE(173)  LifeTime(202)   Attribute(210)  TBW(246)        HostPageCount(247)   BackgroundPageCount(248)  WAF        Delta_WAF    Delta_PE   Delta_TBW
Micron_M600_MTFDDAT064MBF MSA195207V1                                    Mon Dec 16 19:00:01 EST 2019   16531370        0       29398      12350    100             0               122396965772    3825894828           60841125365               16         0.00 %              0               0
Model                     SerialNo        Software-Version               Date                           RawReadError(1) GBB(5)  UpTime(9)  PE(173)  LifeTime(202)   Attribute(210)  TBW(246)        HostPageCount(247)   BackgroundPageCount(248)  WAF        Delta_WAF    Delta_PE   Delta_TBW
Micron_M600_MTFDDAT064MBF MSA195207V1                                    Tue Dec 17 19:00:01 EST 2019   16531725        0       29422      12355    100             0               122447755358    3827482016           60858831240               16         0.00 %          12355      61606629993
Model                     SerialNo        Software-Version               Date                           RawReadError(1) GBB(5)  UpTime(9)  PE(173)  LifeTime(202)   Attribute(210)  TBW(246)        HostPageCount(247)   BackgroundPageCount(248)  WAF        Delta_WAF    Delta_PE   Delta_TBW
Micron_M600_MTFDDAT064MBF MSA195207V1                                    Wed Dec 18 19:00:01 EST 2019   16532222        0       29446      12359    100             0               122495197374    3828964594           60875667807               16         0.00 %          12359      61636366134
Model                     SerialNo        Software-Version               Date                           RawReadError(1) GBB(5)  UpTime(9)  PE(173)  LifeTime(202)   Attribute(210)  TBW(246)        HostPageCount(247)   BackgroundPageCount(248)  WAF        Delta_WAF    Delta_PE   Delta_TBW
Micron_M600_MTFDDAT064MBF MSA195207V1                                    Thu Dec 19 19:00:01 EST 2019   16533056        0       29470      12364    100             0               122542269672    3830435617           60892533342               16         0.00 %          12364      61666601865
Model                     SerialNo        Software-Version               Date                           RawReadError(1) GBB(5)  UpTime(9)  PE(173)  LifeTime(202)   Attribute(210)  TBW(246)        HostPageCount(247)   BackgroundPageCount(248)  WAF        Delta_WAF    Delta_PE   Delta_TBW
Micron_M600_MTFDDAT064MBF MSA195207V1                                    Fri Dec 20 19:00:01 EST 2019   16534010        0       29494      12367    100             0               122587126224    3831837398           60908759296               16         0.00 %          12367      61694592882
Model                     SerialNo        Software-Version               Date                           RawReadError(1) GBB(5)  UpTime(9)  PE(173)  LifeTime(202)   Attribute(210)  TBW(246)        HostPageCount(247)   BackgroundPageCount(248)  WAF        Delta_WAF    Delta_PE   Delta_TBW
Micron_M600_MTFDDAT064MBF MSA195207V1                                    Sat Dec 21 19:00:01 EST 2019   16535311        0       29518      12372    100             0               122631804318    3833233605           60925205662               16         0.00 %          12372      61723045022
Model                     SerialNo        Software-Version               Date                           RawReadError(1) GBB(5)  UpTime(9)  PE(173)  LifeTime(202)   Attribute(210)  TBW(246)        HostPageCount(247)   BackgroundPageCount(248)  WAF        Delta_WAF    Delta_PE   Delta_TBW
Micron_M600_MTFDDAT064MBF MSA195207V1                                    Sun Dec 22 19:00:01 EST 2019   16536727        0       29542      12376    100             0               122676829388    3834640654           60941741722               16         0.00 %          12376      61751623726
Model                     SerialNo        Software-Version               Date                           RawReadError(1) GBB(5)  UpTime(9)  PE(173)  LifeTime(202)   Attribute(210)  TBW(246)        HostPageCount(247)   BackgroundPageCount(248)  WAF        Delta_WAF    Delta_PE   Delta_TBW
Micron_M600_MTFDDAT064MBF MSA195207V1                                    Mon Dec 23 19:00:01 EST 2019   16538321        0       29566      12380    100             0               122722137414    3836056544           60958504969               16         0.00 %          12380      61780395692
Model                     SerialNo        Software-Version               Date                           RawReadError(1) GBB(5)  UpTime(9)  PE(173)  LifeTime(202)   Attribute(210)  TBW(246)        HostPageCount(247)   BackgroundPageCount(248)  WAF        Delta_WAF    Delta_PE   Delta_TBW
Micron_M600_MTFDDAT064MBF MSA195207V1                                    Tue Dec 24 19:00:01 EST 2019   16539858        0       29591      12384    100             0               122767087802    3837461258           60975050343               16         0.00 %          12384      61808582833
Model                     SerialNo        Software-Version               Date                           RawReadError(1) GBB(5)  UpTime(9)  PE(173)  LifeTime(202)   Attribute(210)  TBW(246)        HostPageCount(247)   BackgroundPageCount(248)  WAF        Delta_WAF    Delta_PE   Delta_TBW
Micron_M600_MTFDDAT064MBF MSA195207V1                                    Wed Dec 25 19:00:01 EST 2019   16541121        0       29615      12388    100             0               122812238580    3838872234           60991578411               16         0.00 %          12388      61837188237
Model                     SerialNo        Software-Version               Date                           RawReadError(1) GBB(5)  UpTime(9)  PE(173)  LifeTime(202)   Attribute(210)  TBW(246)        HostPageCount(247)   BackgroundPageCount(248)  WAF        Delta_WAF    Delta_PE   Delta_TBW
Micron_M600_MTFDDAT064MBF MSA195207V1                                    Thu Dec 26 19:00:01 EST 2019   16542653        0       29639      12393    100             0               122857007868    3840271286           61008101155               16         0.00 %          12393      61865429457
Model                     SerialNo        Software-Version               Date                           RawReadError(1) GBB(5)  UpTime(9)  PE(173)  LifeTime(202)   Attribute(210)  TBW(246)        HostPageCount(247)   BackgroundPageCount(248)  WAF        Delta_WAF    Delta_PE   Delta_TBW
Micron_M600_MTFDDAT064MBF MSA195207V1                                    Fri Dec 27 19:00:01 EST 2019   16544352        0       29663      12397    100             0               122901807026    3841671272           61024757511               16         0.00 %          12397      61893705871
Model                     SerialNo        Software-Version               Date                           RawReadError(1) GBB(5)  UpTime(9)  PE(173)  LifeTime(202)   Attribute(210)  TBW(246)        HostPageCount(247)   BackgroundPageCount(248)  WAF        Delta_WAF    Delta_PE   Delta_TBW
Micron_M600_MTFDDAT064MBF MSA195207V1                                    Sat Dec 28 19:00:01 EST 2019   16546213        0       29687      12401    100             0               122946927200    3843081289           61041459287               16         0.00 %          12401      61922169689
Model                     SerialNo        Software-Version               Date                           RawReadError(1) GBB(5)  UpTime(9)  PE(173)  LifeTime(202)   Attribute(210)  TBW(246)        HostPageCount(247)   BackgroundPageCount(248)  WAF        Delta_WAF    Delta_PE   Delta_TBW
Micron_M600_MTFDDAT064MBF MSA195207V1                                    Sun Dec 29 19:00:01 EST 2019   16549522        0       29711      12405    100             0               122991584018    3844476827           61058889999               16         0.00 %          12405      61950124731
Model                     SerialNo        Software-Version               Date                           RawReadError(1) GBB(5)  UpTime(9)  PE(173)  LifeTime(202)   Attribute(210)  TBW(246)        HostPageCount(247)   BackgroundPageCount(248)  WAF        Delta_WAF    Delta_PE   Delta_TBW
Micron_M600_MTFDDAT064MBF MSA195207V1                                    Mon Dec 30 19:00:01 EST 2019   16551885        0       29735      12410    100             0               123036252528    3845872732           61075846564               16         0.00 %          12410      61977362529
Model                     SerialNo        Software-Version               Date                           RawReadError(1) GBB(5)  UpTime(9)  PE(173)  LifeTime(202)   Attribute(210)  TBW(246)        HostPageCount(247)   BackgroundPageCount(248)  WAF        Delta_WAF    Delta_PE   Delta_TBW
Micron_M600_MTFDDAT064MBF MSA195207V1                                    Tue Dec 31 19:00:01 EST 2019   16553858        0       29759      12414    100             0               123098133082    3847806568           61093085451               16         0.00 %          12414      62022286518
Model                     SerialNo        Software-Version               Date                           RawReadError(1) GBB(5)  UpTime(9)  PE(173)  LifeTime(202)   Attribute(210)  TBW(246)        HostPageCount(247)   BackgroundPageCount(248)  WAF        Delta_WAF    Delta_PE   Delta_TBW
Micron_M600_MTFDDAT064MBF MSA195207V1                                    Wed Jan  1 19:00:01 EST 2020   16555127        0       29783      12418    100             0               123142018610    3849178024           61109758713               16         0.00 %          12418      62048933159
Model                     SerialNo        Software-Version               Date                           RawReadError(1) GBB(5)  UpTime(9)  PE(173)  LifeTime(202)   Attribute(210)  TBW(246)        HostPageCount(247)   BackgroundPageCount(248)  WAF        Delta_WAF    Delta_PE   Delta_TBW
Micron_M600_MTFDDAT064MBF MSA195207V1                                    Thu Jan  2 19:00:01 EST 2020   16556532        0       29808      12422    100             0               123186637556    3850572390           61126687626               16         0.00 %          12422      62076878843

Model                          SerialNo        SW-Version      Date         R.Error(1) GBB(5)     UpTime(9)  PE(173)  LifeTime(202)   Attr(210)  TBW(246)     WAF    DWAF       DPE      DTBW   
Micron_M600_MTFDDAT064MBF      MSA195207V1     14.2(3l)        2020-01-03   16557977   0          29832      12428    100             0          123278298184 16     0.00 %      0        0      
Micron_M600_MTFDDAT064MBF      MSA195207V1     14.2(3l)        2020-01-04   16558440   0          29856      12433    100             0          123323818606 16     0.00 %      5        45520422
Micron_M600_MTFDDAT064MBF      MSA195207V1     14.2(3l)        2020-01-05   16559031   0          29880      12438    100             0          123369348610 16     0.00 %      5        45530004
Micron_M600_MTFDDAT064MBF      MSA195207V1     14.2(3l)        2020-01-06   16561567   0          29904      12443    100             0          123415316270 16     0.00 %      5        45967660
Micron_M600_MTFDDAT064MBF      MSA195207V1     14.2(3l)        2020-01-07   16564701   0          29928      12448    100             0          123460483898 16     0.00 %      5        45167628
Micron_M600_MTFDDAT064MBF      MSA195207V1     14.2(3l)        2020-01-08   16565955   0          29952      12453    100             0          123505550532 16     0.00 %      5        45066634

Die Datei ssd_log_amp.log befindet sich im 1of3 Switch, der von der Technologie unterstützt wird.

Für alle zusätzlichen herstellerbezogenen Befehle müssen die Ausgaben mit Berechtigungen eines Root-Benutzers übereinstimmen, für den eine TAC-Serviceanfrage erforderlich ist.

Auslöser für die Überlastung der Switch-SSD-Lebensdauer

• ACI APICs und Switches sollen Betriebsfähigkeit gewährleisten und die Möglichkeit bieten, die Ursache für Ereignisse zu ermitteln, die lange nach Eintreten dieses Ereignisses auftreten, und verfügen über eine ausführliche Protokollierung für jede Komponente, die für SSD persistent ist.
  
  
• Diese Protokollierungsfunktionen erfordern ein hohes Maß an Schreibvorgängen auf der Festplatte und an Überschreiben. Die Fähigkeit der Festplatten, dies auszuführen, ist nicht unbegrenzt, daher ist dem Laufwerk eine Lebensdauer zugeordnet. Instabilität im Netzwerk (eine große Anzahl an Verschiebungen oder Richtlinienaktualisierungen usw.) über einen längeren Zeitraum kann dazu führen, dass eine Switch-SSD vorzeitig erschöpft ist.
  
  
• Es wurden zahlreiche Verbesserungen vorgenommen, um die Schreibvorgänge zu optimieren und die Betriebsfähigkeit aufrechtzuerhalten. Gleichzeitig wurde die Menge der auf die Festplatte geschriebenen Daten verringert. Diese Änderungen wurden in verschiedenen Versionen eingeführt. Weitere Informationen finden Sie im Abschnitt zur Codeoptimierung.
  
  
• Für eine Version mit integrierten Code-Optimierungserweiterungen, wenn Sie immer noch eine schnelle SSD-Nutzung wie 2/3 P/E-Zyklus jeden Tag erleben, ist es sehr wahrscheinlich durch DB-Schreiben statt Protokollierung verursacht, da die meisten von ihnen auf RAMFS geschrieben werden. Protokolle werden erst nach ZIP auf die SSD verschoben, wenn eine Rotation erforderlich ist.

Codeoptimierung

Es wurden zahlreiche Verbesserungen vorgenommen, um die Schreibvorgänge zu optimieren und die Betriebsfähigkeit aufrechtzuerhalten. Gleichzeitig wurde die Menge der auf die Festplatte geschriebenen Daten verringert. Diese Änderungen wurden in verschiedenen Versionen eingeführt.

• Cisco Bug-ID CSCve88634 - Löst einen Fehler aus, wenn die SSD ihre Lebensdauer überschreitet.
  Zu den Versionen 2.1(4), 2.2(4), 2.3(1o) und 3.1(2m) hinzugefügt
• Cisco Bug-ID CSCvi32353- F3073 Revision auf SSD-Lebensdauer überschritt Erkennungslogik
• Cisco Bug-ID CSCvh73803 - Erstellen Sie eine ramfs-Partition für tmp_logs, um die Auswirkungen der Protokollierung auf SSD zu verringern.
• Cisco Bug-ID CSCvm97108 - Bug zur Nachverfolgung von Änderungen bei SSD-Überprovisionierung
• Cisco Bug-ID CSCvt36458 - Entfernte persistente SQL DB-Ebene für Switches.
  Zu den Versionen 4.2(6d) und 5.1(1h) hinzugefügt

Die Releases 3.2.4d und höher sowie 4.x und höher verfügen über alle zur Verlängerung der SSD-Lebensdauer erforderlichen Verbesserungen zur Fehlerüberwachung und -optimierung. Dies bedeutet natürlich nicht, dass ein Upgrade auf diese Versionen das SSD-Lebensdauerproblem absolut verhindert.

Änderung des Verhaltens beim Neuladen

Cisco Bug-ID CSCvt36458 hat das erwartete Verhalten eines ACI-Switch-Knotens geändert, wenn dieser nicht ordnungsgemäß neu geladen wurde:

Zusammenfassend lässt sich sagen, dass fehlerfreie Switch-Neuladevorgänge beim Hochfahren weiterhin ihre DB nutzen. Unerwünschtes erneutes Laden der Switches erfordert nun, dass - ähnlich wie bei einem Upgrade - alle Richtlinien vom APIC übernommen werden.

Verschiedene FAQs

Kann die SSD vor Ort ausgetauscht werden?

Ja. Cisco ersetzt jetzt vor Ort SSDs mithilfe eines zertifizierten Außendiensttechnikers. Bei modularen Spines wird der gesamte Supervisor ersetzt.

Sollten Sie die Switch-Hardware proaktiv austauschen?

TAC-Techniker können die SmartCTL-Werte überprüfen und auswerten, welche Switches eine längere Lebensdauer haben, sodass die dringendsten Switches sofort ersetzt werden können. Anschließend können die Switches schrittweise durch weniger dringende ersetzt werden.

Gibt es spezielle Hardware-PIDs, die anfälliger für SSD-Fehler sind?

Nein. Die SSD-Lebensdauer kann je nach Gerät in derselben Umgebung variieren. Die Verwendung der SSD-Laufwerke hängt davon ab, wie oft das Gerät Protokolle schreiben muss, um Ereignisse zu speichern. Ein Gerät, das eine große Anzahl von Ereignissen registriert, die durch eine Instabilität des Netzwerks verursacht werden, hat das Potenzial, seine SSD-Lebensdauer früher als andere zu erreichen. Daher empfiehlt Cisco die Verwendung neuerer Versionen, um sicherzustellen, dass die Codeoptimierung bei der Steuerung der SSD-Schreibvorgänge hilft und die SSD-Lebensdauer verlängert.