Problemen met hoge CPU/QFP op routers naar TAC melden
Inhoud
Inleiding
Dit document beschrijft algemene probleemoplossing voor het correct melden van hoge CPU/QFP-problemen aan TAC voor een snellere caseoplossing.
Voorwaarden
Vereisten
Cisco raadt u aan een basiskennis te hebben van deze onderwerpen:
- Basiskennis van Cisco IOS®-XE pakketdoorstuurarchitectuur.
- Basiservaring met Packet Trace-functie.
Gebruikte componenten
Dit document is niet beperkt tot specifieke software- en hardware-versies. Het is van toepassing op elk routing Cisco IOS-XE® platform met fysieke/gevirtualiseerde QFP zoals ASR1000, ISR4000, ISR1000, Cat8000 of Cat8000v.
De informatie in dit document is gebaseerd op de apparaten in een specifieke laboratoriumomgeving. Alle apparaten die in dit document worden beschreven, hadden een opgeschoonde (standaard)configuratie. Als uw netwerk live is, moet u zorgen dat u de potentiële impact van elke opdracht begrijpt.
Achtergrondinformatie
Dit document schetst de opdrachten die TAC nodig heeft voor het eerste proefproces van een hoog CPU/QFP-probleem voor een geweldige TAC-ervaring vanaf het eerste contact.
Ook bevat dit document tips voor probleemoplossing om een hoog CPU-probleem of een hoog QFP-gebruiksprobleem (Quantum Flow Processor) te identificeren, zodat u een oplossing kunt vinden voordat u een TAC-case opent.
Het doel van dit document is niet om enige procedures voor probleemoplossing uitgebreid uit te leggen. Indien beschikbaar, worden de verwijzingen naar meer in diepe het oplossen van probleemgidsen verstrekt.
Aan het eind van dit document zijn er blokdiagrammen die voor educatieve doeleinden dienen als visuele weergave van de onderdelen.
Hoge componenten - geheugen, TCAM, CPU, QFP - gebruik is doorgaans een indicator van:
- Er gaat iets mis op het apparaat (dat proces werkt niet zoals verwacht, mogelijk Sw probleem) of in de netwerkomgeving (dat is puntverkeer, loops)
- Het bereiken van de hardwarebeperking van het apparaat (dat is te veel verkeer/functies die op het apparaat lopen)
Het identificeren van de onderliggende oorzaak van het hoge componentgebruik is van vitaal belang om een juiste koers voor het oplossen van het probleem te bepalen.
Symptomen voor een hoog QFP/CPU-gebruik
U kunt controleren of er een hoge CPU- of QFP-conditie is via controletools of via deze opdrachten:
Besturingsplane (CPU) - IOSd
show process cpu sorted
iosxe_router#show process cpu sorted
CPU utilization for five seconds: 90%/0%; one minute: 0%; five minutes: 0%
PID Runtime(ms) Invoked uSecs 5Sec 1Min 5Min TTY Process
395 78769 1242162 63 89.07% 88.04% 89.02% 0 CDP Protocol
1 8 88 90 0.00% 0.00% 0.00% 0 Chunk Manager
--- snip ---
Uit de regel "CPU-gebruik gedurende vijf seconden: 90%/0%; één minuut: 0%; vijf minuten: 0%" moet je focussen op de eerste waarde na de "vijf seconden" string. In dit geval geeft de 90% het totale CPU-gebruik aan, terwijl het nummer rechts van de slash-0 in dit geval het CPU-gebruik als gevolg van onderbrekingen weergeeft. Het verschil tussen deze twee getallen geeft de totale CPU-benutting door processen weer. In dit scenario neemt het CDP-protocol het grootste deel van de CPU-bronnen (besturingsplane) in beslag.
Bedieningsplane - Kernel (CPU)
Aangezien Cisco IOS-XE een op Linux gebaseerde kernel heeft, vindt u soms problemen langs elk van de processen die er bovenop lopen, kunt u het cpu-platform van showprocessen gebruiken dat is gesorteerd voor het valideren als een proces problemen veroorzaakt (focus op de 5sec-kolom) om processen van het onderliggende besturingssysteem weer te geven.
iosxe_router#show process cpu platform sorted
-- depending on the architecture, there can be multiple cores, deleting for brevity --
Pid PPid 5Sec 1Min 5Min Status Size Name
--------------------------------------------------------------------------------
18009 18001 323% 325% 328% R 266740 ucode_pkt_PPE0
11168 11160 1% 1% 1% S 914556 linux_iosd-imag
96 2 1% 0% 0% S 0 ksmd
--- snip ---
Opmerking: Routers met virtueel QFP hebben het ucode_pkt_PPE0 proces, dat is het softwareproces dat het dataplatform nastreeft. Daarom kan dat proces worden genegeerd in de lijst van processen die bijdragen aan het CPU-gebruik.
Dataplane (QFP)
QFP is het systeem op een chip verantwoordelijk voor alle pakketdoorsturen. Aanvullende informatie vindt u in de sectie: Understanding High QFP on IOS-XE routers.
iosxe_router #show platform hardware qfp active datapath utilization
CPP 0: Subdev 0 5 secs 1 min 5 min 60 min
--- snip ---
(bps) 21992 13648 13736 13720
Processing: Load (pct) 0 0 0 0
Crypto/IO
RX: Load (pct) 0 0 0 0
TX: Load (pct) 1 1 1 0
Idle (pct) 99 99 99 99
Vanaf de opdracht voor het gebruik van actieve gegevenspaden van het showplatform hardware qfp, richt u zich op de verwerking: Laad voor de 5 seconden kolom, aangezien dit het meest recente algemene QFP-gebruik biedt. Sommige apparaten tonen ook het gebruik van de Crypto/IO module, focust op Idle, hoe dichter bij 100%, hoe beter.
Potentiële logboeken gezien
Standaard zijn er geen logs die door het systeem worden gegenereerd die een hoog CPU-gebruik op IOSd tonen, dat CPU-nummer 0 gebruikt, de eerste CPU op Cisco IOS-XE-systemen.
Dit commando moet eerst geconfigureerd worden voor syslog om op de eerste kern gegenereerd te worden.
Deze opdracht moet worden geschreven volgens de indeling die wordt beschreven in CPU-drempelwaardekennisgeving: process cpu threshold type {total | dagvaarden | interrupt} stijgend percentage interval seconden [dalend percentage interval seconden]
Op die manier zouden we dit soort kennisgeving kunnen zien:
%SYS-1-CPURISINGTHRESHOLD: Threshold: Total CPU Utilization(Total/Intr): 91%/2%, Top 3 processes(Pid/Util):Een andere manier om hoog gebruik op het te vangen is via SNMP of Telemetry metingen.
In sommige gevallen wordt een waarschuwing weergegeven als deze wanneer andere kernen veel gebruikt worden:
PLATFORM_INFRA-5-IOS_INTR_OVER_LIMIT:Voor dataplatform zien we dit soort QFP-waarschuwing in logbestanden, die over het algemeen aangeven dat de drempelbelasting is overschreden:
MCPRP-QFP-ALERT: Slot: 0, QFP:0, Load 93% exceeds the setting threshold(80%).Informatie TAC Behoeften voor eerste triage
- Uitvoer van deze opdrachten wanneer het hoge CPU-gedrag wordt waargenomen:
- toonklok
- show version
- show running
- proces cpu gesorteerd tonen
- cpu-geschiedenis proces weergeven
- toon platformmiddelen
- toon platform hardware qfp actieve datapath benuttingssamenvatting
- logboekregistratie tonen
- Netwerktopologie.
- Grafieken van de CPU/QFP-gebruiksgeschiedenis.
- Verstrek extra informatie in detail zoals recente netwerk of configuratieveranderingen, verwachte verkeerssnelheid/stroom.
Als de CPU niet vastzit aan een constante 100%, neem dan een show tech-uitvoer op. Dit is van groot nut voor de TAC, en u kunt profiteren van de automatiseringen die TAC heeft ontwikkeld om u te helpen sneller problemen te vinden.
Opmerking: de hoge CPU-voorwaarde moet worden opgelost terwijl het probleem aanwezig is, aangezien het apparaat geen historische gegevens opslaat over processen in de loop van de tijd.
Opmerking: controleer of u een ondersteunde versie uitvoert. Zoek naar het End-of-Sale- en End-of-Life-document voor de release. Verplaats, indien nodig, naar een versie die momenteel wordt geleverd onder Software Maintenance Releases. Anders is TAC beperkt tot de opties voor probleemoplossing en resolutie.
Een goed begrip van het hoge CPU/QFP-gebruik
Over het algemeen wordt een CPU/QFP geacht hoog te draaien wanneer deze meer dan 80% bedraagt.
Cisco IOS-XE routers kunnen worden geassocieerd met hoge benutting op het besturingsplane (CPU) of in het gegevensvlak (QFP).
Opmerking: in het ideale geval moet een hoog CPU/QFP-gebruik worden geëvalueerd ten opzichte van de typische gebruikspatronen van het apparaat in de loop der tijd. Als een apparaat bijvoorbeeld normaal werkt met 10% CPU-gebruik, maar plotseling tot 40% springt, kan dit wijzen op een hoog CPU-gebruik voor dat apparaat. Aan de andere kant is een apparaat dat constant draait op 80% CPU-gebruik niet per se een probleem als dat zijn gebruikelijke operationele niveau is. Bewakingssystemen met CPU-grafieken kunnen helpen bij het verzamelen en analyseren van deze gegevens om voor elk apparaat een basislijn vast te stellen.
Algemene stappen voor probleemoplossing
- Identificeer als het probleem besturingsvlak (CPU) of dataplaat (QFP) is.
- Identificeer het gewraakte proces via specifieke opdrachten.
- Gebaseerd op procesnaam, doe een webzoekopdracht naar dat proces:
- Stel scherp bij het afstemmen van dat proces met een bekende functie/configuratie.
- Controleer of er een softwaredefect is dat overeenkomt met de naam en het gedrag van het proces. Indien van toepassing, implementeer tijdelijke oplossing of Sw upgrade naar een vaste release.
- Met behulp van CPU/QFP-grafieken kunt u precies bepalen op welk tijdstip de CPU/QFP het gebruik ervan zal gaan vergroten. Als deze overeenkomt met een recente wijziging, gaat u terug naar de oorspronkelijke configuratie/softwareversie en controleert u de resultaten.
- Als het webzoeken geen bruikbare resultaten oplevert of als u meent dat een functie verkeerd werkt, opent u een TAC-case met deze informatie:
- show tech
- Verzamelde opdrachten (raadpleeg de informatie over de TAC-behoeften voor het eerste gedeelte van het proefpad).
- Probeer de tijd aan te passen dat het probleem is begonnen met een specifieke configuratiewijziging en neem deze informatie op bij het openen van de TAC-case.
- Als het gegevensvlak als probleem wordt geïdentificeerd: verstrek de netwerktopologie, het verwachte aantal gebruikers, en de typische verkeerstarief die door het apparaat stromen.
- Indien beschikbaar, geef de CPU/QFP-gebruiksgeschiedenisgrafiek op.
Inzicht in hoge CPU’s op Cisco IOS-XE routers
Verwijzing naar CPU op een Cisco IOS-XE router verwijst naar de CPU die verantwoordelijk is voor de bewerkingen van het beheer-/besturingsplane van het apparaat. Er zijn vele processen die op het apparaat lopen, die allemaal bovenop een Linux gebaseerde kernel lopen. Elk van deze processen wordt uitgevoerd in een CPU voor algemene doeleinden.
Wanneer een hoge CPU-voorwaarde aanwezig is, is deze doorgaans een indicator van:
- Een of meer processen moeten een intensieve taak voltooien.
- Een of meer processen werken niet zoals verwacht.
- Besturingsplane die pakketten ontvangt en verwerkt die door het Dataplane worden verzonden.
Sommige platforms hebben meerdere CPU's voor algemene doeleinden, die aan deze regels voldoen:
- Als de Cisco IOS-XE router modulair is (d.w.z. meerdere kaarten accepteert, zoals routeprocessor, ingesloten servicesprocessor, SPA-interfaceprocessor), zijn er meerdere CPU’s beschikbaar voor besturingsvlakke bewerkingen en één CPU voor algemene doeleinden voor elk van de kaarten.
- Als de Cisco IOS-XE router een ingesloten router is en alleen servicemodules of interfacekaarten accepteert, heeft de router één algemene CPU (virtueel of fysiek) die wordt beschouwd als deel uitmakend van de routeprocessor (zoals te zien is in de output van showplatform resources).
Op Cisco IOS XE-apparaten beschikken we over het algemeen over dataplatform en besturingsplane CPU-specifieke kernen.
Over het algemeen geldt dat als CPU 0 (de eerste CPU) is gekoppeld aan IOSd (IOS daemon), de CPU-specifieke kern besturingsvlak-gerelateerd is. Andere CPU’s kunnen een mix zijn van besturingsplane en dataplane CPU’s.
In het geval van ASR 1000, die over het algemeen modulair is, tonen de beveloutput zoals de middelen van het showplatform en de controle-processor van de platformsoftware het gebruik voor controlevliegtuig (RP) en gegevensvliegtuig (ESP) cpu's.
- In het geval van ISR4000 Series, raadpleegt u Prestatielicentie voor geïntegreerde services router 4000 die de diagrammen voor de verschillende CPU-distributies tussen de bestaande modellen weergeeft.
- Als virtuele platforms zoals Cisco CSR1000v en Cisco CSR8000v worden gebruikt, zijn ze standaard gebaseerd op een sjabloon, waarbij de meeste vCPU’s zijn gewijd aan het gegevensvlak. Raadpleeg Het configureren van de vCPU-distributie over de data-, controle- en serviceplanes en de installatiehandleiding voor en configuratie van Cisco Catalyst 8000V Edge-software.
Control plane CPU’s zijn gewijd aan het besturen van protocolverwerking zoals het verwerken van BGP-protocol, STP-protocol, CDP, SSH enzovoort. Bedieningsvlak CPU's verwerken pakketten die bestemd zijn voor de router zelf voor de verwerking ervan.
Het vliegtuig van gegevens verwijst over het algemeen naar doorvoerpakketten die de router niet zelf in Routing Processor (RP) verbruikt, in plaats daarvan de procespakketten van het gegevensvliegtuig die slechts in de component van de Bewerker van de Quantum Flow (QFP) worden verwerkt die de pakketprocessor is. Deze pakketten hebben zijn verwerking in QFP waar de raadplegingen gebeuren om het douanepakket naar zijn voorgenomen bestemming te verzenden.
High QFP begrijpen op Cisco IOS-XE routers
De Quantum Flow Processor (QFP) is het systeem op een chip (SoC) die verantwoordelijk is voor alle pakketdoorsturen operaties in het apparaat.
QFP stelt een gespecialiseerd stuk van software in werking genoemd microcode. Deze microcode is verantwoordelijk voor het uitvoeren en toepassen van functies op alle pakketten die door het apparaat gaan gebaseerd op de input/output interfaceconfiguratie. Het interageert ook met de rest van het systeem via de verschillende processen.
Wanneer een hoge QFP-voorwaarde aanwezig is, is het meestal een indicator van:
- QFP-verwerking te veel netwerkverkeer (pakketten per seconde).
- QFP die high-density eigenschappen moet verwerken.
- Een combinatie van pakketten per seconde + zeer intensieve functies hebben een grotere impact op QFP gebruik.
- Microcode verwerkt iets op de verkeerde manier.
Voor een beter begrip van de situatie moet TAC het Fia-spoor (Feature Invocation Array) verzamelen voor aanvullende analyse. Dit is gedocumenteerd bij probleemoplossing met de IOS-XE Datapath Packet Trace-functie
Hoge CPU/QFP op Cisco IOS-XE routers (ISR4300/4200/4400/4600 Series, Cat8200/8300/8500, CSR1000v, CAT8000v)
Deze beginnen basisbevelen die in kwestie moeten worden verzameld tijd (de logica van EEM kan worden uitgevoerd om logboekbericht aan te passen en de output te krijgen):
router_non_modular#show platform resources
**State Acronym: H - Healthy, W - Warning, C - Critical
Resource Usage Max Warning Critical State
----------------------------------------------------------------------------------------------------
RP0 (ok, active) H
Control Processor 10.64% 100% 80% 90% H
DRAM 2143MB(54%) 3913MB 88% 93% H
bootflash 2993MB(97%) 3099MB 70% 90% C
ESP0(ok, active) H
QFP H
DRAM 52844KB(20%) 262144KB 85% 95% H
IRAM 207KB(10%) 2048KB 85% 95% H
CPU Utilization 0.00% 100% 90% 95% H
Router#show platform software status control-processor brief
Load Average
Slot Status 1-Min 5-Min 15-Min
RP0 Healthy 1.75 1.25 1.14
Memory (kB)
Slot Status Total Used (Pct) Free (Pct) Committed (Pct)
RP0 Healthy 4003008 2302524 (58%) 1700484 (42%) 3043872 (76%)
CPU Utilization
Slot CPU User System Nice Idle IRQ SIRQ IOwait
RP0 0 5.60 10.80 0.00 75.00 0.00 0.10 8.50
1 8.10 11.81 0.00 66.66 0.00 0.20 13.21
2 4.69 9.49 0.00 80.81 0.00 0.19 4.79
3 4.80 10.20 0.00 79.30 0.00 0.10 5.60
4 3.70 3.20 0.00 92.90 0.00 0.00 0.20
5 1.09 2.99 0.00 95.00 0.00 0.09 0.79
6 20.00 33.10 0.00 46.90 0.00 0.00 0.00
7 0.00 0.00 0.00 100.00 0.00 0.00 0.00
Router#Hoge CPU op modulaire Cisco IOS-XE routers (ASR1k Series)
Het hoge CPU-gebruik in een modulaire Cisco IOS-XE-router kan een hoge CPU-voorwaarde hebben in de routeprocessorkaart (RP), de ingesloten servicesprocessor (ESP) of de SPA-interfaceprocessor (SIP) kaart. Deze opdrachten helpen te begrijpen of de hoge CPU-voorwaarde verband houdt met een andere kaart binnen het apparaat:
ios_xe_modular_router#show platform resources
**State Acronym: H - Healthy, W - Warning, C - Critical
Resource Usage Max Warning Critical State
----------------------------------------------------------------------------------------------------
RP0 (ok, active) H
Control Processor 11.62% 100% 90% 95% H
DRAM 1730MB(45%) 3783MB 90% 95% H
ESP0(ok, active) H
Control Processor 19.59% 100% 90% 95% H
DRAM 616MB(65%) 946MB 90% 95% H
QFP H
TCAM 8cells(0%) 65536cells 45% 55% H
DRAM 79212KB(30%) 262144KB 80% 90% H
IRAM 9329KB(7%) 131072KB 80% 90% H
SIP0 H
Control Processor 2.30% 100% 90% 95% H
DRAM 280MB(60%) 460MB 90% 95% H
* Afhankelijk van de Cisco IOS versie kan QFP het processorgebruik bevatten, anders moet u het show platform hardware qfp datapath gebruik verzamelen
Een goede naslaghandleiding voor de ASR1k is te vinden bij Troubleshoot High CPU op de ASR1000 Series router
Opmerking: Opdrachten variëren soms afhankelijk van het platform en de versie. Zoek in sommige gevallen naar de specifieke platformdocumentatie.
Revisiegeschiedenis
| Revisie | Publicatiedatum | Opmerkingen |
|---|---|---|
1.0 |
23-Oct-2024 |
Eerste vrijgave |
FeedbackContact Cisco
- Een ondersteuningscase openen
- (Vereist een Cisco-servicecontract)