Probleemoplossing "KNI: onvoldoende geheugen & quot; fouten op QvPC-DI-platforms
Inhoud
Inleiding
In dit document wordt beschreven hoe u kunt bepalen of StarOS KNI: Out of Memory logs worden veroorzaakt door problemen in de StarOS-toepassing of door hardwarestuurprogramma's.
Achtergrond
De Kernel Network Interface (KNI) module, binnen het DPDK Internal Forwarder (IFTASK)-proces, is een mechanisme waarmee gebruikers-ruimteprogramma's pakketten rechtstreeks van een netwerkinterface kunnen ontvangen, waarbij het Linux-netwerk en de Linux IP-stack volledig worden omzeild.
KNI: Er worden waarschuwingssignalen geproduceerd die het aantal geheugenlogs beperken wanneer er een probleem is met de bronnenconflicten die van invloed zijn op de KNI-module.
- Geheugenbuffers worden niet gewist op het niveau van het bare metaal (hardware), waardoor de buffer wordt overschreden.
- De KNI-pools, waaruit de iftask de berichtbuffer voor deze pakketten toewijst, hebben geen ruimte meer.
- De virtuele functie vraagt om meer pakketten, maar de fysieke functie antwoordt dat het niets heeft.
- Zodra de KNI: Out of Memory-conditie zich voordoet, gaat de iftaak naar de back-upgeheugenpool om het pakket verder toe te wijzen en te verwerken. Als de back-uppool ook onvoldoende geheugen heeft, laat het systeem de pakketten vallen.
- Omdat de iftask de burst van pakketten die afkomstig zijn van de kernel niet kan lezen, wordt het logboek van KNI: Out of Memory geproduceerd op de StarOS.
Triggers voor KNI: Onvoldoende geheugen:
Potentiële triggers voor de buffer overflow voorwaarde kunnen variëren, zoals het uitvoeren van SFTP of SCP applicaties of een zeer grote bestandsoverdracht tussen CF en SF kaarten.
Te onderzoeken stappen
Stap 1. Observeer de symptomen
Stap 2. Controleren op verslechtering van de gezondheid van het DICOM-netwerk
Stap 3. Controleer op Userspace KNI Drops
Stap 4. Controleer de hardwarestuurprogramma's
Stap 1. Observeer de symptomen
Correleer de timing van KNI: Out of Memory fouten met andere symptomen, zoals pakketverlies of applicatielaagdegradatie (egtpc-paduitval).
KNI: Onvoldoende geheugenlogs
- In de StarOS Syslogs, kunt u logboeken zien die erop wijzen dat de kernal-netwerkinterface uit geheugen is.
2023-Nov-16+09:18:03.205 [iftask 214701 error] [1/0/9602 <evlogd:0> evlgd_syslogd.c:236] [software internal system syslog] CPU[3/0]: Nov 16 14:18:03 iftask[7387]: KNI: Out of memory, kni port cpbond0, socket_id=0, total=-130952296, iter=27- Als het reservegeheugen uitgeput is, kunt u foutmeldingen zien die erop wijzen dat het geheugen van de reservepool ook uitgeput is.
RTE_LOG(ERR, KNI, "Out of memory from Backup pool, kni port %s, socket_id=%d, total=%d, iter=%d\n", kni->name, rte_socket_id(), kni->oom_backup_warn, i)- In de IFTask logboeken, gevonden in de tmp directory in de debug shell, kunt u de KNI waarnemen: Out of Memory fouten:
Wed Nov 15 17:20:30 2023 PID:7387 KNI: Out of memory, kni port cpbond0, socket_id=0, total=-759247296, iter=25Fouten in EGTP-pad
- Pieken in gtpc-paduitval naar verschillende peers kunnen voorkomen met de oorzaak Geen reactie van peer kan optreden tijdens de tijd van de pakketverlies.
2023-10-23T00:14:33.813+00:00 Nodename evlogd: [local-60sec33.780] [egtpmgr 143137 info] [6/0/12364 <egtpegmgr:3> egtpmgr_pm.c:905] [context: mme_ctx, contextID: 3] [software internal system critical-info syslog] context: mme_ctx, service : mme_svc_egtp, self addr: <X.X.X.X>, GTP-C path failure for peer <Y.Y.Y.Y>, peer session count marked: 0, egtpmgr state SRP_SESS_STATE_ACTIVEStap 2. Controleren op verslechtering van de gezondheid van het DICOM-netwerk
Bepaal welke verbindingen de degradatie hebben. Wanneer ze op een duurzame basis worden gezien, kunnen hogere drop-or-verliespercentages in DI-netwerk gezondheidsuitgangen wijzen op DI-netwerk configuratie of operationele problemen, verkeersoverbelasting, of VM of host problemen.
toon sessie herstel status breedsprakig
- Gebruik toon sessie herstel status breedsprakige outputs om te identificeren welke virtuele functiekaart fungeert als de demux kaart.
******** show session recovery status verbose *******
Tuesday October 24 11:23:45 EDT 2023
Session Recovery Status:
Overall Status : Ready For Recovery
Last Status Update : 1 second ago
----sessmgr--- ----aaamgr---- demux
cpu state active standby active standby active status
---- ------- ------ ------- ------ ------- ------ -------------------------
3/0 Active 24 1 24 1 0 Good
4/0 Active 24 1 24 1 0 Good
5/0 Active 24 1 24 1 0 Good
6/0 Active 0 0 0 0 10 Good (Demux)
7/0 Active 24 1 24 1 0 Good
8/0 Active 24 1 24 1 0 Good
9/0 Active 24 1 24 1 0 Good
10/0 Active 24 1 24 1 0 Good
11/0 Active 24 1 24 1 0 Good
12/0 Standby 0 24 0 24 0 Good
toon cloud monitor di-network details
- Gebruik uitgangen "toon cloud monitor di-network detail" om te identificeren welke DI-netwerk verbindingen tussen virtuele functiekaarten hebben druppels in hartslagen.
- Drops in hartslagen van CF en SF kaarten naar SF Card 6 worden getoond. De uitgangen voor CF- en SF-kaarten naar andere CF- en SF-kaarten laten geen hartslagdruppels zien.
******** show cloud monitor di-network detail *******
Tuesday October 24 11:23:51 EDT 2023
Card 1 Heartbeat Results:
ToCard Health 5Min-Loss 60Min-Loss
------ ------- --------- ----------
…
6 Good 0.00% 0.66%
…
Card 2 Heartbeat Results:
…
6 Bad 14.67% 3.50%
…
Card 3 Heartbeat Results:
…
6 Bad 5.35% 2.69%
…
Card 4 Heartbeat Results:
…
6 Good 0.00% 0.00%
…
Card 5 Heartbeat Results:
…
6 Bad 18.57% 3.90%
…
Card 6 Heartbeat Results:
…
1 Good 0.00% 0.90%
2 Bad 12.63% 3.31%
3 Bad 2.90% 2.14%
4 Good 0.00% 0.00%
5 Bad 13.09% 3.30%
7 Good 0.00% 0.00%
8 Bad 2.91% 2.20%
9 Good 0.00% 0.93%
10 Bad 14.28% 3.38%
11 Bad 3.67% 2.09%
12 Good 0.00% 0.00%
…
Card 7 Heartbeat Results:
…
6 Good 0.00% 0.00%
…
Card 8 Heartbeat Results:
…
6 Bad 7.47% 2.85%
…
Card 9 Heartbeat Results:
…
6 Bad 0.00% 1.07%
…
Card 10 Heartbeat Results:
…
6 Bad 16.01% 3.73%
…
Card 11 Heartbeat Results:
…
6 Bad 7.47% 2.71%
…
Card 12 Heartbeat Results:
…
6 Good 0.00% 0.00%
controlevliegtuig voor cloudmonitor tonen
- Gebruik tonen cloud monitor control outputs om te identificeren welke DI-netwerk verbindingen degradatie hebben.
******** show cloud monitor controlplane *******
Tuesday October 24 11:24:22 EDT 2023
Cards 15 Second Interval 5 Minute Interval 60 Minute Interval
Src Dst Xmit Recv Miss% Xmit Recv Miss% Xmit Recv Miss%
--- --- ------ ------ ------ ------ ------ ------ ------ ------ ------
…
01 06 75 75 0.0% 1500 1500 0.0% 18000 17842 0.9%
…
02 06 75 75 0.0% 1500 1265 15.7% 18000 17546 2.5%
…
03 06 75 75 0.0% 1500 1396 6.9% 18000 17491 2.8%
…
04 06 75 75 0.0% 1500 1500 0.0% 18000 18000 0.0%
…
05 06 75 75 0.0% 1500 1267 15.5% 18000 17325 3.8%
…
06 01 75 75 0.0% 1500 1500 0.0% 18000 17823 1.0%
06 02 75 75 0.0% 1500 1301 13.3% 18000 17567 2.4%
06 03 75 75 0.0% 1500 1419 5.4% 18000 17561 2.4%
06 04 75 75 0.0% 1500 1500 0.0% 18000 18000 0.0%
06 05 75 75 0.0% 1500 1294 13.7% 18000 17579 2.3%
06 07 75 75 0.0% 1500 1500 0.0% 18000 18000 0.0%
06 08 75 75 0.0% 1500 1417 5.5% 18000 17565 2.4%
06 09 75 75 0.0% 1500 1500 0.0% 18000 17824 1.0%
06 10 75 75 0.0% 1500 1296 13.6% 18000 17573 2.4%
06 11 75 75 0.0% 1500 1422 5.2% 18000 17570 2.4%
06 12 75 75 0.0% 1500 1500 0.0% 18000 18000 0.0%
…
07 06 75 75 0.0% 1500 1500 0.0% 18000 18000 0.0%
…
08 06 75 75 0.0% 1500 1426 4.9% 18000 17545 2.5%
…
09 06 75 75 0.0% 1500 1500 0.0% 18000 17833 0.9%
…
10 06 75 75 0.0% 1500 1278 14.8% 18000 17369 3.5%
…
11 06 75 75 0.0% 1500 1408 6.1% 18000 17481 2.9%
…
12 06 75 75 0.0% 1500 1500 0.0% 18000 18000 0.0%
Toon cloud monitor dataplane
- Gebruik show cloud monitor dataplane poutputs om te identificeren welke DI-netwerk verbindingen degradaties hebben en om eenrichtingsdegradaties tussen virtuele functiekaarten te identificeren.
******** show cloud monitor dataplane *******
Tuesday October 24 11:21:46 EDT 2023
Cards 15 Second Interval 5 Minute Interval 60 Minute Interval
Src Dst Miss Hit Pct Miss Hit Pct Miss Hit Pct
--- --- ------ ------ ------ ------ ------ ------ ------ ------ ------
…
06 01 0 150 0.0% 0 3000 0.0% 0 36000 0.0%
…
06 02 0 150 0.0% 0 3000 0.0% 0 36000 0.0%
…
06 03 0 150 0.0% 0 3000 0.0% 0 36000 0.0%
…
06 04 0 150 0.0% 0 3000 0.0% 0 36000 0.0%
…
06 05 1 149 0.7% 0 3001 0.0% 0 36000 0.0%
…
01 06 0 150 0.0% 0 3000 0.0% 0 36000 0.0%
02 06 0 150 0.0% 210 2790 7.0% 1015 34985 2.8%
03 06 31 119 20.7% 540 2460 18.0% 995 35005 2.8%
04 06 34 116 22.7% 554 2446 18.5% 1017 34983 2.8%
05 06 0 150 0.0% 213 2787 7.1% 991 35009 2.8%
07 06 0 150 0.0% 0 3000 0.0% 359 35641 1.0%
08 06 29 121 19.3% 546 2454 18.2% 1009 34991 2.8%
09 06 0 150 0.0% 0 3000 0.0% 0 36000 0.0%
10 06 0 150 0.0% 208 2792 6.9% 992 35008 2.8%
11 06 31 119 20.7% 548 2452 18.3% 993 35007 2.8%
12 06 34 116 22.7% 547 2453 18.2% 1001 34999 2.8%
…
06 07 0 150 0.0% 0 3000 0.0% 0 36000 0.0%
…
06 08 0 150 0.0% 0 3000 0.0% 0 36000 0.0%
…
06 09 0 150 0.0% 0 3000 0.0% 1 35999 0.0%
…
06 10 0 150 0.0% 0 3000 0.0% 0 36000 0.0%
…
06 11 0 150 0.0% 0 3000 0.0% 0 36000 0.0%
…
06 12 0 150 0.0% 0 3000 0.0% 0 36000 0.0%
Stap 3. Controleer op Userspace KNI Drops
iftask stats weergeven
- Verzamel toon iftask stats outputs meerdere malen om te verifiëren dat KNI druppels niet verhogen in de IFTASK gebruikersruimte applicatie niveau (StarOS).
******** show iftask stats *******
Tuesday October 24 11:22:06 EDT 2023
…
CARD 6 STATS
---------------------------------------------------------------------------
Counters SF6 SF6_PPS
---------------------------------------------------------------------------
svc_rx 2587301598 2203
svc_tx 548969428 295
di_rx 2260147059 2258
di_tx 4072038717 3966
__ALL_DROPS__ 0 0
svc_tx_drops 0 0
di_rx_drops 0 0
di_tx_drops 0 0
sw_rss_enq_drops 0 0
kni_thread_drops 0 0
kni_drops 0 0
mcdma_drops 0 0
mux_deliver_hop_drops 0 0
mux_deliver_drops 0 0
mux_xmit_failure_drops 0 0
mc_dma_thread_enq_drops 0 0
sw_tx_egress_enq_drops 0 0
cpeth0_drops 0 0
mcdma_summary_drops 0 0
fragmentation_err 0 0
reassembly_err 0 0
reassembly_ring_enq_err 0 0
__DISCARDS__ 241984 0
__BOND_DISCARDS__ 55282718 142
…
TOTAL STATS
---------------------------------------------------------------------------
Counters TOTAL TOTAL_PPS
---------------------------------------------------------------------------
svc_rx 27964563261 24791
svc_tx 36109966153 30168
di_rx 74133486629 51929
di_tx 73958155063 50897
__ALL_DROPS__ 0 0
svc_tx_drops 0 0
di_rx_drops 0 0
di_tx_drops 0 0
sw_rss_enq_drops 0 0
kni_thread_drops 0 0
kni_drops 0 0
mcdma_drops 0 0
mux_deliver_hop_drops 0 0
mux_deliver_drops 0 0
mux_xmit_failure_drops 0 0
mc_dma_thread_enq_drops 0 0
sw_tx_egress_enq_drops 0 0
cpeth0_drops 0 0
mcdma_summary_drops 0 0
fragmentation_err 0 0
reassembly_err 0 0
reassembly_ring_enq_err 0 0
__DISCARDS__ 2324968 0
__BOND_DISCARDS__ 55635534 149
-----------------------------------------------------------------------------------------------
NDR is 100.0000
CONTINUE_TRAFFIC
-----------------------------------------------------------------------------------------------
Stap 4. Controleer de hardwarestuurprogramma's
Met de toepassingslaag die van schuld wordt gezuiverd, concentreer me op onderliggende bestuurders op hardwareniveau om KNI te richten: Uit fouten van het Geheugen.
Omdat de bare-metal hardwaredriver een bepaalde hoeveelheid buffer toewijst voor elke virtuele functie, zijn problemen met de resourceptibiliteit meestal het gevolg van een driver mismatch of defecte drivers op hardwareniveau. De defecte hardwaredriver die de buffers toewees die nodig waren voor een applicatie liet het geheugen niet los.
Als virtualisatiesoftware en/of hardware van derden (niet-Cisco) in gebruik is, onderzoekt u de versies en stuurprogramma's op mogelijke compatibiliteitsfouten of -defecten.
Samenvatting
Om te bepalen of KNI: Out of Memory fouten worden veroorzaakt door processen op toepassingsniveau of door onderliggende hardwarestuurprogramma's, controleert u op bewijs van de achteruitgang van het DI-netwerk en gebruikersruimte KNI-druppels. Als de afbraak van het DI-netwerk bestaat zonder een overeenkomstige gebruikersruimte-afbraak van het KNI, kan worden geconcludeerd dat de oorzaak op hardwareniveau ligt. KNI: Onvoldoende geheugen fouten met ontgroening van hardwareniveau duiden op defecte hardwarestuurprogramma's.
Een offload van de node en het opnieuw laden van de host-computers waarop de aangetaste StarOS virtuele functie op toepassingsniveau zich bevindt, kan tijdelijk de geheugenbuffers op de onderliggende computer wissen, wat resulteert in een tijdelijke vermindering van fouten en pakketverlies. Dit is echter geen permanente oplossing! Packet loss en KNI: Onvoldoende geheugen-fouten komen terug, wanneer de buffer-overflow voorwaarde terugkomt op het defecte hardwarestuurprogramma.
Revisiegeschiedenis
| Revisie | Publicatiedatum | Opmerkingen |
|---|---|---|
2.0 |
30-Apr-2024 |
Eerste vrijgave |
1.0 |
29-Apr-2024 |
Eerste vrijgave |
FeedbackContact Cisco
- Een ondersteuningscase openen
- (Vereist een Cisco-servicecontract)