Introduction

Ce document décrit comment dépanner les alertes générées sur Common Execution Environment (CEE) avec le tableau de bord Grafana.

Alertes dans CEE

Les règles d'alerte peuvent être configurées sur le Centre d'opérations CEE. Voici un exemple :

alerts rules group Pod
  interval-seconds 300
  rule Memory_Major
    expression "(go_memstats_heap_inuse_bytes{pod=~\"rest-ep.*|smf-service.*|gtpc-ep.*|protocol.*|udp-proxy.*|cache-pod.*\"} /16000000000) >= 0.5"
    duration 15m
    severity major
    type "Processing Error Alarm"
    annotation summary
      value "\"POD {{ $labels.pod }} in Namespace: {{ $labels.namespace }} has reached 50% of utilization\""
    exit
  exit
exit

L'expression s'appuie sur PromQL, dans l'exemple, elle surveille go_memstats_heap_inuse_bytes(= utilisation de la mémoire) pour chaque pod spécifié. Et il calcule l'utilisation de la mémoire avec la mémoire totale comme 16 Go, et si l'utilisation dépasse 75 % génère une alerte. Les alertes générées peuvent être affichées par show alert history ou show alert active CLI.

[unknown] cee# show alerts active summary | include Memory_Major
Memory_Major 68e812264ed6 major 10-28T02:23:44 worker1 POD cache-pod-0 in Namespace: smf-data has reached 50% of utilization
Memory_Major 627af1cdd01c major 10-28T02:23:44 worker1 POD cache-pod-1 in Namespace: smf-data has reached 50% of utilization
Memory_Major 394d713e294b major 10-28T02:23:44 worker1 POD gtpc-ep-n0-0 in Namespace: smf-data has reached 50% of utilization
Memory_Major bd95b1a35ef5 major 10-28T02:23:44 worker1 POD smf-rest-ep-n0-0 in Namespace: smf-data has reached 50% of utilization
Memory_Major 57254fd42f1a major 10-28T02:23:44 worker1 POD smf-udp-proxy-0 in Namespace: smf-data has reached 50% of utilization
Memory_Major 56135a34c635 major 10-28T02:23:44 worker1 POD smf-service-n0-0 in Namespace: smf-data has reached 50% of utilization

Vous trouverez des explications supplémentaires sur les alertes dans ce document.

Alertes basées sur les applications
https://www.cisco.com/c/en/us/td/docs/wireless/ucc/smf/b_SMF/b_SMF_chapter_0110101.html

Comment dépanner

Les CLI ne fournissent pas de valeur mesurée réelle, ni de données de tendance. La meilleure façon de le dépanner est d'utiliser le tableau de bord Grafana. Comme décrit, les alertes sont définies par PromQL, de sorte que la même syntaxe peut être appliquée pour créer des graphiques sur Grafana.

En prenant la règle comme exemple, cette syntaxe peut être utilisée pour créer un graphique.

(go_memstats_heap_inuse_bytes{pod=~"rest-ep.*|smf-service.*|gtpc-ep.*|protocol.*|udp-proxy.*|cache-pod.*"}/16000000000)*100

Remarques :
1. Supprimer "\" dans la syntaxe utilisée comme séquence d'échappement
2. Multiplier par 100 pour en faire une représentation en pourcentage