Introducción

Este documento describe cómo resolver problemas de alertas generadas en Common Execution Environment (CEE) con el panel Grafana.

Alertas en CEE

Las reglas de alerta se pueden configurar en CEE Ops Center. A continuación se muestra un ejemplo:

alerts rules group Pod
  interval-seconds 300
  rule Memory_Major
    expression "(go_memstats_heap_inuse_bytes{pod=~\"rest-ep.*|smf-service.*|gtpc-ep.*|protocol.*|udp-proxy.*|cache-pod.*\"} /16000000000) >= 0.5"
    duration 15m
    severity major
    type "Processing Error Alarm"
    annotation summary
      value "\"POD {{ $labels.pod }} in Namespace: {{ $labels.namespace }} has reached 50% of utilization\""
    exit
  exit
exit

La expresión se basa en PromQL, en el ejemplo que supervisa go_memstats_heap_inuse_bytes(= uso de memoria) para cada grupo de dispositivos especificado. Además, calcula la utilización de la memoria con la memoria total de 16 GB y, si la utilización supera el 75%, genera una alerta. Las alertas generadas se pueden ver mediante show alert history o show alert active CLI.

[unknown] cee# show alerts active summary | include Memory_Major
Memory_Major 68e812264ed6 major 10-28T02:23:44 worker1 POD cache-pod-0 in Namespace: smf-data has reached 50% of utilization
Memory_Major 627af1cdd01c major 10-28T02:23:44 worker1 POD cache-pod-1 in Namespace: smf-data has reached 50% of utilization
Memory_Major 394d713e294b major 10-28T02:23:44 worker1 POD gtpc-ep-n0-0 in Namespace: smf-data has reached 50% of utilization
Memory_Major bd95b1a35ef5 major 10-28T02:23:44 worker1 POD smf-rest-ep-n0-0 in Namespace: smf-data has reached 50% of utilization
Memory_Major 57254fd42f1a major 10-28T02:23:44 worker1 POD smf-udp-proxy-0 in Namespace: smf-data has reached 50% of utilization
Memory_Major 56135a34c635 major 10-28T02:23:44 worker1 POD smf-service-n0-0 in Namespace: smf-data has reached 50% of utilization

Puede encontrar más información sobre las alertas en este documento.

Alertas basadas en aplicaciones
https://www.cisco.com/c/en/us/td/docs/wireless/ucc/smf/b_SMF/b_SMF_chapter_0110101.html

Cómo resolver problemas

Las CLI no proporcionan un valor medido real ni datos de tendencias. La mejor manera de solucionar el problema es utilizar el panel Grafana. Como se describe, las alertas son definidas por PromQL, por lo que se puede aplicar la misma sintaxis para crear gráficos en Grafana.

Tomando la regla como ejemplo, esta sintaxis se puede utilizar para crear un gráfico.

(go_memstats_heap_inuse_bytes{pod=~"rest-ep.*|smf-service.*|gtpc-ep.*|protocol.*|udp-proxy.*|cache-pod.*"}/16000000000)*100

Notas:
1. Eliminar "\" en la sintaxis que se utiliza como secuencia de escape
2. Multiplique por 100 para convertirlo en representación porcentual