소개

이 문서에서는 Grafana 대시보드를 사용하여 CEE(Common Execution Environment)에서 생성된 경고를 해결하는 방법에 대해 설명합니다.

CEE의 알림

CEE Ops Center에서 경고 규칙을 구성할 수 있습니다. 예를 들면 다음과 같습니다.

alerts rules group Pod
  interval-seconds 300
  rule Memory_Major
    expression "(go_memstats_heap_inuse_bytes{pod=~\"rest-ep.*|smf-service.*|gtpc-ep.*|protocol.*|udp-proxy.*|cache-pod.*\"} /16000000000) >= 0.5"
    duration 15m
    severity major
    type "Processing Error Alarm"
    annotation summary
      value "\"POD {{ $labels.pod }} in Namespace: {{ $labels.namespace }} has reached 50% of utilization\""
    exit
  exit
exit

표현식은 지정된 각 포드에 대해 go_memstats_heap_inuse_bytes(= 메모리 사용량)를 모니터링하는 예에서 PromQL을 사용합니다. 그리고 총 메모리의 메모리 사용률을 16GB로 계산하고 사용률이 75%를 초과하면 경고를 생성합니다. 생성된 경고는 경고 기록 표시 또는 활성 CLI를 통해 볼 수 있습니다.

[unknown] cee# show alerts active summary | include Memory_Major
Memory_Major 68e812264ed6 major 10-28T02:23:44 worker1 POD cache-pod-0 in Namespace: smf-data has reached 50% of utilization
Memory_Major 627af1cdd01c major 10-28T02:23:44 worker1 POD cache-pod-1 in Namespace: smf-data has reached 50% of utilization
Memory_Major 394d713e294b major 10-28T02:23:44 worker1 POD gtpc-ep-n0-0 in Namespace: smf-data has reached 50% of utilization
Memory_Major bd95b1a35ef5 major 10-28T02:23:44 worker1 POD smf-rest-ep-n0-0 in Namespace: smf-data has reached 50% of utilization
Memory_Major 57254fd42f1a major 10-28T02:23:44 worker1 POD smf-udp-proxy-0 in Namespace: smf-data has reached 50% of utilization
Memory_Major 56135a34c635 major 10-28T02:23:44 worker1 POD smf-service-n0-0 in Namespace: smf-data has reached 50% of utilization

경고에 대한 자세한 설명은 이 문서에서 확인할 수 있습니다.

애플리케이션 기반 알림
https://www.cisco.com/c/en/us/td/docs/wireless/ucc/smf/b_SMF/b_SMF_chapter_0110101.html

문제 해결 방법

CLI는 실제 측정된 값 또는 트렌드 데이터를 제공하지 않습니다. 더 나아가 문제를 해결하는 가장 좋은 방법은 Grafana 대시보드를 사용하는 것입니다. 설명된 대로 Alerts는 PromQL에 의해 정의되므로 Grafana에 그래프를 생성하기 위해 동일한 구문을 적용할 수 있습니다.

규칙을 예로 들어 보면 이 구문을 사용하여 그래프를 만들 수 있습니다.

(go_memstats_heap_inuse_bytes{pod=~"rest-ep.*|smf-service.*|gtpc-ep.*|protocol.*|udp-proxy.*|cache-pod.*"}/16000000000)*100

참고:
1. 이스케이프 시퀀스로 사용되는 구문에서 "\"을(를) 제거합니다.
2. 100을 곱하여 퍼센트 표현으로 만듭니다.