Wie schreibt man Prometheus-Alarmregeln für Mesos und HAProxy-Prozesse?

Question

Ich arbeite an einer Aufgabe, wo ich Prometheus alarmmanager konfigurieren und validieren muss. Benutzer sollte gewarnt werden, wenn Mesos Prozess und HAProxy-Prozess ist, habe ich versucht, Regeln für diese im Internet zu finden, aber nicht richtig gefunden. Kann mir jemand sagen, wie man die Alarmregeln für diese schreibt? im Grunde brauchen Bedingung Klausel.

Answer 1

Dies hängt davon ab, wie Sie die Dinge überwachen. Lassen Sie uns HAProxy als Beispiel verwenden und sagen, dass Sie den HAProxy Exporter (https://github.com/prometheus/haproxy_exporter) verwenden, um es zu überwachen. Der HAProxy-Exporter enthält eine Metrik mit dem Namen haproxy_up, die angibt, ob HAProxy erfolgreich gecrackt wurde (wenn Prometheus seinerseits den Exporteur gekratzt hat). Wenn HAProxy nicht gekratzt werden kann, wird haproxy_up einen Wert von 0 haben und Sie können darauf aufmerksam machen. Nehmen wir an, Ihr HAProxy-Exporteur hat einen Prometheus-Jobnamen von haproxy-exporter. Sie könnten dann ein Alarmierungs Regel wie folgt schreiben:

ALERT HAProxyDown 
    IF haproxy_up{job="haproxy-exporter"} == 0 
    FOR 5m 
    LABELS { 
    severity = "page" 
    } 
    ANNOTATIONS { 
    summary = "HAProxy {{ $labels.instance }} down", 
    description = "HAProxy {{ $labels.instance }} could not be scraped." 
    } 

Dies wird eine Benachrichtigung, wenn eine HAProxy Instanz nicht länger als 5 Minuten gekratzt werden konnte senden.

Wenn Sie, ob der Exporteur (statt HAProxy selbst) war bis wissen wollen, könnten Sie stattdessen den Ausdruck up{job="haproxy-exporter"} == 0 jeden unten Instanzen HAProxy Exporteur zu finden. Wahrscheinlich werden Sie beide tatsächlich überprüfen wollen.

Ich kann nicht viel über Mesos und seinen Exporteur sagen, da ich keine Erfahrung mit ihnen habe, aber ich stelle mir vor, es wäre etwas Ähnliches.

Answer 2

Auch für den Export Mesos Metriken sollten Sie Mesos-Exporteur verwenden. https://github.com/prometheus-junkyard/mesos_exporter https://hub.docker.com/r/prom/mesos-exporter/ Es hat auch mesos_up Metrik. Ihre Warnung sollte die gleiche wie die HaProxy-Warnung sein:

ALERT MesosMasterDown 
    IF mesos_up{job="mesos-master-exporter"} == 0 
    FOR 5m 
    LABELS { 
    severity = "page" 
    } 
    ANNOTATIONS { 
    summary = "Mesos master {{ $labels.instance }} down", 
    description = "Mesos master {{ $labels.instance }} could not be scraped." 
    } 

ALERT MesosSlaveDown 
    IF mesos_up{job="mesos-slave-exporter"} == 0 
    FOR 5m 
    LABELS { 
    severity = "page" 
    } 
    ANNOTATIONS { 
    summary = "Mesos slave {{ $labels.instance }} down", 
    description = "Mesos slave {{ $labels.instance }} could not be scraped." 
    }