Grafana-Alarme: Push-Benachrichtigung aufs iPhone

Richte einen Kontaktpunkt in Grafana oder einen Receiver in Alertmanager auf Honk, und ausgelöste Alarme kommen als Push auf dein iPhone, mit der Stufe aus ihrem severity-Label. Ist der Alarm behoben, gibt Honk Entwarnung und schließt das Problem. Dafür reicht eine Webhook-URL, und dieselbe Verbindung funktioniert für Grafana Alerting und für Prometheus Alertmanager, die dasselbe Format senden.

Alertmanager gruppiert Alarme, bevor er sie verschickt, und Honk übernimmt diese Gruppierung. Die Instanzen einer Alarmregel in einer Meldung, eine pro Host, Festplatte oder Dienst, kommen als eine Nachricht mit je einer Zeile an. Eine Regel, die auf zehn Servern gleichzeitig auslöst, ist also ein Push, nicht zehn.

Voraussetzungen

• Ein Honk-Konto. Honk gibt es vorerst nur auf Einladung: Zugang anfragen.
• Ein Projekt für deine Infrastruktur, in einem Workspace, in dem du Inhaber oder Admin bist.
• Grafana mit Alerting oder Prometheus Alertmanager, das honk-honk.app per HTTPS erreicht.

1. Die Verbindung in Honk anlegen

Öffne in der Honk-Web-App das Projekt, geh zu Verbindungen und klick auf Dienst verbinden. Wähle Grafana, das auch Alertmanager abdeckt, und klick auf Verbinden. Honk zeigt die Webhook-URL der Verbindung. Sie beginnt mit https://honk-honk.app/v1/hooks/grafana/.

Ein Schlüssel ist optional. Ohne ihn lässt schon die URL allein Alarme herein, behandle sie also wie ein Passwort. Willst du einen, klick unter Signaturschlüssel auf Erzeugen, kopiere ihn und klick auf Schlüssel speichern: Ab dann nimmt Honk nur noch Anfragen an, die ihn als Bearer-Token mitschicken.

2. Einen Kontaktpunkt in Grafana anlegen

Öffne in Grafana Alerting ▸ Contact points und klick auf + Add contact point. Die Beschriftungen stammen aus der englischsprachigen Oberfläche. Gib dem Kontaktpunkt einen Namen, wähle Webhook als Integration und füge die URL von Honk bei URL ein.

Hast du einen Schlüssel gespeichert, öffne Optional Webhook settings und trag ihn bei den Credentials des Authorization-Headers ein. Das Schema bleibt Bearer. Lass Disable resolved message ausgeschaltet, sonst schließen sich Probleme nie. Speichere den Kontaktpunkt.

Schick dann unter Notification policies Alarme an ihn: als Standard-Kontaktpunkt oder in einer Richtlinie für die Labels, die du wählst.

3. Einen Test senden

Klick beim Kontaktpunkt auf Test. Grafana schickt einen ausgelösten Beispielalarm, und nach wenigen Sekunden kommt ein Lautes Hupen an. Der Beispielalarm wird nie behoben, lösch ihn also danach aus dem Posteingang. Die Verbindung in Honk zeigt, wann zuletzt etwas zugestellt wurde, oder den letzten Fehler, etwa einen fehlenden Schlüssel.

Mit Prometheus Alertmanager

Leg einen Webhook-Receiver mit der URL von Honk an und schick Alarme an ihn:

# alertmanager.yml
route:
  receiver: honk

receivers:
  - name: honk
    webhook_configs:
      # the Webhook URL of the Grafana connection in Honk
      - url: "https://honk-honk.app/v1/hooks/grafana/…"
        send_resolved: true # the default; without it, problems never close
        # only if you saved a secret on the connection
        http_config:
          authorization:
            credentials: "the secret saved in Honk"

Lass http_config weg, wenn du keinen Schlüssel gespeichert hast. Lade Alertmanager neu, und die nächste Meldung kommt in Honk an.

Was ankommt

• Ausgelöst: ein Problem, mit der gemeinsamen summary der Alarme als Titel, sonst mit dem Namen der Regel. Die Nachricht hat eine Zeile pro Instanz, aus ihrer description, bis zu zehn, danach die Zahl der übrigen.
• Die Stufe kommt aus dem Label severity oder priority: critical, p1 oder page ist ein Dauerhupen, error, high oder p2 ein Langes Hupen, warning, medium oder p3 ein Lautes Hupen, info, low oder p4 ein Leichtes Hupen. Ohne eines dieser Labels ist es ein Lautes Hupen. Unterscheiden sich die Instanzen, gilt die höchste Stufe.
• Behoben: Sobald jede Instanz der Regel behoben ist, schließt eine Entwarnung, „Resolved: …“, das Problem. Solange noch eine Instanz auslöst, bleibt es offen.
• Wiederholungen: Schickt Alertmanager dieselben Alarme im selben Zustand erneut, erkennt Honk sie und fügt bis zu 24 Stunden lang nichts hinzu. Eine neue Instanz, die auslöst, kommt als Update in derselben Gruppe.
• Links: Die Nachricht verlinkt auf die Quelle des Alarms, sonst auf sein Dashboard oder Panel, aber nur per HTTPS. Ein interner http://-Link fällt weg, der Alarm kommt trotzdem an.

Die Labels, die alle Instanzen gemeinsam haben, bleiben bei der Nachricht. So siehst du Job oder Cluster, ohne Grafana zu öffnen. Hast du in Honk für iPhone Live-Aktivitäten eingeschaltet, kann ein Langes Hupen oder Dauerhupen auf deinem Sperrbildschirm bleiben, bis das Problem behoben ist.

Tarife und Limits

Jede Verbindung zählt zum Tarif deines Workspaces: Free enthält 2, Pro 20 und Team 100. Nachrichten von Grafana zählen wie alle anderen zu den täglichen Limits des Tarifs für Nachrichten und Pushes; die Preise listen sie auf.

Für Fehler aus der Anwendung im selben Projekt gibt es die Sentry-Anleitung. Websites und Ports, die von außen geprüft werden, deckt die Uptime-Kuma-Anleitung ab, Jobs, die sich melden sollen, die Cron-Anleitung. Alarmmüdigkeit vermeiden erklärt, wie Honk aus einer lauten Stunde ein paar Pushes macht.