Notificări Grafana și Alertmanager pe iPhone

Îndreaptă un contact point din Grafana sau un receiver din Alertmanager spre Honk, iar alertele declanșate ajung pe iPhone ca notificări, la nivelul dat de eticheta lor severity. Când alerta se rezolvă, Honk o închide cu o revenire. Îți trebuie un singur URL de webhook, iar aceeași conexiune merge și pentru alertele din Grafana, și pentru Prometheus Alertmanager, care trimit același format.

Alertmanager grupează alertele înainte să le trimită, iar Honk păstrează gruparea. Instanțele unei reguli de alertă dintr-o notificare, câte una pentru fiecare host, disc sau serviciu, vin ca un singur mesaj, cu câte un rând pentru fiecare. Așa că o regulă care se declanșează deodată pe zece servere înseamnă o singură notificare, nu zece.

Înainte să începi

• Un cont Honk. Deocamdată, Honk e disponibil doar pe bază de invitație: cere acces.
• Un proiect pentru infrastructură, într-un spațiu de lucru în care ești proprietar sau administrator.
• Grafana cu alertele activate sau Prometheus Alertmanager, care poate ajunge la honk-honk.app prin HTTPS.

1. Creează conexiunea în Honk

În aplicația web Honk, deschide proiectul, mergi la Conexiuni și apasă Conectează un serviciu. Alege Grafana, care acoperă și Alertmanager, și apasă Conectează. Honk îți arată URL-ul conexiunii, la URL de webhook. Începe cu https://honk-honk.app/v1/hooks/grafana/.

Secretul e opțional. Fără el, URL-ul singur e suficient ca alertele să intre, așa că păstrează-l doar pentru tine. Ca să adaugi unul, apasă Generează la Secret de semnare, copiază-l și apasă Salvează secretul: de atunci, Honk acceptă doar cererile care îl trimit ca token Bearer.

2. Adaugă un contact point în Grafana

În Grafana, deschide Alerting ▸ Contact points și apasă + Add contact point. Dă-i un nume, alege Webhook la Integration și lipește URL-ul de la Honk la URL.

Dacă ai salvat un secret, deschide Optional Webhook settings și pune-l la credențialele headerului Authorization, cu schema lăsată pe Bearer. Lasă Disable resolved message dezactivat, altfel problemele nu se închid niciodată. Salvează contact pointul.

Apoi trimite-i alertele din Notification policies: ca contact point implicit sau într-o politică pentru etichetele pe care le alegi.

3. Trimite un test

Pe contact point, apasă Test. Grafana trimite o alertă de probă declanșată, iar în câteva secunde primești un Claxon puternic. Alerta de probă nu se rezolvă niciodată, așa că șterge-o apoi din inbox. Conexiunea din Honk arată ora ultimei livrări sau ultima eroare, de exemplu un secret lipsă.

Cu Prometheus Alertmanager

Adaugă un receiver de webhook cu URL-ul de la Honk și trimite alertele spre el:

# alertmanager.yml
route:
  receiver: honk

receivers:
  - name: honk
    webhook_configs:
      # the Webhook URL of the Grafana connection in Honk
      - url: "https://honk-honk.app/v1/hooks/grafana/…"
        send_resolved: true # the default; without it, problems never close
        # only if you saved a secret on the connection
        http_config:
          authorization:
            credentials: "the secret saved in Honk"

Scoate http_config dacă n-ai salvat un secret. Reîncarcă Alertmanager, iar următoarea notificare ajunge în Honk.

Ce primești

• Declanșată (firing): o problemă, cu titlul dat de summary-ul comun al alertelor sau de numele regulii. Mesajul are câte un rând pentru fiecare instanță, din description-ul ei, până la zece, apoi câte mai sunt.
• Nivelul vine din eticheta severity sau priority: critical, p1 sau page înseamnă Claxon continuu; error, high sau p2 un Claxon lung; warning, medium sau p3 un Claxon puternic; info, low sau p4 un Claxon ușor. Fără una dintre aceste etichete, e un Claxon puternic. Când instanțele diferă, câștigă nivelul cel mai mare.
• Rezolvată (resolved): după ce toate instanțele regulii s-au rezolvat, o revenire cu titlul „Resolved: …” închide problema. Cât timp o instanță e încă declanșată, problema rămâne deschisă.
• Repetări: când Alertmanager trimite din nou aceleași alerte în aceeași stare, Honk le recunoaște și nu adaugă nimic, timp de până la 24 de ore. O instanță nouă care se declanșează vine ca actualizare în același grup.
• Linkuri: mesajul are un link către sursa alertei sau, altfel, către dashboard ori panou, dar numai prin HTTPS. Un link intern http:// e lăsat deoparte, iar alerta ajunge oricum.

Etichetele comune tuturor instanțelor rămân pe mesaj, așa că vezi jobul sau clusterul fără să deschizi Grafana. Dacă ai activat activitățile live în Honk pentru iPhone, un Claxon lung sau un Claxon continuu poate rămâne pe ecranul de blocare până la revenire.

Planuri și limite

Fiecare conexiune intră în limita planului spațiului tău de lucru: Free include 2, Pro 20 și Team 100. Mesajele de la Grafana intră în limitele zilnice de mesaje și notificări ale planului, ca oricare altele; le găsești la prețuri.

Pentru erorile din aplicație în același proiect, vezi ghidul pentru Sentry. Pentru site-uri și porturi verificate din exterior, vezi ghidul pentru Uptime Kuma, iar pentru joburile care trebuie să dea semn, ghidul pentru cron. Scapă de oboseala alertelor explică cum transformă Honk o oră zgomotoasă în câteva notificări.