Notifications Grafana et Alertmanager sur iPhone

Faites pointer un point de contact Grafana ou un receiver Alertmanager vers Honk : les alertes déclenchées arrivent en notification sur votre iPhone, au niveau indiqué par leur label severity. Quand l’alerte est résolue, Honk clôt le problème par un rétablissement. Il suffit d’une URL de webhook, et la même connexion sert aux alertes Grafana comme à Prometheus Alertmanager, qui envoient le même format.

Alertmanager regroupe les alertes avant de les envoyer, et Honk conserve ce regroupement. Les instances d’une même règle d’alerte dans une notification, une par hôte, disque ou service, arrivent en un seul message avec une ligne pour chacune : une règle qui se déclenche sur dix serveurs à la fois donne un push, pas dix.

Avant de commencer

• Un compte Honk. Honk est pour l’instant sur invitation : demandez un accès.
• Un projet pour votre infrastructure, dans un espace de travail dont vous êtes propriétaire ou administrateur.
• Grafana Alerting ou Prometheus Alertmanager, avec un accès à honk-honk.app en HTTPS.

1. Créer la connexion dans Honk

Dans l’app web Honk, ouvrez le projet, allez dans Connexions et cliquez sur Connecter un service. Choisissez Grafana, qui couvre aussi Alertmanager, et cliquez sur Connecter. Honk affiche l’URL du webhook de la connexion, qui commence par https://honk-honk.app/v1/hooks/grafana/.

La clé de signature est facultative. Sans elle, l’URL suffit à faire entrer les alertes : gardez donc l’URL privée. Pour ajouter une clé, cliquez sur Générer sous Clé de signature, copiez-la, puis cliquez sur Enregistrer la clé : dès lors, Honk n’accepte que les requêtes qui l’envoient comme jeton Bearer.

2. Ajouter un point de contact dans Grafana

Dans Grafana, ouvrez Alerting ▸ Contact points et cliquez sur + Add contact point. Donnez-lui un nom, choisissez Webhook comme Integration, et collez l’URL de Honk dans URL.

Si vous avez enregistré une clé, ouvrez Optional Webhook settings et placez-la dans les identifiants (credentials) de l’en-tête Authorization, en laissant le schéma sur Bearer. Laissez Disable resolved message décoché, sinon les problèmes ne se clôturent jamais. Enregistrez le point de contact.

Envoyez-lui ensuite des alertes dans Notification policies : comme point de contact par défaut, ou dans une politique pour les labels de votre choix.

3. Envoyer un test

Sur le point de contact, cliquez sur Test. Grafana envoie une alerte d’exemple déclenchée, et un Coup de klaxon appuyé arrive en quelques secondes. Cet exemple n’est jamais résolu : supprimez-le ensuite de la boîte de réception. La connexion dans Honk affiche l’heure du dernier envoi, ou la dernière erreur, par exemple une clé manquante.

Avec Prometheus Alertmanager

Ajoutez un receiver webhook avec l’URL de Honk, et routez-y les alertes :

# alertmanager.yml
route:
  receiver: honk

receivers:
  - name: honk
    webhook_configs:
      # the Webhook URL of the Grafana connection in Honk
      - url: "https://honk-honk.app/v1/hooks/grafana/…"
        send_resolved: true # the default; without it, problems never close
        # only if you saved a secret on the connection
        http_config:
          authorization:
            credentials: "the secret saved in Honk"

Retirez http_config si vous n’avez pas enregistré de clé. Rechargez Alertmanager : la notification suivante arrive dans Honk.

Ce qui arrive

• Alerte déclenchée (firing) : un problème, intitulé avec le summary commun aux alertes, ou à défaut le nom de la règle. Le message comporte une ligne par instance, tirée de sa description, dix au plus, puis le nombre d’instances restantes.
• Le niveau vient du label severity, ou priority : critical, p1 ou page donnent un Klaxon continu ; error, high ou p2 un Klaxon long ; warning, medium ou p3 un Coup de klaxon appuyé ; info, low ou p4 un Petit coup de klaxon. Sans l’un de ces labels, c’est un Coup de klaxon appuyé. Quand les instances diffèrent, le niveau le plus élevé l’emporte.
• Alerte résolue (resolved) : une fois toutes les instances de la règle résolues, un rétablissement, intitulé « Resolved » suivi du titre, clôt le problème. Tant qu’une instance reste déclenchée, il reste ouvert.
• Répétitions : quand Alertmanager renvoie les mêmes alertes dans le même état, Honk les reconnaît et n’ajoute rien, pendant 24 heures au plus. Une nouvelle instance qui se déclenche arrive sous forme de mise à jour dans le même groupe.
• Liens : le message renvoie vers la source de l’alerte, sinon vers son tableau de bord ou son panneau, mais seulement en HTTPS. Un lien interne en http:// est omis, et l’alerte arrive quand même.

Les labels communs à toutes les instances sont conservés avec le message : vous voyez le job ou le cluster sans ouvrir Grafana. Si vous avez activé les Activités en direct dans Honk pour iPhone, un Klaxon long ou un Klaxon continu peut rester sur votre écran verrouillé jusqu’au rétablissement.

Forfaits et limites

Chaque service connecté compte dans le forfait de votre espace de travail : Free en inclut 2, Pro 20 et Team 100. Les messages de Grafana comptent dans les limites quotidiennes de messages et de push du forfait, comme tous les autres ; les tarifs les détaillent.

Pour les erreurs applicatives dans le même projet, voyez le guide Sentry. Pour les sites et les ports vérifiés de l’extérieur, voyez le guide Uptime Kuma ; pour les tâches qui doivent donner signe de vie, le guide cron. En finir avec la fatigue des alertes explique comment Honk transforme une heure agitée en quelques push.