Notificaciones de Grafana y Alertmanager en tu iPhone

Dirige un punto de contacto de Grafana o un receptor de Alertmanager a Honk, y las alertas activas llegarán a tu iPhone como notificación, con el nivel de su etiqueta severity. Cuando la alerta se resuelve, Honk la cierra con una recuperación. Basta una URL de webhook, y la misma conexión sirve para Grafana Alerting y para Prometheus Alertmanager, que envían el mismo formato.

Alertmanager agrupa las alertas antes de enviarlas, y Honk respeta esa agrupación. Las instancias de una regla de alerta en una notificación, una por servidor, disco o servicio, llegan como un solo mensaje con una línea para cada una, así que una regla que salta a la vez en diez servidores es un aviso, no diez.

Antes de empezar

• Una cuenta de Honk. De momento, por invitación: solicita acceso.
• Un proyecto para tu infraestructura, en un espacio de trabajo en el que seas propietario o administrador.
• Grafana con Alerting, o Prometheus Alertmanager, con acceso a honk-honk.app por HTTPS.

1. Crea la conexión en Honk

En la app web de Honk, abre el proyecto, entra en Conexiones y haz clic en Conectar un servicio. Elige Grafana, que también cubre Alertmanager, y haz clic en Conectar. Honk muestra la URL del webhook de la conexión, que empieza por https://honk-honk.app/v1/hooks/grafana/.

El secreto es opcional. Sin él, basta la URL para enviar alertas, así que no la compartas. Para añadir uno, haz clic en Generar bajo Secreto de firma, cópialo y haz clic en Guardar secreto: desde ese momento, Honk solo acepta las solicitudes que lo envíen como token Bearer.

2. Añade un punto de contacto en Grafana

En Grafana, abre Alerting ▸ Contact points y haz clic en + Add contact point. Ponle un nombre, elige Webhook como Integration y pega la URL de Honk en URL.

Si guardaste un secreto, abre Optional Webhook settings y ponlo en las credenciales de la cabecera Authorization, con el esquema Bearer que viene por defecto. Deja Disable resolved message desactivado, o los problemas nunca se cerrarán. Guarda el punto de contacto.

Después, envíale alertas desde Notification policies: como punto de contacto predeterminado, o en una política para las etiquetas que elijas.

3. Envía una prueba

En el punto de contacto, haz clic en Test. Grafana envía una alerta de ejemplo activa, y en unos segundos llega un Bocinazo fuerte. El ejemplo nunca se resuelve, así que después bórralo de la bandeja de entrada. La conexión en Honk muestra la hora de la última entrega, o el último error, como un secreto que falta.

Con Prometheus Alertmanager

Añade un receptor webhook con la URL de Honk y enruta las alertas hacia él:

# alertmanager.yml
route:
  receiver: honk

receivers:
  - name: honk
    webhook_configs:
      # the Webhook URL of the Grafana connection in Honk
      - url: "https://honk-honk.app/v1/hooks/grafana/…"
        send_resolved: true # the default; without it, problems never close
        # only if you saved a secret on the connection
        http_config:
          authorization:
            credentials: "the secret saved in Honk"

Quita http_config si no guardaste ningún secreto. Recarga Alertmanager, y la siguiente notificación llegará a Honk.

Qué llega

• Activa (firing): un problema, con el summary que comparten las alertas como título, o el nombre de la regla. El mensaje tiene una línea por instancia, sacada de su description, hasta diez, y después cuántas más hay.
• El nivel sale de la etiqueta severity, o de priority: critical, p1 o page es una Bocina sin parar; error, high o p2, un Bocinazo largo; warning, medium o p3, un Bocinazo fuerte; info, low o p4, un Bocinazo suave. Sin ninguna de estas etiquetas, es un Bocinazo fuerte. Si las instancias tienen niveles distintos, gana el más alto.
• Resuelta (resolved): cuando todas las instancias de la regla se han resuelto, una recuperación, «Resolved: …», cierra el problema. Mientras una instancia siga activa, el problema sigue abierto.
• Repeticiones: cuando Alertmanager vuelve a enviar las mismas alertas en el mismo estado, Honk las reconoce y no añade nada, durante un máximo de 24 horas. Una instancia nueva que empieza a saltar llega como una actualización en el mismo grupo.
• Enlaces: el mensaje enlaza al origen de la alerta o, si no, a su dashboard o a su panel, pero solo por HTTPS. Un enlace interno http:// se omite, y la alerta llega igualmente.

Las etiquetas que comparten todas las instancias se guardan con el mensaje, así que ves el job o el clúster sin abrir Grafana. Si has activado las Actividades en directo en Honk para iPhone, un Bocinazo largo o una Bocina sin parar puede quedarse en la pantalla bloqueada hasta que se recupere.

Planes y límites

Cada conexión cuenta para el plan de tu espacio de trabajo: Free incluye 2, Pro 20 y Team 100. Los mensajes de Grafana cuentan para los límites diarios de mensajes y notificaciones del plan, como cualquier otro; los encontrarás en precios.

Para los errores de la aplicación en el mismo proyecto, consulta la guía de Sentry. Para webs y puertos que se comprueban desde fuera, tienes la guía de Uptime Kuma; para tareas que deben dar señales de vida, la guía de cron. Fatiga de alertas explica cómo Honk convierte una hora de ruido en unos pocos avisos.