Google Cloud Monitoring: Anrufalarme per Webhook

Cloud Monitoring kann mailen, simsen und pushen, aber nicht anrufen. So landen GCP-Alarme per Webhook als Anruf: Setup, Payload, Filter, Stolperfallen.

Aktualisiert

Inhaltsverzeichnis

Google Cloud Monitoring kann Ihr Telefon nicht anrufen. Seine Benachrichtigungskanäle sind E-Mail, SMS, die Google Cloud-App, Slack, Google Chat, PagerDuty, Pub/Sub und Webhooks – und Googles eigene Dokumentation sagt, dass SMS nicht vollständig zuverlässig und in Ihrer Region womöglich nicht verfügbar ist. Wenn eine Alerting-Richtlinie wie ein eingehender Anruf klingeln soll, ist der kürzeste Weg ein Webhook-Kanal, der auf einen Echobell-Anrufkanal zeigt – mit zwei Zeilen Template und einer Bedingung.

Dieser Leitfaden behandelt den Kanal, den Webhook, die Felder, die Cloud Monitoring tatsächlich im Payload sendet, wie „offene“ Incidents klingeln und „geschlossene“ still bleiben, und die Einstellungen in der Alerting-Richtlinie, die bestimmen, wie oft Ihr Telefon losgeht.

Warum die eingebauten Kanäle um 3 Uhr nachts nicht reichen

  • E-Mail wartet, bis Sie hineinschauen.
  • SMS ist laut Google kein vollständig zuverlässiger Kanaltyp und wird in Ihrem Land womöglich gar nicht angeboten. Außerdem schaltet „Nicht stören“ sie stumm wie jede andere Nachricht.
  • Die mobile App sendet einen gewöhnlichen Push. Er erscheint auf dem Sperrbildschirm, klingelt aber nicht weiter.
  • PagerDuty kann Sie anrufen, ist aber eine vollwertige On-Call-Plattform mit eigenem Setup und eigenem Vertrag.

Ein Webhook-Kanal dagegen erreicht alles mit einem öffentlichen HTTPS-Endpunkt, und Cloud Monitoring schickt ihm zu jedem Incident ein strukturiertes JSON-Dokument. Mehr braucht Echobell nicht.

Was Sie brauchen

  • Ein Google Cloud-Projekt mit mindestens einer Alerting-Richtlinie (oder einer Verfügbarkeitsdiagnose, für die Sie alarmieren wollen)
  • Die Berechtigung, Benachrichtigungskanäle zu bearbeiten (roles/monitoring.notificationChannelEditor oder Monitoring Editor)
  • Echobell installiert (App Store / Google Play)
  • Zehn Minuten

In Ihrem Projekt muss nichts eingehenden Verkehr annehmen. Cloud Monitoring stellt die ausgehende Anfrage.

Schritt 1 — Einen Kanal anlegen, der klingelt

Legen Sie in Echobell einen Kanal an und setzen Sie den Benachrichtigungstyp auf Anruf. Ein Anrufkanal verhält sich wie ein eingehender Anruf statt wie ein Push, belegt also den ganzen Bildschirm und klingelt. Unter iOS-Fokus oder „Nicht stören“ klingelt er nur, wenn Ihre Fokus-Einstellungen Anrufe durchlassen.

Öffnen Sie die Erweiterte Einstellungen des Kanals und aktivieren Sie Eigene Vorlage. Cloud Monitoring packt alles in ein incident-Objekt, die Templates lesen also verschachtelte Felder:

Titel: {{incident.state}}: {{incident.policy_name}}
Text: {{incident.summary}}

Setzen Sie das Link-Template, damit ein Tippen auf die Benachrichtigung den Incident in der Google Cloud Console öffnet:

{{incident.url}}

Fügen Sie eine Bedingung hinzu, damit nur neu geöffnete Incidents klingeln:

incident.state == "open"

Kopieren Sie die Webhook-URL des Kanals aus der Kanaldetailansicht:

https://hook.echobell.one/t/<channel-token>

Schritt 2 — Einen Webhook-Benachrichtigungskanal in Google Cloud anlegen

  1. Öffnen Sie Monitoring → Alerting und klicken Sie auf Edit notification channels
  2. Klicken Sie unter Webhooks auf Add new
  3. Endpoint URL: Ihre Echobell-Kanal-URL aus Schritt 1
  4. Display name: Echobell (call)
  5. Lassen Sie Use HTTP Basic Auth ausgeschaltet
  6. Klicken Sie auf Test connection und dann auf Save

Basic Auth bleibt bewusst aus. Googles Basic-Auth-Handshake erwartet, dass der Endpunkt die erste Anfrage mit 401 und einem WWW-Authenticate-Header beantwortet; Echobell authentifiziert stattdessen über das geheime Token in der URL – behandeln Sie diese URL also wie ein Passwort.

Wenn Sie Kanäle mit Terraform verwalten, sieht derselbe Kanal so aus:

resource "google_monitoring_notification_channel" "echobell_call" {
  display_name = "Echobell (call)"
  type         = "webhook_tokenauth"

  labels = {
    url = "https://hook.echobell.one/t/<channel-token>"
  }
}

Halten Sie das Token aus der Versionsverwaltung heraus – lesen Sie es aus einer Variablen oder aus Secret Manager, statt die URL zu committen.

Schritt 3 — Den Kanal an die Richtlinien hängen, die einen Anruf verdienen

Öffnen Sie eine Alerting-Richtlinie, gehen Sie zu Notifications and name und fügen Sie Echobell (call) unter Notification channels hinzu. Eine Richtlinie kann mehrere Kanäle gleichzeitig benachrichtigen, Ihr bestehender E-Mail- oder Slack-Kanal bleibt also daneben.

Seien Sie hier wählerisch. Das ist der eigentliche Filter: Ein Kanal, der nur an „Produktions-API ist down“ und „Datenbank hat keinen Speicherplatz mehr“ hängt, klingelt selten genug, dass Sie noch rangehen. „CPU über 70 % für fünf Minuten“ bleibt bei der E-Mail.

Zwei Einstellungen auf derselben Seite bestimmen, was auf Ihrem Telefon ankommt:

  • Notify on incident closure. Ist sie aktiv, sendet Cloud Monitoring auch eine Benachrichtigung, wenn der Incident geschlossen wird. Die Bedingung incident.state == "open" aus Schritt 1 verhindert, dass diese klingelt; Schritt 6 zeigt, wie Sie sie stattdessen leise empfangen.
  • Incident autoclose duration. Meldet die Metrik keine Daten mehr, werden offene Incidents nach dieser Zeit geschlossen. Lassen Sie den Standardwert, sofern Sie keinen Grund dagegen haben.

Schritt 4 — Wissen, wie der Payload wirklich aussieht

Cloud Monitoring sendet standardmäßig Schema-Version 1.2. Auf die Felder gekürzt, die Sie wahrscheinlich nutzen, sieht ein geöffneter Incident so aus:

{
  "version": "1.2",
  "incident": {
    "incident_id": "0.opqiw61fsv7p",
    "scoping_project_id": "my-project",
    "url": "https://console.cloud.google.com/monitoring/alerting/incidents/0.opqiw61fsv7p?project=my-project",
    "state": "open",
    "renotify": false,
    "started_at": 1794713564,
    "ended_at": null,
    "policy_name": "Prod API 5xx rate",
    "condition_name": "5xx ratio above 5%",
    "resource_display_name": "prod-api",
    "threshold_value": "0.05",
    "observed_value": "0.183",
    "severity": "Critical",
    "policy_user_labels": {
      "team": "payments"
    },
    "documentation": {
      "content": "Check the latest deploy first. Runbook: https://wiki.example.com/api-5xx",
      "mime_type": "text/markdown"
    },
    "summary": "5xx ratio for prod-api with metric labels {response_code_class=500} is above the threshold of 0.050 with a value of 0.183."
  }
}

Was Sie wissen sollten, bevor Sie ein Template ändern:

  • Alles liegt unter incident. {{policy_name}} bleibt leer; {{incident.policy_name}} nicht.
  • state ist open oder closed. Auf genau diesem einen Feld beruhen die Bedingung und das Titel-Template.
  • summary ist generierter Text. Google sichert dafür kein stabiles Format zu, zeigen Sie ihn also an, aber prüfen Sie in einer Bedingung nicht darauf.
  • Felder können fehlen. Laut Google fehlen manche Felder oder sind null, je nach Richtlinie und Zustand des Incidents. Ein fehlendes Feld wird in Echobell als leerer String ausgegeben, ein Template funktioniert also weiter; bauen Sie nur keine Bedingung auf ein Feld, das Ihre Richtlinien nicht setzen.
  • documentation.content gehört Ihnen. Was Sie in das Feld Documentation der Richtlinie schreiben, kommt hier an. Eine Anweisung in einer Zeile („Zuerst das letzte Deployment prüfen“) nützt auf einem klingelnden Telefon mehr als die generierte Zusammenfassung.
  • Der Schweregrad folgt der Richtlinie. Er ist die Stufe, die Sie an der Richtlinie eingestellt haben. Schicken Sie sich einen Test-Incident und prüfen Sie den genauen Wert, bevor Sie darauf filtern.

Ein Text, der mit Ihren eigenen Worten beginnt und auf die Zusammenfassung zurückfällt:

{{incident.documentation.content}}
{{incident.summary}}

Schritt 5 — Festlegen, was klingelt und wie oft

Der Großteil der Filterung ist schon passiert, als Sie entschieden haben, welche Richtlinien den Kanal bekommen. Den Rest erledigt die Kanalbedingung von Echobell.

ZielBedingung
Nur klingeln, wenn ein Incident geöffnet wirdincident.state == "open"
Einmal klingeln, nicht bei jeder Erinnerungincident.state == "open" && !incident.renotify
Nur für die Richtlinien eines Teams klingelnincident.state == "open" && incident.policy_user_labels.team == "payments"
Nur nachts klingeln (00:00–07:00 UTC)incident.state == "open" && hour < 7

Erinnerungen. Eine Richtlinie kann Benachrichtigungen erneut senden, solange ein Incident offen bleibt: In der API heißt das alertStrategy.notificationChannelStrategy[].renotifyInterval, irgendwo zwischen 30 Minuten und 24 Stunden. Diese Wiederholungen kommen mit renotify: true an. Ob sie klingeln sollen, ist eine Abwägung: Erneutes Klingeln ist eine grobe, aber wirksame Eskalation für einen Incident, den niemand behoben hat, und sie auszulassen verhindert, dass ein langer Ausfall die ganze Nacht klingelt. Die zweite Tabellenzeile lässt sie aus.

Benutzerlabels. Benutzerlabels der Richtlinie, etwa team: payments, reisen in policy_user_labels mit. Mit einer Bedingung darauf klingelt ein Kanal, der an vielen Richtlinien hängt, nur bei einigen davon und bleibt beim Rest still. Labels filtern, sie verteilen nicht: Jede Webhook-URL löst immer denselben Echobell-Kanal aus, ein Label kann einen Incident also nicht in den Kanal einer anderen Person schicken.

Echobells Zeitvariablen sind in UTC, rechnen Sie also zuerst aus Ihrer Zeitzone um. Die Bedingungsreferenz listet jede Variable auf.

Schritt 6 — Geschlossene Incidents bekommen eine leisere Tür

Mit aktivem Notify on incident closure ist ein geschlossener Incident eine gute Nachricht, die man sehen will, aber kein Grund zu klingeln. Legen Sie einen zweiten Echobell-Kanal vom Typ Zeitkritisch (oder normal) mit denselben Templates und ohne Bedingung an, fügen Sie ihn in Google Cloud als zweiten Webhook-Kanal hinzu und hängen Sie beide an die Richtlinie. Das Titel-Template liest sich bereits als „closed: Prod API 5xx rate“.

Echobell-KanalBedingungKanaltypVerhalten
gcp-callincident.state == "open"AnrufKlingelt wie ein eingehender Anruf
gcp-logkeineZeitkritisch oder NormalJedes Öffnen, jede Erinnerung und jedes Schließen, ohne Klingeln

Testen, bevor Sie vertrauen

Testen Sie zuerst die Echobell-Seite. Schicken Sie einen Payload, der wie der von Cloud Monitoring aufgebaut ist:

curl -X POST https://hook.echobell.one/t/<channel-token> \
  -H 'Content-Type: application/json' \
  -d '{"version":"1.2","incident":{"state":"open","renotify":false,"policy_name":"Manual test","summary":"Testing the Echobell path","url":"https://console.cloud.google.com/monitoring/alerting"}}'

Testen Sie dann die Google-Seite. Die Schaltfläche Test connection sendet einen Beispiel-Payload, dessen Felder keinem echten Incident entsprechen, er erfüllt Ihre Bedingung also womöglich nicht. Für einen End-to-End-Test legen Sie eine Wegwerf-Richtlinie mit einem Schwellenwert an, über dem Sie bereits liegen – etwa VM-CPU-Auslastung über 1 % –, hängen Echobell (call) an, warten, bis sie auslöst, und löschen die Richtlinie dann.

Klingelt das curl, die echte Richtlinie aber nicht, liegt das Problem auf der Google-Seite – der Kanal hängt nicht an der Richtlinie, die Bedingung ist noch nicht lange genug erfüllt oder die Endpoint URL wurde falsch kopiert – und nicht im Echobell-Kanal.

Logbasierte Benachrichtigungen und Verfügbarkeitsdiagnosen

  • Verfügbarkeitsdiagnosen benachrichtigen von sich aus niemanden; sie speisen eine Alerting-Richtlinie. Erstellen Sie die Richtlinie aus der Verfügbarkeitsdiagnose heraus und hängen Sie denselben Webhook-Kanal an.
  • Logbasierte Alerting-Richtlinien benachrichtigen nur, wenn ein Incident geöffnet wird – Google sendet für sie keine Benachrichtigung beim Schließen –, und sie verlangen ein Limit für die Benachrichtigungsrate, das begrenzt, wie oft eine laute Logzeile Sie anrufen kann. Die Bedingung incident.state == "open" funktioniert weiterhin; der Kanal für geschlossene Incidents hört von diesen Richtlinien schlicht nie etwas.

Grenzen, die im Incident zählen

  • 1 MiB Body. Echobell weist Trigger-Bodies über 1 MiB mit HTTP 413 ab. Ein Cloud Monitoring-Incident hat ein paar Kilobyte.
  • 120 Anfragen pro Minute und Token. Darüber antwortet der Trigger mit 429, RATE_LIMIT_EXCEEDED und einem Retry-After. Eine einzelne Richtlinie kommt kaum in die Nähe, Dutzende Richtlinien, die bei einem regionalen Ausfall gleichzeitig auslösen, aber schon – ein weiterer Grund, den Anrufkanal auf eine kurze Liste zu beschränken.
  • 1500 Bytes Benachrichtigungstext. Längere Ausgaben werden gekürzt. Halten Sie die Dokumentation der Richtlinie kurz, oder legen Sie dort den Link zum Runbook ab statt des Runbooks selbst.

Was dieses Setup nicht leistet

  • Keine Bestätigung. Den Anruf anzunehmen bestätigt oder schließt den Incident in Google Cloud nicht.
  • Keine Eskalation, keine Rotation. Alle, die den Kanal abonniert haben, werden angerufen; niemand danach.
  • Keine Deduplizierung über den Incident hinaus. Eine flatternde Bedingung öffnet jedes Mal einen neuen Incident, und jeder klingelt. Beheben Sie das an der Richtlinie mit einem längeren Zeitfenster.

Wenn das Ausschlusskriterien sind, brauchen Sie eine vollwertige On-Call-Plattform. Wenn Sie „ruf mich an, wenn die Produktionsrichtlinie auslöst“ brauchen, sind das zwei Seiten in der Console.

Fehlersuche

Der Incident wurde geöffnet, aber nichts kam an. Öffnen Sie den Incident unter Monitoring → Alerting und prüfen Sie, ob die Richtlinie den Webhook-Kanal aufführt. Stellen Sie sicher, dass die Endpoint URL die vollständige Echobell-URL samt Token ist.

Die Benachrichtigung kam an, hat aber nicht geklingelt. Der Kanaltyp ist nicht Anruf, oder die Fokus-Einstellungen Ihres Telefons lassen keine Anrufe durch. Prüfen Sie den Kanal und Ihre Fokus-Konfiguration.

Die Benachrichtigung ist leer. Das Template liest Felder auf oberster Ebene. Stellen Sie ihnen incident. voran – {{incident.policy_name}}, nicht {{policy_name}}.

Es klingelt jede halbe Stunde erneut. Die Richtlinie hat ein Intervall für erneute Benachrichtigungen. Entfernen Sie es oder ergänzen Sie !incident.renotify in der Bedingung.

Es klingelt, wenn der Incident geschlossen wird. Der Bedingung fehlt incident.state == "open", oder sie steht am falschen Kanal.

Häufige Fragen

Kann Google Cloud Monitoring nativ eine Telefonnummer anrufen?

Nein. Die Benachrichtigungskanäle sind E-Mail, SMS, die Google Cloud-App, Slack, Google Chat, PagerDuty, Pub/Sub und Webhooks. Ein Sprachanruf braucht einen externen Dienst: eine On-Call-Plattform oder einen Anruf-Webhook wie Echobell.

Brauche ich Pub/Sub oder eine Cloud Function?

Nein. Cloud Monitoring sendet den Incident selbst per POST an die Webhook-URL. Pub/Sub empfiehlt Google für Endpunkte, die nicht öffentlich sind; der Endpunkt von Echobell ist öffentlich, der Webhook-Kanal reicht also.

Durchbricht ein Cloud Monitoring-Alarm „Nicht stören“?

Nur wenn er als anrufartiger Alarm ankommt. Ein Echobell-Kanal vom Typ Anruf verhält sich wie ein eingehender Anruf, den iOS-Fokus und „Nicht stören“ durchlassen, wenn Ihre Fokus-Einstellungen Anrufe erlauben. Eine SMS oder ein gewöhnlicher Push nicht. Aktivieren Sie zusätzlich Fehlgeschlagenen Anruf wiederholen: Ist in Ihren Fokus-Einstellungen „Wiederholte Anrufe erlauben“ eingeschaltet, kann ein zweiter Anruf innerhalb von drei Minuten klingeln.

Sollte ich die Basic-Auth-Option am Webhook nutzen?

Nein. Echobell authentifiziert über das Token in der URL. Googles Basic-Auth-Ablauf erwartet zuerst eine 401-Challenge, die Echobell nicht sendet.

Kann ich bei verschiedenen Richtlinien verschiedene Personen anrufen?

Ja. Legen Sie pro Zielgruppe einen Echobell-Kanal an, fügen Sie die URL jedes Kanals in Google Cloud als eigenen Webhook-Kanal hinzu und hängen Sie jeden an die Richtlinien, für die diese Zielgruppe zuständig ist. Eine Webhook-URL löst immer denselben Echobell-Kanal aus, daher kann eine Bedingung mit policy_user_labels Richtlinien auf diesem Kanal stummschalten, sie aber nicht an einen anderen weitergeben. Es gibt keine Bestätigung, also werden alle angerufen, die mit „Anruf“ abonniert haben.

Und bei mehreren Projekten?

Ein Benachrichtigungskanal gehört zu genau einem Projekt. Legen Sie den Webhook-Kanal in jedem Projekt an – dieselbe Echobell-URL funktioniert überall –, oder alarmieren Sie aus einem Bereichsprojekt, das die anderen überwacht.

Fazit

Der Weg besteht aus vier Teilen: einem Anrufkanal mit der Bedingung incident.state == "open", einem Webhook-Benachrichtigungskanal, der darauf zeigt, einer kurzen Liste von Richtlinien, die einen Anruf verdienen, und einem echten Test, bevor Sie sich darauf verlassen. Alles andere dient dazu, diese Liste so kurz zu halten, dass ein Klingeln auch in einem Monat noch etwas bedeutet.

Echobell für iPhone laden oder bei Google Play holen – und dann Ihre wichtigste Alerting-Richtlinie darauf zeigen lassen.

Verwandte Artikel