Spis treści
- Dlaczego wbudowane kanały nie wystarczają o 3 w nocy
- Czego potrzebujesz
- Krok 1 — Utwórz kanał, który dzwoni
- Krok 2 — Dodaj kanał powiadomień typu webhook w Google Cloud
- Krok 3 — Podepnij kanał do zasad, które zasługują na telefon
- Krok 4 — Poznaj, jak naprawdę wygląda payload
- Krok 5 — Zdecyduj, co dzwoni i jak często
- Krok 6 — Daj zamkniętym incydentom cichsze drzwi
- Przetestuj, zanim zaufasz
- Alerty oparte na logach i testy dostępności
- Limity, które mają znaczenie podczas incydentu
- Czego ta konfiguracja nie daje
- Rozwiązywanie problemów
- Najczęstsze pytania
- Czy Google Cloud Monitoring potrafi zadzwonić na numer telefonu natywnie?
- Czy potrzebuję Pub/Sub albo Cloud Function?
- Czy alert z Cloud Monitoring przebije tryb Nie przeszkadzać?
- Czy używać opcji Basic Auth w webhooku?
- Czy mogę dzwonić do różnych osób przy różnych zasadach?
- A co z kilkoma projektami?
- Podsumowanie
- Powiązane artykuły
Google Cloud Monitoring nie potrafi zadzwonić na Twój telefon. Jego kanały powiadomień to e-mail, SMS, aplikacja mobilna Google Cloud, Slack, Google Chat, PagerDuty, Pub/Sub i webhooki — a dokumentacja samego Google przyznaje, że SMS nie jest w pełni niezawodny i może nie być dostępny w Twoim regionie. Jeśli chcesz, żeby zasada alertów dzwoniła jak połączenie przychodzące, najkrótsza droga to kanał webhook wskazujący na kanał telefoniczny Echobell: dwie linijki szablonu i jeden warunek.
Ten poradnik omawia kanał, webhook, pola, które Cloud Monitoring faktycznie wysyła w payloadzie, sposób, by „otwarte” incydenty dzwoniły, a „zamknięte” milczały, oraz ustawienia zasady alertów decydujące o tym, jak często odezwie się Twój telefon.
Dlaczego wbudowane kanały nie wystarczają o 3 w nocy
- E-mail czeka, aż do niego zajrzysz.
- SMS to według Google kanał nie w pełni niezawodny, który w Twoim kraju może być w ogóle niedostępny. Do tego tryb Nie przeszkadzać wycisza go jak każdą inną wiadomość.
- Aplikacja mobilna wysyła zwykły push. Pojawia się na ekranie blokady, ale nie dzwoni bez przerwy.
- PagerDuty potrafi zadzwonić, ale to pełna platforma dyżurowa z własną konfiguracją i własną umową.
Kanał webhook natomiast dotrze do wszystkiego, co ma publiczny endpoint HTTPS, a Cloud Monitoring wysyła mu ustrukturyzowany dokument JSON przy każdym incydencie. Echobellowi więcej nie trzeba.
Czego potrzebujesz
- Projektu Google Cloud z co najmniej jedną zasadą alertów (lub testem dostępności, na który chcesz dostawać alerty)
- Uprawnień do edycji kanałów powiadomień (
roles/monitoring.notificationChannelEditorlub Monitoring Editor) - Zainstalowanego Echobella (App Store / Google Play)
- Dziesięciu minut
Nic w Twoim projekcie nie musi przyjmować ruchu przychodzącego. Żądanie wychodzące wysyła Cloud Monitoring.
Krok 1 — Utwórz kanał, który dzwoni
W Echobellu utwórz kanał i ustaw typ powiadomienia na Połączenie. Kanał telefoniczny zachowuje się jak połączenie przychodzące, a nie jak push, więc zajmuje cały ekran i dzwoni. Przy włączonym trybie Skupienia lub Nie przeszkadzać w iOS dzwoni tylko wtedy, gdy ustawienia Skupienia zezwalają na połączenia.
Otwórz Ustawienia zaawansowane kanału i włącz Własny szablon. Cloud Monitoring opakowuje wszystko w obiekt incident, więc szablony odczytują zagnieżdżone pola:
Tytuł: {{incident.state}}: {{incident.policy_name}}
Treść: {{incident.summary}}
Ustaw szablon linku, żeby dotknięcie powiadomienia otwierało incydent w konsoli Google Cloud:
{{incident.url}}
Dodaj warunek, żeby dzwoniły tylko świeżo otwarte incydenty:
incident.state == "open"
Skopiuj adres webhooka kanału z widoku szczegółów:
https://hook.echobell.one/t/<channel-token>
Krok 2 — Dodaj kanał powiadomień typu webhook w Google Cloud
- Otwórz Monitoring → Alerting i kliknij Edit notification channels
- W sekcji Webhooks kliknij Add new
- Endpoint URL: adres kanału Echobell z kroku 1
- Display name:
Echobell (call) - Zostaw Use HTTP Basic Auth wyłączone
- Kliknij Test connection, a potem Save
Basic Auth zostaje wyłączone celowo. Uzgadnianie Basic Auth w Google oczekuje, że endpoint odpowie na pierwsze żądanie kodem 401 z nagłówkiem WWW-Authenticate; Echobell uwierzytelnia zamiast tego tajnym tokenem w adresie URL, więc traktuj ten adres jak hasło.
Jeśli zarządzasz kanałami w Terraformie, ten sam kanał wygląda tak:
resource "google_monitoring_notification_channel" "echobell_call" {
display_name = "Echobell (call)"
type = "webhook_tokenauth"
labels = {
url = "https://hook.echobell.one/t/<channel-token>"
}
}
Nie trzymaj tokenu w systemie kontroli wersji — wczytuj go ze zmiennej lub z Secret Managera zamiast commitować adres URL.
Krok 3 — Podepnij kanał do zasad, które zasługują na telefon
Otwórz zasadę alertów, przejdź do Notifications and name i dodaj Echobell (call) w Notification channels. Zasada może powiadamiać kilka kanałów naraz, więc dotychczasowy kanał e-mail czy Slack może zostać obok.
Bądź tu wybredny. To jest prawdziwy filtr: kanał podpięty tylko do „produkcyjne API leży” i „bazie danych skończyło się miejsce na dysku” dzwoni na tyle rzadko, że wciąż odbierzesz. „CPU powyżej 70% przez pięć minut” zostaw na e-mailu.
Dwa ustawienia na tej samej stronie decydują o tym, co trafi na telefon:
- Notify on incident closure. Gdy jest włączone, Cloud Monitoring wysyła powiadomienie także przy zamknięciu incydentu. Warunek
incident.state == "open"z kroku 1 sprawia, że to powiadomienie nie dzwoni; krok 6 pokazuje, jak odebrać je po cichu. - Incident autoclose duration. Jeśli metryka przestaje raportować dane, otwarte incydenty zamykają się po tym czasie. Zostaw wartość domyślną, chyba że masz powód, by ją zmienić.
Krok 4 — Poznaj, jak naprawdę wygląda payload
Cloud Monitoring domyślnie wysyła schemat w wersji 1.2. Po przycięciu do pól, których prawdopodobnie użyjesz, otwarty incydent wygląda tak:
{
"version": "1.2",
"incident": {
"incident_id": "0.opqiw61fsv7p",
"scoping_project_id": "my-project",
"url": "https://console.cloud.google.com/monitoring/alerting/incidents/0.opqiw61fsv7p?project=my-project",
"state": "open",
"renotify": false,
"started_at": 1794713564,
"ended_at": null,
"policy_name": "Prod API 5xx rate",
"condition_name": "5xx ratio above 5%",
"resource_display_name": "prod-api",
"threshold_value": "0.05",
"observed_value": "0.183",
"severity": "Critical",
"policy_user_labels": {
"team": "payments"
},
"documentation": {
"content": "Check the latest deploy first. Runbook: https://wiki.example.com/api-5xx",
"mime_type": "text/markdown"
},
"summary": "5xx ratio for prod-api with metric labels {response_code_class=500} is above the threshold of 0.050 with a value of 0.183."
}
}
Co warto wiedzieć, zanim zaczniesz edytować szablon:
- Wszystko jest w
incident.{{policy_name}}wyrenderuje się pusto;{{incident.policy_name}}już nie. statetoopenalboclosed. Na tym jednym polu opierają się warunek i szablon tytułu.summaryto tekst generowany. Google nie obiecuje dla niego stałego formatu, więc wyświetlaj go, ale nie dopasowuj go w warunku.- Pól może brakować. Google zaznacza, że niektóre pola są nieobecne lub mają wartość null zależnie od zasady i stanu incydentu. Brakujące pole Echobell renderuje jako pusty napis, więc szablon dalej działa; po prostu nie buduj warunku na polu, którego Twoje zasady nie ustawiają.
documentation.contentnależy do Ciebie. Wszystko, co wpiszesz w polu Documentation zasady, trafia właśnie tutaj. Jednozdaniowa instrukcja („Najpierw sprawdź ostatni deploy”) przyda się na dzwoniącym telefonie bardziej niż wygenerowane podsumowanie.- Ważność wynika z zasady. To poziom, który ustawisz w zasadzie. Wyślij sobie testowy incydent i sprawdź dokładną wartość, zanim zaczniesz po niej filtrować.
Treść, która zaczyna się od Twoich słów, a w razie ich braku pokazuje podsumowanie:
{{incident.documentation.content}}
{{incident.summary}}
Krok 5 — Zdecyduj, co dzwoni i jak często
Większość filtrowania odbyła się już wtedy, gdy wybrałeś, które zasady dostaną kanał. Resztą zajmuje się warunek kanału w Echobellu.
| Cel | Warunek |
|---|---|
| Dzwoń tylko przy otwarciu incydentu | incident.state == "open" |
| Dzwoń raz, nie przy każdym przypomnieniu | incident.state == "open" && !incident.renotify |
| Dzwoń tylko dla zasad jednego zespołu | incident.state == "open" && incident.policy_user_labels.team == "payments" |
| Dzwoń tylko w nocy (00:00–07:00 UTC) | incident.state == "open" && hour < 7 |
Przypomnienia. Zasada może ponownie wysyłać powiadomienia, dopóki incydent pozostaje otwarty: w API to alertStrategy.notificationChannelStrategy[].renotifyInterval, od 30 minut do 24 godzin. Takie powtórki przychodzą z renotify: true. Czy mają dzwonić, to kwestia wyboru: ponowny dzwonek to toporna, ale skuteczna eskalacja incydentu, którego nikt nie naprawił, a pomijanie powtórek chroni przed tym, by długa awaria dzwoniła całą noc. Drugi wiersz tabeli je pomija.
Etykiety użytkownika. Etykiety użytkownika zasady, takie jak team: payments, przychodzą w policy_user_labels. Warunek oparty na nich sprawia, że kanał podpięty do wielu zasad dzwoni przy części z nich, a przy reszcie milczy. Etykiety filtrują, a nie kierują: każdy adres webhooka zawsze uruchamia ten sam kanał Echobell, więc etykieta nie przekaże incydentu do kanału innej osoby.
Zmienne czasu w Echobellu są w UTC, więc najpierw przelicz ze swojej strefy. Pełną listę zmiennych ma dokumentacja warunków.
Krok 6 — Daj zamkniętym incydentom cichsze drzwi
Przy włączonym Notify on incident closure zamknięty incydent to dobra wiadomość, którą warto zobaczyć, ale nie powód do dzwonienia. Utwórz drugi kanał Echobell typu Pilne (Time Sensitive) (albo normalny) z tymi samymi szablonami i bez warunku, dodaj go w Google Cloud jako drugi kanał webhook i podepnij oba do zasady. Szablon tytułu czyta się już jako „closed: Prod API 5xx rate”.
| Kanał Echobell | Warunek | Typ kanału | Zachowanie |
|---|---|---|---|
gcp-call | incident.state == "open" | Połączenie | Dzwoni jak połączenie przychodzące |
gcp-log | brak | Pilne lub Normalne | Każde otwarcie, przypomnienie i zamknięcie, bez dzwonka |
Przetestuj, zanim zaufasz
Najpierw przetestuj stronę Echobella. Wyślij payload zbudowany tak jak ten z Cloud Monitoring:
curl -X POST https://hook.echobell.one/t/<channel-token> \
-H 'Content-Type: application/json' \
-d '{"version":"1.2","incident":{"state":"open","renotify":false,"policy_name":"Manual test","summary":"Testing the Echobell path","url":"https://console.cloud.google.com/monitoring/alerting"}}'
Potem przetestuj stronę Google. Przycisk Test connection wysyła przykładowy payload, którego pola nie odpowiadają prawdziwemu incydentowi, więc może on nie spełnić Twojego warunku. Do testu end-to-end utwórz tymczasową zasadę z progiem, który już przekraczasz — na przykład wykorzystanie CPU maszyny wirtualnej powyżej 1% — podepnij Echobell (call), poczekaj, aż się uruchomi, i usuń zasadę.
Jeśli curl dzwoni, a prawdziwa zasada nie, problem leży po stronie Google — kanał nie jest podpięty, warunek nie był jeszcze spełniony przez wymagany czas albo Endpoint URL został źle skopiowany — a nie w kanale Echobell.
Alerty oparte na logach i testy dostępności
- Testy dostępności same nikogo nie powiadamiają; zasilają zasadę alertów. Utwórz zasadę z poziomu testu dostępności i podepnij ten sam kanał webhook.
- Zasady alertów oparte na logach powiadamiają tylko przy otwarciu incydentu — Google nie wysyła dla nich powiadomień o zamknięciu — i wymagają limitu częstotliwości powiadomień, który ogranicza, jak często hałaśliwa linijka logu może do Ciebie dzwonić. Warunek
incident.state == "open"nadal działa; kanał dla zamkniętych incydentów po prostu nigdy nic od tych zasad nie dostanie.
Limity, które mają znaczenie podczas incydentu
- Treść do 1 MiB. Echobell odrzuca treści wyzwalacza powyżej 1 MiB z HTTP 413. Incydent z Cloud Monitoring to kilka kilobajtów.
- 120 żądań na minutę na token. Powyżej wyzwalacz odpowiada
429zRATE_LIMIT_EXCEEDEDi nagłówkiemRetry-After. Jedna zasada rzadko się do tego zbliża, ale dziesiątki zasad uruchamiających się naraz podczas regionalnej awarii już tak — kolejny powód, by lista dla kanału telefonicznego była krótka. - 1500 bajtów treści powiadomienia. Dłuższe wyniki są przycinane. Pisz dokumentację zasady krótko albo umieść w niej link do runbooka zamiast samego runbooka.
Czego ta konfiguracja nie daje
- Brak potwierdzania. Odebranie połączenia nie potwierdza ani nie zamyka incydentu w Google Cloud.
- Brak eskalacji i rotacji. Dzwonimy do wszystkich subskrybentów kanału; nikt nie jest następny w kolejce.
- Brak deduplikacji poza incydentem. Warunek, który „miga”, za każdym razem otwiera nowy incydent i każdy z nich dzwoni. Napraw to w zasadzie dłuższym oknem czasu trwania.
Jeśli to dla Ciebie przeszkody nie do przejścia, potrzebujesz pełnej platformy dyżurowej. Jeśli potrzebujesz „zadzwoń, gdy odpali zasada produkcyjna”, to dwa ekrany w konsoli.
Rozwiązywanie problemów
Incydent się otworzył, ale nic nie przyszło. Otwórz incydent w Monitoring → Alerting i sprawdź, czy zasada ma na liście kanał webhook. Upewnij się, że Endpoint URL to pełny adres Echobell razem z tokenem.
Powiadomienie przyszło, ale nie zadzwoniło. Typ kanału to nie Połączenie albo ustawienia Skupienia w telefonie nie przepuszczają połączeń. Sprawdź kanał i konfigurację Skupienia.
Powiadomienie jest puste. Szablon odczytuje pola najwyższego poziomu. Dodaj do nich prefiks incident. — {{incident.policy_name}}, a nie {{policy_name}}.
Dzwoni co pół godziny. Zasada ma ustawiony interwał ponownego powiadamiania. Usuń go albo dodaj !incident.renotify do warunku.
Dzwoni, gdy incydent się zamyka. W warunku brakuje incident.state == "open" albo jest ustawiony na niewłaściwym kanale.
Najczęstsze pytania
Czy Google Cloud Monitoring potrafi zadzwonić na numer telefonu natywnie?
Nie. Kanały powiadomień to e-mail, SMS, aplikacja mobilna Google Cloud, Slack, Google Chat, PagerDuty, Pub/Sub i webhooki. Połączenie głosowe wymaga zewnętrznej usługi: platformy dyżurowej albo dzwoniącego webhooka, takiego jak Echobell.
Czy potrzebuję Pub/Sub albo Cloud Function?
Nie. Cloud Monitoring sam wysyła incydent na adres webhooka. Pub/Sub Google zaleca dla endpointów, które nie są publiczne; endpoint Echobella jest publiczny, więc kanał webhook wystarczy.
Czy alert z Cloud Monitoring przebije tryb Nie przeszkadzać?
Tylko jeśli dotrze jako alert w formie połączenia. Kanał Echobell typu połączenie zachowuje się jak połączenie przychodzące, które tryb Skupienia i Nie przeszkadzać w iOS przepuszczają, jeśli ustawienia Skupienia zezwalają na połączenia. SMS ani zwykły push — nie. Włącz też opcję Ponów nieudane połączenie: jeśli w ustawieniach Skupienia włączone jest „Zezwalaj na powtarzane połączenia”, drugie połączenie w ciągu trzech minut może zadzwonić.
Czy używać opcji Basic Auth w webhooku?
Nie. Echobell uwierzytelnia tokenem w adresie URL. Przepływ Basic Auth w Google oczekuje najpierw wyzwania 401, którego Echobell nie wysyła.
Czy mogę dzwonić do różnych osób przy różnych zasadach?
Tak. Utwórz jeden kanał Echobell na grupę odbiorców, dodaj adres każdego kanału w Google Cloud jako osobny kanał webhook i podepnij każdy do zasad, za które odpowiada dana grupa. Jeden adres webhooka zawsze uruchamia ten sam kanał Echobell, więc warunek z policy_user_labels może wyciszyć zasady na tym kanale, ale nie przekaże ich do innego. Potwierdzeń nie ma, więc dzwonimy do wszystkich, którzy wybrali „połączenie”.
A co z kilkoma projektami?
Kanał powiadomień należy do jednego projektu. Utwórz kanał webhook w każdym projekcie — ten sam adres Echobell działa we wszystkich — albo wysyłaj alerty z projektu określającego zakres (scoping project), który monitoruje pozostałe.
Podsumowanie
Droga składa się z czterech części: kanału telefonicznego z warunkiem incident.state == "open", kanału powiadomień typu webhook wskazującego na niego, krótkiej listy zasad, które zasługują na telefon, oraz prawdziwego testu, zanim zaczniesz na tym polegać. Cała reszta dotyczy utrzymania tej listy na tyle krótkiej, żeby za miesiąc dzwonek wciąż coś znaczył.
Pobierz Echobella na iPhone'a albo weź go z Google Play, a potem skieruj do niego swoją najważniejszą zasadę alertów.