Содержание
- Почему встроенных каналов не хватает в 3 часа ночи
- Что понадобится
- Шаг 1 — Создайте канал, который звонит
- Шаг 2 — Добавьте канал уведомлений типа Webhook в Google Cloud
- Шаг 3 — Подключите канал к политикам, которые заслуживают звонка
- Шаг 4 — Узнайте, как payload выглядит на самом деле
- Шаг 5 — Решите, что звонит и как часто
- Шаг 6 — Дайте закрытым инцидентам тихую дверь
- Проверьте, прежде чем доверять
- Оповещения на основе логов и проверки доступности
- Ограничения, которые важны во время инцидента
- Чего эта схема не даёт
- Разбор проблем
- Частые вопросы
- Умеет ли Google Cloud Monitoring звонить на номер телефона сам?
- Нужны ли Pub/Sub или Cloud Function?
- Пробьёт ли алерт Cloud Monitoring режим «Не беспокоить»?
- Стоит ли включать Basic Auth у вебхука?
- Можно ли звонить разным людям по разным политикам?
- А если проектов несколько?
- Итог
- Похожие статьи
Google Cloud Monitoring не умеет звонить на телефон. Его каналы уведомлений — это email, SMS, мобильное приложение Google Cloud, Slack, Google Chat, PagerDuty, Pub/Sub и вебхуки, а собственная документация Google признаёт, что SMS не вполне надёжен и может быть недоступен в вашем регионе. Если нужно, чтобы политика оповещений звонила как входящий вызов, кратчайший путь — канал-вебхук, направленный в звонковый канал Echobell: две строки шаблона и одно условие.
В этом руководстве — канал, вебхук, поля, которые Cloud Monitoring на самом деле присылает в payload, как сделать, чтобы «открытые» инциденты звонили, а «закрытые» молчали, и какие настройки политики оповещений определяют, как часто будет звонить телефон.
Почему встроенных каналов не хватает в 3 часа ночи
- Email ждёт, пока вы его откроете.
- SMS, по словам самой Google, — не вполне надёжный тип канала, и в вашей стране его может не быть. К тому же «Не беспокоить» глушит его, как любое другое сообщение.
- Мобильное приложение присылает обычный пуш. Он появляется на экране блокировки, но не звонит без остановки.
- PagerDuty умеет звонить, но это полноценная платформа дежурств со своей настройкой и своим договором.
Канал-вебхук же может достучаться до чего угодно с публичным HTTPS-эндпоинтом, и Cloud Monitoring присылает ему структурированный JSON-документ по каждому инциденту. Больше Echobell ничего не нужно.
Что понадобится
- Проект Google Cloud хотя бы с одной политикой оповещений (или проверкой доступности, по которой вы хотите получать оповещения)
- Права на редактирование каналов уведомлений (
roles/monitoring.notificationChannelEditorили Monitoring Editor) - Установленный Echobell (App Store / Google Play)
- Десять минут
Ничего в вашем проекте не должно принимать входящий трафик. Исходящий запрос делает Cloud Monitoring.
Шаг 1 — Создайте канал, который звонит
В Echobell создайте канал и выберите тип уведомления Звонок. Звонковый канал ведёт себя как входящий вызов, а не как пуш, поэтому занимает весь экран и звонит. В режиме фокусирования iOS или «Не беспокоить» он звонит, только если настройки фокусирования пропускают звонки.
Откройте Дополнительные настройки канала и включите Свой шаблон. Cloud Monitoring упаковывает всё в объект incident, поэтому шаблоны читают вложенные поля:
Заголовок: {{incident.state}}: {{incident.policy_name}}
Текст: {{incident.summary}}
Задайте шаблон ссылки, чтобы нажатие на уведомление открывало инцидент в консоли Google Cloud:
{{incident.url}}
Добавьте условие, чтобы звонили лишь новые, только что открытые инциденты:
incident.state == "open"
Скопируйте URL вебхука из карточки канала:
https://hook.echobell.one/t/<channel-token>
Шаг 2 — Добавьте канал уведомлений типа Webhook в Google Cloud
- Откройте Monitoring → Alerting и нажмите Edit notification channels
- В разделе Webhooks нажмите Add new
- Endpoint URL: URL вашего канала Echobell из шага 1
- Display name:
Echobell (call) - Оставьте Use HTTP Basic Auth выключенным
- Нажмите Test connection, затем Save
Basic Auth выключен намеренно. Рукопожатие Basic Auth у Google ожидает, что эндпоинт ответит на первый запрос кодом 401 с заголовком WWW-Authenticate; Echobell же аутентифицирует по секретному токену в URL, так что обращайтесь с этим URL как с паролем.
Если вы управляете каналами через Terraform, тот же канал выглядит так:
resource "google_monitoring_notification_channel" "echobell_call" {
display_name = "Echobell (call)"
type = "webhook_tokenauth"
labels = {
url = "https://hook.echobell.one/t/<channel-token>"
}
}
Не храните токен в системе контроля версий — читайте его из переменной или Secret Manager, а не коммитьте URL.
Шаг 3 — Подключите канал к политикам, которые заслуживают звонка
Откройте политику оповещений, перейдите в Notifications and name и добавьте Echobell (call) в Notification channels. Политика может уведомлять несколько каналов сразу, так что существующий канал email или Slack можно оставить рядом.
Здесь стоит быть разборчивым. Это и есть настоящий фильтр: канал, подключённый только к «продакшен-API лежит» и «на базе данных кончилось место», звонит достаточно редко, чтобы вы всё ещё брали трубку. «CPU выше 70% в течение пяти минут» оставьте на email.
Две настройки на той же странице определяют, что дойдёт до телефона:
- Notify on incident closure. Если она включена, Cloud Monitoring присылает уведомление и при закрытии инцидента. Условие
incident.state == "open"из шага 1 не даёт ему звонить; в шаге 6 показано, как получать его тихо. - Incident autoclose duration. Если метрика перестаёт присылать данные, открытые инциденты закрываются по истечении этого срока. Оставьте значение по умолчанию, если нет причин его менять.
Шаг 4 — Узнайте, как payload выглядит на самом деле
По умолчанию Cloud Monitoring отправляет схему версии 1.2. Если оставить только поля, которые вам, скорее всего, пригодятся, открытый инцидент выглядит так:
{
"version": "1.2",
"incident": {
"incident_id": "0.opqiw61fsv7p",
"scoping_project_id": "my-project",
"url": "https://console.cloud.google.com/monitoring/alerting/incidents/0.opqiw61fsv7p?project=my-project",
"state": "open",
"renotify": false,
"started_at": 1794713564,
"ended_at": null,
"policy_name": "Prod API 5xx rate",
"condition_name": "5xx ratio above 5%",
"resource_display_name": "prod-api",
"threshold_value": "0.05",
"observed_value": "0.183",
"severity": "Critical",
"policy_user_labels": {
"team": "payments"
},
"documentation": {
"content": "Check the latest deploy first. Runbook: https://wiki.example.com/api-5xx",
"mime_type": "text/markdown"
},
"summary": "5xx ratio for prod-api with metric labels {response_code_class=500} is above the threshold of 0.050 with a value of 0.183."
}
}
Что стоит знать, прежде чем править шаблон:
- Всё лежит внутри
incident.{{policy_name}}выводится пустым, а{{incident.policy_name}}— нет. state— этоopenилиclosed. Именно на этом одном поле держатся и условие, и шаблон заголовка.summary— сгенерированный текст. Google не обещает для него стабильного формата, так что показывайте его, но не сопоставляйте с ним в условии.- Поля могут отсутствовать. Google отмечает, что некоторые поля отсутствуют или равны null в зависимости от политики и состояния инцидента. Отсутствующее поле Echobell выводит как пустую строку, так что шаблон продолжит работать; просто не стройте условие на поле, которое ваши политики не заполняют.
documentation.content— ваше. Всё, что вы впишете в поле Documentation политики, придёт сюда. Однострочная инструкция («Сначала проверьте последний деплой») на звонящем телефоне полезнее сгенерированной сводки.- Серьёзность задаётся политикой. Это тот уровень, который вы выставили в политике. Отправьте себе тестовый инцидент и проверьте точное значение, прежде чем по нему фильтровать.
Текст, который начинается с ваших слов, а при их отсутствии показывает сводку:
{{incident.documentation.content}}
{{incident.summary}}
Шаг 5 — Решите, что звонит и как часто
Основная фильтрация уже произошла, когда вы выбрали, к каким политикам подключить канал. Остальное делает условие канала Echobell.
| Цель | Условие |
|---|---|
| Звонить только при открытии инцидента | incident.state == "open" |
| Звонить один раз, а не при каждом напоминании | incident.state == "open" && !incident.renotify |
| Звонить только по политикам одной команды | incident.state == "open" && incident.policy_user_labels.team == "payments" |
| Звонить только ночью (00:00–07:00 UTC) | incident.state == "open" && hour < 7 |
Напоминания. Политика может повторно отправлять уведомления, пока инцидент остаётся открытым: в API это alertStrategy.notificationChannelStrategy[].renotifyInterval, от 30 минут до 24 часов. Такие повторы приходят с renotify: true. Звонить ли по ним — вопрос выбора: повторный звонок — грубая, но действенная эскалация для инцидента, который никто не исправил, а пропуск повторов не даёт долгому сбою звонить всю ночь. Вторая строка таблицы их пропускает.
Пользовательские метки. Пользовательские метки политики, например team: payments, передаются в policy_user_labels. Условие по ним позволяет каналу, подключённому к множеству политик, звонить по одним и молчать по остальным. Метки фильтруют, а не маршрутизируют: каждый URL вебхука всегда запускает один и тот же канал Echobell, поэтому метка не может отправить инцидент в канал другого человека.
Переменные времени в Echobell — в UTC, поэтому сначала пересчитайте из своего часового пояса. Все переменные перечислены в справочнике по условиям.
Шаг 6 — Дайте закрытым инцидентам тихую дверь
При включённом Notify on incident closure закрытый инцидент — хорошая новость, которую стоит увидеть, но не повод звонить. Создайте второй канал Echobell типа Срочное (Time Sensitive) (или обычного) с теми же шаблонами и без условия, добавьте его в Google Cloud вторым каналом-вебхуком и подключите к политике оба. Шаблон заголовка уже читается как «closed: Prod API 5xx rate».
| Канал Echobell | Условие | Тип канала | Поведение |
|---|---|---|---|
gcp-call | incident.state == "open" | Звонок | Звонит как входящий вызов |
gcp-log | нет | Срочное или Обычное | Каждое открытие, напоминание и закрытие, без звонка |
Проверьте, прежде чем доверять
Сначала проверьте сторону Echobell. Отправьте payload, устроенный как у Cloud Monitoring:
curl -X POST https://hook.echobell.one/t/<channel-token> \
-H 'Content-Type: application/json' \
-d '{"version":"1.2","incident":{"state":"open","renotify":false,"policy_name":"Manual test","summary":"Testing the Echobell path","url":"https://console.cloud.google.com/monitoring/alerting"}}'
Затем проверьте сторону Google. Кнопка Test connection отправляет пример payload, поля которого не соответствуют реальному инциденту, поэтому он может не пройти ваше условие. Для сквозной проверки создайте одноразовую политику с порогом, который уже превышен, — например, загрузка CPU виртуальной машины выше 1%, — подключите Echobell (call), дождитесь срабатывания и удалите политику.
Если curl звонит, а настоящая политика — нет, проблема на стороне Google: канал не подключён, условие ещё не выполнялось достаточно долго или Endpoint URL скопирован с ошибкой. Канал Echobell тут ни при чём.
Оповещения на основе логов и проверки доступности
- Проверки доступности сами никого не уведомляют — они питают политику оповещений. Создайте политику из проверки доступности и подключите тот же канал-вебхук.
- Политики оповещений на основе логов уведомляют только при открытии инцидента — уведомлений о закрытии для них Google не отправляет — и требуют ограничения частоты уведомлений, которое задаёт, как часто шумная строка лога может вам звонить. Условие
incident.state == "open"по-прежнему работает; канал для закрытых инцидентов от таких политик просто ничего не получит.
Ограничения, которые важны во время инцидента
- Тело до 1 МиБ. Echobell отклоняет тела запросов к триггеру больше 1 МиБ с HTTP 413. Инцидент Cloud Monitoring весит несколько килобайт.
- 120 запросов в минуту на токен. Дальше триггер отвечает
429сRATE_LIMIT_EXCEEDEDиRetry-After. Одна политика редко приближается к этому, а вот десятки политик, сработавших разом при региональном сбое, — вполне, и это ещё одна причина держать список для звонкового канала коротким. - 1500 байт текста уведомления. Более длинный результат обрезается. Пишите документацию политики коротко или кладите туда ссылку на runbook, а не сам runbook.
Чего эта схема не даёт
- Нет подтверждения. Ответ на звонок не подтверждает и не закрывает инцидент в Google Cloud.
- Нет эскалации и ротации. Звонят всем, кто подписан на канал; следующего по очереди нет.
- Нет дедупликации сверх инцидента. Условие, которое «мигает», каждый раз открывает новый инцидент, и каждый звонит. Исправляйте это в политике более длинным окном длительности.
Если это критично, вам нужна полноценная платформа дежурств. Если нужно «позвони мне, когда сработает продакшен-политика», это два экрана в консоли.
Разбор проблем
Инцидент открылся, но ничего не пришло. Откройте инцидент в Monitoring → Alerting и проверьте, что в политике указан канал-вебхук. Убедитесь, что Endpoint URL — полный URL Echobell вместе с токеном.
Уведомление пришло, но не звонило. Тип канала не Звонок, или настройки фокусирования на телефоне не пропускают звонки. Проверьте канал и конфигурацию фокусирования.
Уведомление пустое. Шаблон читает поля верхнего уровня. Добавьте к ним префикс incident. — {{incident.policy_name}}, а не {{policy_name}}.
Звонит каждые полчаса. В политике задан интервал повторного уведомления. Уберите его или добавьте !incident.renotify в условие.
Звонит при закрытии инцидента. В условии нет incident.state == "open", или оно стоит не на том канале.
Частые вопросы
Умеет ли Google Cloud Monitoring звонить на номер телефона сам?
Нет. Каналы уведомлений — это email, SMS, мобильное приложение Google Cloud, Slack, Google Chat, PagerDuty, Pub/Sub и вебхуки. Для голосового звонка нужен внешний сервис: платформа дежурств или звонковый вебхук вроде Echobell.
Нужны ли Pub/Sub или Cloud Function?
Нет. Cloud Monitoring сам отправляет инцидент на URL вебхука. Pub/Sub Google рекомендует для непубличных эндпоинтов; эндпоинт Echobell публичный, так что канала-вебхука достаточно.
Пробьёт ли алерт Cloud Monitoring режим «Не беспокоить»?
Только если придёт как оповещение-звонок. Канал Echobell типа «звонок» ведёт себя как входящий вызов, а такие режим фокусирования и «Не беспокоить» в iOS пропускают, если настройки фокусирования разрешают звонки. SMS и обычный пуш — нет. Включите также Повторять неудавшийся звонок: если в настройках фокусирования включены «Повторные вызовы», второй звонок в течение трёх минут может прозвучать.
Стоит ли включать Basic Auth у вебхука?
Нет. Echobell аутентифицирует по токену в URL. Схема Basic Auth у Google сначала ждёт вызова 401, а Echobell его не отправляет.
Можно ли звонить разным людям по разным политикам?
Да. Создайте по каналу Echobell на аудиторию, добавьте URL каждого канала в Google Cloud как отдельный канал-вебхук и подключите каждый к политикам, за которые отвечает эта аудитория. Один URL вебхука всегда запускает один и тот же канал Echobell, поэтому условие по policy_user_labels может заглушить политики в этом канале, но не может передать их в другой. Подтверждения нет, поэтому звонят всем, кто подписался с типом «звонок».
А если проектов несколько?
Канал уведомлений принадлежит одному проекту. Создайте канал-вебхук в каждом проекте — один и тот же URL Echobell работает во всех, — или отправляйте оповещения из проекта области мониторинга (scoping project), который следит за остальными.
Итог
Схема состоит из четырёх частей: звонковый канал с условием incident.state == "open", канал уведомлений типа Webhook, указывающий на него, короткий список политик, заслуживающих звонка, и настоящая проверка, прежде чем на это полагаться. Всё остальное — о том, как держать этот список достаточно коротким, чтобы через месяц звонок всё ещё что-то значил.
Скачайте Echobell для iPhone или возьмите в Google Play, а затем направьте в него свою самую важную политику оповещений.