Звонки по алертам Google Cloud Monitoring через вебхук

Cloud Monitoring шлёт email, SMS и пуши, но не звонит. Направьте алерты GCP в звонковый вебхук: настройка, поля payload, фильтры, подводные камни.

Обновлено

Содержание

Google Cloud Monitoring не умеет звонить на телефон. Его каналы уведомлений — это email, SMS, мобильное приложение Google Cloud, Slack, Google Chat, PagerDuty, Pub/Sub и вебхуки, а собственная документация Google признаёт, что SMS не вполне надёжен и может быть недоступен в вашем регионе. Если нужно, чтобы политика оповещений звонила как входящий вызов, кратчайший путь — канал-вебхук, направленный в звонковый канал Echobell: две строки шаблона и одно условие.

В этом руководстве — канал, вебхук, поля, которые Cloud Monitoring на самом деле присылает в payload, как сделать, чтобы «открытые» инциденты звонили, а «закрытые» молчали, и какие настройки политики оповещений определяют, как часто будет звонить телефон.

Почему встроенных каналов не хватает в 3 часа ночи

  • Email ждёт, пока вы его откроете.
  • SMS, по словам самой Google, — не вполне надёжный тип канала, и в вашей стране его может не быть. К тому же «Не беспокоить» глушит его, как любое другое сообщение.
  • Мобильное приложение присылает обычный пуш. Он появляется на экране блокировки, но не звонит без остановки.
  • PagerDuty умеет звонить, но это полноценная платформа дежурств со своей настройкой и своим договором.

Канал-вебхук же может достучаться до чего угодно с публичным HTTPS-эндпоинтом, и Cloud Monitoring присылает ему структурированный JSON-документ по каждому инциденту. Больше Echobell ничего не нужно.

Что понадобится

  • Проект Google Cloud хотя бы с одной политикой оповещений (или проверкой доступности, по которой вы хотите получать оповещения)
  • Права на редактирование каналов уведомлений (roles/monitoring.notificationChannelEditor или Monitoring Editor)
  • Установленный Echobell (App Store / Google Play)
  • Десять минут

Ничего в вашем проекте не должно принимать входящий трафик. Исходящий запрос делает Cloud Monitoring.

Шаг 1 — Создайте канал, который звонит

В Echobell создайте канал и выберите тип уведомления Звонок. Звонковый канал ведёт себя как входящий вызов, а не как пуш, поэтому занимает весь экран и звонит. В режиме фокусирования iOS или «Не беспокоить» он звонит, только если настройки фокусирования пропускают звонки.

Откройте Дополнительные настройки канала и включите Свой шаблон. Cloud Monitoring упаковывает всё в объект incident, поэтому шаблоны читают вложенные поля:

Заголовок: {{incident.state}}: {{incident.policy_name}}
Текст: {{incident.summary}}

Задайте шаблон ссылки, чтобы нажатие на уведомление открывало инцидент в консоли Google Cloud:

{{incident.url}}

Добавьте условие, чтобы звонили лишь новые, только что открытые инциденты:

incident.state == "open"

Скопируйте URL вебхука из карточки канала:

https://hook.echobell.one/t/<channel-token>

Шаг 2 — Добавьте канал уведомлений типа Webhook в Google Cloud

  1. Откройте Monitoring → Alerting и нажмите Edit notification channels
  2. В разделе Webhooks нажмите Add new
  3. Endpoint URL: URL вашего канала Echobell из шага 1
  4. Display name: Echobell (call)
  5. Оставьте Use HTTP Basic Auth выключенным
  6. Нажмите Test connection, затем Save

Basic Auth выключен намеренно. Рукопожатие Basic Auth у Google ожидает, что эндпоинт ответит на первый запрос кодом 401 с заголовком WWW-Authenticate; Echobell же аутентифицирует по секретному токену в URL, так что обращайтесь с этим URL как с паролем.

Если вы управляете каналами через Terraform, тот же канал выглядит так:

resource "google_monitoring_notification_channel" "echobell_call" {
  display_name = "Echobell (call)"
  type         = "webhook_tokenauth"

  labels = {
    url = "https://hook.echobell.one/t/<channel-token>"
  }
}

Не храните токен в системе контроля версий — читайте его из переменной или Secret Manager, а не коммитьте URL.

Шаг 3 — Подключите канал к политикам, которые заслуживают звонка

Откройте политику оповещений, перейдите в Notifications and name и добавьте Echobell (call) в Notification channels. Политика может уведомлять несколько каналов сразу, так что существующий канал email или Slack можно оставить рядом.

Здесь стоит быть разборчивым. Это и есть настоящий фильтр: канал, подключённый только к «продакшен-API лежит» и «на базе данных кончилось место», звонит достаточно редко, чтобы вы всё ещё брали трубку. «CPU выше 70% в течение пяти минут» оставьте на email.

Две настройки на той же странице определяют, что дойдёт до телефона:

  • Notify on incident closure. Если она включена, Cloud Monitoring присылает уведомление и при закрытии инцидента. Условие incident.state == "open" из шага 1 не даёт ему звонить; в шаге 6 показано, как получать его тихо.
  • Incident autoclose duration. Если метрика перестаёт присылать данные, открытые инциденты закрываются по истечении этого срока. Оставьте значение по умолчанию, если нет причин его менять.

Шаг 4 — Узнайте, как payload выглядит на самом деле

По умолчанию Cloud Monitoring отправляет схему версии 1.2. Если оставить только поля, которые вам, скорее всего, пригодятся, открытый инцидент выглядит так:

{
  "version": "1.2",
  "incident": {
    "incident_id": "0.opqiw61fsv7p",
    "scoping_project_id": "my-project",
    "url": "https://console.cloud.google.com/monitoring/alerting/incidents/0.opqiw61fsv7p?project=my-project",
    "state": "open",
    "renotify": false,
    "started_at": 1794713564,
    "ended_at": null,
    "policy_name": "Prod API 5xx rate",
    "condition_name": "5xx ratio above 5%",
    "resource_display_name": "prod-api",
    "threshold_value": "0.05",
    "observed_value": "0.183",
    "severity": "Critical",
    "policy_user_labels": {
      "team": "payments"
    },
    "documentation": {
      "content": "Check the latest deploy first. Runbook: https://wiki.example.com/api-5xx",
      "mime_type": "text/markdown"
    },
    "summary": "5xx ratio for prod-api with metric labels {response_code_class=500} is above the threshold of 0.050 with a value of 0.183."
  }
}

Что стоит знать, прежде чем править шаблон:

  • Всё лежит внутри incident. {{policy_name}} выводится пустым, а {{incident.policy_name}} — нет.
  • state — это open или closed. Именно на этом одном поле держатся и условие, и шаблон заголовка.
  • summary — сгенерированный текст. Google не обещает для него стабильного формата, так что показывайте его, но не сопоставляйте с ним в условии.
  • Поля могут отсутствовать. Google отмечает, что некоторые поля отсутствуют или равны null в зависимости от политики и состояния инцидента. Отсутствующее поле Echobell выводит как пустую строку, так что шаблон продолжит работать; просто не стройте условие на поле, которое ваши политики не заполняют.
  • documentation.content — ваше. Всё, что вы впишете в поле Documentation политики, придёт сюда. Однострочная инструкция («Сначала проверьте последний деплой») на звонящем телефоне полезнее сгенерированной сводки.
  • Серьёзность задаётся политикой. Это тот уровень, который вы выставили в политике. Отправьте себе тестовый инцидент и проверьте точное значение, прежде чем по нему фильтровать.

Текст, который начинается с ваших слов, а при их отсутствии показывает сводку:

{{incident.documentation.content}}
{{incident.summary}}

Шаг 5 — Решите, что звонит и как часто

Основная фильтрация уже произошла, когда вы выбрали, к каким политикам подключить канал. Остальное делает условие канала Echobell.

ЦельУсловие
Звонить только при открытии инцидентаincident.state == "open"
Звонить один раз, а не при каждом напоминанииincident.state == "open" && !incident.renotify
Звонить только по политикам одной командыincident.state == "open" && incident.policy_user_labels.team == "payments"
Звонить только ночью (00:00–07:00 UTC)incident.state == "open" && hour < 7

Напоминания. Политика может повторно отправлять уведомления, пока инцидент остаётся открытым: в API это alertStrategy.notificationChannelStrategy[].renotifyInterval, от 30 минут до 24 часов. Такие повторы приходят с renotify: true. Звонить ли по ним — вопрос выбора: повторный звонок — грубая, но действенная эскалация для инцидента, который никто не исправил, а пропуск повторов не даёт долгому сбою звонить всю ночь. Вторая строка таблицы их пропускает.

Пользовательские метки. Пользовательские метки политики, например team: payments, передаются в policy_user_labels. Условие по ним позволяет каналу, подключённому к множеству политик, звонить по одним и молчать по остальным. Метки фильтруют, а не маршрутизируют: каждый URL вебхука всегда запускает один и тот же канал Echobell, поэтому метка не может отправить инцидент в канал другого человека.

Переменные времени в Echobell — в UTC, поэтому сначала пересчитайте из своего часового пояса. Все переменные перечислены в справочнике по условиям.

Шаг 6 — Дайте закрытым инцидентам тихую дверь

При включённом Notify on incident closure закрытый инцидент — хорошая новость, которую стоит увидеть, но не повод звонить. Создайте второй канал Echobell типа Срочное (Time Sensitive) (или обычного) с теми же шаблонами и без условия, добавьте его в Google Cloud вторым каналом-вебхуком и подключите к политике оба. Шаблон заголовка уже читается как «closed: Prod API 5xx rate».

Канал EchobellУсловиеТип каналаПоведение
gcp-callincident.state == "open"ЗвонокЗвонит как входящий вызов
gcp-logнетСрочное или ОбычноеКаждое открытие, напоминание и закрытие, без звонка

Проверьте, прежде чем доверять

Сначала проверьте сторону Echobell. Отправьте payload, устроенный как у Cloud Monitoring:

curl -X POST https://hook.echobell.one/t/<channel-token> \
  -H 'Content-Type: application/json' \
  -d '{"version":"1.2","incident":{"state":"open","renotify":false,"policy_name":"Manual test","summary":"Testing the Echobell path","url":"https://console.cloud.google.com/monitoring/alerting"}}'

Затем проверьте сторону Google. Кнопка Test connection отправляет пример payload, поля которого не соответствуют реальному инциденту, поэтому он может не пройти ваше условие. Для сквозной проверки создайте одноразовую политику с порогом, который уже превышен, — например, загрузка CPU виртуальной машины выше 1%, — подключите Echobell (call), дождитесь срабатывания и удалите политику.

Если curl звонит, а настоящая политика — нет, проблема на стороне Google: канал не подключён, условие ещё не выполнялось достаточно долго или Endpoint URL скопирован с ошибкой. Канал Echobell тут ни при чём.

Оповещения на основе логов и проверки доступности

  • Проверки доступности сами никого не уведомляют — они питают политику оповещений. Создайте политику из проверки доступности и подключите тот же канал-вебхук.
  • Политики оповещений на основе логов уведомляют только при открытии инцидента — уведомлений о закрытии для них Google не отправляет — и требуют ограничения частоты уведомлений, которое задаёт, как часто шумная строка лога может вам звонить. Условие incident.state == "open" по-прежнему работает; канал для закрытых инцидентов от таких политик просто ничего не получит.

Ограничения, которые важны во время инцидента

  • Тело до 1 МиБ. Echobell отклоняет тела запросов к триггеру больше 1 МиБ с HTTP 413. Инцидент Cloud Monitoring весит несколько килобайт.
  • 120 запросов в минуту на токен. Дальше триггер отвечает 429 с RATE_LIMIT_EXCEEDED и Retry-After. Одна политика редко приближается к этому, а вот десятки политик, сработавших разом при региональном сбое, — вполне, и это ещё одна причина держать список для звонкового канала коротким.
  • 1500 байт текста уведомления. Более длинный результат обрезается. Пишите документацию политики коротко или кладите туда ссылку на runbook, а не сам runbook.

Чего эта схема не даёт

  • Нет подтверждения. Ответ на звонок не подтверждает и не закрывает инцидент в Google Cloud.
  • Нет эскалации и ротации. Звонят всем, кто подписан на канал; следующего по очереди нет.
  • Нет дедупликации сверх инцидента. Условие, которое «мигает», каждый раз открывает новый инцидент, и каждый звонит. Исправляйте это в политике более длинным окном длительности.

Если это критично, вам нужна полноценная платформа дежурств. Если нужно «позвони мне, когда сработает продакшен-политика», это два экрана в консоли.

Разбор проблем

Инцидент открылся, но ничего не пришло. Откройте инцидент в Monitoring → Alerting и проверьте, что в политике указан канал-вебхук. Убедитесь, что Endpoint URL — полный URL Echobell вместе с токеном.

Уведомление пришло, но не звонило. Тип канала не Звонок, или настройки фокусирования на телефоне не пропускают звонки. Проверьте канал и конфигурацию фокусирования.

Уведомление пустое. Шаблон читает поля верхнего уровня. Добавьте к ним префикс incident. — {{incident.policy_name}}, а не {{policy_name}}.

Звонит каждые полчаса. В политике задан интервал повторного уведомления. Уберите его или добавьте !incident.renotify в условие.

Звонит при закрытии инцидента. В условии нет incident.state == "open", или оно стоит не на том канале.

Частые вопросы

Умеет ли Google Cloud Monitoring звонить на номер телефона сам?

Нет. Каналы уведомлений — это email, SMS, мобильное приложение Google Cloud, Slack, Google Chat, PagerDuty, Pub/Sub и вебхуки. Для голосового звонка нужен внешний сервис: платформа дежурств или звонковый вебхук вроде Echobell.

Нужны ли Pub/Sub или Cloud Function?

Нет. Cloud Monitoring сам отправляет инцидент на URL вебхука. Pub/Sub Google рекомендует для непубличных эндпоинтов; эндпоинт Echobell публичный, так что канала-вебхука достаточно.

Пробьёт ли алерт Cloud Monitoring режим «Не беспокоить»?

Только если придёт как оповещение-звонок. Канал Echobell типа «звонок» ведёт себя как входящий вызов, а такие режим фокусирования и «Не беспокоить» в iOS пропускают, если настройки фокусирования разрешают звонки. SMS и обычный пуш — нет. Включите также Повторять неудавшийся звонок: если в настройках фокусирования включены «Повторные вызовы», второй звонок в течение трёх минут может прозвучать.

Стоит ли включать Basic Auth у вебхука?

Нет. Echobell аутентифицирует по токену в URL. Схема Basic Auth у Google сначала ждёт вызова 401, а Echobell его не отправляет.

Можно ли звонить разным людям по разным политикам?

Да. Создайте по каналу Echobell на аудиторию, добавьте URL каждого канала в Google Cloud как отдельный канал-вебхук и подключите каждый к политикам, за которые отвечает эта аудитория. Один URL вебхука всегда запускает один и тот же канал Echobell, поэтому условие по policy_user_labels может заглушить политики в этом канале, но не может передать их в другой. Подтверждения нет, поэтому звонят всем, кто подписался с типом «звонок».

А если проектов несколько?

Канал уведомлений принадлежит одному проекту. Создайте канал-вебхук в каждом проекте — один и тот же URL Echobell работает во всех, — или отправляйте оповещения из проекта области мониторинга (scoping project), который следит за остальными.

Итог

Схема состоит из четырёх частей: звонковый канал с условием incident.state == "open", канал уведомлений типа Webhook, указывающий на него, короткий список политик, заслуживающих звонка, и настоящая проверка, прежде чем на это полагаться. Всё остальное — о том, как держать этот список достаточно коротким, чтобы через месяц звонок всё ещё что-то значил.

Скачайте Echobell для iPhone или возьмите в Google Play, а затем направьте в него свою самую важную политику оповещений.

Похожие статьи