Google Cloud Monitoring 电话告警:用 Webhook 让手机响铃

Cloud Monitoring 能发邮件、短信和推送,却不会打电话。用 Webhook 把 GCP 告警策略转成来电:配置步骤、载荷字段、过滤条件与常见坑。

更新于

目录

Google Cloud Monitoring 没办法给你打电话。它的通知渠道有邮件、短信、Google Cloud 移动应用、Slack、Google Chat、PagerDuty、Pub/Sub 和 Webhook——而 Google 自己的文档也说,短信并不完全可靠,你所在的地区还可能用不了。如果你想让告警策略像来电一样响起来,最短的路径是一个指向 Echobell 来电频道的 Webhook 渠道,外加两行模板和一个条件。

这篇指南讲清楚:频道、Webhook、Cloud Monitoring 实际发送的载荷字段、如何让「open」的事件响铃而「closed」的事件保持安静,以及告警策略里决定你手机多久响一次的那些设置。

为什么内置渠道扛不住凌晨三点

  • 邮件要等你自己去看。
  • 短信用 Google 的原话说,不是完全可靠的渠道类型,你所在的国家也可能不提供。它还和其他短信一样会被勿扰模式静音。
  • 移动应用发的是普通推送。它会出现在锁屏上,但不会持续响铃。
  • PagerDuty 可以给你打电话,但它是一个完整的 on-call 平台,有自己的配置和合同。

而 Webhook 渠道可以触达任何有公网 HTTPS 端点的东西,Cloud Monitoring 还会为每个事件(incident)发送一份结构化的 JSON 文档。Echobell 需要的就这么多。

你需要什么

  • 一个 Google Cloud 项目,里面至少有一条告警策略(或者一个你想据此告警的拨测)
  • 编辑通知渠道的权限(roles/monitoring.notificationChannelEditor 或 Monitoring Editor)
  • 装好 Echobell(App Store / Google Play)
  • 十分钟

你的项目里不需要接收任何入站流量。出站请求由 Cloud Monitoring 发出。

第 1 步 —— 建一个会响铃的频道

在 Echobell 里新建频道,通知类型选 来电(Calling)。来电频道的行为像一通打进来的电话而不是推送,所以它会占满屏幕并响铃。在 iOS 专注模式或勿扰模式下,只有当你的专注模式设置允许来电时它才会响。

打开频道的高级设置,开启自定义模板。Cloud Monitoring 把所有内容都包在一个 incident 对象里,所以模板要读取嵌套字段:

标题:{{incident.state}}: {{incident.policy_name}}
正文:{{incident.summary}}

配好链接模板,这样点通知就能直接在 Google Cloud 控制台里打开这个事件:

{{incident.url}}

再加一个条件,只让新打开的事件响铃:

incident.state == "open"

从频道详情页复制频道的 Webhook URL:

https://hook.echobell.one/t/<channel-token>

第 2 步 —— 在 Google Cloud 里添加 Webhook 通知渠道

  1. 打开 Monitoring → Alerting,点击 Edit notification channels
  2. 在 Webhooks 下点击 Add new
  3. Endpoint URL:第 1 步拿到的 Echobell 频道 URL
  4. Display name:Echobell (call)
  5. Use HTTP Basic Auth 保持关闭
  6. 点击 Test connection,然后 Save

Basic Auth 是故意不开的。Google 的 Basic Auth 握手要求端点对第一个请求返回 401 和一个 WWW-Authenticate 头;Echobell 则靠 URL 里的密钥 token 认证,所以请像对待密码一样对待这个 URL。

如果你用 Terraform 管理渠道,同样的渠道写成:

resource "google_monitoring_notification_channel" "echobell_call" {
  display_name = "Echobell (call)"
  type         = "webhook_tokenauth"

  labels = {
    url = "https://hook.echobell.one/t/<channel-token>"
  }
}

别把 token 提交进版本控制——从变量或 Secret Manager 里读取,而不是把 URL 直接提交上去。

第 3 步 —— 只把渠道挂到值得一通电话的策略上

打开一条告警策略,进入 Notifications and name,在 Notification channels 下添加 Echobell (call)。一条策略可以同时通知多个渠道,所以原有的邮件或 Slack 渠道可以照常保留。

这里要挑剔一些。这才是真正的过滤器:一个只挂在「生产 API 挂了」和「数据库磁盘满了」上的渠道,响得足够少,你才会一直愿意接。「CPU 连续五分钟超过 70%」就留给邮件吧。

同一页上有两个设置会影响什么能到达你的手机:

  • Notify on incident closure。 开启后,事件关闭时 Cloud Monitoring 也会发一条通知。第 1 步里的 incident.state == "open" 条件会让这条通知不响铃;第 6 步会讲怎么安静地接收它。
  • Incident autoclose duration。 如果指标停止上报数据,打开的事件会在这段时间后自动关闭。除非有理由,否则保持默认即可。

第 4 步 —— 搞清楚载荷到底长什么样

Cloud Monitoring 默认发送 1.2 版本的 schema。只保留你可能用到的字段,一个刚打开的事件长这样:

{
  "version": "1.2",
  "incident": {
    "incident_id": "0.opqiw61fsv7p",
    "scoping_project_id": "my-project",
    "url": "https://console.cloud.google.com/monitoring/alerting/incidents/0.opqiw61fsv7p?project=my-project",
    "state": "open",
    "renotify": false,
    "started_at": 1794713564,
    "ended_at": null,
    "policy_name": "Prod API 5xx rate",
    "condition_name": "5xx ratio above 5%",
    "resource_display_name": "prod-api",
    "threshold_value": "0.05",
    "observed_value": "0.183",
    "severity": "Critical",
    "policy_user_labels": {
      "team": "payments"
    },
    "documentation": {
      "content": "Check the latest deploy first. Runbook: https://wiki.example.com/api-5xx",
      "mime_type": "text/markdown"
    },
    "summary": "5xx ratio for prod-api with metric labels {response_code_class=500} is above the threshold of 0.050 with a value of 0.183."
  }
}

改模板之前值得先知道几件事:

  • 所有内容都在 incident 底下。 {{policy_name}} 渲染出来是空的;{{incident.policy_name}} 才行。
  • state 只有 open 和 closed。 条件和标题模板依赖的就是这一个字段。
  • summary 是自动生成的文本。 Google 不保证它的格式稳定,所以拿来展示可以,但别在条件里匹配它。
  • 字段可能缺失。 Google 说明过,部分字段会因策略和事件状态而缺失或为 null。缺失的字段在 Echobell 里渲染为空字符串,所以模板照样能用;只是别在你的策略没有设置的字段上写条件。
  • documentation.content 归你写。 你在策略的 Documentation 框里写的内容会原样到达这里。在一部正在响铃的手机上,一句指示(「先查最近一次部署」)比自动生成的摘要有用得多。
  • 严重级别跟随策略。 它就是你在策略上设置的级别。在按它过滤之前,先给自己发一个测试事件,确认确切的取值。

一个以你自己的话开头、再以摘要兜底的正文:

{{incident.documentation.content}}
{{incident.summary}}

第 5 步 —— 决定什么会响、多久响一次

大部分过滤在你选择哪些策略挂上这个渠道时就已经完成了。剩下的交给 Echobell 的频道条件。

目标条件
只在事件打开时响铃incident.state == "open"
只响一次,提醒不响incident.state == "open" && !incident.renotify
只为某个团队的策略响铃incident.state == "open" && incident.policy_user_labels.team == "payments"
只在夜间响铃(00:00–07:00 UTC)incident.state == "open" && hour < 7

重复提醒。 事件保持打开期间,策略可以重复发送通知:在 API 里对应 alertStrategy.notificationChannelStrategy[].renotifyInterval,范围从 30 分钟到 24 小时。这些重复通知会带着 renotify: true 到达。要不要让它们响铃是个选择题:再响一次,是对没人处理的事件一种粗糙但有效的升级;跳过它们,则能避免一场长时间故障让手机响一整夜。表格第二行就是跳过的写法。

用户标签。 策略的用户标签(比如 team: payments)会放在 policy_user_labels 里。在条件里用上它们,挂在多条策略上的同一个频道就能只为其中一部分响铃,其余保持安静。标签只能过滤,不能分流:每个 Webhook URL 永远只触发同一个 Echobell 频道,所以标签没法把事件转给别人的频道。

Echobell 的时间变量是 UTC,先从你自己的时区换算一下。完整变量表见条件参考。

第 6 步 —— 给关闭通知留一扇更安静的门

开启 Notify on incident closure 后,事件关闭是值得一看的好消息,但不值得一声铃响。再建一个 时效性(Time Sensitive)(或普通)类型的 Echobell 频道,用同样的模板、不设条件,把它作为第二个 Webhook 渠道加到 Google Cloud 里,再把两个渠道都挂到策略上。标题模板读起来已经就是「closed: Prod API 5xx rate」。

Echobell 频道条件频道类型行为
gcp-callincident.state == "open"来电像来电一样响铃
gcp-log无时效性或普通每次打开、提醒和关闭都收到,但不响铃

先测试,再信任

先测 Echobell 这一侧。 POST 一个形状和 Cloud Monitoring 一样的载荷:

curl -X POST https://hook.echobell.one/t/<channel-token> \
  -H 'Content-Type: application/json' \
  -d '{"version":"1.2","incident":{"state":"open","renotify":false,"policy_name":"Manual test","summary":"Testing the Echobell path","url":"https://console.cloud.google.com/monitoring/alerting"}}'

再测 Google 这一侧。 Test connection 按钮发送的是示例载荷,字段并不是真实事件,所以可能过不了你的条件。要做端到端测试,就建一条阈值已经被超过的临时策略——比如 VM CPU 利用率高于 1%——挂上 Echobell (call),等它触发,然后删掉这条策略。

如果 curl 能响而真实策略不响,问题出在 Google 那一侧——渠道没挂上、条件还没满足持续时间,或者端点 URL 复制错了——而不在 Echobell 频道。

基于日志的告警和拨测

  • **拨测(uptime check)**本身不会通知任何人;它们为告警策略提供数据。从拨测创建策略,再挂上同一个 Webhook 渠道。
  • 基于日志的告警策略只在事件打开时通知——Google 不会为它们发送关闭通知——而且它们必须设置通知速率限制,这限制了一条嘈杂的日志能多频繁地打给你。incident.state == "open" 条件照样有效;只是关闭通知用的那个频道永远收不到这类策略的消息。

事故期间要紧的限制

  • 1 MiB 请求体。 超过 1 MiB 的触发请求会被 Echobell 以 HTTP 413 拒绝。一个 Cloud Monitoring 事件只有几 KB。
  • 每个 token 每分钟 120 次请求。 超过之后触发接口会返回 429、RATE_LIMIT_EXCEEDED 和一个 Retry-After。单条策略很少会接近这个数,但区域性故障时几十条策略同时触发就可能——这也是让来电频道只挂少数策略的又一个理由。
  • 通知正文 1500 字节。 更长的渲染结果会被截断。策略文档写短一点,或者在里面放 runbook 的链接,而不是整份 runbook。

这套方案给不了你什么

  • 没有确认(ack)。 接起电话不会在 Google Cloud 里确认或关闭事件。
  • 没有升级和轮换。 订阅了频道的人全都会被打电话;不会有「下一个人」。
  • 事件之外没有额外去重。 一个反复抖动的条件每次都会打开一个新事件,每个都会响。请在策略上拉长持续时间窗口来解决。

如果这些是硬伤,你需要的是一个完整的 on-call 平台。如果你要的只是「生产策略一触发就叫我」,那这就是控制台里的两个页面而已。

排障

事件打开了但什么都没到。 在 Monitoring → Alerting 里打开这个事件,检查策略是否列出了这个 Webhook 渠道。确认端点 URL 是完整的 Echobell URL,包含 token。

通知到了但没响铃。 频道类型不是 来电(Calling),或者手机的专注模式设置不允许来电。检查频道和专注模式配置。

通知是空白的。 模板读取的是顶层字段。给它们加上 incident. 前缀——写 {{incident.policy_name}},不是 {{policy_name}}。

每半小时响一次。 策略设置了重复通知间隔。去掉它,或者在条件里加上 !incident.renotify。

事件关闭时也响了。 条件里缺了 incident.state == "open",或者写在了错误的频道上。

常见问题

Google Cloud Monitoring 能原生拨打电话号码吗?

不能。通知渠道只有邮件、短信、Google Cloud 移动应用、Slack、Google Chat、PagerDuty、Pub/Sub 和 Webhook。语音电话需要外部服务:on-call 平台,或者像 Echobell 这样的来电 Webhook。

我需要 Pub/Sub 或 Cloud Function 吗?

不需要。Cloud Monitoring 会自己把事件 POST 到 Webhook URL。Pub/Sub 是 Google 为非公网端点推荐的方案;Echobell 的端点是公网的,所以一个 Webhook 渠道就够了。

Cloud Monitoring 告警能穿透勿扰模式吗?

只有当它以来电式提醒到达时才能。来电类型的 Echobell 频道行为像一通打进来的电话,只要你的专注模式设置允许来电,iOS 的专注模式和勿扰模式就会放行。短信或普通推送则不行。请同时开启 重试失败的来电:在专注模式设置中打开「允许重复来电」后,3 分钟内的第二通来电就可能响铃。

Webhook 要开 Basic Auth 选项吗?

不要。Echobell 靠 URL 里的 token 认证。Google 的 Basic Auth 流程要求先收到一个 401 质询,而 Echobell 不会发送它。

能针对不同策略打给不同的人吗?

可以。每类受众建一个 Echobell 频道,把每个频道的 URL 分别作为独立的 Webhook 渠道添加到 Google Cloud,再挂到这类受众负责的策略上。一个 Webhook URL 永远只触发同一个 Echobell 频道,所以 policy_user_labels 条件可以让这个频道对某些策略静音,却没法把它们交给另一个频道。因为没有确认机制,所以选了「来电」订阅的人都会被打电话。

多个项目怎么办?

通知渠道属于单个项目。在每个项目里都创建 Webhook 渠道——同一个 Echobell URL 在所有项目里都能用——或者从一个监控其他项目的范围项目(scoping project)发出告警。

小结

整条路径是四部分:一个带 incident.state == "open" 条件的来电频道、一个指向它的 Webhook 通知渠道、一份值得一通电话的简短策略清单,以及在你依赖它之前做一次真实测试。其余的一切,都是为了让这份清单足够短,让那声铃响一个月之后仍然有意义。

在 iPhone 上下载 Echobell 或在 Google Play 获取,然后把你最重要的告警策略指向它。

相关内容