Mục lục
- Vì sao các kênh có sẵn không đủ lúc 3 giờ sáng
- Bạn cần những gì
- Bước 1 — Tạo một kênh biết đổ chuông
- Bước 2 — Thêm kênh thông báo webhook trong Google Cloud
- Bước 3 — Gắn kênh vào những policy xứng đáng một cuộc gọi
- Bước 4 — Biết payload thực sự trông ra sao
- Bước 5 — Quyết định cái gì đổ chuông, và bao lâu một lần
- Bước 6 — Cho thông báo đóng incident một cánh cửa yên tĩnh hơn
- Hãy thử trước khi tin tưởng
- Cảnh báo dựa trên log và uptime check
- Các giới hạn quan trọng khi có sự cố
- Những gì thiết lập này không cho bạn
- Khắc phục sự cố
- Câu hỏi thường gặp
- Google Cloud Monitoring có gọi thẳng tới số điện thoại được không?
- Tôi có cần Pub/Sub hay Cloud Function không?
- Cảnh báo Cloud Monitoring có xuyên qua Không làm phiền không?
- Tôi có nên dùng tùy chọn Basic Auth trên webhook không?
- Tôi có thể gọi những người khác nhau cho các policy khác nhau không?
- Còn nhiều project thì sao?
- Tổng kết
- Bài liên quan
Google Cloud Monitoring không có cách nào gọi điện cho bạn. Các kênh thông báo của nó gồm email, SMS, ứng dụng di động Google Cloud, Slack, Google Chat, PagerDuty, Pub/Sub và webhook — và chính tài liệu của Google nói SMS không hoàn toàn đáng tin cậy và có thể không khả dụng ở khu vực của bạn. Nếu muốn một alert policy reo như cuộc gọi đến, con đường ngắn nhất là một kênh webhook trỏ tới kênh cuộc gọi của Echobell, với hai dòng template và một điều kiện.
Bài này đi qua kênh, webhook, các trường trong payload mà Cloud Monitoring thực sự gửi, cách để incident "open" vẫn đổ chuông còn incident "closed" thì im lặng, và các cài đặt trong alert policy quyết định điện thoại của bạn reo thường xuyên đến mức nào.
Vì sao các kênh có sẵn không đủ lúc 3 giờ sáng
- Email chờ đến khi bạn mở ra xem.
- SMS, theo lời của Google, không phải loại kênh hoàn toàn đáng tin cậy, và có thể không được cung cấp ở quốc gia của bạn. Nó cũng bị Không làm phiền tắt tiếng như mọi tin nhắn khác.
- Ứng dụng di động gửi một thông báo đẩy bình thường. Nó hiện trên màn hình khóa nhưng không reo liên tục.
- PagerDuty có thể gọi cho bạn, nhưng đó là cả một nền tảng on-call với quy trình cài đặt và hợp đồng riêng.
Ngược lại, một kênh webhook có thể tới bất cứ thứ gì có endpoint HTTPS công khai, và Cloud Monitoring gửi cho nó một tài liệu JSON có cấu trúc cho mỗi incident. Đó là tất cả những gì Echobell cần.
Bạn cần những gì
- Một project Google Cloud có ít nhất một alerting policy (hoặc một uptime check bạn muốn đặt cảnh báo)
- Quyền chỉnh sửa kênh thông báo (
roles/monitoring.notificationChannelEditorhoặc Monitoring Editor) - Đã cài Echobell (App Store / Google Play)
- Mười phút
Project của bạn không cần chấp nhận lưu lượng đi vào. Cloud Monitoring là bên gửi yêu cầu đi.
Bước 1 — Tạo một kênh biết đổ chuông
Trong Echobell, tạo một kênh và đặt loại thông báo là Cuộc gọi. Kênh cuộc gọi hành xử như một cuộc gọi đến chứ không phải thông báo đẩy, nên nó chiếm toàn màn hình và đổ chuông. Khi chế độ Tập trung hoặc Không làm phiền của iOS đang bật, nó chỉ đổ chuông nếu cài đặt Tập trung của bạn cho phép cuộc gọi đi qua.
Mở Cài đặt nâng cao của kênh và bật Mẫu tùy chỉnh. Cloud Monitoring bọc mọi thứ trong một đối tượng incident, nên template đọc các trường lồng nhau:
Tiêu đề: {{incident.state}}: {{incident.policy_name}}
Nội dung: {{incident.summary}}
Đặt template liên kết để chạm vào thông báo là mở incident trong console Google Cloud:
{{incident.url}}
Thêm một điều kiện để chỉ những incident mới mở mới đổ chuông:
incident.state == "open"
Sao chép URL webhook của kênh trong màn hình chi tiết kênh:
https://hook.echobell.one/t/<channel-token>
Bước 2 — Thêm kênh thông báo webhook trong Google Cloud
- Vào Monitoring → Alerting và bấm Edit notification channels
- Trong mục Webhooks, bấm Add new
- Endpoint URL: URL kênh Echobell của bạn ở Bước 1
- Display name:
Echobell (call) - Để tắt Use HTTP Basic Auth
- Bấm Test connection, rồi Save
Cố ý để tắt Basic Auth. Cơ chế bắt tay Basic Auth của Google mong endpoint trả lời yêu cầu đầu tiên bằng 401 kèm header WWW-Authenticate; còn Echobell xác thực bằng token bí mật trong URL, nên hãy coi URL đó như một mật khẩu.
Nếu bạn quản lý kênh bằng Terraform, cùng kênh đó được viết như sau:
resource "google_monitoring_notification_channel" "echobell_call" {
display_name = "Echobell (call)"
type = "webhook_tokenauth"
labels = {
url = "https://hook.echobell.one/t/<channel-token>"
}
}
Đừng đưa token vào version control — hãy đọc nó từ biến hoặc Secret Manager thay vì commit URL.
Bước 3 — Gắn kênh vào những policy xứng đáng một cuộc gọi
Mở một alerting policy, vào Notifications and name, và thêm Echobell (call) trong mục Notification channels. Một policy có thể thông báo tới nhiều kênh cùng lúc, nên hãy giữ kênh email hoặc Slack sẵn có bên cạnh.
Hãy kén chọn ở bước này. Đây mới là bộ lọc thật sự: một kênh chỉ gắn với "API production sập" và "database hết dung lượng đĩa" sẽ reo đủ hiếm để bạn vẫn còn bắt máy. Cứ để "CPU trên 70% trong năm phút" đi qua email.
Hai cài đặt trên cùng trang đó định hình những gì tới được điện thoại của bạn:
- Notify on incident closure. Khi bật, Cloud Monitoring cũng gửi thông báo lúc incident đóng. Điều kiện
incident.state == "open"ở Bước 1 giữ cho thông báo đó không đổ chuông; Bước 6 chỉ cách nhận nó một cách yên lặng. - Incident autoclose duration. Nếu metric ngừng báo dữ liệu, các incident đang mở sẽ đóng sau khoảng thời gian này. Cứ để mặc định trừ khi bạn có lý do để đổi.
Bước 4 — Biết payload thực sự trông ra sao
Mặc định Cloud Monitoring gửi schema phiên bản 1.2. Rút gọn còn những trường bạn hay dùng, một incident đang mở trông như sau:
{
"version": "1.2",
"incident": {
"incident_id": "0.opqiw61fsv7p",
"scoping_project_id": "my-project",
"url": "https://console.cloud.google.com/monitoring/alerting/incidents/0.opqiw61fsv7p?project=my-project",
"state": "open",
"renotify": false,
"started_at": 1794713564,
"ended_at": null,
"policy_name": "Prod API 5xx rate",
"condition_name": "5xx ratio above 5%",
"resource_display_name": "prod-api",
"threshold_value": "0.05",
"observed_value": "0.183",
"severity": "Critical",
"policy_user_labels": {
"team": "payments"
},
"documentation": {
"content": "Check the latest deploy first. Runbook: https://wiki.example.com/api-5xx",
"mime_type": "text/markdown"
},
"summary": "5xx ratio for prod-api with metric labels {response_code_class=500} is above the threshold of 0.050 with a value of 0.183."
}
}
Những điều nên biết trước khi sửa template:
- Mọi thứ nằm dưới
incident.{{policy_name}}hiển thị rỗng;{{incident.policy_name}}thì không. statelàopenhoặcclosed. Chỉ một trường đó là thứ mà điều kiện và template tiêu đề dựa vào.summarylà văn bản do hệ thống sinh ra. Google không cam kết định dạng ổn định cho nó, nên hãy hiển thị nhưng đừng so khớp nó trong điều kiện.- Trường có thể bị thiếu. Google lưu ý rằng một số trường vắng mặt hoặc là null tùy theo policy và trạng thái incident. Trường bị thiếu hiển thị thành chuỗi rỗng trong Echobell, nên template vẫn chạy; chỉ đừng xây điều kiện trên một trường mà policy của bạn không đặt.
documentation.contentlà của bạn. Bất cứ gì bạn gõ vào ô Documentation của policy đều tới đây. Một chỉ dẫn một dòng ("Kiểm tra lần deploy gần nhất trước") hữu ích trên chiếc điện thoại đang reo hơn bản tóm tắt tự sinh.- Severity theo policy. Nó là mức nào bạn đặt trên policy. Hãy tự gửi một incident thử và kiểm tra giá trị chính xác trước khi lọc theo nó.
Một phần nội dung ưu tiên lời của chính bạn và dùng summary làm phương án dự phòng:
{{incident.documentation.content}}
{{incident.summary}}
Bước 5 — Quyết định cái gì đổ chuông, và bao lâu một lần
Phần lớn việc lọc đã diễn ra khi bạn chọn policy nào được gắn kênh. Điều kiện kênh của Echobell lo phần còn lại.
| Mục tiêu | Điều kiện |
|---|---|
| Chỉ reo khi incident mở | incident.state == "open" |
| Reo một lần, không reo ở mỗi lần nhắc lại | incident.state == "open" && !incident.renotify |
| Chỉ reo cho policy của một nhóm | incident.state == "open" && incident.policy_user_labels.team == "payments" |
| Chỉ reo ban đêm (00:00–07:00 UTC) | incident.state == "open" && hour < 7 |
Nhắc lại. Một policy có thể gửi lại thông báo khi incident vẫn còn mở: trong API đó là alertStrategy.notificationChannelStrategy[].renotifyInterval, từ 30 phút đến 24 giờ. Những lần lặp đó tới với renotify: true. Có nên để chúng đổ chuông hay không là lựa chọn của bạn: reo lại là một kiểu leo thang thô sơ nhưng hiệu quả cho incident chưa ai xử lý, còn bỏ qua chúng giúp một sự cố kéo dài không reo suốt đêm. Hàng thứ hai của bảng làm việc bỏ qua đó.
User label. User label của policy, như team: payments, đi kèm trong policy_user_labels. Một điều kiện dựa trên chúng cho phép một kênh gắn với nhiều policy đổ chuông cho một số policy và im lặng với phần còn lại. Label chỉ lọc, không định tuyến: mỗi URL webhook luôn kích hoạt cùng một kênh Echobell, nên label không thể gửi incident sang kênh của người khác.
Các biến thời gian của Echobell theo UTC, nên hãy quy đổi từ múi giờ của bạn trước. Tài liệu tham khảo điều kiện có danh sách biến đầy đủ.
Bước 6 — Cho thông báo đóng incident một cánh cửa yên tĩnh hơn
Khi Notify on incident closure được bật, một incident đã đóng là tin tốt đáng xem chứ không đáng đổ chuông. Tạo kênh Echobell thứ hai loại Nhạy thời gian (Time Sensitive) (hoặc thường) với cùng template và không có điều kiện, thêm nó vào Google Cloud như kênh webhook thứ hai, rồi gắn cả hai vào policy. Template tiêu đề đã đọc ra "closed: Prod API 5xx rate".
| Kênh Echobell | Điều kiện | Loại kênh | Hành vi |
|---|---|---|---|
gcp-call | incident.state == "open" | Cuộc gọi | Reo như một cuộc gọi đến |
gcp-log | không có | Nhạy thời gian hoặc Thường | Mọi lần mở, nhắc lại và đóng, không đổ chuông |
Hãy thử trước khi tin tưởng
Thử phía Echobell trước. POST một payload có dạng giống của Cloud Monitoring:
curl -X POST https://hook.echobell.one/t/<channel-token> \
-H 'Content-Type: application/json' \
-d '{"version":"1.2","incident":{"state":"open","renotify":false,"policy_name":"Manual test","summary":"Testing the Echobell path","url":"https://console.cloud.google.com/monitoring/alerting"}}'
Sau đó thử phía Google. Nút Test connection gửi một payload mẫu mà các trường không phải incident thật, nên có thể không qua được điều kiện của bạn. Để thử từ đầu đến cuối, hãy tạo một policy dùng tạm với ngưỡng bạn đang vượt sẵn — chẳng hạn mức sử dụng CPU của VM trên 1% — gắn Echobell (call), chờ nó kích hoạt, rồi xóa policy.
Nếu curl reo mà policy thật thì không, vấn đề nằm ở phía Google — kênh chưa được gắn, điều kiện chưa thỏa đủ thời lượng của nó, hoặc endpoint URL bị sao chép sai — chứ không phải ở kênh Echobell.
Cảnh báo dựa trên log và uptime check
- Uptime check tự nó không thông báo cho ai; nó cấp dữ liệu cho một alerting policy. Hãy tạo policy từ uptime check đó và gắn cùng kênh webhook.
- Alerting policy dựa trên log chỉ thông báo khi incident mở — Google không gửi thông báo đóng cho chúng — và bắt buộc có giới hạn tần suất thông báo, giới hạn số lần một dòng log ồn ào có thể gọi bạn. Điều kiện
incident.state == "open"vẫn hoạt động; chỉ là kênh nhận thông báo đóng sẽ không bao giờ nghe gì từ các policy này.
Các giới hạn quan trọng khi có sự cố
- Thân yêu cầu 1 MiB. Echobell từ chối thân yêu cầu kích hoạt lớn hơn 1 MiB bằng HTTP 413. Một incident của Cloud Monitoring chỉ vài kilobyte.
- 120 yêu cầu mỗi phút cho mỗi token. Vượt qua đó, trigger trả về
429kèmRATE_LIMIT_EXCEEDEDvà mộtRetry-After. Một policy hiếm khi chạm tới, nhưng hàng chục policy cùng kích hoạt trong một sự cố khu vực thì có thể — thêm một lý do để giữ kênh cuộc gọi trong một danh sách ngắn. - 1500 byte nội dung thông báo. Bản dựng dài hơn bị cắt. Hãy viết tài liệu của policy thật ngắn, hoặc đặt liên kết tới runbook thay vì cả runbook.
Những gì thiết lập này không cho bạn
- Không có xác nhận (ack). Bắt máy không xác nhận hay đóng incident trong Google Cloud.
- Không có leo thang hay ca trực. Mọi người đăng ký kênh đều bị gọi; không có ai được gọi tiếp theo.
- Không khử trùng lặp ngoài phạm vi incident. Một điều kiện chập chờn sẽ mở incident mới mỗi lần, và mỗi incident đều reo. Hãy sửa trên policy bằng cửa sổ thời lượng dài hơn.
Nếu những điểm đó là không chấp nhận được, bạn cần một nền tảng on-call đầy đủ. Còn nếu thứ bạn cần là "gọi tôi khi policy production kích hoạt", thì đây chỉ là hai màn hình trong console.
Khắc phục sự cố
Incident đã mở nhưng không có gì tới. Mở incident trong Monitoring → Alerting và kiểm tra policy có liệt kê kênh webhook không. Đảm bảo endpoint URL là URL Echobell đầy đủ, kể cả token.
Thông báo tới nhưng không đổ chuông. Loại kênh không phải Cuộc gọi, hoặc cài đặt Tập trung trên điện thoại không cho cuộc gọi đi qua. Hãy kiểm tra kênh và cấu hình Tập trung của bạn.
Thông báo trống trơn. Template đang đọc các trường ở cấp cao nhất. Hãy thêm tiền tố incident. — {{incident.policy_name}}, không phải {{policy_name}}.
Cứ nửa tiếng lại reo. Policy có khoảng renotify. Hãy bỏ nó, hoặc thêm !incident.renotify vào điều kiện.
Reo khi incident đóng. Điều kiện thiếu incident.state == "open", hoặc đang đặt ở nhầm kênh.
Câu hỏi thường gặp
Google Cloud Monitoring có gọi thẳng tới số điện thoại được không?
Không. Các kênh thông báo là email, SMS, ứng dụng di động Google Cloud, Slack, Google Chat, PagerDuty, Pub/Sub và webhook. Cuộc gọi thoại cần dịch vụ bên ngoài: một nền tảng on-call, hoặc một webhook cuộc gọi như Echobell.
Tôi có cần Pub/Sub hay Cloud Function không?
Không. Cloud Monitoring tự POST incident tới URL webhook. Pub/Sub là khuyến nghị của Google cho các endpoint không công khai; endpoint của Echobell là công khai, nên kênh webhook là đủ.
Cảnh báo Cloud Monitoring có xuyên qua Không làm phiền không?
Chỉ khi nó tới dưới dạng cảnh báo kiểu cuộc gọi. Kênh Echobell loại cuộc gọi hành xử như một cuộc gọi đến, và chế độ Tập trung cùng Không làm phiền của iOS cho loại đó đi qua khi cài đặt Tập trung của bạn cho phép cuộc gọi. SMS hay thông báo đẩy thường thì không. Hãy bật thêm Thử lại cuộc gọi lỗi: khi "Cho phép cuộc gọi lặp lại" được bật trong cài đặt Tập trung, cuộc gọi thứ hai trong vòng ba phút có thể đổ chuông.
Tôi có nên dùng tùy chọn Basic Auth trên webhook không?
Không. Echobell xác thực bằng token trong URL. Luồng Basic Auth của Google mong nhận một thử thách 401 trước, điều mà Echobell không gửi.
Tôi có thể gọi những người khác nhau cho các policy khác nhau không?
Có. Tạo mỗi đối tượng một kênh Echobell, thêm URL của từng kênh vào Google Cloud thành một kênh webhook riêng, rồi gắn từng kênh vào các policy mà đối tượng đó phụ trách. Một URL webhook luôn kích hoạt cùng một kênh Echobell, nên điều kiện policy_user_labels có thể tắt tiếng một số policy trên kênh đó nhưng không thể chuyển chúng sang kênh khác. Không có xác nhận, nên mọi người đăng ký bằng "cuộc gọi" đều được gọi.
Còn nhiều project thì sao?
Một kênh thông báo thuộc về một project. Hãy tạo kênh webhook trong từng project — cùng một URL Echobell dùng được cho tất cả — hoặc đặt cảnh báo từ một scoping project giám sát các project còn lại.
Tổng kết
Đường dẫn gồm bốn phần: một kênh cuộc gọi với điều kiện incident.state == "open", một kênh thông báo webhook trỏ tới nó, một danh sách ngắn các policy xứng đáng một cuộc gọi, và một lần thử thật trước khi bạn dựa vào nó. Phần còn lại là giữ danh sách đó đủ ngắn, sao cho một tháng nữa tiếng chuông vẫn còn ý nghĩa.
Tải Echobell cho iPhone hoặc lấy trên Google Play, rồi trỏ alerting policy quan trọng nhất của bạn tới đó.