İçindekiler
- Yerleşik kanallar gece 3'te neden yetmiyor
- Gerekenler
- Adım 1 — Çalan bir kanal oluşturun
- Adım 2 — Google Cloud'da bir webhook bildirim kanalı ekleyin
- Adım 3 — Kanalı aramayı hak eden politikalara bağlayın
- Adım 4 — Payload'ın gerçekte nasıl göründüğünü bilin
- Adım 5 — Neyin ve ne sıklıkla çalacağına karar verin
- Adım 6 — Kapanan olaylara daha sessiz bir kapı açın
- Güvenmeden önce test edin
- Log tabanlı uyarılar ve çalışma süresi kontrolleri
- Olay anında önemli olan sınırlar
- Bu kurulumun vermediği şeyler
- Sorun giderme
- Sık sorulan sorular
- Google Cloud Monitoring doğrudan bir telefon numarasını arayabilir mi?
- Pub/Sub'a ya da bir Cloud Function'a ihtiyacım var mı?
- Cloud Monitoring uyarısı Rahatsız Etmeyin'i aşar mı?
- Webhook'ta Basic Auth seçeneğini kullanmalı mıyım?
- Farklı politikalar için farklı kişileri arayabilir miyim?
- Peki birden çok proje?
- Özet
- İlgili yazılar
Google Cloud Monitoring telefonunuzu arayamaz. Bildirim kanalları e-posta, SMS, Google Cloud mobil uygulaması, Slack, Google Chat, PagerDuty, Pub/Sub ve webhook'lardır; Google'ın kendi belgeleri de SMS'in tam güvenilir olmadığını ve bölgenizde kullanılamayabileceğini söyler. Bir uyarı politikasının gelen arama gibi çalmasını istiyorsanız en kısa yol, bir Echobell arama kanalına işaret eden bir webhook kanalıdır: iki satır şablon ve tek bir koşul.
Bu rehber kanalı, webhook'u, Cloud Monitoring'in payload'da gerçekten gönderdiği alanları, "açık" olayların çalıp "kapalı" olanların sessiz kalmasını nasıl sağlayacağınızı ve telefonunuzun ne sıklıkla çalacağını belirleyen uyarı politikası ayarlarını kapsar.
Yerleşik kanallar gece 3'te neden yetmiyor
- E-posta siz bakana kadar bekler.
- SMS, Google'ın deyişiyle tam güvenilir bir kanal türü değildir ve ülkenizde sunulmuyor olabilir. Üstelik her mesaj gibi Rahatsız Etmeyin tarafından susturulur.
- Mobil uygulama sıradan bir bildirim gönderir. Kilit ekranında görünür ama çalmaya devam etmez.
- PagerDuty sizi arayabilir, ancak kendi kurulumu ve sözleşmesi olan tam bir nöbet platformudur.
Öte yandan bir webhook kanalı herkese açık HTTPS uç noktası olan her şeye ulaşabilir ve Cloud Monitoring ona her olay için yapılandırılmış bir JSON belgesi gönderir. Echobell'in ihtiyacı olan tek şey budur.
Gerekenler
- En az bir uyarı politikası (ya da uyarı almak istediğiniz bir çalışma süresi kontrolü) olan bir Google Cloud projesi
- Bildirim kanallarını düzenleme izni (
roles/monitoring.notificationChannelEditorveya Monitoring Editor) - Yüklü Echobell (App Store / Google Play)
- On dakika
Projenizde gelen trafiği kabul etmesi gereken hiçbir şey yok. Giden isteği Cloud Monitoring yapar.
Adım 1 — Çalan bir kanal oluşturun
Echobell'de bir kanal oluşturun ve bildirim türünü Arama yapın. Arama kanalı bir bildirim gibi değil, gelen çağrı gibi davranır, böylece ekranı kaplar ve çalar. iOS Odak modu veya Rahatsız Etmeyin açıkken yalnızca Odak ayarlarınız aramalara izin veriyorsa çalar.
Kanalın Gelişmiş Ayarlar bölümünü açın ve Özel Şablon'u etkinleştirin. Cloud Monitoring her şeyi bir incident nesnesine sarar, dolayısıyla şablonlar iç içe alanları okur:
Başlık: {{incident.state}}: {{incident.policy_name}}
Gövde: {{incident.summary}}
Bağlantı şablonunu ayarlayın ki bildirime dokununca olay Google Cloud konsolunda açılsın:
{{incident.url}}
Yalnızca yeni açılan olayların çalması için bir koşul ekleyin:
incident.state == "open"
Kanalın webhook URL'sini kanal ayrıntı ekranından kopyalayın:
https://hook.echobell.one/t/<channel-token>
Adım 2 — Google Cloud'da bir webhook bildirim kanalı ekleyin
- Monitoring → Alerting'i açın ve Edit notification channels'a tıklayın
- Webhooks altında Add new'a tıklayın
- Endpoint URL: 1. adımdaki Echobell kanal URL'niz
- Display name:
Echobell (call) - Use HTTP Basic Auth'u kapalı bırakın
- Test connection'a, ardından Save'e tıklayın
Basic Auth'u bilerek kapalı bırakıyoruz. Google'ın Basic Auth el sıkışması, uç noktanın ilk isteğe 401 ve bir WWW-Authenticate başlığıyla yanıt vermesini bekler; Echobell ise kimliği URL'deki gizli belirteçle doğrular, bu yüzden o URL'ye bir parola gibi davranın.
Kanalları Terraform ile yönetiyorsanız aynı kanal şöyle görünür:
resource "google_monitoring_notification_channel" "echobell_call" {
display_name = "Echobell (call)"
type = "webhook_tokenauth"
labels = {
url = "https://hook.echobell.one/t/<channel-token>"
}
}
Belirteci sürüm kontrolünün dışında tutun; URL'yi commit etmek yerine bir değişkenden veya Secret Manager'dan okuyun.
Adım 3 — Kanalı aramayı hak eden politikalara bağlayın
Bir uyarı politikasını açın, Notifications and name bölümüne gidin ve Notification channels altına Echobell (call) ekleyin. Bir politika aynı anda birden çok kanala bildirim gönderebilir, yani mevcut e-posta veya Slack kanalınız yanında kalabilir.
Burada seçici olun. Asıl filtre budur: yalnızca "üretim API'si çöktü" ve "veritabanının diski doldu" politikalarına bağlı bir kanal, hâlâ telefonu açacağınız kadar seyrek çalar. "Beş dakika boyunca CPU %70'in üzerinde" e-postada kalsın.
Aynı sayfadaki iki ayar telefonunuza neyin ulaşacağını belirler:
- Notify on incident closure. Açıksa Cloud Monitoring olay kapandığında da bildirim gönderir. 1. adımdaki
incident.state == "open"koşulu bunun çalmasını engeller; 6. adım onu sessizce nasıl alacağınızı gösterir. - Incident autoclose duration. Metrik veri göndermeyi bırakırsa açık olaylar bu süreden sonra kapanır. Bir nedeniniz yoksa varsayılan değerde bırakın.
Adım 4 — Payload'ın gerçekte nasıl göründüğünü bilin
Cloud Monitoring varsayılan olarak şema sürümü 1.2 gönderir. Büyük olasılıkla kullanacağınız alanlara indirgendiğinde açılmış bir olay şöyle görünür:
{
"version": "1.2",
"incident": {
"incident_id": "0.opqiw61fsv7p",
"scoping_project_id": "my-project",
"url": "https://console.cloud.google.com/monitoring/alerting/incidents/0.opqiw61fsv7p?project=my-project",
"state": "open",
"renotify": false,
"started_at": 1794713564,
"ended_at": null,
"policy_name": "Prod API 5xx rate",
"condition_name": "5xx ratio above 5%",
"resource_display_name": "prod-api",
"threshold_value": "0.05",
"observed_value": "0.183",
"severity": "Critical",
"policy_user_labels": {
"team": "payments"
},
"documentation": {
"content": "Check the latest deploy first. Runbook: https://wiki.example.com/api-5xx",
"mime_type": "text/markdown"
},
"summary": "5xx ratio for prod-api with metric labels {response_code_class=500} is above the threshold of 0.050 with a value of 0.183."
}
}
Bir şablonu düzenlemeden önce bilmeniz gerekenler:
- Her şey
incidentaltındadır.{{policy_name}}boş çıkar;{{incident.policy_name}}çıkmaz. state,openya daclosedolur. Koşul da başlık şablonu da bu tek alana dayanır.summaryüretilmiş bir metindir. Google bunun için sabit bir biçim vaat etmez; gösterin ama koşulda onunla eşleştirme yapmayın.- Alanlar eksik olabilir. Google, bazı alanların politikaya ve olayın durumuna göre bulunmayabileceğini veya null olabileceğini belirtir. Eksik bir alan Echobell'de boş dize olarak çıkar, böylece şablon çalışmaya devam eder; yalnızca politikalarınızın doldurmadığı bir alana koşul kurmayın.
documentation.contentsizindir. Politikanın Documentation kutusuna ne yazarsanız buraya gelir. Tek satırlık bir talimat ("Önce son deploy'u kontrol edin"), çalan bir telefonda üretilmiş özetten daha işe yarar.- Önem derecesi politikayı izler. Politikada hangi seviyeyi ayarladıysanız odur. Buna göre filtrelemeden önce kendinize bir test olayı gönderip tam değeri kontrol edin.
Sizin sözlerinizle başlayan ve yoksa özete dönen bir gövde:
{{incident.documentation.content}}
{{incident.summary}}
Adım 5 — Neyin ve ne sıklıkla çalacağına karar verin
Filtrelemenin çoğu, kanalı hangi politikalara bağlayacağınızı seçtiğinizde zaten yapıldı. Gerisini Echobell'in kanal koşulu halleder.
| Amaç | Koşul |
|---|---|
| Yalnızca olay açıldığında çal | incident.state == "open" |
| Her hatırlatmada değil, bir kez çal | incident.state == "open" && !incident.renotify |
| Yalnızca bir ekibin politikaları için çal | incident.state == "open" && incident.policy_user_labels.team == "payments" |
| Yalnızca gece çal (00:00–07:00 UTC) | incident.state == "open" && hour < 7 |
Hatırlatmalar. Bir politika, olay açık kaldığı sürece bildirimleri yeniden gönderebilir: API'de bu alertStrategy.notificationChannelStrategy[].renotifyInterval alanıdır ve 30 dakika ile 24 saat arasında olabilir. Bu tekrarlar renotify: true ile gelir. Çalıp çalmamaları bir tercih meselesidir: yeniden çalmak, kimsenin düzeltmediği bir olay için kaba ama etkili bir eskalasyondur; atlamak ise uzun bir kesintinin bütün gece çalmasını önler. Tablonun ikinci satırı onları atlar.
Kullanıcı etiketleri. team: payments gibi politika kullanıcı etiketleri policy_user_labels içinde gelir. Bunlara dayalı bir koşul, birçok politikaya bağlı tek bir kanalın bazıları için çalıp geri kalanında sessiz kalmasını sağlar. Etiketler filtreler, yönlendirmez: her webhook URL'si her zaman aynı Echobell kanalını tetikler, yani bir etiket bir olayı başka birinin kanalına gönderemez.
Echobell'in zaman değişkenleri UTC'dir, dolayısıyla önce kendi saat diliminizden çevirin. Koşul referansı tam değişken listesini içerir.
Adım 6 — Kapanan olaylara daha sessiz bir kapı açın
Notify on incident closure açıkken kapanan bir olay, görmeye değer ama çalmaya değmeyen iyi bir haberdir. Aynı şablonlarla ve koşulsuz, Zamana Duyarlı (Time Sensitive) (ya da normal) türünde ikinci bir Echobell kanalı oluşturun, onu Google Cloud'a ikinci bir webhook kanalı olarak ekleyin ve ikisini de politikaya bağlayın. Başlık şablonu zaten "closed: Prod API 5xx rate" olarak okunur.
| Echobell kanalı | Koşul | Kanal türü | Davranış |
|---|---|---|---|
gcp-call | incident.state == "open" | Arama | Gelen arama gibi çalar |
gcp-log | yok | Zamana Duyarlı veya Normal | Her açılış, hatırlatma ve kapanış, çalmadan |
Güvenmeden önce test edin
Önce Echobell tarafını test edin. Cloud Monitoring'inkine benzeyen bir payload gönderin:
curl -X POST https://hook.echobell.one/t/<channel-token> \
-H 'Content-Type: application/json' \
-d '{"version":"1.2","incident":{"state":"open","renotify":false,"policy_name":"Manual test","summary":"Testing the Echobell path","url":"https://console.cloud.google.com/monitoring/alerting"}}'
Ardından Google tarafını test edin. Test connection düğmesi, alanları gerçek bir olaya karşılık gelmeyen örnek bir payload gönderir; bu yüzden koşulunuzu geçemeyebilir. Uçtan uca test için şu anda zaten aştığınız bir eşikle geçici bir politika oluşturun (örneğin VM CPU kullanımı %1'in üzerinde), Echobell (call) kanalını bağlayın, tetiklenmesini bekleyin ve sonra politikayı silin.
curl çalıyor ama gerçek politika çalmıyorsa sorun Echobell kanalında değil, Google tarafındadır: kanal bağlı değildir, koşul henüz süresi boyunca karşılanmamıştır ya da Endpoint URL yanlış kopyalanmıştır.
Log tabanlı uyarılar ve çalışma süresi kontrolleri
- Çalışma süresi kontrolleri kendi başlarına kimseye bildirim göndermez; bir uyarı politikasını besler. Politikayı çalışma süresi kontrolünden oluşturun ve aynı webhook kanalını bağlayın.
- Log tabanlı uyarı politikaları yalnızca olay açıldığında bildirim gönderir (Google bunlar için kapanış bildirimi göndermez) ve gürültülü bir log satırının sizi ne sıklıkla arayabileceğini sınırlayan bir bildirim hızı sınırı gerektirir.
incident.state == "open"koşulu yine çalışır; kapanış kanalı bu politikalardan yalnızca hiçbir şey duymaz.
Olay anında önemli olan sınırlar
- 1 MiB gövde. Echobell 1 MiB'ı aşan tetikleyici gövdelerini HTTP 413 ile reddeder. Bir Cloud Monitoring olayı birkaç kilobayttır.
- Belirteç başına dakikada 120 istek. Bunun üstünde tetikleyici
429ileRATE_LIMIT_EXCEEDEDve birRetry-Afterdöndürür. Tek bir politika buna nadiren yaklaşır, ama bölgesel bir kesintide aynı anda tetiklenen onlarca politika yaklaşabilir; arama kanalını kısa bir listeyle sınırlamak için bir neden daha. - 1500 bayt bildirim gövdesi. Daha uzun çıktılar kırpılır. Politika belgelerini kısa tutun ya da runbook'un kendisi yerine bağlantısını koyun.
Bu kurulumun vermediği şeyler
- Onay yok. Aramayı yanıtlamak, Google Cloud'daki olayı onaylamaz veya kapatmaz.
- Eskalasyon ya da rotasyon yok. Kanala abone olan herkes aranır; sıradaki kimse yoktur.
- Olay ötesinde tekilleştirme yok. Gidip gelen bir koşul her seferinde yeni bir olay açar ve her biri çalar. Bunu politikada daha uzun bir süre penceresiyle düzeltin.
Bunlar sizin için olmazsa olmazsa, tam bir nöbet platformuna ihtiyacınız var. İhtiyacınız "üretim politikası tetiklenince beni ara" ise, bu konsolda iki ekranlık iştir.
Sorun giderme
Olay açıldı ama hiçbir şey gelmedi. Olayı Monitoring → Alerting içinde açın ve politikanın webhook kanalını listelediğini kontrol edin. Endpoint URL'nin belirteç dahil tam Echobell URL'si olduğundan emin olun.
Bildirim geldi ama çalmadı. Kanal türü Arama değil ya da telefonunuzun Odak ayarları aramalara izin vermiyor. Kanalı ve Odak yapılandırmanızı kontrol edin.
Bildirim boş. Şablon üst düzey alanları okuyor. Başlarına incident. ekleyin: {{policy_name}} değil, {{incident.policy_name}}.
Her yarım saatte bir yeniden çalıyor. Politikada bir yeniden bildirim aralığı var. Kaldırın ya da koşula !incident.renotify ekleyin.
Olay kapanınca çalıyor. Koşulda incident.state == "open" eksik ya da koşul yanlış kanalda.
Sık sorulan sorular
Google Cloud Monitoring doğrudan bir telefon numarasını arayabilir mi?
Hayır. Bildirim kanalları e-posta, SMS, Google Cloud mobil uygulaması, Slack, Google Chat, PagerDuty, Pub/Sub ve webhook'lardır. Sesli arama için harici bir hizmet gerekir: bir nöbet platformu ya da Echobell gibi bir arama webhook'u.
Pub/Sub'a ya da bir Cloud Function'a ihtiyacım var mı?
Hayır. Cloud Monitoring olayı webhook URL'sine kendisi gönderir. Google, herkese açık olmayan uç noktalar için Pub/Sub'ı önerir; Echobell'in uç noktası herkese açıktır, bu yüzden webhook kanalı yeterlidir.
Cloud Monitoring uyarısı Rahatsız Etmeyin'i aşar mı?
Yalnızca arama tarzı bir uyarı olarak geldiğinde. Arama türündeki bir Echobell kanalı gelen çağrı gibi davranır ve Odak ayarlarınız aramalara izin veriyorsa iOS Odak ile Rahatsız Etmeyin bunu geçirir. SMS ya da sıradan bildirim geçmez. Başarısız Aramayı Yeniden Dene'yi de açın: Odak ayarlarınızda Tekrarlanan Aramalar açıksa, üç dakika içindeki ikinci arama çalabilir.
Webhook'ta Basic Auth seçeneğini kullanmalı mıyım?
Hayır. Echobell kimliği URL'deki belirteçle doğrular. Google'ın Basic Auth akışı önce bir 401 sınaması bekler ve Echobell bunu göndermez.
Farklı politikalar için farklı kişileri arayabilir miyim?
Evet. Her hedef kitle için bir Echobell kanalı oluşturun, her kanalın URL'sini Google Cloud'a ayrı bir webhook kanalı olarak ekleyin ve her birini o kitlenin sorumlu olduğu politikalara bağlayın. Bir webhook URL'si her zaman aynı Echobell kanalını tetikler; bu yüzden policy_user_labels koşulu o kanalda bazı politikaları susturabilir ama onları başka bir kanala devredemez. Onay mekanizması olmadığı için "arama" ile abone olan herkes aranır.
Peki birden çok proje?
Bir bildirim kanalı tek bir projeye aittir. Webhook kanalını her projede oluşturun (aynı Echobell URL'si hepsinde çalışır) ya da diğerlerini izleyen bir kapsam projesinden (scoping project) uyarı gönderin.
Özet
Yol dört parçadan oluşuyor: incident.state == "open" koşuluna sahip bir arama kanalı, ona işaret eden bir webhook bildirim kanalı, aramayı hak eden kısa bir politika listesi ve ona güvenmeden önce gerçek bir test. Geri kalan her şey, bir ay sonra da bir zilin hâlâ bir anlam taşıması için o listeyi yeterince kısa tutmakla ilgili.
Echobell'i iPhone için indirin ya da Google Play'den edinin, sonra en önemli uyarı politikanızı ona yönlendirin.