目次
- 午前 3 時に標準チャネルでは足りない理由
- 必要なもの
- ステップ 1 — 鳴るチャンネルを作る
- ステップ 2 — Google Cloud に Webhook 通知チャネルを追加する
- ステップ 3 — 電話に値するポリシーにだけチャネルを付ける
- ステップ 4 — ペイロードの実際の形を知る
- ステップ 5 — 何を、どのくらいの頻度で鳴らすか決める
- ステップ 6 — クローズ通知には静かな入口を用意する
- 信用する前にテストする
- ログベースのアラートと稼働時間チェック
- インシデント中に効いてくる制限
- この構成で得られないもの
- トラブルシューティング
- よくある質問
- Google Cloud Monitoring はネイティブに電話番号へかけられますか?
- Pub/Sub や Cloud Function は必要ですか?
- Cloud Monitoring のアラートはおやすみモードを突破しますか?
- Webhook の Basic Auth オプションは使うべきですか?
- ポリシーごとに別の人へ電話できますか?
- 複数のプロジェクトはどうすればいいですか?
- まとめ
- 関連記事
Google Cloud Monitoring には電話をかける手段がありません。通知チャネルはメール、SMS、Google Cloud モバイルアプリ、Slack、Google Chat、PagerDuty、Pub/Sub、Webhook で、Google 自身のドキュメントも SMS は完全に信頼できるわけではなく、地域によっては使えないと書いています。アラートポリシーを着信のように鳴らしたいなら、最短の道は Echobell の着信チャンネルに向けた Webhook チャネルと、2 行のテンプレート、1 つの条件です。
このガイドでは、チャンネル、Webhook、Cloud Monitoring が実際に送るペイロードのフィールド、「open」のインシデントだけを鳴らして「closed」は静かにする方法、そしてスマホが鳴る頻度を決めるアラートポリシーの設定を扱います。
午前 3 時に標準チャネルでは足りない理由
- メールは、あなたが見に行くまで待っています。
- SMS は Google の言葉を借りれば完全に信頼できるチャネルタイプではなく、国によっては提供されていません。しかも他のメッセージと同じく、おやすみモードで消音されます。
- モバイルアプリが送るのは普通のプッシュです。ロック画面には出ますが、鳴り続けはしません。
- PagerDuty なら電話をかけられますが、独自の設定と契約を伴う本格的なオンコールプラットフォームです。
一方、Webhook チャネルは公開 HTTPS エンドポイントを持つものなら何にでも届き、Cloud Monitoring はインシデントごとに構造化された JSON ドキュメントを送ります。Echobell に必要なのはそれだけです。
必要なもの
- アラートポリシーが少なくとも 1 つある Google Cloud プロジェクト(またはアラートを出したい稼働時間チェック)
- 通知チャネルを編集する権限(
roles/monitoring.notificationChannelEditorまたは Monitoring Editor) - インストール済みの Echobell(App Store / Google Play)
- 10 分
プロジェクト側でインバウンドの通信を受ける必要はありません。アウトバウンドのリクエストは Cloud Monitoring が送ります。
ステップ 1 — 鳴るチャンネルを作る
Echobell でチャンネルを作り、通知タイプを 着信(Calling) にします。着信チャンネルはプッシュではなく着信として振る舞うので、画面全体に表示されて鳴ります。iOS の集中モードやおやすみモード中は、集中モードの設定で着信を許可している場合にのみ鳴ります。
チャンネルの詳細設定を開き、カスタムテンプレートをオンにします。Cloud Monitoring はすべてを incident オブジェクトで包んでいるので、テンプレートはネストしたフィールドを読みます。
タイトル: {{incident.state}}: {{incident.policy_name}}
本文: {{incident.summary}}
リンクテンプレートを設定しておくと、通知をタップして Google Cloud コンソールでインシデントを開けます。
{{incident.url}}
新しく開いたインシデントだけが鳴るよう、条件を追加します。
incident.state == "open"
チャンネル詳細画面からチャンネルの Webhook URL をコピーします。
https://hook.echobell.one/t/<channel-token>
ステップ 2 — Google Cloud に Webhook 通知チャネルを追加する
- Monitoring → Alerting を開き、Edit notification channels をクリック
- Webhooks の下で Add new をクリック
- Endpoint URL:ステップ 1 の Echobell チャンネル URL
- Display name:
Echobell (call) - Use HTTP Basic Auth はオフのまま
- Test connection をクリックしてから Save
Basic Auth はあえてオフにします。Google の Basic Auth のハンドシェイクは、エンドポイントが最初のリクエストに 401 と WWW-Authenticate ヘッダーで応答することを前提にしています。Echobell は URL 内の秘密トークンで認証するので、その URL はパスワードと同じように扱ってください。
チャネルを Terraform で管理しているなら、同じチャネルはこうなります。
resource "google_monitoring_notification_channel" "echobell_call" {
display_name = "Echobell (call)"
type = "webhook_tokenauth"
labels = {
url = "https://hook.echobell.one/t/<channel-token>"
}
}
トークンはバージョン管理に入れないでください。URL をコミットするのではなく、変数か Secret Manager から読み込みます。
ステップ 3 — 電話に値するポリシーにだけチャネルを付ける
アラートポリシーを開いて Notifications and name に進み、Notification channels に Echobell (call) を追加します。1 つのポリシーは複数のチャネルに同時に通知できるので、既存のメールや Slack のチャネルはそのまま残しておけます。
ここは厳しく選んでください。これが本当のフィルタです。「本番 API が落ちた」と「データベースのディスクが満杯」にだけ付けたチャンネルなら、鳴る回数が少ないので、鳴ったときにちゃんと出られます。「CPU が 5 分間 70% 超え」はメールのままにしておきましょう。
同じページにある 2 つの設定が、スマホに届くものを左右します。
- Notify on incident closure。 オンにすると、インシデントが閉じたときにも Cloud Monitoring が通知を送ります。ステップ 1 の
incident.state == "open"条件がその通知を鳴らさないようにします。静かに受け取る方法はステップ 6 で説明します。 - Incident autoclose duration。 メトリクスがデータを報告しなくなると、開いているインシデントはこの期間の後に閉じます。理由がなければデフォルトのままで構いません。
ステップ 4 — ペイロードの実際の形を知る
Cloud Monitoring はデフォルトでスキーマバージョン 1.2 を送ります。使いそうなフィールドだけに絞ると、開いたインシデントはこうなります。
{
"version": "1.2",
"incident": {
"incident_id": "0.opqiw61fsv7p",
"scoping_project_id": "my-project",
"url": "https://console.cloud.google.com/monitoring/alerting/incidents/0.opqiw61fsv7p?project=my-project",
"state": "open",
"renotify": false,
"started_at": 1794713564,
"ended_at": null,
"policy_name": "Prod API 5xx rate",
"condition_name": "5xx ratio above 5%",
"resource_display_name": "prod-api",
"threshold_value": "0.05",
"observed_value": "0.183",
"severity": "Critical",
"policy_user_labels": {
"team": "payments"
},
"documentation": {
"content": "Check the latest deploy first. Runbook: https://wiki.example.com/api-5xx",
"mime_type": "text/markdown"
},
"summary": "5xx ratio for prod-api with metric labels {response_code_class=500} is above the threshold of 0.050 with a value of 0.183."
}
}
テンプレートを編集する前に知っておきたいこと:
- すべては
incidentの下にあります。{{policy_name}}は空になり、{{incident.policy_name}}なら表示されます。 stateはopenかclosedです。 条件とタイトルテンプレートが頼りにしているのはこの 1 つのフィールドです。summaryは自動生成されたテキストです。 Google は形式の安定を約束していないので、表示には使っても条件でのマッチには使わないでください。- フィールドは欠けることがあります。 Google は、ポリシーやインシデントの状態によって一部のフィールドが存在しないか null になると説明しています。欠けたフィールドは Echobell では空文字列として描画されるのでテンプレートは動き続けますが、ポリシーで設定していないフィールドに条件を組まないでください。
documentation.contentは自分で書けます。 ポリシーの Documentation 欄に書いた内容がそのままここに届きます。鳴っているスマホでは、生成された要約より 1 行の指示(「まず直近のデプロイを確認」)のほうが役に立ちます。- 重大度はポリシーに従います。 ポリシーに設定したレベルがそのまま入ります。これでフィルタする前に、テストインシデントを自分に送って正確な値を確認してください。
自分の言葉を先頭に置き、要約で補う本文:
{{incident.documentation.content}}
{{incident.summary}}
ステップ 5 — 何を、どのくらいの頻度で鳴らすか決める
フィルタの大半は、どのポリシーにチャネルを付けるか選んだ時点で済んでいます。残りは Echobell のチャンネル条件が担います。
| 目的 | 条件 |
|---|---|
| インシデントが開いたときだけ鳴らす | incident.state == "open" |
| 1 回だけ鳴らし、リマインダーでは鳴らさない | incident.state == "open" && !incident.renotify |
| 特定チームのポリシーだけ鳴らす | incident.state == "open" && incident.policy_user_labels.team == "payments" |
| 夜間だけ鳴らす(00:00–07:00 UTC) | incident.state == "open" && hour < 7 |
リマインダー。 インシデントが開いている間、ポリシーは通知を再送できます。API では alertStrategy.notificationChannelStrategy[].renotifyInterval で、30 分から 24 時間の範囲です。この再送は renotify: true 付きで届きます。鳴らすかどうかは選択です。もう一度鳴らすのは、誰も直していないインシデントに対する粗いながら効果的なエスカレーションですし、スキップすれば長い障害で一晩中鳴り続けるのを防げます。表の 2 行目がスキップする書き方です。
ユーザーラベル。 team: payments のようなポリシーのユーザーラベルは policy_user_labels に入って届きます。これを条件に使えば、多数のポリシーに付けた 1 つのチャンネルを、一部のポリシーでは鳴らし、残りでは静かにできます。ラベルはフィルタであって振り分けではありません。各 Webhook URL は常に同じ Echobell チャンネルをトリガーするので、ラベルでインシデントを別の人のチャンネルへ送ることはできません。
Echobell の時刻変数は UTC なので、まず自分のタイムゾーンから換算してください。変数の全一覧は条件リファレンスにあります。
ステップ 6 — クローズ通知には静かな入口を用意する
Notify on incident closure をオンにすると、閉じたインシデントは見る価値のある良い知らせですが、鳴らすほどではありません。時間指定(Time Sensitive)(または通常)タイプの 2 つ目の Echobell チャンネルを、同じテンプレート・条件なしで作り、Google Cloud に 2 つ目の Webhook チャネルとして追加して、両方をポリシーに付けます。タイトルテンプレートは、すでに「closed: Prod API 5xx rate」と読めます。
| Echobell チャンネル | 条件 | チャンネルタイプ | 挙動 |
|---|---|---|---|
gcp-call | incident.state == "open" | 着信 | 着信のように鳴る |
gcp-log | なし | 時間指定または通常 | オープン、リマインダー、クローズをすべて受け取るが鳴らない |
信用する前にテストする
まず Echobell 側をテストします。 Cloud Monitoring と同じ形のペイロードを POST します。
curl -X POST https://hook.echobell.one/t/<channel-token> \
-H 'Content-Type: application/json' \
-d '{"version":"1.2","incident":{"state":"open","renotify":false,"policy_name":"Manual test","summary":"Testing the Echobell path","url":"https://console.cloud.google.com/monitoring/alerting"}}'
次に Google 側をテストします。 Test connection ボタンが送るのはサンプルのペイロードで、フィールドは実際のインシデントではないため、条件を通らないことがあります。エンドツーエンドで試すなら、すでに超えているしきい値の使い捨てポリシー(たとえば VM の CPU 使用率が 1% 超)を作り、Echobell (call) を付けて発火を待ち、その後ポリシーを削除します。
curl では鳴るのに実際のポリシーでは鳴らないなら、問題は Google 側にあります。チャネルが付いていない、条件がまだ継続時間を満たしていない、エンドポイント URL のコピーを間違えた、のどれかで、Echobell のチャンネルではありません。
ログベースのアラートと稼働時間チェック
- **稼働時間チェック(uptime check)**はそれ自体では誰にも通知せず、アラートポリシーにデータを渡します。稼働時間チェックからポリシーを作り、同じ Webhook チャネルを付けてください。
- ログベースのアラートポリシーはインシデントが開いたときにだけ通知し(Google はクローズ通知を送りません)、通知レート制限が必須です。これにより、騒がしいログ行があなたを鳴らせる頻度に上限がかかります。
incident.state == "open"条件はそのまま使えます。クローズ用のチャンネルには、これらのポリシーから何も届かないだけです。
インシデント中に効いてくる制限
- ボディ 1 MiB。 Echobell は 1 MiB を超えるトリガーボディを HTTP 413 で拒否します。Cloud Monitoring のインシデントは数 KB です。
- トークンごとに毎分 120 リクエスト。 それを超えるとトリガーは
429をRATE_LIMIT_EXCEEDEDとRetry-After付きで返します。1 つのポリシーで近づくことはまずありませんが、リージョン障害で数十のポリシーが一斉に発火すると届くことがあります。着信チャンネルを付けるポリシーを少なく保つべき理由がもう 1 つです。 - 通知本文 1500 バイト。 それより長い描画結果は切り詰められます。ポリシーのドキュメントは短くするか、ランブックそのものではなくランブックへのリンクを書いてください。
この構成で得られないもの
- 確認(ack)はありません。 電話に出ても、Google Cloud のインシデントが確認済みになったり閉じたりはしません。
- エスカレーションもローテーションもありません。 チャンネルを購読している全員に電話がかかり、「次の人」はいません。
- インシデントを超える重複排除はありません。 フラッピングする条件は毎回新しいインシデントを開き、そのたびに鳴ります。ポリシー側で継続時間のウィンドウを長くして直してください。
これらが致命的なら、必要なのは本格的なオンコールプラットフォームです。必要なのが「本番のポリシーが発火したら鳴らしてくれ」だけなら、コンソールの 2 画面で済みます。
トラブルシューティング
インシデントは開いたのに何も届かない。 Monitoring → Alerting でインシデントを開き、ポリシーに Webhook チャネルが含まれているか確認してください。エンドポイント URL がトークンまで含んだ完全な Echobell URL になっているかも確かめます。
通知は届いたが鳴らなかった。 チャンネルタイプが 着信(Calling) になっていないか、スマホの集中モードの設定で着信を許可していません。チャンネルと集中モードの設定を確認してください。
通知が空になる。 テンプレートがトップレベルのフィールドを読んでいます。incident. を前に付けてください。{{policy_name}} ではなく {{incident.policy_name}} です。
30 分ごとにまた鳴る。 ポリシーに再通知の間隔が設定されています。それを外すか、条件に !incident.renotify を加えてください。
インシデントが閉じたときに鳴る。 条件に incident.state == "open" がないか、別のチャンネルに設定されています。
よくある質問
Google Cloud Monitoring はネイティブに電話番号へかけられますか?
いいえ。通知チャネルはメール、SMS、Google Cloud モバイルアプリ、Slack、Google Chat、PagerDuty、Pub/Sub、Webhook です。音声通話には外部サービスが必要です。オンコールプラットフォームか、Echobell のような着信 Webhook です。
Pub/Sub や Cloud Function は必要ですか?
いいえ。Cloud Monitoring 自体が Webhook URL にインシデントを POST します。Pub/Sub は公開されていないエンドポイント向けに Google が推奨する方法です。Echobell のエンドポイントは公開されているので、Webhook チャネルだけで十分です。
Cloud Monitoring のアラートはおやすみモードを突破しますか?
着信型アラートとして届いた場合だけです。着信タイプの Echobell チャンネルは着信として振る舞うため、集中モードの設定で着信を許可していれば、iOS の集中モードやおやすみモードが通します。SMS や通常のプッシュは通りません。あわせて 失敗した通話を再試行 もオンにしてください。集中モードの設定で「繰り返しの着信を許可」をオンにしていれば、3 分以内の 2 回目の着信は鳴ることがあります。
Webhook の Basic Auth オプションは使うべきですか?
いいえ。Echobell は URL 内のトークンで認証します。Google の Basic Auth のフローはまず 401 のチャレンジを期待しますが、Echobell はそれを送りません。
ポリシーごとに別の人へ電話できますか?
できます。対象者ごとに Echobell チャンネルを作り、各チャンネルの URL をそれぞれ別の Webhook チャネルとして Google Cloud に追加し、その対象者が担当するポリシーに付けます。1 つの Webhook URL は常に同じ Echobell チャンネルをトリガーするため、policy_user_labels の条件はそのチャンネルで一部のポリシーをミュートすることはできても、別のチャンネルに回すことはできません。確認の仕組みはないので、「着信」で購読している全員に電話がかかります。
複数のプロジェクトはどうすればいいですか?
通知チャネルは 1 つのプロジェクトに属します。プロジェクトごとに Webhook チャネルを作るか(同じ Echobell URL がすべてで使えます)、他のプロジェクトを監視するスコーピングプロジェクトからアラートを出してください。
まとめ
経路は 4 つの部品です。incident.state == "open" 条件付きの着信チャンネル、それを指す Webhook 通知チャネル、電話に値するポリシーの短いリスト、そして頼る前に行う本物のテスト。残りはすべて、1 か月後も着信音が意味を保てるよう、そのリストを十分に短く保つための話です。
iPhone 版 Echobell をダウンロード、または Google Play で入手して、いちばん重要なアラートポリシーをそこへ向けてください。