Alarmlarımı belirti üzerine mi yoksa neden üzerine mi kurmalıyım?
Soru
Ekibim gözlemlenebilirlik tarafında Prometheus/Alertmanager kullanıyor ve alarmlarımızın çoğu doğrudan kaynak metriklerine bağlı: CPU %80'i geçince, memory şu eşiğe gelince page atıyor. Sorun şu: CPU spike'ları için gece yarısı page alıyoruz ama kullanıcı tarafında hiçbir şey bozulmuyor; servis normal yanıt veriyor. Artık herkes pager'ı ciddiye almamaya başladı, gerçek bir olayı da kaçıracağız diye korkuyorum. Alarmları belirti üzerine mi yoksa neden üzerine mi kurmalıyım?
Cevap
Kısa cevap
Page’i belirti üzerine kurun — yani kullanıcının fiilen hissettiği şeye (gecikme, hata oranı, erişilebilirlik).
Bağlam
CPU gibi nedenler teşhis için değerlidir ama page’e değil dashboard’a ve ticket’a aittir. Yaşadığınız pager yorgunluğu tam da bu karışıklığın sonucu.
Neden
-
Kullanıcıya dokunan belirtilere page atın. İstek gecikmesi (p99) ve hata oranı (5xx, başarısız işlem yüzdesi) — Google SRE’nin dört “golden signal”ından ikisi (diğer ikisi trafik ve saturation). Kullanıcı bir şey hissetmiyorsa, tanımı gereği acil bir durum yoktur.
-
CPU’yu bozukluk sanmayın. Yüksek CPU çoğu zaman sağlıklıdır; makineyi verimli kullanıyorsunuz demektir. Kullanıcıya yansımayan bir CPU spike için birini uyandırmak, sadece pager’a olan güveni öldürür — ki tam olarak bu oldu.
Ne yapmalı
-
Mümkünse SLO ve error budget üzerinden alın. “5 dakikada CPU %80” yerine “hata bütçemizi şu hızla tüketiyoruz” deyin. Çok pencereli burn-rate alarmı, hem hızlı çöküşü hem yavaş sızıntıyı yakalar, gürültüyü de düşürür.
- alert: HighErrorBurnRate expr: | sum(rate(http_requests_total{status=~"5.."}[5m])) / sum(rate(http_requests_total[5m])) > 0.02 for: 5m labels: { severity: page } annotations: summary: "5xx oranı >%2 (kullanıcı etkileniyor)" -
Her page eyleme dönük ve acil olmalı. Uyandırdığınız kişi hemen bir şey yapamayacaksa ya da yapması gerekmiyorsa, o bir page değildir. Eyleme dönük olmayan her uyarı, ekibe “pager’ı görmezden gel” diye antrenman yaptırır.
-
Nedenleri atmayın — yerini değiştirin. CPU, memory, disk IO teşhis ve kapasite planı için birebirdir; bunları dashboard’da ve
warningseviyesinde ticket olarak tutun, page olarak değil. Bir istisna var: bir nedenin bir belirtiyi kaçınılmaz kıldığı durumlar. “Disk 4 saatte dolacak” gibi öngörücü doygunluk alarmları page’e değer, çünkü daha olmadan gelecek bir belirtiyi haber verir.
Sonuç: Ben olsam page tanımını tek cümleye indirirdim: “Bu, bir kullanıcının şu an acı çektiği ya da yakında çekeceği anlamına mı geliyor?” Cevap hayırsa dashboard’a ya da ticket’a taşırdım. Mevcut CPU/memory page’lerini düşürüp servis başına birkaç SLO tanımlar, page’i sadece belirti ve öngörücü doygunlukla sınırlar, gerisini gündüz bakılan sinyallere çevirirdim. Pager’a güven bir kez gittiğinde geri kazanmak zordur; onu yalnızca gerçekten acil olan için saklayın.
Sahada karşılaşılan ve bana sorulan sorulardan derlendi.
Yorumlar
Yorum yapmak için GitHub hesabınızla giriş yapmanız yeterli. Yorumlar GitHub Discussions üzerinde saklanır.