İçeriğe geç
Muhammet Şafak
en
Cevaplandı:

Alarmlarımı belirti üzerine mi yoksa neden üzerine mi kurmalıyım?


Soru

Ekibim gözlemlenebilirlik tarafında Prometheus/Alertmanager kullanıyor ve alarmlarımızın çoğu doğrudan kaynak metriklerine bağlı: CPU %80'i geçince, memory şu eşiğe gelince page atıyor. Sorun şu: CPU spike'ları için gece yarısı page alıyoruz ama kullanıcı tarafında hiçbir şey bozulmuyor; servis normal yanıt veriyor. Artık herkes pager'ı ciddiye almamaya başladı, gerçek bir olayı da kaçıracağız diye korkuyorum. Alarmları belirti üzerine mi yoksa neden üzerine mi kurmalıyım?

Cevap

Kısa cevap

Page’i belirti üzerine kurun — yani kullanıcının fiilen hissettiği şeye (gecikme, hata oranı, erişilebilirlik).

Bağlam

CPU gibi nedenler teşhis için değerlidir ama page’e değil dashboard’a ve ticket’a aittir. Yaşadığınız pager yorgunluğu tam da bu karışıklığın sonucu.

Neden

  1. Kullanıcıya dokunan belirtilere page atın. İstek gecikmesi (p99) ve hata oranı (5xx, başarısız işlem yüzdesi) — Google SRE’nin dört “golden signal”ından ikisi (diğer ikisi trafik ve saturation). Kullanıcı bir şey hissetmiyorsa, tanımı gereği acil bir durum yoktur.

  2. CPU’yu bozukluk sanmayın. Yüksek CPU çoğu zaman sağlıklıdır; makineyi verimli kullanıyorsunuz demektir. Kullanıcıya yansımayan bir CPU spike için birini uyandırmak, sadece pager’a olan güveni öldürür — ki tam olarak bu oldu.

Ne yapmalı

  1. Mümkünse SLO ve error budget üzerinden alın. “5 dakikada CPU %80” yerine “hata bütçemizi şu hızla tüketiyoruz” deyin. Çok pencereli burn-rate alarmı, hem hızlı çöküşü hem yavaş sızıntıyı yakalar, gürültüyü de düşürür.

    - alert: HighErrorBurnRate
      expr: |
        sum(rate(http_requests_total{status=~"5.."}[5m]))
          / sum(rate(http_requests_total[5m])) > 0.02
      for: 5m
      labels: { severity: page }
      annotations:
        summary: "5xx oranı >%2 (kullanıcı etkileniyor)"
  2. Her page eyleme dönük ve acil olmalı. Uyandırdığınız kişi hemen bir şey yapamayacaksa ya da yapması gerekmiyorsa, o bir page değildir. Eyleme dönük olmayan her uyarı, ekibe “pager’ı görmezden gel” diye antrenman yaptırır.

  3. Nedenleri atmayın — yerini değiştirin. CPU, memory, disk IO teşhis ve kapasite planı için birebirdir; bunları dashboard’da ve warning seviyesinde ticket olarak tutun, page olarak değil. Bir istisna var: bir nedenin bir belirtiyi kaçınılmaz kıldığı durumlar. “Disk 4 saatte dolacak” gibi öngörücü doygunluk alarmları page’e değer, çünkü daha olmadan gelecek bir belirtiyi haber verir.

Sonuç: Ben olsam page tanımını tek cümleye indirirdim: “Bu, bir kullanıcının şu an acı çektiği ya da yakında çekeceği anlamına mı geliyor?” Cevap hayırsa dashboard’a ya da ticket’a taşırdım. Mevcut CPU/memory page’lerini düşürüp servis başına birkaç SLO tanımlar, page’i sadece belirti ve öngörücü doygunlukla sınırlar, gerisini gündüz bakılan sinyallere çevirirdim. Pager’a güven bir kez gittiğinde geri kazanmak zordur; onu yalnızca gerçekten acil olan için saklayın.

Sahada karşılaşılan ve bana sorulan sorulardan derlendi.

Yorumlar

Yorum yapmak için GitHub hesabınızla giriş yapmanız yeterli. Yorumlar GitHub Discussions üzerinde saklanır.

Diğer Sorular

Tüm sorular

Sitede Ara

Yazı, proje ve sayfalarda arama yapmak için yazmaya başlayın.

Esc ile kapat Pagefind ile güçlendirildi