İçeriğe geç
Muhammet Şafak
en

Kitap II / III The Unreliable Systems Trilogy

Güvenilir Event-Driven Sistemler Tasarlamak

Mesajlaşma, retry, idempotency, outbox, ordering ve schema evolution

Ağlar, broker'lar, deploy'lar ve insanlar yanlış davrandığında bile event-driven sistemleri doğru tutan örüntülere dair pratik bir rehber.

  • 340 sayfa
  • 1. baskı
  • Ücretsiz

Kitabın tezi

Değil

message broker'lar

Aksine

failure semantics

  • 01

    Failure semantics

    Bir mesaj geciktiğinde, kaybolduğunda, çoğaldığında ya da sırası bozulduğunda ne olacağını tanımlayın.

  • 02

    Teslimat ve çoğalma

    At-least-once teslimatı bir gerçek olarak kabul edin ve handler'ları iki kez çalışmaya dayanıklı yapın.

  • 03

    Kurtarma ve replay

    İşler ters gittikten sonra sistemin yolunu nasıl bulacağını önceden planlayın.

Kitap hakkında

Bir instance siparişi veritabanına yazdı ve event’i göndermeden kapandı; alarm çalmadı. Ertesi sabah bir alıcı “verildi” görünen bir siparişe bakıyordu: Payments hiçbir kartı yetkilendirmemiş, Inventory hiçbir ürünü ayırmamıştı. Sahne, Parcelly adlı kurgusal bir pazar yerinde geçer ve ortada alışılmış anlamda kodlanmış bir hata yoktur: her satır yazdığını yaptı, sistem veritabanı commit’i ile ağ çağrısı arasındaki boşlukta bozuldu.

Kitabın iddiası, sorunun message broker’larda değil failure semantics’te olduğudur: bir mesaj geciktiğinde, kaybolduğunda, çoğaldığında ya da sırası bozulduğunda ne olacağına önceden karar vermek. Açılış sahnesindeki boşluğun adı dual-write problemidir; kitap onu transactional outbox ile kapatır, ardından teslimat, çoğalma, kurtarma ve replay konularına geçer.

Kitap hiçbir broker’a özel değildir ve izlendiğinde sisteminizin doğru olacağını vaat etmez. Güvenilirlik sonradan eklenen bir özellik değil; hangi hataları nasıl ele alacağınıza ve hangilerini bilerek kabul edeceğinize verdiğiniz kararlardır. Her numaralı bölüm örüntünün maliyetini, sık yapılan hataları ve ne zaman kullanılmaması gerektiğini söyler.

İçindekiler

  1. 01 Önsöz Kitabın tezini koyar: güvenilirlik broker seçiminden değil, failure semantics'ten gelir. Sipariş commit edilmiş ama event'i hiç yayımlanmamış bir sahneyle açılır; kitabın kime hitap ettiğini, nasıl düzenlendiğini ve pseudocode'un nasıl okunacağını anlatır.
  2. 02 Happy Path'in Yalanı Yalnızca happy path'e karşı test edilen bir akışın, nadiren geçerli olan tek durumda çalıştığının gösterildiğini anlatır. Event'lere geçmek coupling'i ortadan kaldırmaz, yer değiştirir; bu yüzden her asenkron birleşim yerinin bir sınırı, bir alarmı ve tanımlı bir bekleme durumu olmalıdır.
  3. 03 Mesajlaşma Semantiği Bir broker'ın üç devirde neyi vaat ettiğini ve acknowledgment ya da offset commit'in konumunun at-most-once ile at-least-once arasında nasıl karar verdiğini anlatır. Exactly-once, at-least-once teslimat ile idempotent bir consumer'dan kurulan bir etkidir.
  4. 04 Pratik Bir Hata Modeli Pratik bir hata modeli kurar: timeout "beklemeyi bıraktım" demektir, "başarısız oldu" değil; her birleşim yerinin sessizce hasar bırakan çökme pencereleri vardır. Yavaş consumer'lar, saatler, restore işlemleri ve sistemi işleten insanlar da kapsanır.
  5. 05 Dual-Write Problemi ve Transactional Outbox Hiçbir commit ve publish sıralamasının dual write'ı güvenli yapmadığını gösterir ve transactional outbox'ı tanıtır: dual write, tek bir yerel transaction ile tekrarlanabilir bir taşımaya dönüşür. Outbox at-least-once yayımı garanti eder, exactly-once'ı değil.
  6. 06 Relay'ler, Polling ve Change Data Capture Outbox satırlarını broker'a taşıyan relay'i anlatır: önce yayımla sonra işaretle, duruma göre polling, skip-locked claim'li birden çok relay ve change data capture. Latency, yük ya da mevcut platform başka bir şey söylemedikçe polling ile başlayın.
  7. 07 Retry'ı Doğru Yapmak Retry'ı başarı değil, yeniden deneme vaadi olarak ele alır. Hataları sınıflandırın; jitter'lı exponential backoff'u deadline ve ortak bir retry budget altında kullanın; daha sert denemek yerine circuit breaker ve backpressure'a güvenin.
  8. 08 Idempotency Her consumer'ın herhangi bir mesajın iki kez gelebileceğini varsayması gerektiğini anlatır ve inbox'ı kurar: inbox satırı ve iş değişikliği tek bir yerel transaction'da commit edilir. Dedup window, dış yan etkiler ve API sınırındaki idempotency key de ele alınır.
  9. 09 Poison Message'lar ve Dead Letter'lar Her seferinde başarısız olan poison message'ı ve onu bağlamıyla kenara alan dead-letter queue'yu (DLQ) anlatır. Redrive yalnızca neden giderildiğinde, özgün tanımlayıcılar korunduğunda ve consumer idempotent olduğunda güvenlidir.
  10. 10 Ordering Aggregate başına sıralamanın tasarlanmaya değer sıra olduğunu savunur. Partition key'leri, anahtarlı paralellik, aggregate versiyon numaraları, eskimiş event'lerin ele alınması ve timeout'lu, sahibi olan hold-back buffer'ları kapsar.
  11. 11 Saga'lar ve Uzun Süren İş Akışları Dağıtık transaction'ı yerel transaction'lar ve compensation'larla değiştirir. Choreography ile orchestration'ı, adımların geri alınma zorluğuna göre sıralanmasını, her beklemeye konan deadline'ları ve idempotent compensation'ları kapsar.
  12. 12 Event Tasarımı Event, command ve document'i; domain event ile integration event'i; ince event ile kalın event'i birbirinden ayırır. Adlandırmayı, envelope'u ve tanımlayıcılarını, payload'ın dışında kalması gerekenleri ve her event'in neden bir sahibi olan servise ihtiyaç duyduğunu kapsar.
  13. 13 Schema Evolution Event şemasını, kontrol etmediğiniz okuyuculara verilmiş bir kontrat olarak ele alır. Backward ve forward compatibility'yi, hangi değişikliklerin kırdığını, schema registry'nin sınırlarını, versiyonlama stratejilerini, upcaster'ları, tolerant reader'ı ve kırıcı bir değişikliğin güvenli adımlarla taşınmasını kapsar.
  14. 14 Observability ve Reconciliation Her birleşim yerinden sağ çıkması gereken tanımlayıcıları, lag'den daha iyi bir sinyal olarak message age'i, deadline'lara bağlı alarmları (sessizlik alarmları dahil) ve reconciliation'ı kapsar: gerçeğin iki görünümünü karşılaştırın, sonra normal yoldan onarın.
  15. 15 Recovery, Felaketler ve Broker Migration Bir depo kaybolduğunda, restore edildiğinde ya da değiştirildiğinde neyin ayakta kaldığını anlatır: outbox, inbox, kararlı event tanımlayıcıları ve reconciliation. Replay'i bir kurtarma aracı olarak, restore ve region failover'ı ve relay'in tek geçiş noktası olduğu bir broker migration'ını ele alır.
  16. 16 Event-Driven Sistemleri Test Etmek Her mesajın bir kez ve sırayla teslim edildiği bir broker varsayan testlerin var olmayan bir sistemi test ettiğini anlatır. Gerçek veritabanıyla handler testlerini, bozulmuş akışları, consumer-driven contract'ları, fault injection'ı ve kurtarma tatbikatlarını kapsar.
  17. 17 Bir Güvenilirlik Kontrol Listesi ve Kapanış Düşünceleri Kitabı üç soru üzerine kurulu bir güvenilirlik kontrol listesinde toplar: ne bozulabilir, nasıl gözlemlersiniz ve hangi garanti ayakta kalır. Tamamlanmış bir liste, her madde üzerine birinin düşündüğünü gösterir; sistemin doğru olduğunu değil.
  18. 18 Ek: Sözlük ve Örüntülere Hızlı Başvuru Referans malzemesidir: kitabın sözlüğü ve örüntülerin hızlı başvurusu. Bir terime ya da örüntüye bir bölümü yeniden okumadan bakabilirsiniz.

Örnek bölüm: Idempotency

Kitabın bir bölümünden alıntı; tamamı indirilebilir baskıda.

Inbox pattern’i

Inbox, consumer tarafındaki işlenmiş mesaj id’lerinin tablosudur. Bölüm 4, producer’a bir state değişikliği ve event’inin birlikte commit edilmesi için bir transactional outbox verdi. Inbox onun ayna görüntüsüdür: consumer, state değişikliğini ve mesajı ele aldığının kaydını birlikte, kendi veritabanındaki tek bir local transaction içinde commit eder.

table inbox:
    consumer      text not null
    event_id      uuid not null
    processed_at  timestamp not null
    primary key (consumer, event_id)

consumer kolonu, bir servisin tek bir tabloya karşı birkaç bağımsız consumer çalıştırmasına izin verir; böylece Ledger’ın posting consumer’ı ile reporting consumer’ı kendi geçmişlerini ayrı ayrı hatırlar. Primary key’in (consumer, event_id) çifti olmasının nedeni budur. Yalnızca event_id olsaydı, bir mesajı ele alan ilk consumer, ikinci consumer’ın insert’ünün başarısız olmasına yol açardı ve ikinci consumer’ın etkisi duplicate’miş gibi atlanırdı. Tablo başına tek consumer’ı olan bir servis kolonu bırakıp event_id üzerinden key’leyebilir; bu, kitabın başka yerlerinde kullanılan daha basit biçimdir.

Handler, inbox satırını ve business değişikliğini aynı transaction içinde yazar.

function handlePaymentCaptured(message):
    if inboxContains("ledger-poster", message.event_id):
        // fast path only; this check is not the safety net
        ack(message)
        return

    transaction:
        postLedgerEntry(message.payload)
        // primary key (consumer, event_id): a concurrent duplicate
        // fails here, the transaction rolls back, and the
        // message is redelivered and finds the committed row
        inboxInsert("ledger-poster", message.event_id)
    // commit point: effect and inbox row exist together or not at all

    ack(message)

Hataları adım adım izleyin. Süreç commit’ten önce ölürse ne ledger kaydı ne de inbox satırı vardır; dolayısıyla redelivery mesajı baştan işler. Commit’ten sonra ve ack’ten önce ölürse ikisi de vardır ve redelivery fast path’i izler: kontrol satırı bulur, mesaj ack edilir ve hiçbir şey yazılmaz. Etki ile hafızası asla uyuşmazlık yaşayamaz, çünkü tek bir bütün olarak commit edilirler.

En üstteki kontrol bir optimizasyondur. Yaygın duplicate durumunda bir transaction’dan tasarruf sağlar ve doğruluktan bir şey kaybetmeden kaldırılabilir. Güvenlik ağı, transaction içindeki unique constraint’tir; gerçek hakemlik orada yapılır.

Bir transaction’ın içinde yazmaların sırası atomikliği değiştirmez; dolayısıyla iki yazmayı ters çevirmeye dair uyarı yalnızca yukarıdaki güvensiz sürüm için geçerlidir. Sıra maliyeti değiştirir. Bu versiyonda eşzamanlı bir duplicate, insert’te başarısız olmadan önce bütün işi yapar ve bazı veritabanlarında bir violation transaction’ın tamamını abort eder; yani handler transaction’ın içinde toparlanamaz. Ben önce sahiplenirdim: inbox satırını “on conflict do nothing” semantiğiyle insert edin, bir satırın insert edilip edilmediğine bakın ve edilmediyse etkiyi atlayın. O zaman duplicate key üzerinde bekler, hiçbir iş yapmaz ve hiçbir zaman hata fırlatmaz. […]

ack üzerine bir not, çünkü bu terim iki aile arasındaki bir farkı gizliyor. Queue tabanlı bir broker’da tek bir mesajı acknowledge eder. Log tabanlı bir broker’da ise genellikle bir offset’in commit edilmesidir; bu da “buraya kadar her şey” anlamına gelir ve bir partition’ı paralel işleyen bir consumer, bitirmediği bir mesajın ötesine commit edip onu kaybedebilir. Inbox duplicate’lara karşı korur, buna karşı değil; Bölüm 9 bunu ordering ile paralelliğin buluştuğu yerde ele alıyor.

Sözlükçe

Kitapta geçen temel terimler ve kısa tanımları.

at-least-once
Bir mesajın bir ya da daha fazla kez teslim edildiği, dolayısıyla duplicate'lerin mümkün olduğu bir delivery semantiği. Mesaj hâlâ retain edilirken ve consumer yalnızca etkiden sonra ack'lerken geçerlidir. Retention'ı aşacak kadar lag'e düşen bir consumer yine de mesajları sessizce kaybeder. Kitabın varsayılanıdır.
dual write
Bir veritabanı ve bir broker gibi iki sistemi ortak bir transaction olmadan güncellemek.
outbox
Durum değişikliğiyle aynı yerel transaction'da yazılan, bir relay'in event'leri publish ettiği tablo. Tam terim **transactional outbox**'tır.
relay
Outbox satırlarını broker'a taşıyan process.
inbox
Consumer tarafında, handler'ın etkileriyle aynı transaction'da yazılan, işlenmiş mesaj id'lerinin tablosu.
idempotency key
Bir consumer ya da API'nin tekrarlanan işi tanımak için kullandığı key. Event tüketiminde normalde `event_id`'dir.
dedup window
Bir consumer'ın işlenmiş id'leri hatırladığı dönem. Inbox satırı silinmiş bir mesaj yeniden işlenebilir.
poison message
İşlendiği her seferde başarısız olan mesaj. Log-based bir broker'da process'i çökerten bir mesaj, consumer'ı tek bir pozisyonda takılı bırakır; bu yüzden throughput'suz lag ve pozisyon başına bir sayaçla tespit edilir.
dead-letter queue (DLQ)
Bir consumer ya da broker'ın vazgeçtiği mesajları koyduğu ayrı bir hedef. Log-based bir broker'da aynı fikir bir **dead-letter topic**'tir.
redrive
Dead letter'ları, kendilerine takılan consumer'a, geldikleri paylaşılan topic'e asla değil, o consumer'ın kendi girdisine geri vermek. Key ve `event_id` korunur, deneme sayısı yeniden başlar ve `redrive_count` turu kaydeder.
saga
Bir koordinatör tarafından orchestrate edilen ya da event'ler üzerinden choreograph edilen, compensation'larla birlikte yerel transaction'lardan oluşan uzun süren iş akışı.
failure semantics
Belirli bir birleşim yeri için neyin başarısız olabileceği, bunu nasıl gözlemleyeceğiniz ve hangi garantinin ayakta kalacağı. Kitabın tezidir.
reconciliation
İki sistemin gerçeklik görünümünü karşılaştırmak ve farkları onarmak.

Sık sorulanlar

8 soru

  • Kitap kimin için?

    Event'ler üzerinden haberleşen sistemler kuran ya da işleten backend ve platform mühendisleri ile tech lead'ler için.

  • Belirli bir message broker'a ya da programlama diline ihtiyacım var mı?

    Hayır. Kitap belirli bir broker için öğretici değildir; broker'dan bağımsızdır, dilden bağımsız pseudocode ve Mermaid diyagramları kullanır.

  • Kitabı izlersem sistemim doğru çalışır mı?

    Kitap bunu vaat etmez. Güvenilirliği, nasıl ele alacağınıza karar verdiğiniz ve bilerek kabul ettiğiniz hataların toplamı olarak görür; at-least-once teslimatı bir gerçek olarak kabul etmenizi ve handler'ları iki kez çalışmaya dayanıklı yapmanızı ister.

  • Okumadan önce neleri bilmem gerekir?

    Mesajlaşma uzmanı olmanız gerekmez. Önsöz sizden şunlarla rahat olmanızı ister: ilişkisel veritabanları ve transaction'lar (commit'in ne olduğu, unique constraint'in ne yaptığı ve isolation'ın kabaca ne demek olduğu), ağ üzerinden konuşan servisler ve timeout sözcük dağarcığı, bir message broker'ın genel fikri.

  • Kitap ücretsiz mi?

    Evet. Lisans satırı "© 2026 Muhammet Şafak — ücretsiz indirilir ve okunur" der. PDF ve EPUB dosyaları bu sayfadaki indirme panelinde sunulur. Bu baskı 340 sayfadır.

  • Hangi dillerde ve hangi formatlarda var?

    Yedi dilde: İngilizce, Türkçe, İspanyolca, Basitleştirilmiş Çince, Portekizce, Almanca ve Fransızca. Her biri PDF ve EPUB olarak sunulur.

  • Kitapta kod örnekleri var mı?

    Pseudocode var. Kod dilden bağımsızdır, derlenmez ve gerçek bir kütüphaneyi çağırmaz. Bloklar kısadır, en fazla 30 satırdır; tablo şemaları SQL benzeri notasyonla, diyagramlar Mermaid ile yazılır.

  • Tek başına bir kitap mı, bir serinin parçası mı; seriyi hangi sırayla okumalıyım?

    The Unreliable Systems Trilogy'nin üç kitabından ikincisidir: I Erişim (Production Veritabanı Erişim Rehberi), II Event'ler (bu kitap) ve III Agent'lar (Güvenilir AI Agent Mühendisliği). Önsözler başka bir kitabı değil, genel mühendislik bilgisini önkoşul sayar; bu yüzden önünüzdeki soruna uyan kitapla başlayabilirsiniz.

Bu kitabın konusuna değinen blog yazıları.

Sitede Ara

Yazı, proje ve sayfalarda arama yapmak için yazmaya başlayın.

Esc ile kapat Pagefind ile güçlendirildi