Güvenilir AI Agent Mühendisliği

Bir run aynı sorguyu art arda 40 kez çağırdı; çalışmasını tesadüfen izleyen biri fark edene kadar kimse görmedi. Sahne, orta ölçekli kurgusal bir fulfillment şirketinde, Parcelport’ta, ilk agent’ın yayına girdiği hafta geçer.

Çarşambaya gelindiğinde ekip üç şey öğrenmişti. Lookup döngüsünün yanında bir ticket, hiçbir tool’un döndürmediği bir teslimat tarihi vaat eden bir cevap üretmiş; bir müşteri e-postasındaki “asistana” hitap eden paragraf da Parcelport’tan gelen bir talimat gibi işlenmişti. Hiçbiri felaket değildi, hepsi öngörülebilirdi ve hiçbiri sonradan tam olarak yeniden kurulamadı, çünkü agent’ın ne yaptığına dair tek kayıt nihai yanıtıydı.

Kitabın tezi tek cümle: AI agent’lar, güvenilir kontrol sistemlerinin içinde çalışan güvenilmez karar vericiler olarak tasarlanmalıdır. Model öneri üretir, kararı sistem verir; bu yüzden kitap daha iyi bir prompt’la değil şu soruyla başlar: model bazen yanılacaksa, yanılmak atlatılabilir olsun diye çevresindeki sistem neyi garanti etmelidir?

Kitap prompt engineering, model eğitimi, framework ya da vendor üzerine değildir ve bir saldırı kitabı da değildir. Her kontrol maliyetiyle birlikte gelir; kitap bir kontrolün ne zaman gösterişten ibaret olduğunu da söyler. İçindeki sayılar örnektir; öneri ya da ölçüm değildir.