# SlmStrict: küçük modelden yapılandırılmış çıktıyı kademeli bir merdivenle almak

> Küçük dil modellerinden şemaya uyan çıktı almak için yazdığım Python kütüphanesi; ilk referans benchmark'ı hedeflerin bir kısmını kaçırdı.

- Şu an ne yapıyor: Pydantic modeli ya da JSON Schema verip yerel bir modelden şemaya uyan çıktı alıyor: gramer (yalnız llama.cpp'de), deterministik onarım, yeniden isteme ve varsayılan olarak kapalı bir bulut fallback'i (Claude, OpenAI, Gemini) çalışıyor; ölçüm toplayıcı, maliyet tahmini ve OTLP gözlemcisi var. MVP tamam ama yayımlı sürüm yok; ilk referans benchmark'ta ONNX yolunda iki model hedefi kaçırdı. Uygulamasına yerel model gömen Python geliştiricisi depoyu klonlayıp deneyebilir; PyPI'da yok.
- Tür: Open-Source
- Olgunluk: Alpha
- Durum: Geliştiriliyor
- Odak: AI ve AI destekli geliştirme
- Başlangıç: 2026-11-14
- Teknolojiler: Python, Pydantic, llama.cpp, ONNX Runtime, OpenTelemetry
- Etiketler: #ai, #slm, #yapilandirilmis-cikti, #yerel-model
- Kaynak kodu: https://github.com/Tunedness/SlmStrict
- Kaynak: https://muhammetsafak.com/tr/labs/slmstrict-lab/
- Dil: tr-TR
- Yazar: Muhammet Şafak

---
Küçük bir dil modelinden JSON beklenen her projede aynı savunma kodu yazılıyor: markdown çitini soyan, eksik ayracı tamamlayan, olmazsa yeniden deneyen. SlmStrict bu katmanı bir kez, test edilmiş biçimde yazmak için başladığım Python kütüphanesi.

## Merdivenin dört basamağı

3B altı modellerden şemadan sapma, kod çiti ekleme ya da bir alanı yanlış yorumlama gibi biçim hataları bekliyorum. SlmStrict bunları dört basamaklı bir merdivenle ele alıyor. Önce gramer: backend destekliyorsa JSON Schema gramere derlenip decoding kısıtlanıyor. Sonra onarım: çit soyma, ayraç tamamlama, tip düzeltme; yalnız biçimi düzeltiyor, anlam üretmiyor, çünkü deterministik bir betiğin yapabileceği işi modele yaptırmak istemiyorum. Sonra yeniden isteme: doğrulama hataları modele geri veriliyor, varsayılan olarak iki kez. Son basamak bulut fallback. `result.path` hangi basamakların gerçekten etki ettiğini söylüyor.

## MVP'de çalışan

`generate()` ve `agenerate()` aynı merdiveni izleyip aynı sonucu dönüyor; şema Pydantic modeli ya da JSON Schema olabiliyor. İki backend var: llama.cpp gramer basamağının tek taşıyıcısı, ONNX Runtime (`onnxruntime-genai`) gramersiz ve merdiveni onarımdan başlatıyor. Bir backend hatası sessizce buluta düşmüyor. Bir ölçüm toplayıcı koşumları sayıyor (içerik saklamadan), maliyet tahmini kullanıcının verdiği fiyat tablosundan hesaplanıyor, tablo yoksa "bilinmiyor" çıkıyor; isteğe bağlı bir OTLP gözlemcisi de var.

## Veri cihazdan ne zaman çıkar

Bulut fallback'i varsayılan olarak kapalı: bir sağlayıcı (Claude, OpenAI ya da Gemini) yapılandırılmadıkça çalışmıyor, `local_only` kilidi onu yine kapatıyor. Dikkat edilmesi gereken varsayılan: maskeleme hook'unu siz vermezseniz istem buluta olduğu gibi gidiyor; içerik logu da hook'suz açılmıyor.

## İlk benchmark: hedefler her yerde tutmadı

Referans benchmark Qwen3-4B, Llama-3.2-3B ve Gemma-3-1B'yi iki backend'de, altı kategoride 36 şema görevi üzerinde ölçüyor. İlk koşum 16 Kasım 2026'da, arm64 Docker'da (Linux aarch64, 12 CPU), yalnız CPU, sıcaklık 0, görev ve mod başına bir koşumla yapıldı; Q4_K_M GGUF ve üçüncü taraf çevirisi int4 ONNX dosyaları kullanıldı, sayılar yalnız bu kurulum için geçerli. Hedefler: strict geçme oranı ≥ %95, gramer yolunda ek gecikme ≤ %15, fallback oranı < %10. Fallback'in yerine hiçbir şey göndermeyen bir sayaç koyuldu.

llama.cpp yolunda üç model de strict %100 geçti, fallback %0; ham oranlar Qwen3-4B için %94,4, Llama-3.2-3B için %22,2, Gemma-3-1B için %2,8. Gramer yolunun ek gecikmesi Qwen3-4B'de +%25,1 çıktı, yani hedef tutmadı; diğer ikisinde sayı negatif ama bu, kısıtsız modelin daha uzun çıktı yazmasından, o yüzden bu iki satır hedefin tuttuğunu göstermiyor. ONNX yolunda Qwen3-4B %100 geçti. Llama-3.2-3B strict %38,9 ile %61,1 fallback'e, Gemma-3-1B strict %0 ile %100 fallback'e takıldı; ikisi de hedefi çok kaçırdı. Olası bir neden ONNX yolunun istemi nasıl beslediği, ama bunu henüz doğrulamadım: bir hipotez, teşhis değil. Yalnız şema geçerliliği ölçüldü, değerlerin doğruluğu değil.

## Alpha: MVP tamam, yayımlı sürüm yok

İlk commit 14 Kasım 2026. MVP'nin özellik kapsamı tamam ve plan sonu güvenlik incelemesi ilk turda bulgusuz kapandı. Yayımlanmış sürüm yok, PyPI'da değil; depoyu klonlayıp `uv sync --extra llamacpp` gibi ihtiyacınız olan extra'yla kuruyorsunuz. MLX ve Android adaptörleri ile görevi yerel alt görevlere bölen yönlendirme MVP'nin dışında.
