İçeriğe geç
Muhammet Şafak
en
Kapak görseli — kunduz Tan dizüstü bilgisayarın başında gülümsüyor; arkasında dağınık piksellerden düzenli indigo bloklara dönüşen bir sütun yükseliyor

SlmStrict: küçük modelden yapılandırılmış çıktıyı kademeli bir merdivenle almak

Küçük dil modellerinden şemaya uyan çıktı almak için yazdığım Python kütüphanesi; ilk referans benchmark'ı hedeflerin bir kısmını kaçırdı.

Şu an ne yapıyor

Pydantic modeli ya da JSON Schema verip yerel bir modelden şemaya uyan çıktı alıyor: gramer (yalnız llama.cpp'de), deterministik onarım, yeniden isteme ve varsayılan olarak kapalı bir bulut fallback'i (Claude, OpenAI, Gemini) çalışıyor; ölçüm toplayıcı, maliyet tahmini ve OTLP gözlemcisi var. MVP tamam ama yayımlı sürüm yok; ilk referans benchmark'ta ONNX yolunda iki model hedefi kaçırdı. Uygulamasına yerel model gömen Python geliştiricisi depoyu klonlayıp deneyebilir; PyPI'da yok.

Başlangıç
Kasım 2026 — Devam ediyor

Tür

Open-Source

Teknolojiler

Python Pydantic llama.cpp ONNX Runtime OpenTelemetry

Küçük bir dil modelinden JSON beklenen her projede aynı savunma kodu yazılıyor: markdown çitini soyan, eksik ayracı tamamlayan, olmazsa yeniden deneyen. SlmStrict bu katmanı bir kez, test edilmiş biçimde yazmak için başladığım Python kütüphanesi.

Merdivenin dört basamağı

3B altı modellerden şemadan sapma, kod çiti ekleme ya da bir alanı yanlış yorumlama gibi biçim hataları bekliyorum. SlmStrict bunları dört basamaklı bir merdivenle ele alıyor. Önce gramer: backend destekliyorsa JSON Schema gramere derlenip decoding kısıtlanıyor. Sonra onarım: çit soyma, ayraç tamamlama, tip düzeltme; yalnız biçimi düzeltiyor, anlam üretmiyor, çünkü deterministik bir betiğin yapabileceği işi modele yaptırmak istemiyorum. Sonra yeniden isteme: doğrulama hataları modele geri veriliyor, varsayılan olarak iki kez. Son basamak bulut fallback. result.path hangi basamakların gerçekten etki ettiğini söylüyor.

MVP’de çalışan

generate() ve agenerate() aynı merdiveni izleyip aynı sonucu dönüyor; şema Pydantic modeli ya da JSON Schema olabiliyor. İki backend var: llama.cpp gramer basamağının tek taşıyıcısı, ONNX Runtime (onnxruntime-genai) gramersiz ve merdiveni onarımdan başlatıyor. Bir backend hatası sessizce buluta düşmüyor. Bir ölçüm toplayıcı koşumları sayıyor (içerik saklamadan), maliyet tahmini kullanıcının verdiği fiyat tablosundan hesaplanıyor, tablo yoksa “bilinmiyor” çıkıyor; isteğe bağlı bir OTLP gözlemcisi de var.

Veri cihazdan ne zaman çıkar

Bulut fallback’i varsayılan olarak kapalı: bir sağlayıcı (Claude, OpenAI ya da Gemini) yapılandırılmadıkça çalışmıyor, local_only kilidi onu yine kapatıyor. Dikkat edilmesi gereken varsayılan: maskeleme hook’unu siz vermezseniz istem buluta olduğu gibi gidiyor; içerik logu da hook’suz açılmıyor.

İlk benchmark: hedefler her yerde tutmadı

Referans benchmark Qwen3-4B, Llama-3.2-3B ve Gemma-3-1B’yi iki backend’de, altı kategoride 36 şema görevi üzerinde ölçüyor. İlk koşum 16 Kasım 2026’da, arm64 Docker’da (Linux aarch64, 12 CPU), yalnız CPU, sıcaklık 0, görev ve mod başına bir koşumla yapıldı; Q4_K_M GGUF ve üçüncü taraf çevirisi int4 ONNX dosyaları kullanıldı, sayılar yalnız bu kurulum için geçerli. Hedefler: strict geçme oranı ≥ %95, gramer yolunda ek gecikme ≤ %15, fallback oranı < %10. Fallback’in yerine hiçbir şey göndermeyen bir sayaç koyuldu.

llama.cpp yolunda üç model de strict %100 geçti, fallback %0; ham oranlar Qwen3-4B için %94,4, Llama-3.2-3B için %22,2, Gemma-3-1B için %2,8. Gramer yolunun ek gecikmesi Qwen3-4B’de +%25,1 çıktı, yani hedef tutmadı; diğer ikisinde sayı negatif ama bu, kısıtsız modelin daha uzun çıktı yazmasından, o yüzden bu iki satır hedefin tuttuğunu göstermiyor. ONNX yolunda Qwen3-4B %100 geçti. Llama-3.2-3B strict %38,9 ile %61,1 fallback’e, Gemma-3-1B strict %0 ile %100 fallback’e takıldı; ikisi de hedefi çok kaçırdı. Olası bir neden ONNX yolunun istemi nasıl beslediği, ama bunu henüz doğrulamadım: bir hipotez, teşhis değil. Yalnız şema geçerliliği ölçüldü, değerlerin doğruluğu değil.

Alpha: MVP tamam, yayımlı sürüm yok

İlk commit 14 Kasım 2026. MVP’nin özellik kapsamı tamam ve plan sonu güvenlik incelemesi ilk turda bulgusuz kapandı. Yayımlanmış sürüm yok, PyPI’da değil; depoyu klonlayıp uv sync --extra llamacpp gibi ihtiyacınız olan extra’yla kuruyorsunuz. MLX ve Android adaptörleri ile görevi yerel alt görevlere bölen yönlendirme MVP’nin dışında.

Etiketler: #ai#slm#yapilandirilmis-cikti#yerel-model
Paylaş:

Diğer Kayıtlar

Tüm kayıtlar

Bir problemi izole oturumlarda tekrar tekrar çözdürüp çözüm yollarının çeşitliliğini ölçen CLI: JSON ve HTML rapor, CI çıkış kodu. PyPI'da yok.

Şu an ne yapıyor

Bir suite YAML'ındaki problemleri bir modele izole oturumlarda tekrar tekrar çözdürüyor, çözüm yollarının çeşitliliğini ve problem yüzeyde değişince doğruluğun düşüşünü ölçüyor; problem başına JSON ve HTML rapor üretip ezber şüphesinde CI'ı kırıyor. Model ya da checkpoint seçen veya fine-tuning verisi üreten mühendis depoyu klonlayıp uv ile kurabilir; PyPI'da yok.

Open-Source Python Typer Pydantic +3 daha
Kasım 2026 — Devam ediyor

Ajan ile MCP sunucusu arasına giren bir proxy: anlamsal döngüyü, bütçe aşımını ve riskli araç çağrılarını keser; varsayılan modda yalnızca gözlemler.

Şu an ne yapıyor

Ajan ile MCP sunucusu arasına oturup her tools/call'ı görüyor; tekrar eden döngüleri, süre ve çağrı bütçesini aşan oturumları ve politikada yasaklı araçları durduruyor. MCP üzerinden araç çağıran ajanlar çalıştıran geliştirici `npm i -g @tunedness/agentfuse` ile kurup deneyebilir (0.1.0).

Open-Source TypeScript Node.js MCP +2 daha
Eylül 2026 — Devam ediyor

Bir Claude Code skill'i Sentry issue'sunu koda karşı okuyor ve düzeltmeyi diff ile regresyon testi olarak sunuyor; onaydan önce dosyaya dokunmuyor.

Şu an ne yapıyor

Bir Sentry issue'sunu çalışan koda karşı okuyup kök neden analizi ve düzeltme planı çıkarıyor; onay alınmadan tek bir dosyaya dokunmuyor. Claude Code kullanan ve prodüksiyon hatasını triyaj etmek isteyen herkes skill'i kurabilir.

Open-Source Python Bash Sentry API +3 daha
Temmuz 2026 — Eylül 2026

Sitede Ara

Yazı, proje ve sayfalarda arama yapmak için yazmaya başlayın.

Esc ile kapat Pagefind ile güçlendirildi