İçeriğe geç
Muhammet Şafak
en
Kapak görseli — kunduz Tan gülümseyerek dizüstü bilgisayar tutuyor; üstünde dallanan bir akış şeması ışıldıyor

CcrBench: modelin ezber mi akıl yürütme mi yaptığını yola bakarak ayırmak

Bir problemi izole oturumlarda tekrar tekrar çözdürüp çözüm yollarının çeşitliliğini ölçen CLI: JSON ve HTML rapor, CI çıkış kodu. PyPI'da yok.

Şu an ne yapıyor

Bir suite YAML'ındaki problemleri bir modele izole oturumlarda tekrar tekrar çözdürüyor, çözüm yollarının çeşitliliğini ve problem yüzeyde değişince doğruluğun düşüşünü ölçüyor; problem başına JSON ve HTML rapor üretip ezber şüphesinde CI'ı kırıyor. Model ya da checkpoint seçen veya fine-tuning verisi üreten mühendis depoyu klonlayıp uv ile kurabilir; PyPI'da yok.

Başlangıç
Kasım 2026 — Devam ediyor

Tür

Open-Source

Teknolojiler

Python Typer Pydantic YAML Docker ONNX Runtime

Doğru cevap, modelin problemi çözdüğünü göstermiyor; cevabı daha önce görmüş de olabilir. Çıktıya bakarak bunu ayıramıyorum, bu yüzden yola bakan bir araç yazdım: CcrBench.

Çıktıya değil yola bakmak

Yöntem Cross-Context Review: her problemi birbirinden tamamen bağımsız N oturumda çözdürüyorum (varsayılan N=10), sıcaklık ve istem varyasyonlarıyla, oturumlar arasında hiçbir mesaj taşınmadan. Sonra çözüm yollarının ne kadar farklılaştığına bakıyorum: adım dizilerinin edit mesafesi, transkript embedding’lerinin dağılımı, kod görevlerinde AST farkı ve karar noktalarındaki dallanma entropisi. Embedding’ler yerelde bir ONNX modeliyle hesaplanıyor; transkriptler makineden çıkmıyor. Yalnızca API erişimi yetiyor, ağırlık gerekmiyor.

Tek sinyal yetmiyor

Düşük çeşitlilik tek başına yanlış alarm üretir: tek doğal çözüm yolu olan kolay bir problemde herkes aynı yoldan gider. Bu yüzden skoru iki bağımsız eksene ayırdım ve tek sayıya indirmiyorum. Birincisi yol çeşitliliği. İkincisi varyant sağlamlığı: problemi yüzeyde değiştirip (identifier adları, sayılar) doğruluğun ne kadar düştüğüne bakıyorum. Varyantları bir modele ürettirmiyorum; kural tabanlı ve deterministikler, çıktıları yeniden üretilebilir. “Ezber şüphesi” etiketi yalnız düşük çeşitlilik, yüksek orijinal doğruluk ve yüksek varyant düşüşü bir aradayken çıkıyor; bir eksen hesaplanamıyorsa etiket tahmin değil “belirsiz” oluyor. Eşik varsayılanları (0,3 / 0,8 / 0,3) geçici; henüz kalibre etmedim.

Koşum, maliyet ve rapor

ccrbench run suite.yaml --model anthropic:<model> varyantları üretiyor, maliyet önizlemesini gösteriyor, koşumları çalıştırıyor, skorluyor ve JSON ile HTML rapor yazıyor. Sağlayıcı adaptörleri Claude, OpenAI, Gemini ve OpenAI-uyumlu yerel uç noktalar için var. Her koşum için sistem mesajına bir oturum nonce’ı ekleniyor; transkriptler girdilerinin hash’iyle saklanıyor, aynı koşumu tekrar etmek model çağırmıyor. Suite’te budget_usd varsa tahmin onu aşınca etkileşimsiz ortamda koşum başlamıyor. Fiyat tablosu sağlayıcıların resmî fiyat sayfalarından alınmış değerler taşıyor; tablodaki model dışında fiyat bilinmiyor sayılıyor. Çıkış kodu 1 yalnız “ezber şüphesi” demek; yapılandırma ve bütçe hataları 2, beklenmeyen iç hata 3.

Kod üreten problemlerde doğruluk kontrolü modelin yazdığı kodu çalıştırıyor. Bunu varsayılan olarak ağsız, salt okunur bir Docker konteynerinde yapıyorum; makinede doğrudan koşturmak ayrı ve açık bir bayrak (--unsafe-local-exec).

Alpha: on faz kapandı, klonlayıp kuruluyor

Alpha. İlk commit 14 Kasım 2026, bugün itibarıyla on iki commit var ve MVP planının on fazı kapandı. PyPI’da yok; denemek için depoyu klonlayıp uv sync --locked --extra all çalıştırıyor, uv run ccrbench ile kullanıyorsunuz (Python 3.11–3.14). Embedding kütüphanesi (tunedness-embed) PyPI’da değil, bir git bağımlılığı olarak geliyor. Anthropic’in 2026-10-21 API sürümü temperature’ı reddediyor; adaptör temperature ve seed’i göndermiyor, dolayısıyla Claude modellerinde bu iki varyasyon ekseni uygulanmıyor ve rapor bunu her etkilenen problemde uyarı olarak yazıyor.

Henüz yayımlanmış bir model ölçümüm yok. Sıradaki iş ayırt etme gücünü sınamak: açık ağırlıklı bir modeli problem setinin bilinen bir alt kümesi üzerinde bilerek fine-tune edip kirli ve temiz modeli ayırabildiğimi görmek; hedef AUC ≥ 0,8, eşikler de o sonuca göre kalibre edilecek.

Etiketler: #ai#benchmark#degerlendirme#llm
Paylaş:

Diğer Kayıtlar

Tüm kayıtlar

Küçük dil modellerinden şemaya uyan çıktı almak için yazdığım Python kütüphanesi; ilk referans benchmark'ı hedeflerin bir kısmını kaçırdı.

Şu an ne yapıyor

Pydantic modeli ya da JSON Schema verip yerel bir modelden şemaya uyan çıktı alıyor: gramer (yalnız llama.cpp'de), deterministik onarım, yeniden isteme ve varsayılan olarak kapalı bir bulut fallback'i (Claude, OpenAI, Gemini) çalışıyor; ölçüm toplayıcı, maliyet tahmini ve OTLP gözlemcisi var. MVP tamam ama yayımlı sürüm yok; ilk referans benchmark'ta ONNX yolunda iki model hedefi kaçırdı. Uygulamasına yerel model gömen Python geliştiricisi depoyu klonlayıp deneyebilir; PyPI'da yok.

Open-Source Python Pydantic llama.cpp +2 daha
Kasım 2026 — Devam ediyor

Ajan ile MCP sunucusu arasına giren bir proxy: anlamsal döngüyü, bütçe aşımını ve riskli araç çağrılarını keser; varsayılan modda yalnızca gözlemler.

Şu an ne yapıyor

Ajan ile MCP sunucusu arasına oturup her tools/call'ı görüyor; tekrar eden döngüleri, süre ve çağrı bütçesini aşan oturumları ve politikada yasaklı araçları durduruyor. MCP üzerinden araç çağıran ajanlar çalıştıran geliştirici `npm i -g @tunedness/agentfuse` ile kurup deneyebilir (0.1.0).

Open-Source TypeScript Node.js MCP +2 daha
Eylül 2026 — Devam ediyor

Ajan ile MCP sunucuları arasında araç sonuçlarını injection için tarayan, PII'yi maskeleyen, erişimi denetleyen ve kararları zincirli log'a yazan proxy.

Şu an ne yapıyor

Ajan ile MCP sunucusu arasına stdio (`wrap`) ya da HTTP (`serve`) üzerinden oturup araç sonuçlarını ve resource içeriklerini prompt injection için tarıyor, kişisel veriyi maskeliyor, araç, rol ve tehlikeli yetki birleşimi bazında erişimi denetliyor, sunucunun araç tanımlarını kilitliyor ve her kararı hash zincirli bir audit log'a yazıyor. MCP sunucularını ajanlarına bağlayan geliştirici depoyu klonlayıp derleyerek deneyebilir; npm'de yayımlı değil.

Open-Source TypeScript Node.js MCP +2 daha
Eylül 2026 — Devam ediyor

Sitede Ara

Yazı, proje ve sayfalarda arama yapmak için yazmaya başlayın.

Esc ile kapat Pagefind ile güçlendirildi