CcrBench: modelin ezber mi akıl yürütme mi yaptığını yola bakarak ayırmak
Bir problemi izole oturumlarda tekrar tekrar çözdürüp çözüm yollarının çeşitliliğini ölçen CLI: JSON ve HTML rapor, CI çıkış kodu. PyPI'da yok.
Şu an ne yapıyor
Bir suite YAML'ındaki problemleri bir modele izole oturumlarda tekrar tekrar çözdürüyor, çözüm yollarının çeşitliliğini ve problem yüzeyde değişince doğruluğun düşüşünü ölçüyor; problem başına JSON ve HTML rapor üretip ezber şüphesinde CI'ı kırıyor. Model ya da checkpoint seçen veya fine-tuning verisi üreten mühendis depoyu klonlayıp uv ile kurabilir; PyPI'da yok.
- Başlangıç
- Kasım 2026 — Devam ediyor
Tür
Teknolojiler
Doğru cevap, modelin problemi çözdüğünü göstermiyor; cevabı daha önce görmüş de olabilir. Çıktıya bakarak bunu ayıramıyorum, bu yüzden yola bakan bir araç yazdım: CcrBench.
Çıktıya değil yola bakmak
Yöntem Cross-Context Review: her problemi birbirinden tamamen bağımsız N oturumda çözdürüyorum (varsayılan N=10), sıcaklık ve istem varyasyonlarıyla, oturumlar arasında hiçbir mesaj taşınmadan. Sonra çözüm yollarının ne kadar farklılaştığına bakıyorum: adım dizilerinin edit mesafesi, transkript embedding’lerinin dağılımı, kod görevlerinde AST farkı ve karar noktalarındaki dallanma entropisi. Embedding’ler yerelde bir ONNX modeliyle hesaplanıyor; transkriptler makineden çıkmıyor. Yalnızca API erişimi yetiyor, ağırlık gerekmiyor.
Tek sinyal yetmiyor
Düşük çeşitlilik tek başına yanlış alarm üretir: tek doğal çözüm yolu olan kolay bir problemde herkes aynı yoldan gider. Bu yüzden skoru iki bağımsız eksene ayırdım ve tek sayıya indirmiyorum. Birincisi yol çeşitliliği. İkincisi varyant sağlamlığı: problemi yüzeyde değiştirip (identifier adları, sayılar) doğruluğun ne kadar düştüğüne bakıyorum. Varyantları bir modele ürettirmiyorum; kural tabanlı ve deterministikler, çıktıları yeniden üretilebilir. “Ezber şüphesi” etiketi yalnız düşük çeşitlilik, yüksek orijinal doğruluk ve yüksek varyant düşüşü bir aradayken çıkıyor; bir eksen hesaplanamıyorsa etiket tahmin değil “belirsiz” oluyor. Eşik varsayılanları (0,3 / 0,8 / 0,3) geçici; henüz kalibre etmedim.
Koşum, maliyet ve rapor
ccrbench run suite.yaml --model anthropic:<model> varyantları üretiyor, maliyet önizlemesini gösteriyor, koşumları çalıştırıyor, skorluyor ve JSON ile HTML rapor yazıyor. Sağlayıcı adaptörleri Claude, OpenAI, Gemini ve OpenAI-uyumlu yerel uç noktalar için var. Her koşum için sistem mesajına bir oturum nonce’ı ekleniyor; transkriptler girdilerinin hash’iyle saklanıyor, aynı koşumu tekrar etmek model çağırmıyor. Suite’te budget_usd varsa tahmin onu aşınca etkileşimsiz ortamda koşum başlamıyor. Fiyat tablosu sağlayıcıların resmî fiyat sayfalarından alınmış değerler taşıyor; tablodaki model dışında fiyat bilinmiyor sayılıyor. Çıkış kodu 1 yalnız “ezber şüphesi” demek; yapılandırma ve bütçe hataları 2, beklenmeyen iç hata 3.
Kod üreten problemlerde doğruluk kontrolü modelin yazdığı kodu çalıştırıyor. Bunu varsayılan olarak ağsız, salt okunur bir Docker konteynerinde yapıyorum; makinede doğrudan koşturmak ayrı ve açık bir bayrak (--unsafe-local-exec).
Alpha: on faz kapandı, klonlayıp kuruluyor
Alpha. İlk commit 14 Kasım 2026, bugün itibarıyla on iki commit var ve MVP planının on fazı kapandı. PyPI’da yok; denemek için depoyu klonlayıp uv sync --locked --extra all çalıştırıyor, uv run ccrbench ile kullanıyorsunuz (Python 3.11–3.14). Embedding kütüphanesi (tunedness-embed) PyPI’da değil, bir git bağımlılığı olarak geliyor. Anthropic’in 2026-10-21 API sürümü temperature’ı reddediyor; adaptör temperature ve seed’i göndermiyor, dolayısıyla Claude modellerinde bu iki varyasyon ekseni uygulanmıyor ve rapor bunu her etkilenen problemde uyarı olarak yazıyor.
Henüz yayımlanmış bir model ölçümüm yok. Sıradaki iş ayırt etme gücünü sınamak: açık ağırlıklı bir modeli problem setinin bilinen bir alt kümesi üzerinde bilerek fine-tune edip kirli ve temiz modeli ayırabildiğimi görmek; hedef AUC ≥ 0,8, eşikler de o sonuca göre kalibre edilecek.