# CcrBench: modelin ezber mi akıl yürütme mi yaptığını yola bakarak ayırmak

> Bir problemi izole oturumlarda tekrar tekrar çözdürüp çözüm yollarının çeşitliliğini ölçen CLI: JSON ve HTML rapor, CI çıkış kodu. PyPI'da yok.

- Şu an ne yapıyor: Bir suite YAML'ındaki problemleri bir modele izole oturumlarda tekrar tekrar çözdürüyor, çözüm yollarının çeşitliliğini ve problem yüzeyde değişince doğruluğun düşüşünü ölçüyor; problem başına JSON ve HTML rapor üretip ezber şüphesinde CI'ı kırıyor. Model ya da checkpoint seçen veya fine-tuning verisi üreten mühendis depoyu klonlayıp uv ile kurabilir; PyPI'da yok.
- Tür: Open-Source
- Olgunluk: Alpha
- Durum: Geliştiriliyor
- Odak: AI ve AI destekli geliştirme
- Başlangıç: 2026-11-14
- Teknolojiler: Python, Typer, Pydantic, YAML, Docker, ONNX Runtime
- Etiketler: #ai, #benchmark, #degerlendirme, #llm
- Kaynak kodu: https://github.com/Tunedness/CcrBench
- Kaynak: https://muhammetsafak.com/tr/labs/ccrbench-lab/
- Dil: tr-TR
- Yazar: Muhammet Şafak

---
Doğru cevap, modelin problemi çözdüğünü göstermiyor; cevabı daha önce görmüş de olabilir. Çıktıya bakarak bunu ayıramıyorum, bu yüzden yola bakan bir araç yazdım: CcrBench.

## Çıktıya değil yola bakmak

Yöntem Cross-Context Review: her problemi birbirinden tamamen bağımsız N oturumda çözdürüyorum (varsayılan N=10), sıcaklık ve istem varyasyonlarıyla, oturumlar arasında hiçbir mesaj taşınmadan. Sonra çözüm yollarının ne kadar farklılaştığına bakıyorum: adım dizilerinin edit mesafesi, transkript embedding'lerinin dağılımı, kod görevlerinde AST farkı ve karar noktalarındaki dallanma entropisi. Embedding'ler yerelde bir ONNX modeliyle hesaplanıyor; transkriptler makineden çıkmıyor. Yalnızca API erişimi yetiyor, ağırlık gerekmiyor.

## Tek sinyal yetmiyor

Düşük çeşitlilik tek başına yanlış alarm üretir: tek doğal çözüm yolu olan kolay bir problemde herkes aynı yoldan gider. Bu yüzden skoru iki bağımsız eksene ayırdım ve tek sayıya indirmiyorum. Birincisi yol çeşitliliği. İkincisi varyant sağlamlığı: problemi yüzeyde değiştirip (identifier adları, sayılar) doğruluğun ne kadar düştüğüne bakıyorum. Varyantları bir modele ürettirmiyorum; kural tabanlı ve deterministikler, çıktıları yeniden üretilebilir. "Ezber şüphesi" etiketi yalnız düşük çeşitlilik, yüksek orijinal doğruluk ve yüksek varyant düşüşü bir aradayken çıkıyor; bir eksen hesaplanamıyorsa etiket tahmin değil "belirsiz" oluyor. Eşik varsayılanları (0,3 / 0,8 / 0,3) geçici; henüz kalibre etmedim.

## Koşum, maliyet ve rapor

`ccrbench run suite.yaml --model anthropic:<model>` varyantları üretiyor, maliyet önizlemesini gösteriyor, koşumları çalıştırıyor, skorluyor ve JSON ile HTML rapor yazıyor. Sağlayıcı adaptörleri Claude, OpenAI, Gemini ve OpenAI-uyumlu yerel uç noktalar için var. Her koşum için sistem mesajına bir oturum nonce'ı ekleniyor; transkriptler girdilerinin hash'iyle saklanıyor, aynı koşumu tekrar etmek model çağırmıyor. Suite'te `budget_usd` varsa tahmin onu aşınca etkileşimsiz ortamda koşum başlamıyor. Fiyat tablosu sağlayıcıların resmî fiyat sayfalarından alınmış değerler taşıyor; tablodaki model dışında fiyat bilinmiyor sayılıyor. Çıkış kodu 1 yalnız "ezber şüphesi" demek; yapılandırma ve bütçe hataları 2, beklenmeyen iç hata 3.

Kod üreten problemlerde doğruluk kontrolü modelin yazdığı kodu çalıştırıyor. Bunu varsayılan olarak ağsız, salt okunur bir Docker konteynerinde yapıyorum; makinede doğrudan koşturmak ayrı ve açık bir bayrak (`--unsafe-local-exec`).

## Alpha: on faz kapandı, klonlayıp kuruluyor

Alpha. İlk commit 14 Kasım 2026, bugün itibarıyla on iki commit var ve MVP planının on fazı kapandı. PyPI'da yok; denemek için depoyu klonlayıp `uv sync --locked --extra all` çalıştırıyor, `uv run ccrbench` ile kullanıyorsunuz (Python 3.11–3.14). Embedding kütüphanesi (`tunedness-embed`) PyPI'da değil, bir git bağımlılığı olarak geliyor. Anthropic'in 2026-10-21 API sürümü `temperature`'ı reddediyor; adaptör `temperature` ve `seed`'i göndermiyor, dolayısıyla Claude modellerinde bu iki varyasyon ekseni uygulanmıyor ve rapor bunu her etkilenen problemde uyarı olarak yazıyor.

Henüz yayımlanmış bir model ölçümüm yok. Sıradaki iş ayırt etme gücünü sınamak: açık ağırlıklı bir modeli problem setinin bilinen bir alt kümesi üzerinde bilerek fine-tune edip kirli ve temiz modeli ayırabildiğimi görmek; hedef AUC ≥ 0,8, eşikler de o sonuca göre kalibre edilecek.
