CcrBench: modelin ezber mi akıl yürütme mi yaptığını yola bakarak ayırmak
Bir problemi izole oturumlarda tekrar tekrar çözdürüp çözüm yollarının çeşitliliğini ölçen CLI: JSON ve HTML rapor, CI çıkış kodu. PyPI'da yok.
Şu an ne yapıyor
Bir suite YAML'ındaki problemleri bir modele izole oturumlarda tekrar tekrar çözdürüyor, çözüm yollarının çeşitliliğini ve problem yüzeyde değişince doğruluğun düşüşünü ölçüyor; problem başına JSON ve HTML rapor üretip ezber şüphesinde CI'ı kırıyor. Model ya da checkpoint seçen veya fine-tuning verisi üreten mühendis depoyu klonlayıp uv ile kurabilir; PyPI'da yok.