Проверку базы после работы агента из ThinkingBox взяли наградой для RL — чек исполняемый, судью-модель зовут лишь на узкие требования, задачи набраны вне бенчмарка.

Qwen3.8-27B, GRPO, 50 шагов: pass@1 51,70% → 60,78%. Заданий, где удались все 20 попыток, стало 107 вместо 38.

Минус рядом: pass@20 просел, 453 → 446. Шире модель не стала, стала повторяемее. Цифры авторов, один прогон.

huggingface.co/blog/microsoft/thinkingbox-training