«Обогнали конкурента» — это про выборку не меньше, чем про модель. Тест из задач одного уровня мерит совпадение с сильными местами, а не способность.
NeurIPS 2026 (arXiv, 21.10): две проверки — DDM, насколько неровно распределена трудность, и Max Gap, самый широкий пустой участок.
У AMC23 разброс ровный, дыра 0,217; у ScienceQA перекос 0,178 при меньшей дыре. Лечат BenchFill: задачи переписывают под нужный уровень. Код выложен публично.
Просмотры: 3