Тот же ответ скрывает разную устойчивость. Бенчмарк FairStress от Ai2 подаёт довод за одного кандидата, затем за другого и смотрит, устоит ли вывод.

При явной метке точность — выбор объективно сильнейшего — между группами расходится на 2,9 п.п. Но добавьте фразу в пользу одной из групп, и модели на 9,3 п.п. чаще бросают верный ответ, а ничью на 23,9 п.п. чаще переворачивают в её пользу.

Практикам важнее третье: заданные иначе вопросы BBQ на четырёх моделях дали обратный знак — три из четырёх развернулись. Направление замера зависит от формы вопроса и способа счёта.

Датасет открыт на Hugging Face, в Olmo-eval обещают встроить.