Яндекс и ШАД выложили в опенсорс новый бенчмарк для оценки качества рассуждений нейросетей.

🤖 Яндекс и Школа анализа данных (ШАД) опубликовали в открытом доступе MTGBench, набор тестов для оценки способности нейросетей рассуждать при решении сложных многоэтапных задач. Инструмент позволяет компаниям и разработчикам точнее подбирать рассуждающие модели под прикладные задачи.

В основе MTGBench семь текстовых игр, каждая из которых состоит из десятков шагов. Такой формат моделирует диалог, в котором пользователь уточняет запрос, а нейросеть учитывает как новые вводные, так и предыдущие шаги. Оценивается не только итоговый ответ, но и число шагов, за которое модель к нему пришла. Тесты проверяют логику рассуждений, использование новых данных, планирование следующих шагов и согласованность с прежними ответами.