Нейросети теперь можно проверить на логику по-новому — студенты ШАДа…

Нейросети теперь можно проверить на логику по-новому — студенты ШАДа и исследователи Яндекса опубликовали бенчмарк MTGBench, который помогает оценить, как разные модели справляются с многошаговыми заданиями и как рассуждения влияют на их результаты.

Внутри семь текстовых игр на русском и английском. Среди них: «Данетки», «Алиас», Wordle, «Поле чудес» и другие. Выяснилось, что рассуждения заметнее помогали в заданиях с буквами и символами. В заданиях на знания и понимание смысла эффект был менее выраженным и зависел от модели.

Статью о MTGBench опубликовали в Findings of EMNLP 2026. Студенты ШАДа стали соавторами международного исследования уже во время учёбы.

Код, задания и результаты — на GitHub.