🤖 Яндекс и ШАД выпустили MTGBench — набор тестов для сравнения моделей в текстовых задачах.

В нем семь многошаговых текстовых игр на русском и английском — среди них «Поле чудес», «Данетки», «Алиас» и Wordle. Они проверяют, как ИИ планирует действия, учитывает подсказки и использует информацию из предыдущих ходов.

Прогнали 16 моделей: оказалось, что длинные рассуждения не всегда дают буст, а задания на русском в целом даются моделям хуже, чем на английском. Код уже в открытом доступе на GitHub.

Статью о MTGBench приняли на EMNLP 2026. Студенты ШАДа стали соавторами этой работы еще во время учебы.