🤖 ИИ проверили играми — и русский оказался сложнее английского

Яндекс и ШАД выпустили MTGBench — набор тестов для сравнения моделей в многошаговых текстовых задачах. В него вошли семь игр на русском и английском языках: «Поле чудес», «Данетки», «Алиас», Wordle и другие.

🧠 Тесты проверяют, умеет ли ИИ планировать действия, учитывать подсказки и использовать информацию из предыдущих ходов. В испытании участвовали 16 моделей.

Результат оказался неожиданным: длинные рассуждения не всегда улучшают ответы, а задания на русском в целом даются моделям хуже, чем на английском. Статью о MTGBench приняли на EMNLP 2026, а код набора уже открыт. 🎮

Подписаться