🙂 Нейросети, сыграем в данетки?

Помнить предыдущие ходы, задавать полезные вопросы и находить решение — знакомые игры могут многое рассказать о способностях нейросетей. Студенты ШАДа и исследователи Яндекса собрали семь таких игр в открытый бенчмарк MTGBench.

📌 Испытания есть на русском и английском. Чтобы справиться, модели нужно учитывать новую информацию, проверять свои версии и продумывать следующие шаги. Важно не только найти ответ, но и потратить на это меньше ходов.

📌 Авторы протестировали 16 моделей, включая разработки OpenAI, Google, DeepSeek и Qwen. Дополнительные рассуждения особенно помогали там, где нужно работать с буквами и символами, разбирать подсказки и исключать неподходящие варианты.

📌 В заданиях на знания и понимание смысла польза от рассуждений была меньше и сильнее зависела от модели. Думать дольше не всегда значит играть лучше.

📌 Язык тоже влиял на результаты: часть заданий на русском давалась моделям тяжелее. Поэтому при сравнении стоит смотреть не только на общий балл, но и на результаты в конкретных играх и языках.

Сообщается, что MTGBench уже доступен на GitHub, а статью о нём приняли на EMNLP 2026 — одну из ведущих конференций по обработке естественного языка.

Подписаться | KOD.RU