ИИ сыграл в «Поле чудес»: что показали тесты на логику

Яндекс и ШАД проверили нейросети на логику в «Поле чудес», «Данетках» и «Городах» — исследование представили на конференции EMNLP 2026.

В основе — MTGBench, набор из семи текстовых игр. С его помощью оценивали, как ИИ рассуждает, использует новые данные и планирует действия. В тесте участвовали 16 моделей: от компактной Qwen до крупных Gemini и GPT.

Режим рассуждений особенно выручает там, где нужно разбирать подсказки и отсекать неверные варианты. В Wordle он заметно повышает качество. А в задачах на знания и понимание смысла, вроде «Элиаса», эффект зависит от конкретной модели.

Главный вывод: инженерам будет проще понимать, где рассуждения дают максимум пользы, и подбирать модели под конкретные задачи