Студенты Школы анализа данных вместе с исследователями Яндекса…
Студенты Школы анализа данных вместе с исследователями Яндекса создали бенчмарк MTGBench, который проверяет, как рассуждают популярные модели. Он пригодится разработчикам, которые внедряют ИИ и не хотят переплачивать за дорогие режимы.
В основе семь игр, включая «Данетки», «Элиас» и Wordle. Модель должна учитывать новые подсказки и не противоречить себе. Оценивают и сам ответ, и число шагов до него.
Через MTGBench уже прогнали 16 нейронок, от Qwen до Gemini и GPT. Оказалось, что высокий балл в одной игре не гарантирует успеха в другой, а режим рассуждений сильнее всего помогает в играх с буквами.
Статью о бенчмарке приняли на EMNLP 2026, одну из главных конференций по ИИ. Она как раз проходит сейчас в Будапеште.
В основе семь игр, включая «Данетки», «Элиас» и Wordle. Модель должна учитывать новые подсказки и не противоречить себе. Оценивают и сам ответ, и число шагов до него.
Через MTGBench уже прогнали 16 нейронок, от Qwen до Gemini и GPT. Оказалось, что высокий балл в одной игре не гарантирует успеха в другой, а режим рассуждений сильнее всего помогает в играх с буквами.
Статью о бенчмарке приняли на EMNLP 2026, одну из главных конференций по ИИ. Она как раз проходит сейчас в Будапеште.