Нейросети научились хорошо отвечать на конкретные вопросы…
Нейросети научились хорошо отвечать на конкретные вопросы пользователей, но иногда продолжают теряться в диалогах и забывают, что вы им сказали несколько сообщений назад. Как определить не формальный уровень «ума» нейросети, а «смекалку», способность искать нестандартные решения и опираться на прошлый опыт?
Инженеры Яндекса и Школы анализа данных предложили замерять интеллект нейросетей на пошаговых играх вроде «Поля чудес» или «Городов». Другие исследователи уже проверяли ИИ-модели похожими способами. Например, в прошлом году разработчики Apple проверили рассуждающие нейросети на логических головоломках — и со сложными задачами ИИ-модели справились хуже людей.
Специалисты Яндекса предложили ведущим нейросетям от OpenAI, Google, DeepSeek и Alibaba набор из семи других игр и головоломок. Они проверяют способность моделей решать разные типы задач: нейросети угадывают слова с подсказками или объекты по определённым признакам. Решение называется Multi-Turn Game Benchmark, сокращённо MTGBench — бенчмарк на основе многоходовых игр. Он проверяет способности ИИ-моделей на английском и русском языках.
Статью об этом бенчмарке приняли на научную конференцию EMNLP 2026, одну из главных в сфере машинного обучения.
Что показали тесты
🔸 Рассуждающие модели превзошли средние результаты участников-людей во всех семи играх. И даже Gemini 3.1 Pro, которая вышла больше полугода назад. В целом люди держатся посерединке — между рассуждающими и нерассуждающими моделями.
🔸 Неожиданно интересными для анализа оказались «Данетки». Здесь нужно понять, что случилось в нестандартной ситуации, получая ответы только «да» и «нет». В других играх победить помогали логика, здравый смысл и способность планировать. А в «Данетках», похоже, пригождался особенный когнитивный навык, который обычные тесты пока упускают.
🔸 Чем дольше рассуждающие модели играют в «Поле чудес», тем больше начинают думать «как люди» — пользуются подсказками, а не угадывают самые частотные слова.
Подписывайтесь 👉 @techno_yandex
Инженеры Яндекса и Школы анализа данных предложили замерять интеллект нейросетей на пошаговых играх вроде «Поля чудес» или «Городов». Другие исследователи уже проверяли ИИ-модели похожими способами. Например, в прошлом году разработчики Apple проверили рассуждающие нейросети на логических головоломках — и со сложными задачами ИИ-модели справились хуже людей.
Специалисты Яндекса предложили ведущим нейросетям от OpenAI, Google, DeepSeek и Alibaba набор из семи других игр и головоломок. Они проверяют способность моделей решать разные типы задач: нейросети угадывают слова с подсказками или объекты по определённым признакам. Решение называется Multi-Turn Game Benchmark, сокращённо MTGBench — бенчмарк на основе многоходовых игр. Он проверяет способности ИИ-моделей на английском и русском языках.
Статью об этом бенчмарке приняли на научную конференцию EMNLP 2026, одну из главных в сфере машинного обучения.
Что показали тесты
🔸 Рассуждающие модели превзошли средние результаты участников-людей во всех семи играх. И даже Gemini 3.1 Pro, которая вышла больше полугода назад. В целом люди держатся посерединке — между рассуждающими и нерассуждающими моделями.
🔸 Неожиданно интересными для анализа оказались «Данетки». Здесь нужно понять, что случилось в нестандартной ситуации, получая ответы только «да» и «нет». В других играх победить помогали логика, здравый смысл и способность планировать. А в «Данетках», похоже, пригождался особенный когнитивный навык, который обычные тесты пока упускают.
🔸 Чем дольше рассуждающие модели играют в «Поле чудес», тем больше начинают думать «как люди» — пользуются подсказками, а не угадывают самые частотные слова.
Подписывайтесь 👉 @techno_yandex