MiniMax открыла веса M3.1 Flash, MoE-модели на 428 млрд параметров для программирования и ИИ-агентов. На каждый токен активируется около 23 млрд параметров. По заявленным тестам: 73,7% на DeepSWE v1.1 (разработка), 61,7 на OSWorld V2 (работа с интерфейсом), 76,2 на BankerToolBench (инструменты в банковских сценариях), 82,2 на CyberGym (уязвимости).
Для бизнеса это модель под капот, а не готовый продукт: разработчики и интеграторы могут развернуть её у себя и строить агентов для автоматизации рутинных многошаговых задач, от работы с CRM и 1С до тестирования кода. Плюс в том, что веса открыты и можно гонять независимые тесты под свои сценарии. Минус: 428 млрд параметров нужно хранить целиком, это серьёзная инфраструктура, не для обычного сервера.
В моей практике важнее не бенчмарки разработчика, а как модель ведёт себя на реальных задачах клиента: обработке заказов с Ozon или синхронизации остатков. Проверил бы её именно на многошаговых сценариях с инструментами, а не на изолированных тестах, и не спешил бы доверять цифрам из самопрезентации.
Илья
Источник: @ai_machinelearning_big_data, https://t.me/ai_machinelearning_big_data/11194
Для бизнеса это модель под капот, а не готовый продукт: разработчики и интеграторы могут развернуть её у себя и строить агентов для автоматизации рутинных многошаговых задач, от работы с CRM и 1С до тестирования кода. Плюс в том, что веса открыты и можно гонять независимые тесты под свои сценарии. Минус: 428 млрд параметров нужно хранить целиком, это серьёзная инфраструктура, не для обычного сервера.
В моей практике важнее не бенчмарки разработчика, а как модель ведёт себя на реальных задачах клиента: обработке заказов с Ozon или синхронизации остатков. Проверил бы её именно на многошаговых сценариях с инструментами, а не на изолированных тестах, и не спешил бы доверять цифрам из самопрезентации.
Илья
Источник: @ai_machinelearning_big_data, https://t.me/ai_machinelearning_big_data/11194
Просмотры: 2