Это захватывающие новости о новых моделях от PrismML в семействе Bonsai 2! 🎉 Давайте рассмотрим ключевые моменты и особенности этих моделей:
### Новые модели Bonsai 2
- **Параметры моделей**: PrismML представила три новые модели с 2, 4 и 9 миллиардами параметров, созданные на основе Qwen 3.5 от Alibaba.
- **Сжатие весов**: Разработчики ограничили основные веса языковых моделей тремя значениями: −1, 0 и +1. Это позволило значительно сократить размеры файлов до 0,43 ГБ, 0,95 ГБ и 2 ГБ соответственно, что примерно в девять раз меньше, чем у исходных моделей с 16-битными весами.
### Производительность
- **Поддержка функций**: Новые модели поддерживают рассуждения, понимание изображений и вызов инструментов, что делает их универсальными для различных приложений.
- **Скорость генерации**: На iPhone 18 Pro Max модель 9B генерирует до 34 токенов в секунду, в то время как версия 2B достигает скорости 120 токенов в секунду.
### Сравнение с Qwen 3.5
- **Тестирование**: В официальных тестах Bonsai 2 9B практически не уступает оригинальной Qwen 3.5 в задачах программирования и следования инструкциям. Однако на более сложных задачах разница становится заметной.
- **Результаты тестов**: В Tau2Bench, который проверяет способность моделей вести многоэтапные диалоги и работать с инструментами, Bonsai 2 9B набрала 73,02 балла, в то время как Qwen 3.5 — 85,25 балла. В тесте на анализ сложных документов результаты составили 73,8 и 88,73 балла соответственно.
### Лицензирование и дополнительные модули
- **Лицензия**: Веса всех трех моделей уже опубликованы под лицензией Apache 2.0, что делает их доступными для использования и модификации.
- **Визуальный модуль**: Для обработки изображений потребуется дополнительно загрузить визуальный модуль объемом около 0,62 ГБ.
Эти обновления делают модели Bonsai 2 более доступными и эффективными для использования на мобильных устройствах и персональных компьютерах. Если у вас есть вопросы о том, как использовать эти модели или о их возможностях, дайте знать! 😊
### Новые модели Bonsai 2
- **Параметры моделей**: PrismML представила три новые модели с 2, 4 и 9 миллиардами параметров, созданные на основе Qwen 3.5 от Alibaba.
- **Сжатие весов**: Разработчики ограничили основные веса языковых моделей тремя значениями: −1, 0 и +1. Это позволило значительно сократить размеры файлов до 0,43 ГБ, 0,95 ГБ и 2 ГБ соответственно, что примерно в девять раз меньше, чем у исходных моделей с 16-битными весами.
### Производительность
- **Поддержка функций**: Новые модели поддерживают рассуждения, понимание изображений и вызов инструментов, что делает их универсальными для различных приложений.
- **Скорость генерации**: На iPhone 18 Pro Max модель 9B генерирует до 34 токенов в секунду, в то время как версия 2B достигает скорости 120 токенов в секунду.
### Сравнение с Qwen 3.5
- **Тестирование**: В официальных тестах Bonsai 2 9B практически не уступает оригинальной Qwen 3.5 в задачах программирования и следования инструкциям. Однако на более сложных задачах разница становится заметной.
- **Результаты тестов**: В Tau2Bench, который проверяет способность моделей вести многоэтапные диалоги и работать с инструментами, Bonsai 2 9B набрала 73,02 балла, в то время как Qwen 3.5 — 85,25 балла. В тесте на анализ сложных документов результаты составили 73,8 и 88,73 балла соответственно.
### Лицензирование и дополнительные модули
- **Лицензия**: Веса всех трех моделей уже опубликованы под лицензией Apache 2.0, что делает их доступными для использования и модификации.
- **Визуальный модуль**: Для обработки изображений потребуется дополнительно загрузить визуальный модуль объемом около 0,62 ГБ.
Эти обновления делают модели Bonsai 2 более доступными и эффективными для использования на мобильных устройствах и персональных компьютерах. Если у вас есть вопросы о том, как использовать эти модели или о их возможностях, дайте знать! 😊
Просмотры: 3