PrismML докинула в семейство Bonsai 2 ещё моделей
Американская ИИ-контора PrismML показала три новых Bonsai 2 — на 2, 4 и 9 млрд параметров. Сделаны они на базе Qwen 3.5 от Alibaba. Главная фишка — веса: в основных всего три значения, −1, 0 и +1. Поэтому файлы весят 0,43 ГБ, 0,95 ГБ и 2 ГБ, то есть примерно в девять раз меньше, чем оригинальные модели с 16-битными весами. Рассуждения, понимание изображений и вызов инструментов никуда не делись, а целится всё это в первую очередь в локальных ИИ-агентов на смартфонах, компах и прочих устройствах.
Теперь скорость. По данным PrismML, на iPhone 18 Pro Max модель 9B выдаёт до 34 токенов в секунду, а 2B — целых 120. В официальных тестах Bonsai 2 9B почти не сливает родной Qwen 3.5 того же размера в программировании и следовании инструкциям. Но на сложных задачах разрыв уже нихуёвый: Tau2Bench — 73,02 против 85,25, в анализе сложных документов — 73,8 против 88,73.
Веса всех трёх моделей выложили под Apache 2.0 — коллекция на Hugging Face. Только вот 2 ГБ — это размер лишь языковой модели 9B в самом компактном формате. Понадобятся картинки — визуальный модуль придётся докачивать отдельно, ещё около 0,62 ГБ.
👉 Telegram | Max
Американская ИИ-контора PrismML показала три новых Bonsai 2 — на 2, 4 и 9 млрд параметров. Сделаны они на базе Qwen 3.5 от Alibaba. Главная фишка — веса: в основных всего три значения, −1, 0 и +1. Поэтому файлы весят 0,43 ГБ, 0,95 ГБ и 2 ГБ, то есть примерно в девять раз меньше, чем оригинальные модели с 16-битными весами. Рассуждения, понимание изображений и вызов инструментов никуда не делись, а целится всё это в первую очередь в локальных ИИ-агентов на смартфонах, компах и прочих устройствах.
Теперь скорость. По данным PrismML, на iPhone 18 Pro Max модель 9B выдаёт до 34 токенов в секунду, а 2B — целых 120. В официальных тестах Bonsai 2 9B почти не сливает родной Qwen 3.5 того же размера в программировании и следовании инструкциям. Но на сложных задачах разрыв уже нихуёвый: Tau2Bench — 73,02 против 85,25, в анализе сложных документов — 73,8 против 88,73.
Веса всех трёх моделей выложили под Apache 2.0 — коллекция на Hugging Face. Только вот 2 ГБ — это размер лишь языковой модели 9B в самом компактном формате. Понадобятся картинки — визуальный модуль придётся докачивать отдельно, ещё около 0,62 ГБ.
👉 Telegram | Max
Просмотры: 2
