Запускаем модель на 125 млрд параметров на игровой видеокарте — благодаря технологии Strata для локального запуска Qwen3.8-Flash-Next достаточно всего 12 ГБ (!) памяти.
На обычном ПК с RTX 5070, по замерам разработчиков, скорость составит:
• 94 токена в секунду с квантизацией Q2_0;
• 53 токена в секунду с IQ3_S.
Нюанс: при использовании Q2 веса сжимаются, поэтому скорость стоит оценивать в связке с качеством ответов под конкретные задачи.
Доступна поддержка Windows и Linux, а также локальный API, совместимый с OpenAI и Anthropic, для подключения приложений и агентов.
Забираем тулзу тут.