Доступность Ling-3.0-flash-Sante для локального запуска

Выпущены квантованные версии (FP8 и GGUF) специализированной медицинской модели Ling-3.0-flash-Sante от Ant. Модель содержит 124B параметров (~5.1B активных на токен) и поддерживает контекстное окно 256K.

Благодаря появлению GGUF-версий, модель стала доступна для тестирования на локальном оборудовании с большим объемом памяти (от 38GB до 80GB+ в зависимости от уровня квантования). 🩺

📰 Подписаться на канал