ИИ на бюджетном железе: 35B-модель на RTX 3060

NVIDIA выпустила оптимизированную модель GigaChat 35B для работы на видеокартах среднего уровня. Обновленная версия модели запускается на RTX 3060 и RTX 5080 через интерфейс PCIe Gen2 x4 с производительностью до 109 токенов в секунду.

(ГигаЧат 35B — это крупная генеративная языковая модель от Сбера, доступная публично.)

Зачем это вам: теперь небольшие компании и фрилансеры могут использовать мощные нейросетевые решения на доступных видеокартах, не тратясь на топовое железо.

Источник: Хабр: ИИ