Нейронка на твоём ноуте — без облака и подписок. Секрет в квантовании.

Модель на 7 млрд параметров весит 14 ГБ. Сожмём веса с 16 бит до 4 — и вот уже 3,5 ГБ, влезает даже в GTX 1660. Потери качества по бенчмаркам QLoRA — 1–3%, почти незаметно.

Формат GGUF (который тянет ollama) и llama.cpp делают всё сами: одна команда — и нейронка работает локально.

#квантование #LLM #локальныйAI