⚙️ Atomic Chat запускает мощные LLM на обычных ноутбуках

⚙️ Atomic Chat запускает мощные LLM на обычных ноутбуках

Atomic Chat позволяет локально, полостью офлайн, запускать довольно мощные ИИ-модели на обычном потребительском железе — достаточно даже MacBook Air с 16 ГБ оперативной памяти.

Ключевая технология — новый метод сжатия TurboQuant от Google Research. Он решает главную проблему современных моделей — нехватку RAM. Алгоритм уменьшает объем памяти для контекста в 6 раз и одновременно до 8 раз ускоряет вычисления, позволяя модели быстрее «думать» без заметной потери качества. Это достигается за счет более эффективного представления данных и встроенной коррекции ошибок.

Atomic Chat фактически выступает в роли удобного интерфейса для этой технологии (на базе llama.cpp и интерфейса Jan), делая ее доступной для обычных пользователей. В результате на локальной машине c весьма скромным «железом» можно запускать модели уровня Qwen3.5-9B с длинными промптами и без обращения к облаку — ваши данные не увидит никто.

➡️ Скачать Atomic Chat можно на сайте — пока только для macOS.