80B-модель на ноутбуке с 32 ГБ памяти

На HN всплыл Janas — движок на чистом C для MoE-моделей, которые не влезают в RAM. Веса лежат на диске, нужные токену эксперты читаются с NVMe, а частые остаются в памяти.

Цифры автора с одного ноутбука (Core Ultra 9 185H, встроенная Arc, 32 ГБ). Qwen3-Next-80B весит 48,4 ГБ, то есть больше памяти. Генерация 24 tok/s против 2,8 у llama.cpp, а с draft-моделями до 37. Чтение промпта 62 против 16. На моделях, которые влезают в память, отрыв скромнее: Qwen3-30B-A3B пишет 32 tok/s против 15.

Попробовать на Linux x86-64:
curl -LO https://github.com/prabanta-dev/janas/releases/latest/download/janas-linux-x86_64.tar.gz
tar xf janas-linux-x86_64.tar.gz && cd janas && ./janas-chat
Только честно: автор сам пишет, что это эксперимент, проверенный на одной машине. Движок забивает свободную память кэшем и читает диск через O_DIRECT, десктоп может уйти в swap. Я бы гонял его на отдельной машине, а замеры делал своим janas-bench, а не верил чужим таблицам.

Источник: https://github.com/prabanta-dev/janas

#LocalLLM #MoE #inference