Ого, Google выкатили TurboQuant — и это может перевернуть индустрию! — видео, канал «CodeCamp» ▶ видео

Ого, Google выкатили TurboQuant — и это может перевернуть индустрию!



Новый алгоритм сжимает LLM, уменьшая память под KV-cache минимум в 6 раз и ускоряя инференс до 8 раз. При этом в тестах заявляют, что нет потери в точности. Проще говоря: то, что раньше требовало серьёзных ресурсов, теперь можно запускать локально.

Что это меняет:
— Тяжёлые модели начинают помещаться в обычные устройства вроде Mac Mini;
— Появляется шанс запускать нормальный ИИ прямо на телефоне;
— Скорость растёт, стоимость падает;

Google опять рвет рынок
Просмотры: 184
Открыть в MAX Сообщить о неточности

Репосты публикации

Публикация канала

Сообщить о неточности

Опишите, что нужно исправить. Если есть источник, добавьте ссылку.

Вы покидаете datool.ru

Ссылка ведёт на внешний сайт. datool.ru не отвечает за его содержимое — проверьте адрес, прежде чем вводить пароли или платёжные данные.

Переход через 10 с

Перейти