Как масштабировать корпоративные ИИ-сервисы, не закупая больше GPU? Вынести кэш из видеопамяти!

«Тантор Лабс» представила Tantor Context Memory Storage — программно-аппаратное решение для хранения KV-cache, который языковые модели используют при генерации ответов. Кэш переносится из ограниченной видеопамяти во внешнее NVMe-хранилище и используется повторно. Скорость доступа сопоставима с DRAM, а стоимость за терабайт ниже.

🔸 В испытаниях на одинаковых серверах, моделях и нагрузке — в 4 раза больше клиентов на тех же GPU;
🔸 Общая контекстная память для GPU-серверов без отдельной оркестрации кэша.

Решение интегрируется с vLLM, LMCache и NVIDIA Dynamo, а его эксплуатация поддерживается в платформе «Боцман».

Подробнее — в материале на Хабре

|Мы в TG| Группа в VK| Наш сайт|