Релиз vLLM 0.32.0

Вышла версия vLLM 0.32.0, в которой реализован новый API для структурированного вывода данных — /v1/systemone.

Функция позволяет задать фиксированный набор допустимых ответов, после чего модель считывает вероятности первого токена для выбора варианта, ответа «да/нет» или оценки по шкале. Инструмент работает с обычными генеративными моделями. Также добавлена поддержка префиксного кэширования (prefix caching), что позволяет повторно использовать состояние модели при выполнении нескольких запросов к одному контексту, сокращая генерацию до одного токена на решение. 🎯

📰 Подписаться на канал