Liquid RIPL

Движок инференса под линейку Liquid Foundation Models для задач с жестким лимитом по времени ответа. Полный ответ меньше чем за 50 мс при потоке до тысячи запросов в секунду

Ставка понятная: там, где раньше держали легкий бустинг из-за скорости, теперь можно поставить небольшую языковую модель и получить более гибкую логику. Вопрос в том, насколько качество на реальных данных перекрывает цену такого инференса, публичных замеров пока нет

Первым внедрил Shopify, в поиске

• Работа поверх модели в критическом пути запроса, а не в пакетной очереди
• Полный ответ, а не стрим по токенам с ожиданием
• Замена градиентных бустингов и векторных эмбеддингов в проде
• Онлайн-ранжирование, реклама, скоринг, антифрод
• Развертывание у клиента по запросу

• Задержка до 50 мс
• До 1000 запросов в секунду
• Только модели семейства LFM

#inference #realtime