⚡ RIPL: короткий ответ модели прямо в поисковом запросе

⚡ RIPL: короткий ответ модели прямо в поисковом запросе
22 октября 2026 — анонс Liquid AI
Liquid AI представила движок RIPL для своих LFM: классификация намерения, переформулировка запроса и ранжирование должны помещаться в задержку обычного онлайн-сервиса. Речь о коротких результатах внутри приложения, не о длинном ответе чат-бота.
В авторском тесте на одной NVIDIA B200 модель LFM2.5-1.2B при 1000 запросах/с показала p95 полной задержки 34,56 мс: 32 входных и 32 выходных токена. p95 — уровень, в который укладываются 95% измерений, а не максимальное время.
У LFM2.5-2.6B в тех же условиях — 76,44 мс. При 256 входных и 128 выходных токенах версия 1.2B получила 155,76 мс при 400 запросах/с. Поэтому рекламные «менее 50 мс» нельзя переносить на любую модель и длину ответа.
Сравнения с Qwen на vLLM одновременно меняют модель и движок; они не доказывают такой же выигрыш от одной замены сервера. Это замеры разработчика, своего теста мы не проводили.
Доступ — корпоративное внедрение LFM на NVIDIA H100, H200, B200 или RTX PRO 6000 через команду Liquid AI. В анонсе нет цены, публичной загрузки и лицензии самого движка. Открытость отдельных весов LFM не означает открытый код RIPL.
Источник
Иллюстрация: Liquid AI, кадр отдельного записанного примера запросов; не график приведённого сравнения.
#AIинфраструктура #Инференс #LiquidAI