llm-d 1.0: инференс LLM в Kubernetes дорос до второго дня

20 октября на PyTorch Conference вышел llm-d 1.0. Это Kubernetes-native стек для распределённого инференса поверх vLLM и SGLang, проект в CNCF Sandbox, больше 500 контрибьюторов из 25+ организаций. Собран из того, что у многих уже стоит: Gateway API, LeaderWorkerSet, Dynamic Resource Allocation, Prometheus, OpenTelemetry.

Prefix-aware роутинг и разделение prefill/decode были и раньше. В 1.0 добавили то, что нужно для эксплуатации:
- flow control с приоритетами и честной очередью по тенантам. При перегрузке роутер держит запросы у себя, а не забивает и без того загруженные бэкенды. По умолчанию всё работает как FIFO, так что ничего не поменяется, пока сами не включите;
- hot standby для роутера, чтобы при раскатке маршрутизация не пропадала;
- DisaggregatedSet: prefill и decode обновляются как одно целое, запрос идёт на пару только когда обе стороны раскатаны и совместимы;
- конфиг API стал v1, обещают не ломать его между релизами;
- для агентов session-aware роутинг (разговор держится на реплике, где уже лежит его KV-кеш) и previous_response_id из Responses API, чтобы агент не гонял всю историю заново.

Самая интересная цифра в анонсе от IBM Research: до 3000 одновременных coding-агентов на 544 H100, prefix-cache hit около 98%, примерно $0,11 за миллион токенов. Это их замер на их нагрузке, но порядок показательный: у агентов почти весь трафик это повторяющийся контекст, и кеш решает.

Если вы сейчас держите vLLM за обычным Service с round-robin, я бы начал с роутинга по префиксу, это самый дешёвый выигрыш.

Источники:
https://llm-d.ai/blog/llm-d-v1.0-state-of-the-art-inference-ready-for-day-2
https://github.com/llm-d/llm-d/releases

#LLM #Kubernetes #инференс