Раньше добрать четыре GPU значило перезапустить движок и 197 секунд тишины. Первая версия Elastic EP дала 100 с, нынешняя — 0,82 с на подъёме и 1,96 с на спуске.
Тяжёлое ушло в фон: воркеры получают веса по NVLink, пока старые отдают запросы, commit занимает мгновение. NIXL EP расширяет коммуникатор на месте, поэтому CUDA-графы не пересобирают.
Замер один — DeepSeek V4 Pro и GB200, 16→20 GPU. Цифры авторов.
https://vllm.ai/blog/2026-10-19-elastic-ep-near-zero-downtime
Просмотры: 3