Инфраструктура ИИ для LLM

Как запускать и обслуживать LLM: GPU, vLLM, кэш и маршрутизация в Kubernetes

🗓 2026  ⏰ 1 час  🔈Английский, русский

Видео разбирает, что происходит с запросом к языковой модели: от файла с весами и вычислений на GPU до обслуживания множества пользователей. Показано, как prefill и decode, KV-кэш и батчинг влияют на задержку и стоимость. В конце объясняется, как LLM-D распределяет нагрузку между серверами моделей в Kubernetes.

Содержание
1. Почему для инференса LLM нужны GPU: вычислители, видеопамять и пропускная способность
2. Что представляет собой модель, зачем нужен Transformer и как веса хранятся в файле
3. Запуск модели через PyTorch и vLLM: токены и генерация по одному токену
4. Разница между prefill и decode, метрики TTFT и TPOT
5. KV-кэш и кэширование префиксов для снижения задержки и затрат
6. Батчинг запросов и ограничение по памяти при обслуживании многих пользователей
7. Шардирование больших моделей и сложности балансировки нагрузки для LLM
8. Маршрутизация LLM-D и развёртывание серверов моделей в Kubernetes




 

♦️ Смотреть курс

 

Бесплатные курсы IT  🔹  ai devops machinelearning