Инфраструктура ИИ для LLM
Как запускать и обслуживать LLM: GPU, vLLM, кэш и маршрутизация в Kubernetes🗓 2026 ⏰ 1 час 🔈Английский, русский
Видео разбирает, что происходит с запросом к языковой модели: от файла с весами и вычислений на GPU до обслуживания множества пользователей. Показано, как prefill и decode, KV-кэш и батчинг влияют на задержку и стоимость. В конце объясняется, как LLM-D распределяет нагрузку между серверами моделей в Kubernetes.Содержание1. Почему для инференса LLM нужны GPU: вычислители, видеопамять и пропускная способность
2. Что представляет собой модель, зачем нужен Transformer и как веса хранятся в файле
3. Запуск модели через PyTorch и vLLM: токены и генерация по одному токену
4. Разница между prefill и decode, метрики TTFT и TPOT
5. KV-кэш и кэширование префиксов для снижения задержки и затрат
6. Батчинг запросов и ограничение по памяти при обслуживании многих пользователей
7. Шардирование больших моделей и сложности балансировки нагрузки для LLM
8. Маршрутизация LLM-D и развёртывание серверов моделей в Kubernetes
♦️
Смотреть курс Бесплатные курсы IT 🔹 ai devops machinelearning