3 проблемы при запуске приватной LLM в Kubernetes

🖖Бодрый DevOps! Заметили, сколько компаний разворачивают приватные LLM в 2026? Ростелеком, корпорации ITG и прочие крупные игроки уже перешли от запуска пилотов к работе в проде.

Но как только модель оказывается в Kubernetes, появляются сложности. В карточки выше вынесли основные проблемы, с которыми вы столкнетесь при настройке контура приватной LLM.

А пример рабочей архитектуры разберем на камерной встрече DevOps Lab: ML in Production, 26 июня в Новосибирске. Инженер Никсис Пётр Рукин расскажет о KServe, инструменте для ML-инференса, Modelcar для упаковки модели в OCI-образ и загрузок через стандартные механизмы контейнерных рантаймов.

Разберём:

• Как ускорить старт инференса
• Как один OCI-артефакт модели обслуживает 10 деплойментов без копирования
• Как настроить autoscaling моделей, чтобы не платить за простой

Ждём вас на DevOps Lab – покажем, как правильно :)

📍 26 июня, Новосибирск
📍 Регистрация: по ссылке

#никсис #devopslab #ml