Воскресный подгон по System Design, я не знаю, как подогреть вас круче.
Представьте, вы проходите собес в OpenAI и на секции System Design вам дают задачу - спроектировать ChatGPT, но не с точки зрения обучения модели, а с точки зрения инфраструктуры необходимой для GPU-инференса и поддержки 200 млн пользователей ежедневно и 20 тыс запросов на генерацию в секунду.
В статье разберем, как:
• отдавать первый токен за 500 мс через SSE и не держать лишние соединения
• эффективно загружать GPU-воркеры с помощью очереди и непрерывной пакетной обработки (continuous batching)
• как проектировать квоты и приоритетные очереди для разных тарифов
• контролировать расходы на инференс в длинных диалогах с помощью KV-кэширования и скользящего окна
Представьте, вы проходите собес в OpenAI и на секции System Design вам дают задачу - спроектировать ChatGPT, но не с точки зрения обучения модели, а с точки зрения инфраструктуры необходимой для GPU-инференса и поддержки 200 млн пользователей ежедневно и 20 тыс запросов на генерацию в секунду.
В статье разберем, как:
• отдавать первый токен за 500 мс через SSE и не держать лишние соединения
• эффективно загружать GPU-воркеры с помощью очереди и непрерывной пакетной обработки (continuous batching)
• как проектировать квоты и приоритетные очереди для разных тарифов
• контролировать расходы на инференс в длинных диалогах с помощью KV-кэширования и скользящего окна