Чтобы обнаруживать сбои в своих сервисах и оценивать их масштаб, разработчик инструментов для управления проектами Atlassian ежедневно анализирует миллиард событий пользовательской телеметрии.  

Раньше конвейер обработки этих данных работал на 90 виртуальных машинах. От события до появления метрики проходило больше 40 секунд, что увеличивало время обнаружения инцидентов. При этом эксплуатация обходилась примерно в $20 000 в месяц.

Чтобы ускорить обработку событий и снизить расходы, команда Atlassian перестроила архитектуру:

🔹 в Kafka настроили серверную фильтрацию, чтобы отсеивать лишние события и передавать нужные в выделенный топик
🔹 с помощью Flink объединили обработку потока в одном задании, развернутом в Kubernetes. Полученные метрики передаются через OpenTelemetry.

После перестройки архитектуры время от возникновения события до появления метрики сократилось с более чем 40 до менее 10 секунд. При этом вместо 90 виртуальных машин для обработки телеметрии теперь достаточно четырех подов Kubernetes, а ежемесячные расходы снизились примерно с $20 000 до $650.

➡️ Перевели и разобрали кейс Atlassian в нашем блоге на Хабре — читайте по ссылке.