▶ video
Раньше конвейер обработки этих данных работал на 90 виртуальных машинах. От события до появления метрики проходило больше 40 секунд, что увеличивало время обнаружения инцидентов. При этом эксплуатация обходилась примерно в $20 000 в месяц.
Чтобы ускорить обработку событий и снизить расходы, команда Atlassian перестроила архитектуру:
🔹 в Kafka настроили серверную фильтрацию, чтобы отсеивать лишние события и передавать нужные в выделенный топик
🔹 с помощью Flink объединили обработку потока в одном задании, развернутом в Kubernetes. Полученные метрики передаются через OpenTelemetry.
После перестройки архитектуры время от возникновения события до появления метрики сократилось с более чем 40 до менее 10 секунд. При этом вместо 90 виртуальных машин для обработки телеметрии теперь достаточно четырех подов Kubernetes, а ежемесячные расходы снизились примерно с $20 000 до $650.
➡️ Перевели и разобрали кейс Atlassian в нашем блоге на Хабре — читайте по ссылке.