Сегодня разберем систему, которая должна максимально масштабироваться, причем как для чтения, так и для записи.

Будем проектировать NewRelic / Datadog - платформу для мониторинга метрик, которая способна принимать до 5 млн метрик в секунду с 500 тыс серверов.

Рассмотрим как:

• принимать 5 млн метрик в секунду, используя агенты с локальной буферизацией
• выдавать аналитику для дашбордов, используя заранее посчитанные агрегации и кэширование
• обеспечить срабатывание оповещений менее чем за 1 минуту
• бороться с взрывом кардинальности - типичной проблемой таких систем