Как Netflix считает миллиарды действий пользователей - и не сходит с ума?

Когда вы запускаете сериал на Netflix, кто-то считает это событие. И ещё 75k других событий - каждую секунду.

Чтобы справиться с таким объёмом, Netflix построил распределённый счётчик. Вот как он устроен:

- API: пользователи отправляют команды типа +1, -1, get и clear. Это всё проходит через Data Gateway.

- Логирование событий: каждое действие попадает в TimeSeries и получает уникальный ID (чтобы не посчитать дважды). Всё хранится в Cassandra.

- Агрегация: события собираются в батчи, агрегируются по времени (например, по минутам) и пишутся в другую базу.

- Быстрое чтение: счётчики кешируются в EVCache. Всё работает почти мгновенно - если кеш устарел, его тихо обновят в фоне.

Благодаря этой архитектуре, Netflix держит 75k RPS со скоростью отклика в несколько миллисекунд. Красота? Да. Простота? Не совсем. Но работает чётко.

https://netflixtechblog.com/netflixs-distributed-counter-abstraction-8d0c45eb66b2

👉@programmist_of