🌐 Почему упал Cloudflare в 2020: разбор крупного инцидента

17 июля 2020 года стали недоступны крупные интернет ресурсы, виной стал — Cloudflare, гигант CDN и DDoS-защиты. Cloudflare лег на 27 минут. Падение затронуло миллионы сайтов: Discord, Shopify, Medium и другие. Что случилось? Давайте разберемся.

❓Что произошло?
- Время простоя: 27 минут (но из-за масштаба — это вечность!).
- Причина: Ошибка в конфигурации маршрутизатора.
- Эффект домино: сначала разрыв между дата-центрами в Ньюарке и Чикаго. → критическая нагрузка на дата-центры в Атланте и Вашингтоне → каскадный отказ интернет-сервисов по всему миру.

🛠️Технические детали
1. Сетевой инженер удалил одну строку, в блоке настроек, отвечающий за список принимаемых маршрутов.
2. «Лишняя» строка оказалась списком префиксов.
3. Каскадный отказ: Первые упавшие дата-центры перегрузили оставшиеся — трафик хлынул на них лавиной.

📉 Последствия
- Сайты «легли»: Отказ Cloudflare = отсутствие защиты от DDoS и падение скорости загрузки.
- Убытки компаний: Минуты простоя стоили бизнесам в копеечку.
- Рост недоверия: Пользователи впервые увидели, насколько хрупка инфраструктура интернета. (В 2020 году было 3 инцидента связанных с Cloudflare)

⚙️ Как Cloudflare решил проблему?
- Изоляция маршрутизатора в Атланте.
- Перенаправление трафика по корректным маршрутам.
- Откат изменений: Вернули старую конфигурацию вручную.
- Публичное признание собственных ошибок: Опубликовали подробный отчет

👨‍💻Выводы для инженеров
- Тестируйте в изоляции: Даже мелкие правки могут сломать глобальную систему.
- Человеческий фактор: принятие решение об изменениях конфигурации, а также ее проверку, должен принимать не один человек (лучше несколько специалистов).
- Ваша архитектура должна быть резервируемая и отказоустойчивая.
- Готовьтесь к худшему: Любая правка или замена патч-корда может привести к непредсказуемым последствиям. Каскадные отказы — не миф, а реальность.

P.S. Cloudflare пережил этот инцидент, но он стал уроком для всей индустрии.