Неделя аварийных переездов, старых багов в сетевом стеке и проверок, которые бодро врут, что всё ок.
1. Три дата-центра за четыре дня: как я в одиночку увозил прод от Яндекса - за четыре дня из строя вышли три ДЦ, а через пять дней прод уже жил на своей платформе: три зоны у разных провайдеров и ни одного managed-сервиса. Переносил всё один человек и честно пишет, где споткнулся.
https://habr.com/ru/articles/1096270/
2. Сегфолт в glibc, 345 тысяч утёкших сокетов и 474 тысячи соединений за полминуты: шесть багов в одной цепочке - сеть по выходным рвётся на 15–25 минут, а инфраструктура на Kafka после этого падала. Шесть багов от glibc до клиента Kafka, два из них прожили больше десяти лет.
https://habr.com/ru/articles/1096002/
3. Не DDoS, а баг в OPcache: воркеры PHP-FPM по 600 МБ на сервере с 5 500 сайтами WordPress - клиент думал, что его ддосят, а каждый новый воркер весил 600 МБ, и OOM-killer по очереди убивал базу и nginx. В итоге всё решил порядок двух команд.
https://habr.com/ru/articles/1095438/
4. ИИ‑Мониторинг, который работает и врёт - 31 задача в кроне, и за полгода ни одна поломка ничего не уронила: лог здоровый, отчёты по расписанию, а внутри мусор. Пять приёмов, как ловить такие тихие отказы.
https://habr.com/ru/articles/1096878/
5. Бэкап SQLite прошёл integrity_check, но потерял 90% данных: проверяю пять способов копирования - скопировали
app.db, integrity_check вернул ok, а из 100 заказов в копии 10. Пять способов бэкапа под живой записью, с цифрами.https://habr.com/ru/companies/first/articles/1094894/
6. Сверка по количествам зелёная, а перенесённое не работает - при переезде Битрикс24 было 154 поста и стало 154, только в 32 вместо картинок висит текстовая метка. Про то, что сверка полноты не отвечает на вопрос «а оно работает».
https://habr.com/ru/articles/1097416/
7. Как убрать секреты с сервера и не сломать существующие процессы - секреты собрали в хранилище, а старое приложение всё равно ждёт пароль в конфиге. Как пользоваться хранилищем и не вернуть секреты обратно в файлы и переменные окружения.
https://habr.com/ru/companies/clearway/articles/1096660/
Я бы начал с четвёртой и шестой: обе про отказы, после которых ничего не падает, кроме доверия к отчётам. Чем вы проверяете, что после деплоя оно реально работает?
#DevOps #Хабр