2 часа ночи... Продакшн лежит

В 2:04 утра телефон дежурного инженера загорается. Производственный API, критическая ошибка, уровень ошибок выше 80%. Все серверы выглядят работоспособными, PostgreSQL отвечает мгновенно, и всё равно никто не может разместить заказ. Причиной стало «незначительное обновление схемы», застрявшее за транзакцией, которую кто-то забыл закрыть. Эти истории вдохновлены реальными ИТ-инцидентами, разговорами с коллегами-инженерами, отчётами об инцидентах и анализом причин их возникновения, встречами и конференциями в сфере технологий, а также опытом, которым делится технологическое сообщество. Имена, компании, серверы и другие детали вымышлены для удобства повествования. 0:00 Страница в 2 часа ночи 0:50 Всё выглядит работоспособным 1:40 Дэниел и автомасштабирование 2:37 Ожидание блокировки 3:45 Что удерживало блокировку 5:23 Восстановление 6:07 Первопричина 7:33 Возвращение в постель