Microsoft объяснила, почему 12 ноября почти на сутки лёг Microsoft 365. Причина — дефект, который попал на серверы ещё в июле и три месяца ничем себя не выдавал. Сработал он, когда совпали рост нагрузки и нехватка мощности.
Последствия вышли за пределы офисов. В немецком парке развлечений Phantasialand из-за сбоя не дошло автоматическое письмо о превышении хлора в бассейне, и 15 гостей отеля пострадали.
Коротко
- Сбой длился с 16:20 UTC 12 ноября до 16:10 UTC 13 ноября и задел Exchange Online, Teams, SharePoint, Copilot и ещё десяток сервисов.
- Причину Microsoft описывает как сочетание трёх факторов: скрытого дефекта из июльского исправления, переключения Teams на перегруженный шлюз и выпавших накануне 14% серверов.
- Меньше чем за два часа отказ разошёлся по всему миру, в худший момент не отвечали больше 80% серверов шлюза.
- Итоговый разбор Microsoft обещает опубликовать до 20 ноября.
Что сообщила Microsoft
Подробное объяснение 16 ноября опубликовал в X исполнительный вице-президент Microsoft Чарльз Ламанна, который отвечает за Copilot, агентов и платформу. Он извинился перед клиентами и изложил сокращённую версию предварительного отчёта об инциденте. Полная версия доступна администраторам в центре администрирования Microsoft 365.
Текст предварительного отчёта (Post Incident Review) опубликовал Office Watch. Оттуда известны точные сроки и список пострадавших сервисов. Кроме почты, в нём Defender, Purview, Intune, Power BI, Planner и Universal Print. Инциденту присвоены номера EX1550543 и MO1550821.
Объяснение заметно расходится с первыми сообщениями. Вечером 12 ноября Microsoft писала, что не нашла недавних изменений, совпадающих с началом сбоя. Формально это так: изменение, которое всё сломало, не было недавним.
Три фактора сбоя
Все три касаются сетевого шлюза. Это серверы, которые первыми принимают подключения пользователей и передают их дальше, в Exchange Online и другие сервисы. Если шлюз не отвечает, не открывается и всё, что за ним.
Фактор 1. Дефект, который ждал три месяца
В июле Microsoft начала выпускать исправление, подготовленное специально для серверов сетевого шлюза Microsoft 365. В нём оказался скрытый дефект: при определённой нагрузке возникала конкуренция за блокировку внутри одного из процессов.
Блокировка — это механизм, который не даёт нескольким потокам одновременно менять одни и те же данные. Если потоков слишком много, они выстраиваются в очередь, а процессор и память уходят на ожидание. По предварительному отчёту, именно так серверы исчерпывали процессор и память и переставали отвечать.
Обновление прошло стандартный поэтапный выпуск и несколько недель расходилось по миру. Больше трёх месяцев проблем не было. Нагрузочные тесты дефект не поймали: в лабораториях был другой состав трафика, а тесты гоняли в основном на слабых конфигурациях. Хуже всего проблема проявлялась на новых машинах с большим числом ядер.
Ламанна уточняет, что ни дефект, ни само исправление не относятся к обычным установкам Windows.
Фактор 2. Teams добавил нагрузки
У Microsoft 365 две независимые системы сетевых шлюзов, и сервисы могут переключаться между ними при проблемах. Примерно за 15 часов до сбоя Teams штатно ушёл с альтернативного шлюза на основной, через который работает и Exchange Online. Нагрузка выросла, а характер трафика изменился.
Фактор 3. Минус 14% мощности
Одновременно почти 14% серверов шлюза не работали из-за отдельной проблемы, случившейся накануне. Их собирались вернуть в строй обычными процедурами. Запаса мощности хватало, и само по себе это ни на что не влияло.
Весь сбой одной строкой: сильная нагрузка и уменьшенный парк вместе разбудили дефект, который при обычных условиях не проявлялся.
Как локальная проблема стала глобальной
Отказ пришёлся на пик трафика в США. Когда сервер перестаёт отвечать, системы управления трафиком отправляют пользователей на другие, здоровые серверы. Обычно это и делает сервис устойчивым.
Здесь механизм сработал против Microsoft. Перенаправленный трафик повышал нагрузку на оставшиеся серверы, и дефект срабатывал уже на них. Меньше чем за два часа он прошёл по всему парку, и в худший момент не отвечали больше 80% серверов.
Шлюз разбит на тысячи изолированных частей, сгруппированных по регионам. Перегородки между ними должны останавливать такие цепные отказы, но из-за ещё одной, отдельной проблемы они не сработали.
Teams, OneDrive, SharePoint и Office смогли уйти на другой шлюз и восстановились раньше. Exchange Online так сделать не может, поэтому почта лежала дольше всего.
Почему восстановление заняло сутки
Вернувшиеся серверы сразу получали накопившийся поток запросов и снова падали. Автоматическое восстановление не было рассчитано на то, что почти весь парк одновременно перестанет отвечать. Обычные инструменты — откат, поэтапное включение, флаги функций — не позволили быстро вернуть изменение: ему было несколько месяцев.
В итоге инженеры выпустили обновление, которое вернуло код к прежнему рабочему состоянию. Затем они по очереди выводили группы серверов из работы, ставили исправление и возвращали их обратно, иногда больше половины региона за раз.
Такую картину исследователи называют метастабильным отказом. Авторы статьи в журнале USENIX описывают его как постоянную перегрузку, при которой система почти не делает полезной работы. Ключевая черта — она остаётся в этом состоянии даже после того, как исходный толчок убран. Среди 21 разобранного в статье случая четыре пришлись на Microsoft Azure.
Термин ввели исследователи в работе 2021 года. Они отмечают, что систематического способа защититься от неизвестных метастабильных отказов пока нет.
Почему поэтапный выпуск не помог
Microsoft сама учит клиентов выпускать обновления по уровням: сначала на небольшую группу пользователей, готовых к риску, потом на всё более широкие. Между этапами выдерживается время «выдержки». В руководстве Microsoft сказано, что для большинства сценариев суток достаточно, чтобы проявились скрытые ошибки.
Этот случай показывает предел подхода. Дефект проявлялся только при сочетании редких условий, которые три месяца не совпадали. Никакая выдержка в сутки или неделю такое не поймает. Руководство Microsoft, впрочем, и не обещает поймать всё: в нём прямо признано, что даже после всех проверок изменения иногда вызывают непредвиденные проблемы.
Хлор в бассейне и письмо, которое не дошло
Самое неожиданное последствие сбоя случилось в Германии. Как сообщил WDR, в пятницу, во время сбоя Microsoft, гости отеля Ling Bao в парке Phantasialand в Брюле пожаловались на самочувствие после посещения бассейна.
Автоматическая система дозирования из-за неисправности закачала в воду слишком много хлора. Система безопасности сауны и бассейна подняла тревогу, но по электронной почте. Из-за сбоя Microsoft письма не доходили, и о проблеме никто не узнал. Это парк сам сообщил WDR.
Сначала на раздражение дыхательных путей пожаловались 13 человек, затем число пострадавших выросло до 15. Четверых отвезли в больницу, один из них с травмой средней тяжести остался под наблюдением. Воду в бассейне заменили, и его снова открыли.
Важно, что Outlook не управлял подачей хлора. Сломалось оборудование, а сбой в облаке оборвал цепочку оповещения. Журналист Notebookcheck задаётся вопросом, почему настолько критичная функция контроля опирается на сравнительно ненадёжный канал вроде электронной почты.
Чего мы пока не знаем
Это предварительный отчёт
По данным Office Watch, итоговый разбор Microsoft выпустит до 20 ноября, и он заменит предварительный. Там же будет полный список мер. Пока среди выполненных — откат кода, продление срока доставки задержанных писем, дополнительный запас мощности, новый мониторинг перенаправления трафика и ограничения на его распределение.
Две «отдельные проблемы»
Отчёт упоминает две не связанные со сбоем проблемы, без которых он, возможно, не стал бы глобальным: выпавшие 14% серверов и не сработавшие перегородки между регионами. Что это были за проблемы, в опубликованной сокращённой версии не сказано.
Сбои повторяются
В июле Microsoft уже объясняла крупный сетевой сбой ошибкой собственных инструментов. Тогда, по данным BleepingComputer, система обслуживания сети по ошибке убрала маршруты с лишних устройств, и сервисы на западе США около пяти часов были недоступны. Причины разные, но оба раза проблема была в инфраструктуре вокруг сервисов, а не в них самих.
Открытый вопрос. Microsoft держит два независимых сетевых шлюза именно ради отказоустойчивости, но Exchange Online может работать только через один из них. Станет ли итоговый разбор поводом переделать эту зависимость, или дело ограничится исправлением конкретного дефекта?
Что это значит для администраторов, разработчиков и бизнеса
Администраторам
- Прочитать полный отчёт в центре администрирования Microsoft 365 по номеру EX1550543 и сохранить его. Он пригодится для запроса компенсации по соглашению об уровне обслуживания.
- Своих серверов Windows сбой не касается: по словам Ламанны, ни дефект, ни исправление не относятся к обычным установкам Windows.
- Дождаться итогового отчёта до 20 ноября: в нём будет полный список изменений, которые обещает Microsoft.
Разработчикам
- Нагрузочные тесты стоит гонять и на самых мощных машинах парка, а не только на слабых. Проблемы конкуренции за блокировки часто растут с числом ядер.
- Механизм перенаправления трафика нужно проверять на сценарий «падают все»: иначе он сам разносит отказ по системе.
- Плану восстановления нужен способ поднимать серверы без немедленного удара накопленной очереди: ограничение входящего потока, постепенное возвращение в работу.
Бизнесу и тем, кто отвечает за оборудование
История Phantasialand касается не только бассейнов. Многие системы мониторинга, от серверных до холодильников на складах, отправляют тревоги по почте через облачные сервисы.
На наш взгляд, у любой тревоги, от которой зависит здоровье людей, должен быть второй канал, не зависящий от того же облака: SMS, звонок, локальная сирена. Ещё полезно знать, что мониторинг жив. Если система обычно присылает сообщение раз в час, тишина тоже должна вызывать тревогу.
Вывод
Microsoft не нашла один сломавшийся компонент, а описала совпадение: старый дефект, рост нагрузки и нехватку серверов. Механизмы, которые обычно спасают сервис, на этот раз разнесли отказ по всему миру и мешали восстановлению.
Для клиентов главный вывод практический. Даже у самого крупного поставщика бывают сутки без почты, и проверять стоит не только облако, но и то, что в вашей компании молча зависит от одного письма.




Комментарии