Microsoft 365 лежит второй день: серверы возвращают в строй, а трафик снова их роняет

Microsoft 365 лежит второй день: серверы возвращают в строй, а трафик снова их роняет

12 ноября Microsoft 365 перестал открывать почтовые ящики, и за почти сутки сбой так и не удалось полностью устранить. Инженеры перезапускают серверы Exchange Online, но вернувшиеся машины снова падают, как только на них приходит пользовательский трафик.

Разбираемся, что известно о сбое, почему каскадную аварию в облаке так долго поднимать и что делать администраторам и бизнесу, пока Microsoft не назвала причину.

Коротко

  • Сбой начался 12 ноября с почты Exchange Online и задел Outlook, Teams, SharePoint, Copilot и Defender XDR — всё, что зависит от почты.
  • По словам Microsoft, часть серверов внезапно выпала из работы, а остальные не выдержали перенесённой на них нагрузки. Первопричина на момент публикации не названа.
  • Microsoft заявляет, что признаков кибератаки нет. Утром 13 ноября сервис восстанавливался по регионам, но полного восстановления компания не объявила.
  • Это уже вторая крупная авария Microsoft 365 за 2026 год: в конце августа похожий сбой растянулся на несколько дней.

Что произошло

Сначала Microsoft сообщила о проблемах с доступом к почтовым ящикам Exchange Online в Америке, а вскоре признала, что затронуты могут быть пользователи в любом регионе. Инцидент получил номер EX1550543, а общий инцидент для остальных сервисов — MO1550821.

В уведомлении для администраторов компания уточнила, что не работают функции Microsoft 365, зависящие от Exchange Online и почты, а остальные продолжают работать, передаёт ABC News со ссылкой на Reuters. По данным SecurityWeek, Microsoft называла среди затронутых Teams, SharePoint Online, Microsoft 365 Copilot и Defender XDR.

На пике, по данным CBS News, о проблемах с Outlook на Downdetector сообщили больше 130 тысяч пользователей. Downdetector считает только тех, кто сам пожаловался, а Microsoft 365, по данным компании, пользуются больше 430 миллионов человек.

Хронология по обновлениям Microsoft, которые компания публикует на странице статуса и в своём аккаунте в X:

  • 12 ноября, днём по UTC. Microsoft начала расследовать проблемы с почтовыми ящиками в Америке и предупредила, что сбой может затронуть любой регион.
  • 12 ноября, около 20:00 UTC. Компания сообщила, что серверы не проходят автоматические проверки здоровья. Она тестировала обходной путь мимо компонента, который обрабатывает эти проверки, и разбиралась с повышенной нагрузкой на процессоры, пишет SecurityWeek.
  • 12 ноября, вечер. Microsoft запустила перезапуск всех затронутых серверов и параллельно тестировала изменение конфигурации.
  • Ночь на 13 ноября. Вернувшиеся серверы снова перестали отвечать. Microsoft признала, что принятые меры не дали ожидаемого облегчения, а ключевой процесс на серверах перегружается.
  • 13 ноября, раннее утро по UTC. Компания начала менять протоколы, перераспределять трафик и точечно блокировать его часть. В регионах, где это сделали, началось частичное восстановление.
  • 13 ноября, около 07:45 UTC. Microsoft сообщила о первых положительных результатах для стабильности серверов.
  • 13 ноября, около 09:15 UTC. По данным CNN, срок ожидания для задержанных писем продлён до 48 часов, чтобы почта не терялась.
  • 13 ноября, 11:00–12:00 UTC. Трафик постепенно возвращают, доступ к ящикам улучшается. По данным CNBC, Microsoft отметила «обнадёживающий прогресс» в Европе.

Кого задел сбой

Авария вышла далеко за пределы офисной переписки. По данным ABC News, заместитель генсекретаря кабинета министров Японии Масанао Одзаки сообщил, что пострадала ИТ-инфраструктура правительства. Палата представителей США заявила, что её инженеры работают вместе с Microsoft.

Верховный суд Филиппин, по данным CBS News, сообщил, что сбой затронул часть его работы, включая ответы на письма. Перестали работать и подключения ИИ-сервисов: OpenAI и Anthropic сообщили о проблемах с подключением к Microsoft 365.

Что Microsoft говорит о причине

Официальная версия пока описывает механизм, а не причину. По данным SecurityWeek, Microsoft объяснила рост нагрузки тем, что много серверов стали недоступны и весь трафик лёг на оставшиеся. Общий объём трафика при этом, по словам компании, не вырос.

Позже Microsoft уточнила, что на серверах перегружается ключевой процесс, из-за чего теряется мощность. Что запустило цепочку, компания не сообщила.

Некоторые детали известны со слов чиновников. Министр внутренних дел и кибербезопасности Австралии Тони Бёрк сказал, что Microsoft сравнила ситуацию со сбоем CrowdStrike в 2024 году, когда «пошло не так» обновление. Публично Microsoft такое изменение не называла.

Главное, что известно точно: это не атака. Исполнительный вице-президент Microsoft Чарльз Ламанна в ночь на пятницу заявил, что нет признаков вредоносной или кибер-активности.

Почему облако так трудно поднять

Самая показательная деталь аварии — серверы, которые падают сразу после перезапуска. Это типичная картина каскадного отказа. Каскадный отказ — это сбой, который сам себя усиливает: каждая упавшая машина увеличивает нагрузку на оставшиеся и приближает их падение.

Google в своей книге о надёжности production-систем называет главной причиной таких аварий перегрузку серверов. Ниже — как это развивается по шагам. Условный пример наш, механизм описан в книге Google и в обновлениях Microsoft.

Шаг 1. Часть серверов выпадает

Допустим, у сервиса 100 серверов и 30 из них по какой-то причине перестают отвечать. Балансировщик нагрузки — система, которая раздаёт запросы между серверами, — отправляет весь поток на оставшиеся 70.

Шаг 2. Проверка здоровья добивает перегруженных

Каждый из 70 серверов получает почти в полтора раза больше запросов и начинает отвечать медленнее. Автоматическая проверка здоровья видит медленный ответ и считает сервер мёртвым. Его выводят из ротации, и нагрузка на остальных растёт ещё сильнее.

Шаг 3. Повторы усиливают поток

Клиенты и почтовые серверы не сдаются, а повторяют запросы. Google предупреждает, что повторные попытки превращают небольшой процент ошибок в лавину трафика.

Шаг 4. Перезапущенный сервер падает снова

Когда инженеры поднимают сервер, он возвращается «холодным», без прогретых кэшей. На него сразу приходит его доля накопившейся очереди и повторов, и он снова не проходит проверку. Именно это Microsoft описывала ночью 13 ноября.

Шаг 5. Выход — уменьшить нагрузку, а не только добавить машины

Поэтому Microsoft не только перезапускала серверы, но и ограничивала часть трафика, меняла протоколы и перераспределяла соединения. Книга Google советует то же: отбрасывать часть запросов, включая повторы, пока общая нагрузка выше общей мощности.

Весь цикл одной строкой: перезапуск не помогает, пока не сброшен накопленный поток, а сбросить его, не отказав части пользователей, невозможно.

Чего мы пока не знаем

Первопричина

Microsoft обычно публикует итоговый разбор инцидента (Post Incident Review) после его закрытия. До этого любые версии — предположения, в том числе подробные технические разборы в соцсетях.

Вирусные объяснения

В X широко разошёлся пост о том, что Microsoft не может починить сервис, потому что инженерам приходит слишком много запросов подтверждения в Authenticator. В официальных обновлениях Microsoft такого заявления нет, и мы не нашли ему подтверждения.

То же касается связи со свежей уязвимостью Outlook. 10 ноября Microsoft закрыла активно эксплуатируемую ошибку Outlook CVE-2026-124194, а CISA внесла её в каталог эксплуатируемых уязвимостей. Но, как отмечает SecurityWeek, Microsoft не связывала её со сбоем Exchange Online.

Повторяемость

Сбой не первый. 31 августа Microsoft 365 уже ложился из-за проблемы в «базовой конфигурации аутентификации», которую используют несколько сервисов, и тот инцидент тянулся несколько дней.

Аналитик eToro Джош Гилберт сказал Reuters, что инвесторы, скорее всего, не обратят на сбой внимания, а вот клиентов беспокоит повторяемость. По его словам, если ненадёжность станет системной, у ИТ-отделов появится повод не складывать ещё больше бизнеса в руки одного поставщика.

Есть и противоположный взгляд. Ещё в 2023 году Gartner указывала, что облачные сбои в целом становятся реже и короче, а держать полную копию инфраструктуры у второго провайдера дорого. Вместо этого аналитики советовали «облегчённую» резервную версию самых важных сервисов.

Открытый вопрос. Две затяжные аварии Microsoft 365 за два с половиной месяца начинались в Exchange Online и расходились по всем зависимым сервисам. Покажет ли разбор, что у них общий корень, и изменит ли Microsoft архитектуру, а не только конкретную настройку?

Что это значит для администраторов, разработчиков и бизнеса

Администраторам

  • Не пересоздавать профили Outlook и не сбрасывать пароли: проблема на стороне Microsoft, а лишние действия добавят работы после восстановления.
  • Не отправлять письма повторно: Microsoft продлила срок ожидания задержанной почты до 48 часов.
  • Если не открывается центр администрирования, следить за статусом на status.cloud.microsoft и в аккаунте @MSFT365Status — так советует сама Microsoft.
  • Записывать, кого и когда задел сбой, и сохранить номера инцидентов. Это понадобится для компенсации.

Про компенсацию

Microsoft обещает доступность основных сервисов Microsoft 365 на уровне 99,9% в месяц — это около 43 минут простоя. Если доступность ниже, по условиям соглашения об уровне обслуживания положен кредит: 25% при доступности ниже 99,9%, 50% — ниже 99%, 100% — ниже 95%.

Кредит не начисляется автоматически, его нужно запросить. Клиенты, которые покупают подписку через партнёра, подают заявку через него: по правилам Microsoft, нужны идентификатор организации и номер инцидента со страницы Service Health.

Разработчикам

  • Интеграции с почтой и календарём через Microsoft 365 могут падать по тайм-ауту — это повод проверить, как ваш код повторяет запросы.
  • Повторы должны идти с растущей паузой и случайным разбросом, иначе тысячи клиентов одновременно ударят по восстанавливающемуся сервису.
  • Если продукт зависит от Microsoft 365, нужен понятный пользователю режим деградации, а не бесконечная загрузка.

Бизнесу и безопасникам

Сбой показал, сколько всего держится на одной почте: письма клиентам, ответы госорганов, подключения ИИ-ассистентов, а у многих — ещё и коды входа в другие системы.

Отдельный риск — фишинг. При крупных сбоях мошенники обычно рассылают письма «о восстановлении сервиса» с просьбой войти заново. Сотрудникам стоит напомнить: никаких повторных входов по ссылкам из писем.

На наш взгляд, главный практический вывод — заранее решить, через какой канал компания общается, когда почта и Teams недоступны, и куда приходят коды входа. Это дешевле, чем второй облачный провайдер, и закрывает самые болезненные последствия.

Вывод

Авария Microsoft 365 выглядит как классический каскадный отказ: часть серверов выпала, остальные не выдержали нагрузки, а перезапуски не помогали, пока Microsoft не начала ограничивать трафик и перераспределять соединения. Компания уверена, что это не атака, но первопричину пока не назвала.

Для клиентов важнее другое: это вторая затяжная авария за два с половиной месяца, и в обоих случаях один сбой в Exchange Online вывел из строя почти весь рабочий набор. Разбор Microsoft покажет, что именно сломалось, но план на случай, когда почта молчит, стоит составить уже сейчас.

Полезная новость?

Читайте также

Комментарии

 logo