Технологии

Microsoft назвала три причины масштабного сбоя облачных сервисов

Скрытая ошибка в облачном шлюзе, перераспределение трафика и нехватка вычислительных ресурсов вывели из строя значительную часть инфраструктуры Microsoft 365 и Exchange

Один основной источник · Как мы проверяем новости

Microsoft назвала три причины масштабного сбоя облачных сервисов
Иллюстрация к материалу RedBTC News

Что произошло

Сбой затронул значительную часть Microsoft 365 и инфраструктуры Exchange, из-за чего проблемы возникли у компаний и государственных учреждений, использующих облачные и почтовые сервисы Microsoft.

В предварительном отчете Microsoft инцидент обозначен идентификаторами EX1550543 и MO1550821. Дополнительный мониторинг затронутых систем продолжался до 14 ноября.

Как развивался сбой

Первой причиной стал дефект в изменении, развернутом в облачном шлюзе начиная с июля. При определенных условиях он приводил к исчерпанию ресурсов CPU и памяти, после чего серверы переставали отвечать. Microsoft считает, что предварительное тестирование не выявило проблему: использовавшееся в нем оборудование было менее мощным, чем часть систем в рабочей среде.

Вторым фактором стало перераспределение трафика. Примерно за 15 часов до сбоя трафик Teams перенаправили с резервного шлюза на основной, где поддерживается доступ к Exchange Online. Основной шлюз получил больше запросов и столкнулся с иной структурой нагрузки.

Третьим фактором оказалась нехватка инфраструктурного резерва. На фоне существующей неисправности парк серверов шлюза работал на 14% ниже оптимальных условий. В сочетании с изменившимся трафиком и дефектом это привело к блокировкам и отказу серверов принимать новые подключения.

Резервные системы перенаправляли запросы от не отвечавших серверов, но на резервных шлюзах возникали те же блокировки. В результате зависло более 80% затронутых серверов шлюза.

Почему восстановление заняло время

Перезапуск серверов не помогал: после возвращения в работу их уже ожидали большие очереди запросов, которые снова вызывали исчерпание ресурсов. Для устранения проблемы инженерам Microsoft потребовалось целевое обновление систем.

Teams, OneDrive и другие приложения Office можно было перенаправить с затронутой инфраструктуры, но ограничения масштабирования не позволили сделать то же самое для Exchange Online.

Microsoft сообщила, что добавила мощности и дополнительные ограничения для распределения трафика. Компания также увеличила сроки доставки затронутых писем, чтобы задержанные сообщения не возвращались отправителям как недоставленные.

Что пока остается неясным

Текущий отчет Microsoft не объясняет, почему механизмы региональной изоляции затронутых систем не сработали. Компания ожидает опубликовать полный итоговый отчет 20 ноября, который может содержать дополнительные пояснения и описание корректирующих мер.

Advertisement

Источники

Один основной источник. Как мы проверяем новости

  1. arstechnica.com