Дата-центр под атакой: как проверить устойчивость облака

📋 Кратко

Устойчивость облака проверяется не числом серверов, а готовностью пережить потерю площадки, сбой управления или захват резервного сервера. Разбираем физический, сетевой, управляющий и вычислительный уровни. Показываем, как проверить резервирование, учётные записи, контейнеры, копии данных и работу команды во время аварии.

⏱ 8 минут чтения│сложность
Резерв работает только при реальном переключении нагрузки
Резерв работает только при реальном переключении нагрузки

🔍 Что означает устойчивость дата-центра

Облако выдерживает атаку, когда сервис продолжает работать. Он также быстро восстанавливается после сбоя.

Одна уязвимость может усилить последствия на всех уровнях
Одна уязвимость может усилить последствия на всех уровнях

Проверка начинается с простой схемы. Сначала перечислите важные сервисы и данные. Затем укажите площадки, сети, учётные записи и копии.

Не смешивайте отказ и компрометацию. Повреждение площадки нарушает доступность. Захват сервера угрожает данным и доверию к системе.

В октябре атаки повредили площадки «Яндекса» в Рязанской области и Калуге. События показали важность распределённых мощностей. Одной резервной площадки бывает мало.

Главная мысль: резерв есть только тогда, когда нагрузка реально переходит на него. Наличие свободных серверов само по себе ничего не доказывает.

Проверяйте не только серверы. Смотрите на каналы связи, питание, DNS, хранилища и управление.

Что сделать сейчас: составьте карту сервисов. Для каждого сервиса укажите владельца, площадку и время восстановления.

⚠️ Как выглядит модель угроз

У дата-центра есть несколько уровней риска. Физический уровень включает здания, питание и оборудование.

Разные регионы уменьшают общий риск отказа площадок
Разные регионы уменьшают общий риск отказа площадок

Сетевой уровень включает каналы, маршрутизацию и внешние соединения. Управляющий уровень включает консоли, ключи и роли.

Вычислительный уровень включает виртуальные машины, контейнеры и приложения. Ошибка на одном уровне может усилить проблему на другом.

Атака на дата-центр может начаться с физического повреждения. Она также может начаться с уязвимого сервера резервных копий.

В октябре атакующие получили максимальные права на серверах AhsayCBS. Они обходили вход и выполняли команды Windows.

После проникновения злоумышленники оставляли веб-шелл. Такой компонент возвращает им удалённое управление.

Затем они запускали майнер XMRig. Он добывал Monero и потреблял ресурсы сервера.

Правило проверки: рассматривайте потерю площадки и захват сервера одновременно. План должен работать при каждом сценарии.

Не называйте угрозу доказанным инцидентом без проверки. Сначала фиксируйте факт, источник сигнала и границы события.

Что сделать сейчас: опишите три сценария. Потеря площадки, захват сервера и отказ канала должны быть отдельными пунктами.

🏢 Как проверить физическую и региональную устойчивость

Распределённая инфраструктура снижает зависимость от одной площадки. Но она не гарантирует бесперебойную работу.

Пользователь видит весь путь запроса, а не сервер
Пользователь видит весь путь запроса, а не сервер

Резерв должен принимать реальную нагрузку. Данные должны оставаться доступными после потери основного центра.

В сообщениях о повреждении площадок «Яндекса» описана такая проблема. Сервисы можно переносить между центрами. Скорость переноса влияет на последствия.

Проверяйте расположение основных и резервных мощностей. Укажите общие здания, каналы, энергосети и точки управления.

Два центра в одном регионе могут зависеть от общего события. Разные регионы уменьшают такой риск.

Резерв бывает горячим или холодным. Горячий быстрее принимает нагрузку. Холодный требует больше времени для запуска.

Отдельно проверьте питание и связь. Резервная площадка бесполезна без доступного канала.

Проверяйте сценарий потери двух кластеров. Один отказ не показывает весь запас прочности.

Практическая проверка: проведите учение без предупреждения пользователей. Перенесите тестовую нагрузку и измерьте время восстановления.

Запишите результат в минутах. Сравните его с допустимым временем простоя.

Что сделать сейчас: нарисуйте карту зависимостей двух площадок. Отметьте общие каналы, копии и учётные записи.

🌐 Как проверить сеть и доступность сервисов

Пользователь видит сервис, а не отдельный сервер. Поэтому проверяйте весь путь запроса.

Избыточные права превращают изоляцию в точку прорыва
Избыточные права превращают изоляцию в точку прорыва

В этот путь входят DNS, маршрутизация, защита периметра и приложение. Отказ одного элемента может выглядеть как сбой всего облака.

Измеряйте доступность из нескольких регионов. Сравнивайте ошибки, задержку и время ответа.

Во время проблем с сервисами «Яндекса» DownDetector фиксировал обращения пользователей. На 13:30 по Москве сервисы входили в пятёрку источников жалоб.

На них приходилось около двух процентов обращений. Всего за предыдущие сутки пользователи оставили около 7,5 тысячи жалоб.

Эти числа показывают важность внешнего наблюдения. Внутренний мониторинг может не видеть проблемы клиента.

Проверяйте запас каналов и независимость маршрутов. Один резервный кабель не всегда даёт независимый путь.

Разделяйте трафик управления и рабочих сервисов. Аварийный доступ не должен зависеть от общей сети.

Настройте уведомления по задержке, ошибкам и отказам. Сигнал должен приходить до массовых жалоб.

Что сделать сейчас: добавьте внешнюю проверку главных адресов. Сравните её с данными внутреннего мониторинга.

🔐 Как защитить управляющую плоскость

Управляющая плоскость меняет настройки всего облака. Её компрометация опаснее отказа одного сервера.

Копия защищает данные только после успешного восстановления
Копия защищает данные только после успешного восстановления

Разделите роли администратора, оператора и наблюдателя. Каждая роль получает только нужные права.

Включите многофакторную аутентификацию для важных учётных записей. Резервные способы входа храните отдельно.

Проверяйте сервисные ключи и их срок действия. Старый ключ может сохранять доступ после смены сотрудника.

Уберите общий вход для команды. Личная учётная запись оставляет понятный след действий.

Записывайте изменения ролей, сетей, хранилищ и резервных копий. Журнал должен быть доступен после потери основной площадки.

Отдельно защитите консоль резервного копирования. Инцидент с AhsayCBS показывает опасность такого узла.

В атаке использовались две уязвимости. Первая обходила проверку входа. Вторая позволяла выполнять команды операционной системы.

Минимум для управления: многофакторный вход, разные роли, короткоживущие ключи и отдельный журнал действий.

Проверяйте аварийный доступ без отключения защиты. Команда должна знать порядок восстановления безопасного входа.

Что сделать сейчас: выгрузите список администраторов и ключей. Удалите неиспользуемые записи после проверки владельцев.

🧱 Как проверить виртуальные машины и контейнеры

Виртуальная машина отделяет одну рабочую среду от другой. Гипервизор управляет этой границей.

Контейнеры используют общие ресурсы узла. Поэтому ошибка прав может расширить последствия атаки.

Проверяйте изоляцию виртуальных машин и сетевых сегментов. Отдельно проверяйте пространства имён контейнеров.

Привилегированный контейнер получает слишком широкие возможности. Запрещайте его запуск без письменного обоснования.

Ограничьте доступ к сокету контейнерного движка. Такой доступ способен дать контроль над другими контейнерами.

Проверяйте права на запуск новых контейнеров. Разработчику не всегда нужен доступ к узлу.

Контролируйте образы до запуска. Храните сведения об источнике, версии и составе каждого образа.

Проверяйте образы после обновлений. Неиспользуемые и неизвестные образы удаляйте.

Следите за необычной нагрузкой узлов. Майнер XMRig создаёт заметный расход процессора.

В одном расследовании файл получил имя edge.exe. Такое имя помогало скрыть майнер среди файлов.

Атакующие также создали службу MicrosoftEdgeUpdateSvc. Она запускала вредоносный процесс после перезагрузки.

Чек-лист узла: нет лишних привилегий, сокет закрыт, образы проверены, запуск ограничен, журналы сохраняются.

Что сделать сейчас: выгрузите список привилегированных контейнеров. Для каждого укажите причину и владельца.

💾 Как проверить резервные копии

Копия защищает данные только при восстановлении. Сам факт её создания ничего не доказывает.

Проверяйте частоту копирования и срок хранения. Укажите данные, которые нельзя потерять.

Храните копии отдельно от рабочих серверов. Компрометация одного доступа не должна открывать всё хранилище.

Разделяйте права чтения, записи и удаления. Учётная запись приложения не должна удалять все копии.

Проверяйте восстановление на отдельной среде. Не меняйте рабочие данные во время теста.

Измеряйте время возврата сервиса. Также проверяйте полноту восстановленных данных.

Сервер копий сам становится важной целью. В октябре атакующие получили контроль над AhsayCBS.

После взлома они оставляли веб-шелл и запускали майнер. Это показывает риск доверия к серверу резервного копирования.

Проверяйте версии программ и наличие исправлений. В описанном случае под удар попала версия 10.3.4.

На момент публикации готового исправления не было. Поэтому временные меры должны снижать доступ и наблюдать активность.

Что сделать сейчас: восстановите одну копию в изолированной среде. Запишите ошибки и точное время результата.

🕵️ Как искать признаки компрометации

Устойчивость включает способность заметить атаку. Позднее обнаружение увеличивает ущерб.

Собирайте журналы входа, команд и изменений. Отдельно записывайте создание служб и запуск новых процессов.

Проверяйте веб-каталоги на неизвестные файлы. Веб-шелл может вернуть удалённый доступ.

Ищите новые службы Windows. Особенно важны службы с похожими на системные именами.

Проверяйте задания PowerShell и их содержимое. В описанном инциденте Taskgmr.ps1 следил за Диспетчером задач.

Сценарий останавливал майнинг при открытии диспетчера. После закрытия он снова запускал процесс.

Сравнивайте загрузку процессора между узлами. Резкий рост без изменений в нагрузке требует проверки.

Проверяйте сетевые соединения серверов резервного копирования. Сервер копий не должен свободно обращаться ко всем системам.

Храните журналы отдельно от проверяемого сервера. Иначе атакующий может удалить следы.

Сигналы для проверки: новый веб-файл, неизвестная служба, команда PowerShell, высокий расход процессора и странный исходящий трафик.

Не объявляйте компрометацию по одному сигналу. Сопоставляйте время, учётную запись, процесс и сетевой адрес.

Что сделать сейчас: создайте список признаков компрометации. Назначьте владельца проверки каждого сигнала.

🚀 Как провести учение по восстановлению

План восстановления должен проверять действия людей. Документ без учения быстро устаревает.

Начните с потери одной площадки. Затем добавьте отказ канала и недоступность консоли.

Следующий сценарий включает захват сервера копий. Команда должна сохранить чистые копии и доступ к ним.

Назначьте роли заранее. Один сотрудник принимает решение. Другой контролирует технические действия.

Третий сотрудник ведёт журнал событий. Такой журнал помогает восстановить порядок действий.

Проверяйте переключение нагрузки между регионами. Укажите сервисы, которые нельзя переносить автоматически.

Сравнивайте фактическое время с целевым. Если цель не достигнута, меняйте план.

После учения фиксируйте каждую ошибку. Не ограничивайтесь выводом «система восстановлена».

В случае с распределёнными площадками важен запас мощности. Резерв должен принять дополнительную нагрузку после отказа.

Учение также проверяет связь между командами. Техническая готовность не заменяет понятные решения.

Что сделать сейчас: проведите короткое учение на одном неприоритетном сервисе. Измерьте переключение, восстановление и возврат нагрузки.

✅ Итоговый чек-лист проверки облака

Проверка должна охватывать все уровни. Не начинайте только с сетевого экрана.

  • Перечислены сервисы, данные, владельцы и зависимости.
  • Основная и резервная площадки имеют разные точки отказа.
  • Резерв принимает тестовую нагрузку в заданное время.
  • Копии восстанавливаются в отдельной среде.
  • Управляющая плоскость защищена многофакторным входом.
  • Роли и сервисные ключи регулярно пересматриваются.
  • Привилегированные контейнеры имеют обоснование.
  • Доступ к сокету контейнерного движка ограничен.
  • Образы имеют понятное происхождение и версию.
  • Журналы сохраняются вне проверяемого сервера.
  • Команда знает порядок действий при захвате сервера копий.
  • Учения проверяют потерю двух кластеров и одного канала.

Отдельно фиксируйте неизвестные элементы. Неполная инвентаризация мешает оценке риска.

Не делайте вывод о безопасности по одному тесту. Повторяйте проверку после изменений в облаке.

Устойчивость показывает не отсутствие атак. Она показывает способность ограничить последствия и восстановиться.

Финальный критерий: команда должна быстро понять, что произошло. Затем она должна сохранить данные и вернуть сервис без лишних прав.

Что сделать сейчас: назначьте дату ближайшего учения. До него закройте неизвестные ключи, образы и резервные маршруты.

📚 Читайте также

📖 Термины

IAM (Identity and Access Management) · Kubernetes · Гипервизор · Инцидент-реагирование · Микросегментация

🔗 Источники