Рекордный сбой в «Аллее дата-центров»: 3 ГВт отключились за секунды — что пошло не так?
Авария на линии электропередачи в Ашберне (штат Виргиния) спровоцировала самое масштабное снижение нагрузки в истории американской энергосистемы. Когда неполадка вынудила крупных гиперскейлеров из «Аллеи дата-центров» на короткое время задействовать резервные генераторы, нагрузка в сети PJM менее чем за несколько секунд сократилась более чем на 3 ГВт, сообщает Datacenter Knowledge. Это уникальный случай, позволяющий увидеть, как крупные ИИ-кампусы реагируют на сбои в основной энергосети. По сути, изменения нагрузки были вызваны не действиями энергокомпании, а системами защиты самих центров обработки данных.
Согласно данным PJM, более 3 ГВт составляли около 3 % от общего объёма потребностей системы в тот момент. Резкое отключение столь значительной нагрузки привело к заметному изменению частоты тока в сети, однако общая надёжность энергосистемы не пострадала. Компания Dominion Energy, действующая в рамках сети PJM, сообщила, что события начали развиваться после автоматического отключения ЛЭП в Ашберне. Электроснабжение было восстановлено в течение нескольких минут. Какое именно количество объектов и какие конкретно были переведены на резервное питание, не раскрывается.
Примечательно, что пару недель назад, в период рекордной жары, PJM впервые предупредила операторов ЦОД о возможной необходимости перейти на локальную генерацию в случае ухудшения состояния энергосети, однако таких запросов так и не последовало. При этом сейчас PJM испытывает давление со стороны властей, которые критикуют её за недостаточную скорость подключения новых ИИ-ЦОД к электроснабжению и угрожают разделить компанию. Однако у компании мало пространства для манёвра — в «Аллее дата-центров», по данным Data Center Map, функционируют 278 дата-центров, а ещё 121 ЦОД находится на стадии проектирования и строительства.
Источник изображения: Nhan Hoang/unspalsh.com
Организация PJM до сих пор не обнародовала никаких результатов расследования, а причина сбоя на линии электропередачи, которых и без того не хватает, также остаётся неизвестной. Нет информации и о том, связано ли снижение нагрузки с одним крупным заказчиком или с несколькими объектами. Тем не менее, это далеко не первый подобный случай в сетях PJM и Dominion. Два года назад из-за кратковременного нарушения в работе ЛЭП сразу 60 дата-центров суммарной мощностью 1,5 ГВт одномоментно отключились от энергосети, перейдя на резервные генераторы. Более того, автоматическое восстановление основного питания не сработало, поэтому ЦОД оставались без подключения к сети в течение нескольких часов.
Сейчас PJM разрабатывает новые регламенты для действий в чрезвычайных ситуациях, связанных с колебаниями нагрузки в гигаваттных масштабах. На протяжении десятилетий коммунальные предприятия и операторы энергосистем планировали меры на случай неожиданного отключения крупных генерирующих мощностей. Теперь им предстоит готовиться и к внезапному падению нагрузки из-за работы ИИ-центров обработки данных, а также к столь же быстрому восстановлению потребления энергии. По мнению экспертов, гиперскейл-кампусы становятся настолько значимыми для общей энергосистемы, что к ним необходимо предъявлять особые требования по устойчивости к кратковременным сбоям и корректному возврату в сеть — внезапное подключение 3 ГВт нагрузки столь же опасно, как и её резкое отключение.
Коммунальным компаниям и PJM также требуются инструменты мониторинга в реальном времени, чтобы выяснять, какая часть нагрузки находится «за счётчиком», сколько резервных мощностей задействовано и когда нагрузка будет восстановлена. В течение прошлого года североамериканский регулятор NERC изучал вопросы моделирования и интеграции быстрорастущих нагрузок ЦОД в процессы планирования магистральных энергосистем.
Впрочем, уже сегодня дата-центры в Вирджинии негативно сказываются на качестве электроснабжения обычных потребителей — риск возникновения пожаров становится всё выше. Более того, недавно китайские специалисты по кибербезопасности сообщили, что злоумышленники могут использовать облачные ЦОД в качестве оружия для атак на энергосети, удалённо управляя поведением энергоёмких ИИ-нагрузок.
Источник: