NetApp выпустила платформу хранения Novus на зеттабайт для ИИ-фабрик с миллионами GPU
NetApp анонсировала дезагрегированную архитектуру нового поколения под названием NetApp Novus, рассчитанную на хранение данных в масштабе зеттабайтов. Это решение призвано обеспечить ИИ-фабрикам бесперебойную подачу данных на миллионы GPU, максимально повышая эффективность, уровень загрузки ресурсов и возврат инвестиций. Novus позиционируется NetApp как самая быстродействующая система хранения в мире.
В компании подчеркнули, что неооблака и поставщики GPUaaS формируют ИИ-фабрики такого масштаба, для которого традиционные архитектуры СХД изначально не проектировались. Это порождает «узкие места», которые снижают коэффициент использования GPU и ведут к росту затрат на инфраструктуру. При применении традиционных архитектур загрузка GPU может опускаться ниже 30%, если система не в состоянии подавать достаточный объём данных для достижения нужных результатов и окупаемости вложений.
«ИИ-фабрики давно нуждались в инфраструктуре, способной масштабироваться со скоростью развития технологий ИИ», — заявил Сьям Наир (Syam Nair), директор по продуктам NetApp. По его словам, опираясь на преимущества платформы NetApp, решение Novus обеспечивает совокупную пропускную способность 100 Тбайт/с с возможностью неограниченного горизонтального масштабирования.
Источник изображения: NetApp
Ариндам Банерджи (Arindam Banerjee), ведущий архитектор платформ и технологий NetApp, отметил, что в основе Novus лежит принцип федерации, позволяющий объединять несколько кластеров хранения в общее пространство имён, а пропускная способность возрастает пропорционально числу подключённых кластеров. Система построена на стандартных протоколах pNFS и Flex Files, благодаря чему достаточно использовать штатное ядро Linux.
Это освобождает операторов от задач по развёртыванию, обновлению и тестированию проприетарных клиентских компонентов для тысяч образов узлов, разных поколений GPU и сред множества арендаторов. Подобная модель убирает существенный источник постоянных операционных издержек, при этом сохраняя единое пространство имён для общей инфраструктуры ИИ. По его словам, Novus переносит надёжность, защищённость и функции многопользовательского доступа платформы ONTAP в архитектуру, созданную специально для ИИ-фабрик.
В основе Novus лежит принцип разделения потоков метаданных и данных, что даёт каждому из них возможность масштабироваться автономно. Как подчеркнул Банерджи, в Novus сервисы работы с метаданными организованы в виде отдельных масштабируемых уровней — протокольного, состояний и каталогов. Такой подход помогает избавиться от «узких мест», характерных для ИИ-нагрузок, где активный обмен данными при чтении и записи соседствует с объёмными операциями над метаданными. Серверная часть Novus будет функционировать на базе ОС ONTAP — благодаря этому в новую архитектуру перейдут уже проверенные в продуктах NetApp механизмы поддержания целостности данных, отказоустойчивости, защиты, изоляции и обеспечения качества обслуживания (QoS).
Источник изображения: NetApp
Единое пространство имён снижает сложность операций. Если данные задачи разбросаны по множеству систем, приходится их переносить, заново подключать, перераспределять и вести учёт каждой реплики. Единое пространство имён ёмкостью в зеттабайты решает эту задачу, гарантируя непрерывный доступ к наборам данных, контрольным точкам и артефактам моделей по мере расширения инфраструктуры. Архитектура Novus даёт операторам возможность наращивать ёмкость и увеличивать производительность без правок в приложениях, остановки сервисов или сбоев у клиентов. Вместо того чтобы открывать топологию хранения каждой рабочей нагрузке, Novus предлагает целостную согласованную среду данных, спроектированную под масштаб ИИ-фабрики.
В первых релизах Novus объединены программное обеспечение для управления метаданными NetApp Novus Data Director (работающее на сертифицированной инфраструктуре Supermicro) и сервисы обработки данных NetApp ONTAP, развёрнутые на системах AFF A90. Вместе они образуют дезагрегированную архитектуру, рассчитанную на пропускную способность более 100 Тбайт/с и интенсивную загрузку сотен тысяч GPU, при этом сохраняя проверенные корпоративные сервисы обработки данных ONTAP, которым доверяют заказчики.
По информации издания Blocks&Files, хранилища ONTAP, работающие на аппаратных платформах линейки AFF (в частности A800, A90 и подобных), получили поддержку технологии GDS (GPU Direct Storage) через NFS поверх RDMA начиная с релиза ONTAP 9.12.1. Обнародованные тесты показывают пропускную способность порядка 171 ГиБ/с (на A800) и около 351 ГиБ/с (для конфигурации из кластера A90), поэтому система Novus заметно превысит эти значения. Продукт NetApp AFX (вариант ONTAP с дезагрегированной архитектурой, ориентированный на задачи ИИ) получил сертификацию для работы с NVIDIA DGX SuperPOD и был проверен в связке с Magnum IO GPUDirect Storage. Компания NetApp подтвердила стабильную пропускную способность на уровне 457 ГиБ/с при использовании восьми узлов AFX. В сопроводительной документации AFX указана поддержка NFS/RDMA, в том числе механизмов GPU Direct, pNFS и Session Trunking.
Источник изображения: NetApp
Глава NetApp Джордж Куриан (George Kurian) заявил, что пропускная способность 100 Тбайт/с и доступ к более чем 1 Збайт данных в едином пространстве имён позволят платформе NetApp Novus ускорить научные изыскания: к примеру, исследователи смогут в режиме реального времени проводить комплексные симуляции и моделирование, а специалисты в области биологии — задействовать десятки тысяч вычислительных машин для наблюдения за поведением каждой молекулы белка внутри клетки.
Компания NetApp подчёркивает, что заказчики, разворачивающие архитектуру Novus, получают ряд следующих преимуществ:
- Предельная отдача от GPU: Novus гарантирует высокий уровень загрузки графических процессоров за счёт разграничения сервисов обработки метаданных и каналов передачи данных, ликвидации проблемных зон в подсистеме хранения и стабильной подачи производительных потоков информации в ИИ-инфраструктуру.
- Рост без раздробленности: Novus даёт возможность увеличивать объёмы данных (в том числе миллиарды файлов и крупномасштабные наборы данных для ИИ) в пределах одного пространства имён. Это обеспечивает раздельное масштабирование метаданных, пропускной способности и ёмкости без формирования обособленных хранилищ или усложнения операционных задач.
- Повышение продуктивности ИИ-инфраструктуры: Novus позволяет наращивать лишь те ресурсы, что требуются для конкретной рабочей нагрузки, сокращая расходы на электроэнергию, занимаемую площадь и обслуживание инфраструктуры, и при этом сохраняя отказоустойчивость, безопасность и возможности мультиарендности, необходимые для совместного использования ИИ-сред.
Материалы по теме:
- Компания Everpure анонсировала технологию PureKVA, ускоряющую инференс ИИ
- NetApp приобретает PEAK:AIO — британского создателя программно-определяемых систем хранения для ИИ
- До 64 Пбайт под KV-кеш: Huawei анонсировала СХД OceanStor M900 для ИИ-ЦОД
- Роскомнадзор советует операторам связи проверять роутеры MikroTik у своих абонентов
- Появился вычислительный модуль Walnut Pi CM2 — замена Raspberry Pi CM5 на базе Allwinner
Источник:
- NetApp