Компания Red Hat сообщила о развитии альянса с NVIDIA. Задача этого сотрудничества — предоставить заказчикам защиту ИИ-агентов, управление доступом к ИИ-моделям и возможность запуска рабочих нагрузок на инфраструктуре Vera Rubin, передаёт SiliconANGLE.
Ключевым элементом выступает продукт Red Hat AI Factory with NVIDIA, который совмещает инструменты администрирования среды исполнения агентов, программное обеспечение для инференса моделей и поддержку оборудования в гибридных облачных инфраструктурах. Red Hat ведёт работу по включению референсной архитектуры NVIDIA OpenShell в собственные ИИ-платформы в качестве штатной функции. Предлагаемый метод обеспечения безопасности призван нейтрализовать две главные угрозы: выход ИИ-агентов за рамки заданных ограничений, а также их компрометацию атакующими — к примеру, через инъекцию вредоносных запросов или атаки на цепочку поставок. Компании намерены вывести механизмы контроля безопасности за границы самих ИИ-агентов, а в некоторых случаях — и за пределы операционной системы на хосте.
OpenShell представляет собой песочницу — изолированную среду исполнения для ИИ-агентов. На нижнем уровне функционирует подсистема защиты NVIDIA Sentry, построенная на базе DPU BlueField; для отслеживания рабочих нагрузок применяется программное обеспечение DOCA Argus, развёрнутое на отдельном устройстве. Argus выполняет анализ конкретных областей памяти хоста, устанавливая, какие процессы активны, с какими файлами ведётся работа и какие сетевые подключения задействованы. Если фиксируется угроза, подсистема защиты способна запустить применение политик BlueField, изолирующих скомпрометированную рабочую нагрузку.
Источник изображения: NVIDIA
Данная архитектура базируется на поддержке платформы BlueField-3, реализованной в Red Hat OpenShift 4.22. Она даёт возможность изолировать ИИ-нагрузки на серверных CPU от сетевых функций и средств безопасности, выполняемых на Arm-процессорах модулей BlueField. В результате, даже если атакующий скомпрометирует хост, механизмы управления инфраструктурой останутся под защитой. Sentry способен изолировать скомпрометированного ИИ-агента за миллисекунды. Перенос задач мониторинга и управления сетью на DPU снижает нагрузку на центральные процессоры сервера, освобождая ресурсы для ИИ-вычислений.
Партнёрство также затрагивает инфраструктуру моделей, которые нужны агентам для принятия решений и выполнения действий. Референсный проект включает механизмы контроля доступа в рамках модели «модель как услуга» (Model-as-a-Service), а также ИИ-шлюз с технологиями инференса, среди которых vLLM, llm-d, NVIDIA Dynamo и микросервисы NVIDIA NIM. Решение на базе NVIDIA Inference Hub позволяет пользователям самостоятельно выбирать модели, настраивать политики доступа, ограничивать частоту запросов и разграничивать возможности по подписке. Функции управления доступом и выполнения моделей разделены — это даёт клиентам возможность контролировать квоты, распределять затраты и поддерживать производительность в гибридных средах.
Стало известно о партнёрстве компаний, направленном на поддержку моделей NVIDIA Nemotron, включая Nemotron 3.5 Super VL, в среде инференса и обслуживания vLLM. Представители Red Hat подчеркнули, что механизмы квантования и спекулятивного декодирования дают возможность уменьшать задержку при запуске моделей, не теряя при этом точности. Редакция Red Hat Enterprise Linux for NVIDIA получила поддержку процессоров Vera и подготовлена к взаимодействию с платформой Vera Rubin. Партнёры намерены добиться совместимости ОС и платформы к тому моменту, когда новое оборудование выйдет на рынок.
В RHEL for NVIDIA 26.03 ради поддержки новой платформы скорректировали набор базовых пакетов; при этом остались неизменными стандартное пользовательское окружение и средства безопасности, в том числе Security-Enhanced Linux. После того как поддержка оборудования войдёт в основное ядро Linux, клиенты смогут перейти на стандартную версию RHEL, не переустанавливая систему. Сценарии использования, эталонные решения и функции работы с агентами предоставляют партнёры, включая Cisco, Dell и Lenovo; параллельно ведётся работа над нативной интеграцией OpenShell.
Ранее процессор NVIDIA Vera показал более высокие результаты, чем чипы Intel и AMD. Компания передала в OCP спецификации стоек Vera Rubin и вычислительных узлов в рамках открытой архитектуры MGХ. В инфраструктуре Google Cloud инстансы на базе Vera Rubin NVL72 начнут работать в ноябре.
Связанные публикации:
- NVIDIA Open Agent Safety Platform создаст условия для защищённой работы ИИ-агентов — от проверки до ввода в эксплуатацию
- DSX Ready: NVIDIA займётся сертификацией BESS и CDU для ИИ-фабрик
- NVIDIA анонсировала ускоритель RTX Pro 5500 Blackwell Workstation Edition с 84 Гбайт памяти GDDR7
- Дата-центр VK в Ленинградской области подвергся атаке БПЛА
- МВФ: ИИ-пузырь способен лопнуть, нанеся при этом колоссальный урон всей мировой экономике
Источник:
- SiliconANGLE