Компания Google Cloud представила сервис Agent Compute Engine, предназначенный для развёртывания ИИ-агентов, пишет SiliconANGLE. Как правило, ИИ-агенты работают в изолированных средах — там хранятся приложения, данные и пользовательские инструкции, требуемые для решения поставленных задач. Подобные среды наделены средствами киберзащиты, препятствующими вредоносной активности.
В Agent Compute Engine такие изолированные среды выполнены на базе микровиртуальных машин (microVM) — данная технология объединяет аппаратную производительность контейнеров с уровнем защиты, характерным для классической виртуализации. Специалисты Google задействовали механизмы гипервизоров для изоляции виртуальных машин друг от друга, чтобы не допустить распространения вредоносного ПО.
Изображение предоставлено: Ameer Basheer / unsplash.com
Микровиртуальные машины функционируют на специализированном оборудовании без сохранения состояния — они не хранят постоянно файлы, используемые ИИ-агентами. Для хранения данных применяется неизменяемая файловая система, исключающая возможность изменения или удаления информации. Целостность прошивки оборудования контролируется чипами кибербезопасности Titan, а его центральные процессоры оснащены средствами защиты от атак по сторонним каналам. У microVM имеется лишь ограниченный доступ к ресурсам хранения данных — если злоумышленники получат контроль над одной из песочниц, они не смогут ни прочитать, ни удалить их. Сеть, связывающая оборудование с остальной инфраструктурой ЦОД, также обладает дополнительной защитой: трафик проходит через несколько прокси-серверов.
После того как ИИ-агент заканчивает выполнение задач, его песочница должна сохраняться, поскольку может потребоваться повторный запуск. Подобные бездействующие среды способны поглощать существенные объёмы ресурсов и увеличивать расходы. Сервис Agent Compute Engine фиксирует момент, когда песочница переходит в режим простоя, и приостанавливает её работу, исключая тем самым лишнюю нагрузку на оборудование; при возникновении новой потребности сервис быстро возвращает её в активное состояние. «Благодаря этому на одном физическом сервере удаётся разместить гораздо больше microVM для агентов, нежели при классическом подходе с виртуальными машинами. Мы оснастили решение всем необходимым для агентной работы: механизмами создания снимков и ветвления, функциями перемотки и отката состояния. Это даёт возможность продуктивно эксплуатировать систему, не создавая дублирующих ресурсов», — отметили в Google Cloud.
В Google отметили, что часть агентов обращается к приложениям с применением пользовательских учётных данных, которые размещены за пределами песочницы, где работает агент. Благодаря этому даже при компрометации песочницы злоумышленники не получат доступа к чувствительным сведениям. Если агенту нужна авторизация в приложении, сервис Google Cloud Agent Gateway подтягивает нужные учётные данные и передаёт их приложению от лица агента. В течение нескольких месяцев Agent Compute Engine начнёт работать с обновлённой версией Agent Gateway — этот сервис помогает клиентам отсекать небезопасный трафик агентов, а также получит механизм маршрутизации моделей. Любой запрос агента будет перенаправляться к той модели, которая справится с ним наиболее результативно. Кроме того, в Agent Gateway появится средство контроля затрат на инференс.
Ранее в Google Cloud представили набор инструментов TorchTPU для работы с PyTorch на TPU. Облачный провайдер сообщил, что в ноябре запустит инстансы на NVIDIA Vera Rubin NVL72. Клиентам платформы также станут доступны новейшие модели OpenAI.
Материалы по теме:
- В западноевропейской инфраструктуре Google Cloud случилась крупная авария
- Ошибка уровня RTFM в гиперскейле: специалист Google Cloud вывел из строя часть облака, одновременно обесточив все оптоволоконные линии
- Квартальная выручка Google Cloud выросла на 82 %, однако доходы начали уступать затратам на ИИ-инфраструктуру
- Дата-центр VK в Ленинградской области подвергся атаке БПЛА
- В суперкластере M**a десятки тысяч ускорителей NVIDIA простаивают в ожидании выхода из строя рабочих чипов
Источник:
- SiliconANGLE