Компания Akamai, специализирующаяся на облачных технологиях, сообщила о заказе «тысяч» ускорителей для искусственного интеллекта, чтобы укрепить свою глобально распределённую облачную платформу. Установка этих новых процессоров позволит сформировать единую и оптимизированную ИИ-платформу для выполнения распределённых операций вывода данных в сети Akamai. Как отмечает провайдер, эта инфраструктура закладывает основу для «физического» и «агентного» ИИ, где решения должны приниматься мгновенно. Ранее компания уже представила проект под названием Akamai Inference Cloud.
По словам Akamai, в то время как крупные облачные игроки наращивают проекты по обучению ИИ, их фокус смещён на удовлетворение запросов новой эры — эры инференса. Централизованные ИИ-фабрики критически важны для разработки моделей, однако для их широкого практического применения требуется децентрализованная «нервная система». Внедрение архитектуры NVIDIA Blackwell в распределённую инфраструктуру, как ожидается, позволит ИИ напрямую взаимодействовать с «физическим» миром — такими системами, как автономная доставка, интеллектуальные энергосети, хирургические роботы, антифрод-механизмы и другие — без географических и стоимостных ограничений, присущих традиционным облачным решениям.
Интеграция ускорителей Blackwell обеспечит следующие возможности:
- стабильный и высокопроизводительный инференс на выделенных кластерах для получения результатов с минимальной задержкой;
- локальную оптимизацию ИИ-моделей для соблюдения требований к конфиденциальности данных в конкретных регионах;
- дообучение — точную настройку базовых ИИ-моделей с применением собственных данных клиентов.
Источник изображения: Akamai
Предоставляя инструменты для обработки задач ближе к пользователям, Akamai гарантирует высокую пропускную способность и, по её заверениям, сокращает задержки до 2,5 раз. Это даст бизнесам возможность экономить до 86 % на операциях инференса по сравнению с использованием обычных облачных гиперскейлеров. Платформа объединяет серверы на базе ускорителей NVIDIA RTX Pro 6000 Blackwell Server Edition с DPU NVIDIA BlueField-3 и распределённую облачную инфраструктуру Akamai, насчитывающую 4,4 тысячи точек присутствия.
Cloudflare использует «бессерверную» платформу для инференса, развернутую более чем в 200 городах. Их сервис Workers AI позволяет выполнять глобальный вывод моделей с задержкой ниже 100 мс, не требуя выделения специализированных кластеров с ускорителями. Fastly также работает на платформе периферийных вычислений, однако располагает меньшим количеством точек присутствия (PoP) для обработки задач на GPU и CPU.
Источник информации: