NVIDIA Hopper и Blackwell объединили с ускорителями d-Matrix Corsair: инференс ускорен в 10 раз
Компании Parasail и d-Matrix сообщили о внедрении специализированных ускорителей d-Matrix Corsair для инференса совместно с ускорителями NVIDIA Hopper и Blackwell в составе гетерогенной дезагрегированной архитектуры, что ускоряет процесс инференса в десять раз.
В этой объединённой системе ускорители NVIDIA и Corsair функционируют скоординированно, распределяя вычислительные задачи в соответствии с их особенностями. Для повышения экономической эффективности инференса при определённых нагрузках Parasail применяет GPU для интенсивного предварительного заполнения, а ускорители d-Matrix Corsair — для декодирования, критичного к задержкам. К аналогичному подходу стремится и сама NVIDIA, дополнив свои GPU ускорителями Groq.
Источник изображения: Parasail
Parasail управляет облачной платформой для инференса, объединяющей мощности ИИ-ускорителей из более чем 40 центров обработки данных в 15 странах. Разработанная ею технология автоматической оптимизации позволяет гибко распределять рабочие нагрузки между разнородным парком оборудования с учётом требований моделей и процессов обработки. Parasail делает акцент на гетерогенных вычислениях совместно с d-Matrix, чтобы извлечь максимальную выгоду из уже существующей ИИ-инфраструктуры на базе NVIDIA.
По данным d-Matrix, комбинация Corsair с GPU обеспечивает выполнение задач инференса в десять раз быстрее, в три раза дешевле и в пять раз энергоэффективнее, как сообщает TNW. Ресурс отмечает, что вместо противодействия потенциальным конкурентам NVIDIA предлагает им сотрудничество, интегрируя их в свою экосистему. Заказчикам больше не требуется один мощный GPU для всех задач. Они стремятся получить наиболее доступный чип для каждой конкретной операции, объединённый с другими чипами в единую систему. Стратегия NVIDIA заключается в том, чтобы обеспечить продажи или занять место рядом с продуктом, который окажется успешным, пишет TNW.
Откуда взято: