Фирма d-Matrix представила стоечную систему SquadRack, предназначенную для пакетного вывода данных с минимальной задержкой. Как заявляют разработчики, это первое в индустрии решение подобного типа. В его создании участвовали инженеры из Arista, Broadcom и Supermicro.
В основе SquadRack лежит серверная платформа Supermicro X14 AI. Судя по представленным иллюстрациям, применяется модель SYS-522GA-NRT, поддерживающая два процессора Intel Xeon 6900 (Granite Rapids) и 24 модуля оперативной памяти DDR5-8800. Система имеет 24 передних слота для SFF-накопителей U.2/U.3 (NVMe) и выполнена в форм-факторе 5U.
Конфигурация SquadRack включает ускорители d-Matrix Corsair. Их архитектура построена на адаптированных SRAM-ячейках для вычислений непосредственно в памяти (DIMC), обеспечивающих пропускную способность порядка 150 Тбайт/с. По словам d-Matrix, система демонстрирует рекордную производительность для ИИ-инференса: скорость вычислений достигает 2,4 Пфлопс (8-битная точность). Также используются IO-карты d-Matrix JetStream, распределяющие нагрузку при выводе данных. Одна такая карта способна обслуживать до четырёх модулей Corsair, обеспечивая сетевую задержку всего 2 мкс.
Источник изображения: d-Matrix
Система SquadRack также оснащена PCIe-коммутаторами Broadcom для масштабирования внутри одного узла. Связь между узлами организуется через коммутаторы Arista Leaf Ethernet, подключённые к картам JetStream. Используется программный стек d-Matrix Aviator.
В одну серверную стойку можно разместить до восьми модулей SquadRack, что позволяет с высокой эффективностью обрабатывать ИИ-модели размером до 100 миллиардов параметров. Общая архитектура поддерживает масштабирование до сотен узлов, распределённых по нескольким стойкам.
Источник:
