Корпорация Supermicro совместно с IBM и NVIDIA представила специализированное программно-аппаратное решение, ориентированное на обработку KV-кеша. Данная система даёт возможность существенно уменьшить задержку перед началом формирования ответа ИИ-моделью на пользовательский запрос.
В качестве аппаратной базы решения выступают серверы хранения Supermicro Petascale категории All-Flash. Эти устройства поставляются в корпусе 1U и оснащаются процессором AMD EPYC Turin (до 96 ядер). Поддерживается установка до 9 Тбайт памяти DDR5-4400 посредством 24 модулей. Отмечается использование сетевых решений NVIDIA Spectrum-X. Электропитание реализовано через два блока по 1600 Вт с резервированием и сертификацией 80 Plus Titanium.
На передней панели стоечных узлов размещены 16 слотов под накопители E3.S 1T с интерфейсом PCIe 5.0 x4 (NVMe). Дополнительно предусмотрены два внутренних разъёма M.2 M-key 2280/22110 для SSD с интерфейсами PCIe 3.0 x2 и PCIe 3.0 x4. Имеются два слота PCIe 5.0 x16 для плат формата FHHL и два разъёма OCP 3.0 (PCIe 5.0 x16). Устройство оснащено управляющим сетевым портом 1GbE (RJ45), разъёмом D-Sub и четырьмя портами USB 3.0 Type-A (по два спереди и сзади). Охлаждение реализовано воздушным способом с помощью восьми вентиляторов диаметром 40 мм.
Программный стек объединяет решение IBM Storage Scale и платформу NVIDIA Dynamo. При испытаниях нового комплекса на модели с 120 млрд параметров и промпте длиной 130 тыс. токенов задержка до первого ответа сократилась в 56 раз относительно стандартных систем. Помимо этого, при росте длины запроса с 30 тыс. до 130 тыс. токенов задержка увеличилась лишь на 0,377 с.
Изображение предоставлено: Supermicro
Похожие публикации:
- Supermicro показала стойку с 256 чипами NVIDIA Vera и жидкостным охлаждением
- Supermicro отгружает NVIDIA Vera Rubin NVL72 с CDU мощностью 1,8 МВт
- 11 Тбайт памяти для ИИ: Penguin Solutions выпустила кеширующий сервер MemoryAI KV на CXL-модулях
- Плата Banana Pi BPI-RT2 создана для маршрутизаторов с Wi-Fi 6
- Портфель заказов GE Vernova вырос до $197 млрд благодаря спросу на газовые турбины для ИИ-ЦОД
Источник:
- Supermicro