Samsung вместе с AMD анонсировала решение для объединения памяти (memory pooling) на основе протокола CXL, о чём сообщил портал StorageReview.com. В основе решения — модули памяти Samsung CMM-D (CXL Memory Module Dynamic), ориентированные на задачи инференса в агентных ИИ-системах. По данным Samsung, применение пула памяти обеспечивает сокращение времени до получения первого токена (TTFT) на 38 % и рост полезной пропускной способности (goodput) в 3,3 раза в сравнении со статическим распределением памяти.
Ключевым элементом решения выступает технология Dynamic Capacity Device (DCD) — механизм протокола CXL, который позволяет динамически выделять память хосту и возвращать её в пул во время работы системы. Несколько экземпляров LLM совместно используют общий пул ресурсов с эластичным распределением. При резком росте нагрузки на какой-либо экземпляр — например, при увеличении контекста или числа параметров — он временно заимствует дополнительные мощности, а после завершения задачи возвращает их. Для сравнения: традиционный подход предполагает резервирование под пиковую нагрузку, из-за чего часть ресурсов нередко простаивает.
Источник изображения: Samsung
Технология прошла проверку на вычислительной платформе AMD. Задача, которую призвано решить данное решение, связана с простоями процессора (CPU stalls) при масштабировании агентных ИИ-нагрузок — случаях, когда объём и пропускная способность памяти не увеличиваются пропорционально числу вычислительных ядер.
Samsung сообщила, что технология CMM-D даёт возможность нарастить количество одновременно работающих пользователей агентных ИИ-систем благодаря масштабированию памяти параллельно с мощностями CPU. Компании пока не раскрыли конфигурацию серверов, топологию коммутаторов CXL, а также показатели задержки и пропускной способности интерконнекта для этой совместной системы. Сроки выпуска и показатели энергопотребления решения также пока не известны.
Материалы по теме:
- AMD поможет Fermi построить колоссальный ИИ-кампус Project Matador в Техасе
- AMD «загнала» ИИ-агентов в стойку Helion
- Samsung поможет OpenAI в создании следующего поколения ИИ-ускорителей
- МВФ: ИИ-пузырь может лопнуть, попутно нанеся огромный ущерб всей мировой экономике
- «Машины, которые делают машины»: NVIDIA и Foxconn повысили эффективность сборки платформ NVIDIA GB300 с помощью роботов
Источник:
- StorageReview