Новый ИИ-ускоритель SN50 и стратегический альянс с Intel: как SambaNova меняет правила игры
SambaNova анонсировала ИИ-ускорители пятого поколения SN50, созданные на базе собственных RDU (Reconfigurable Dataflow Unit). Компания утверждает, что эти чипы «предлагают уникальное сочетание минимальной задержки, высокой пропускной способности и энергоэффективности для задач ИИ-инференса, кардинально меняя экономику генерации токенов». Параллельно было объявлено о стратегическом партнёрстве и инвестициях со стороны Intel, которая отказалась от планов по полному поглощению SambaNova.
Как отмечает The Register, новый чип демонстрирует существенный прогресс по сравнению с моделью SN40L 2023 года. По заявлению производителя, SN50 обеспечивает прирост производительности в 2,5 раза для 16-битных вычислений (1,6 Пфлопс) и в 5 раз для операций в формате FP8 (3,2 Пфлопс). В основе новинки лежит архитектура потоковой обработки данных (SambaNova DataFlow). Как и у предшественника, в SN50 реализована трёхуровневая система памяти, объединяющая DDR5, HBM и SRAM, что позволяет системам на его базе работать с ИИ-моделями до 10 трлн параметров и длиной контекста до 10 млн токенов.
Источник изображений: SambaNova
Каждый модуль RDU оснащён 432 МБ SRAM, 64 ГБ памяти HBM2E с пропускной способностью 1,8 ТБ/с и объёмом DDR5 от 256 ГБ до 2 ТБ. Наличие HBM2E и гибко настраиваемый объём DDR5 повышают привлекательность и доступность платформы SN50 в условиях дефицита памяти. Каждый ускоритель также получил высокоскоростной интерконнект 2,2 ТБ/с (в каждом направлении) для взаимодействия с другими чипами через коммутируемую фабрику.
Согласно заявлениям SambaNova, её ускоритель SN50 демонстрирует значительное превосходство над решением NVIDIA B200: скорость генерации токенов на одного пользователя выше в 5 раз, а пропускная способность для агентного инференса — более чем в 3 раза. Эти показатели были подтверждены тестами с различными моделями, включая Meta✴ Llama 3.3 70B. Конструкция платформы обеспечивает эффективную выгрузку KV-кэша и возможность «горячей» замены моделей между HBM и SRAM за миллисекунды, что критически важно для агентных задач, где требуется частое переключение между разными ИИ-моделями.
Кроме того, в архитектуре SN50 реализовано кэширование входных токенов в памяти, что сокращает продолжительность предобработки и уменьшает задержку до выдачи первого токена (TTFT). Подобное сочетание скорости, эффективности и масштабируемости, как утверждает производитель, обеспечивает беспрецедентное преимущество в совокупной стоимости владения (TCO) для провайдеров инференс-сервисов, использующих такие модели, как OpenAI GPT-OSS, позволяя достичь восьмикратной экономии в сравнении с NVIDIA B200. SN50 также нацелен на приложения вроде голосовых ИИ-ассистентов, требующих сверхнизкой задержки для работы в реальном времени. По словам компании, система способна обслуживать тысячи одновременных сессий.
Была также анонсирована 20-киловаттная система SambaRack SN50, объединяющая 16 чипов SN50. Такие стойки SambaRack можно масштабировать до кластера из 256 ускорителей с пропускной способностью интерконнекта в несколько терабайт в секунду, что ускоряет обработку запросов и поддерживает работу с большими пакетами данных. В итоге это позволяет развёртывать модели с повышенной пропускной способностью и быстродействием. Поставки ускорителей SN50 клиентам планируется начать во второй половине 2026 года.
Ранее компания SambaNova объявила о привлечении свыше 350 миллионов долларов в рамках обновлённого раунда финансирования серии E, который возглавила частная инвестиционная фирма Vista Equity Partners при участии Cambium Capital. Как сообщает SiliconANGLE, в раунде также «активно поучаствовало» инвестиционное подразделение Intel — Intel Capital. Кроме того, SambaNova анонсировала партнёрство с Intel, направленное на создание новых высокопроизводительных и экономичных систем для выполнения задач искусственного интеллекта. Их цель — предложить бизнесу альтернативу графическим процессорам, которые в настоящее время доминируют в большинстве рабочих нагрузок.
Инвестиции Intel призваны ускорить внедрение нового «облачного решения для ИИ», основанного на существующей платформе SambaNova Cloud. Модернизированная платформа, оптимизированная для работы с многомодальными большими языковыми моделями, будет использовать процессоры Xeon, а также графические ускорители, сетевые и другие технологии Intel, включая решения для систем хранения данных. Уточняется ли, будут ли создаваться специализированные модели Xeon, как это было у NVIDIA, — не сообщается. В дальнейшем Intel и SambaNova намерены совместно продвигать и реализовывать новую платформу, задействуя обширные корпоративные связи и партнёрские каналы Intel.
Сотрудничество выгодно для обеих сторон. SambaNova получает доступ к глобальному присутствию и производственным мощностям Intel для масштабирования своих ИИ-ускорителей, а Intel, наконец, получает шанс закрепиться на рынке искусственного интеллекта. До сих пор компании не удавалось составить конкуренцию NVIDIA и другим производителям чипов, таким как AMD, в этой сфере. Совместное использование чипов SN50 от SambaNova и процессоров Intel Xeon потенциально способно изменить текущее положение дел.
Примечательно, что у самой Intel, переживающей не самые простые времена, уже существует масштабное партнёрство с NVIDIA. Компания также предлагает собственные GPU для инференса, хотя и значительно более скромные по сравнению с SN50, и даже необычные гибридные решения на базе ускорителей Habana Gaudi 3 и NVIDIA B200. Кроме того, заключена сделка с AWS по выпуску кастомных процессоров Xeon 6 и некоторых ИИ-ускорителей. Что касается прежних «союзников» SambaNova в противостоянии с NVIDIA, то компания Groq в итоге была поглощена последней, а Cerebras, наконец, подписала значимое соглашение с действительно крупным игроком на рынке ИИ — OpenAI.
Информация взята из: