FuriosaAI и Broadcom объединяются для создания нового ИИ-ускорителя: ставка на агентные системы
Южнокорейская компания FuriosaAI сообщила о подписании стратегического соглашения с Broadcom. Партнёры займутся созданием тензорного (TCP) ИИ-ускорителя третьего поколения, который станет основой для масштабируемой инференс-платформы, ориентированной на обслуживание продвинутых агентных систем крупнейших дата-центров.
Стартап планирует объединить передовые методы упаковки Broadcom, позволяющие интегрировать несколько кремниевых кристаллов в один ИИ-ускоритель, а также её достижения в области масштабируемых сетевых решений для ИИ, со своей собственной архитектурой и программным стеком. Это позволит создать инференс-платформу стоечного масштаба.
Как отмечает FuriosaAI, благодаря сотрудничеству с Broadcom архитектура процессора Tensor Contraction Processor (TCP) «эволюционирует в многокристальную систему», которая лучше соответствует «высокопроизводительным требованиям к токенам» при выполнении задач инференса и агентного ИИ, пишет DataCenter Dynamics.
В компании подчеркнули, что новая архитектура сделает чипы более пригодными для «реальных рабочих нагрузок ИИ». За счёт акцента на высокоскоростной передаче данных, а не на управлении вычислительными потоками, ускорители обеспечат лучшую производительность на ватт и более высокую «плотность» токенов по сравнению с «современными GPU».
Источник изображения: FuriosaAI
Известно, что чип третьего поколения FuriosaAI будет содержать вычислительный кристалл, выполненный по 2-нм техпроцессу, выделенный IO-кристалл с интерконнектом SUE, а также двухслойную память HBM4/4E. Благодаря интеграции Scale-Up Ethernet (SUE) и решений Broadcom на базе PCIe, система обеспечит низкую задержку и высокую пропускную способность интерконнекта All-to-All между сотнями чипов в пределах одной стойки. Для сравнения, существующие решения позволяют объединять не более восьми ИИ-ускорителей RNGD.
Президент подразделения полупроводниковых решений Broadcom подчеркнул, что скорость инференса теперь зависит не только от вычислительной мощности. Ключевую роль играют повторное использование данных и эффективность их передачи между серверами и стойками: «Интеграция архитектуры TCP от FuriosaAI с передовой технологией XPU и IP-платформой Broadcom, масштабируемым Ethernet и коммутаторами сетевых фабрик позволяет нам создать платформу, способную решить главные задачи крупномасштабного агентного ИИ», — заявил он.
«Соединив инфраструктурные возможности Broadcom с архитектурой Tensor Contraction Processor от FuriosaAI и её передовым программным стеком, мы выходим за рамки отдельного чипа и предлагаем комплексное решение для эпохи фабрик токенов», — отметил соучредитель и генеральный директор FuriosaAI.
Источник изображения: Broadcom
Несмотря на то что вычислительная мощность остаётся важной для ИИ-нагрузок, особенно на этапе предварительного заполнения, FuriosaAI сделала акцент на перемещении данных между HBM и DRAM. «TCP спроектирован для высокоскоростной передачи данных и масштабных тензорных операций, а не для управления тысячами мелких потоков. Он ставит доступ к памяти на первое место, устраняя “провал” эффективности, с которым сталкиваются GPU, когда модели выходят за пределы жёстких иерархий кеша», — говорится в блоге компании.
Аппаратное обеспечение FuriosaAI дополняется программным стеком, который позволяет разработчикам быстро развёртывать приложения и легко переходить на новые модели и методы оптимизации. В то время как устаревшие платформы требуют ручной настройки ядер для каждой новой модели, SDK FuriosaAI использует универсальный компилятор, автоматически сопоставляющий высокоуровневый код PyTorch с полупроводниковой архитектурой. Для тех, кому нужен более детальный контроль, виртуальная архитектура набора команд FuriosaAI предлагает декларативную модель программирования, обеспечивающую управление оборудованием без недетерминированной сложности традиционного программирования для GPU, отметили в компании.
Ранее стало известно, что Broadcom продлила партнёрство с Meta✴ для создания нескольких поколений индивидуальных ИИ-микросхем. Кроме того, компания увеличила соглашение с Google на поставку её новых поколений процессоров для искусственного интеллекта. Broadcom также разрабатывает специализированные чипы для OpenAI. В общей сложности фирма работает примерно над десятью кастомными ASIC.
Источник: