Компания FuriosaAI из Южной Кореи сообщила о запуске в массовое производство своих ИИ-ускорителей RNGD и серверных платформ NXT RNGD, созданных на их базе. Благодаря прочному сотрудничеству с такими лидерами отрасли, как TSMC, SK hynix и ASUS, была выстроена надёжная цепочка поставок и производства, что сделало новинки доступными для бизнес-клиентов по всему миру.
ИИ-ускоритель RNGD выполнен в форм-факторе карты расширения PCIe 5.0 x16. Он комплектуется 48 ГБ памяти HBM3 с пропускной способностью до 1,5 ТБ/с, а также 256 МБ SRAM, обеспечивающей скорость обмена данными до 384 ТБ/с. Его теплопакет (TDP) не превышает 180 Вт, а заявленная производительность достигает 512 Тфлопс для операций INT8. Серверная платформа NXT RNGD в форм-факторе 4U вмещает восемь таких карт. Её энергопотребление составляет около 3 кВт. По утверждению разработчика, в стандартную серверную стойку с воздушным охлаждением можно разместить до пяти систем NXT RNGD, что в сумме даст вычислительную мощность до 20 Пфлопс (INT8) для задач искусственного интеллекта.
Источник изображений: FuriosaAI
В FuriosaAI отмечают, что современные модели ИИ предъявляют огромные требования к вычислительным ресурсам. Однако большинство корпоративных дата-центров используют воздушное охлаждение и имеют ограничение мощности около 15 кВт на стойку. Развёртывание большого числа GPU-ускорителей с TDP до 600 Вт и выше в таких условиях требует сложной и затратной модернизации инфраструктуры. Решения RNGD призваны устранить эту проблему. По заявлению компании, её продукты обеспечивают в 3,5 раза более высокую плотность вычислений в стандартных средах по сравнению с системами на основе NVIDIA H100.
Для ускорителей RNGD предлагается полноценный комплект средств разработки (SDK). Заявлена поддержка распространённых ИИ-моделей, включая Qwen 2 и Qwen 2.5. Первая производственная партия составила 4000 единиц продукции.
Оригинальная публикация: