Корейский стартап Rebellions, специализирующийся на создании ИИ-чипов, намерен выйти на глобальный рынок, предложив новую стоечную вычислительную платформу. Её ключевым преимуществом, как сообщает The Register, является отсутствие необходимости в сложном жидкостном охлаждении или специальных сверхмощных стойках. Основанная в 2020 году компания уже поставляет свои ИИ-ускорители множеству клиентов в Южной Корее.
По словам коммерческого директора Rebellions Маршалла Чоя (Marshall Choy), первоначально фокус компании был на корейских телеком-операторах, сервис-провайдерах и корпоративных заказчиках. «Мы создали решения для самых разных задач: от работы колл-центров и поддержки клиентов до систем видеоанализа для национальных автомагистралей», — пояснил он. Накопленный опыт и технологический потенциал, по его мнению, создают прочную основу для экспансии в другие страны.
Источник изображения: Rebellions
Запуск ИИ-ускорителя Rebel Quad (позже переименованного в Rebel100) стал сигналом к началу международной экспансии. За недавнее время Rebellions открыла представительства в Японии, Саудовской Аравии, на Тайване и в США, рассчитывая привлечь местный бизнес своими стоечными системами RebelRack и RebelPods, построенными на базе Rebel100.
Архитектура ускорителя Rebel100 отличается от решений вроде NVIDIA H200, использующего единый вычислительный кристалл от TSMC. Вместо этого Rebellions применяет чиплетный дизайн с четырьмя вычислительными ядрами, которые производит и собирает Samsung. К ним подключены четыре стека памяти HBM3e суммарным объёмом 144 ГБ и с пропускной способностью 4,8 ТБ/с. Будучи корейской компанией и имея тесные связи с конгломератами SK и Samsung — ведущими поставщиками HBM-памяти, — Rebellions не испытывает трудностей с её приобретением.
Модель Rebel100 выполнена в формате карты расширения PCIe с теплопакетом 600 Вт, обеспечивая производительность до 1 Петафлопс для вычислений FP16 и до 2 Петафлопс в режиме FP8. Согласно эталонному проекту Rebellions, в одном 19-дюймовом серверном шасси с воздушным охлаждением можно разместить до восьми таких карт. При разработке Rebellions особое внимание уделялось совместимости со стандартными форм-факторами, что даёт возможность интеграции систем в уже действующие корпоративные дата-центры, в то время как новейшие ускорители NVIDIA нуждаются в системе жидкостного охлаждения.
Источник изображения: Rebellions
Стоечная платформа RebelRack будет состоять из четырёх подобных шасси, объединённых сетью 400GbE, что в совокупности даст 32 ускорителя с суммарной мощностью 64 Петафлопс (FP8) и 4,6 Терабайт памяти HBM3e с совокупной пропускной способностью 153,6 Тбайт/с. Для более масштабных внедрений предназначена система RebelPod, которую можно наращивать от 8 до 128 узлов, каждый из которых содержит восемь ускорителей Rebel100, связанных интерконнектом 800GbE. Как отмечает Чой, в будущем компания сосредоточится на развитии сетевой инфраструктуры.
The Register, сравнивая стоечные решения от AMD и NVIDIA, подчеркнул, что вычислительные мощности и сетевое оснащение — это только часть общей картины. Не менее важным является программное обеспечение, способное объединить все компоненты в единое целое. Программный стек Rebellions построен на открытых фреймворках, таких как vLLM, PyTorch и Triton. Для распределённого вывода используется инструмент llm-d с открытым кодом, который позволяет выполнять предварительное заполнение на одном кластере ускорителей, а декодирование — на другом. «Вся архитектура — от vLLM до верхнего уровня стека, включая Red Hat, OpenShift и другие компоненты, основана на open source, — пояснил Чой. — Если вы уже работали с этими технологиями в других проектах, вы без труда освоите платформу Rebellions».
В понедельник стартап привлёк 400 миллионов долларов в рамках предварительного раунда финансирования под руководством Mirae Asset Financial Group и Корейского национального фонда развития. Эти средства будут направлены как на международную экспансию, так и на создание более совершенных и энергоэффективных ускорителей и систем искусственного интеллекта. По информации The Register, компания может провести первичное публичное размещение акций уже в этом или в начале следующего года.
Оригинал публикации: