128 Тбайт в одном сервере: Majestic Labs представила Prometheus, ломающий «стену памяти» для ИИ
Стартап Majestic Labs представил инновационный сервер Prometheus, разработанный для преодоления «стены памяти» в современных ИИ-системах, работающих с моделями, содержащими огромное количество параметров. Заявляется, что Prometheus способен обеспечить производительность, сравнимую с несколькими стойками традиционных серверов, одновременно снижая энергопотребление и совокупную стоимость эксплуатации.
Компания Majestic Labs вышла из скрытого режима (Stealth) в ноябре прошлого года. Стартап подчёркивает, что в современных ИИ-системах существует разрыв между объёмом и производительностью памяти и вычислительными возможностями ускорителей. Majestic Labs намерена решить эту проблему, внедрив новую архитектуру, которая предполагает разделение памяти и вычислительных ресурсов. Речь идёт об использовании специализированных ИИ-ускорителей и блоков быстрой памяти, объём которой в рамках одного сервера может достигать 128 Тбайт.
Источник изображения: Majestic Labs
В состав Prometheus входят проприетарные чипы AI Processing Units (AIU) под названием Ignite. Они объединяют CPU-ядра на базе Arm с векторными и тензорными движками RISC-V. При этом используется единое адресное пространство памяти. Упоминается поддержка популярных фреймворков, таких как PyTorch, vLLM и OpenAI Triton, что позволяет запускать существующие рабочие нагрузки без необходимости изменения кода.
Согласно заявлениям Majestic Labs, платформа Prometheus способна работать с ИИ-моделями, имеющими огромные контекстные окна и содержащими триллионы параметров. При этом отсутствуют фрагментация и узкие места, характерные для традиционных ИИ-серверов. Среди возможных областей применения называются смешанные экспертные системы, ИИ-агенты, графовые нейронные сети и другие.
Источник: