Скорость света для ИИ: Lumai представила серверы Iris, работающие на фотонных ускорителях
Британский стартап в сфере ИИ Lumai представил линейку серверов для инференса Lumai Iris, построенных на принципах оптических вычислений. Эти системы предназначены для обработки в реальном времени больших языковых моделей (LLM), содержащих миллиарды параметров. В семейство Lumai Iris входят серверы Nova, Aura и Tetra. Модель Lumai Iris Nova уже доступна для тестирования гиперскейлерам, облачным платформам, корпоративным клиентам и научно-исследовательским институтам.
В компании Lumai заявляют, что применение Lumai Iris ускоряет выполнение задач инференса за счёт использования света вместо традиционной обработки на кремнии. Оптическая вычислительная система от Lumai обеспечивает более быстрый инференс, повышенную эффективность работы и снижение энергопотребления до 90 % по сравнению с традиционными архитектурами, а также является более экологичной альтернативой стандартным системам на базе GPU. Однако подробные технические характеристики оптических ИИ-ускорителей пока не разглашаются.
Источник изображений: Lumai
Компания отметила, что спрос на ИИ-вычисления смещается с обучения моделей в сторону крупномасштабного инференса, когда модели применяются в реальных сценариях. По мере роста вычислительных нагрузок центры обработки данных сталкиваются с серьёзными ограничениями по энергопотреблению и масштабируемости, с которыми традиционные кремниевые архитектуры справляются всё хуже. В Lumai подчеркнули, что семейство Iris призвано решить проблемы энергопотребления и стоимости ИИ-инфраструктуры за счёт повышения производительности на каждый киловатт.
Традиционные кремниевые архитектуры сталкиваются с фундаментальными физическими ограничениями в масштабируемости, энергопотреблении и тепловой эффективности. Каждое новое поколение кремниевых чипов даёт лишь незначительные улучшения, но при этом требует существенно больше энергии и ресурсов для масштабирования. «По мере того как отрасль вступает в эру инференса, мы одновременно пересекаем порог посткремниевой эры, — заявил Сяньсинь Го (Xianxin Guo), генеральный директор и соучредитель Lumai. — Переходя от электронно-фотонной вычислительной парадигмы к чисто фотонной, Lumai способна обеспечить десятикратный рост производительности при значительной экономии энергии».
Компания Lumai подчеркнула, что оптические вычисления способны существенно улучшить производительность при обработке задач, связанных с искусственным интеллектом. Разработанная на базе исследований Оксфордского университета, технология оптических вычислений Lumai использует свет в трёхмерном пространстве, в то время как традиционные чипы функционируют в двухмерной среде. За счёт применения массового пространственного параллелизма одновременно выполняется множество операций, что обеспечивает низкие затраты и высокую пропускную способность токенов при решении вычислительных задач, требующих значительных ресурсов.
Кроме того, технология Lumai продемонстрировала свою результативность на этапе предварительного заполнения дезагрегированных архитектур инференса, обрабатывая токены с максимальной эффективностью и возможностью масштабирования. Iris Nova выполняет инференс в реальном времени для моделей Llama 8B и 70B с помощью гибридного процессора. Его гибридная архитектура объединяет цифровую обработку для управления системой и программным обеспечением с оптическим тензорным движком, отвечающим за основные математические вычисления. Такой подход позволяет бесшовно интегрировать серверы в центры обработки данных.
Источник: