Согласно информации портала SiliconANGLE, американская компания Kneron создала искусственный интеллект-чип KL1140, который позволяет использовать большие языковые модели непосредственно на устройствах. Производитель утверждает, что разработка обладает целым рядом важных достоинств в сравнении с облачными технологиями.
Основанная в 2015 году компания Kneron располагается в Сан-Диего (США, Калифорния). Стартап специализируется на проектировании процессоров для разнообразных устройств с искусственным интеллектом, включая роботов и подключённые автомобили. Ранее Kneron уже выпустила чип KL730, сочетающий четырёхъядерный процессор Arm с ускорителем для задач вывода. В 2023 году организация привлекла $49 млн инвестиций от Foxconn and HH-CTBC Partnership (Foxconn Co-GP Fund), Alltek, Horizons Ventures, Liteon Technology Corp, Adata и Palpilot. На сегодняшний день общий объём финансирования Kneron превысил $200 млн.
Источник изображения: Kneron
Полные технические параметры новинки KL1140 пока не обнародованы. Разработчик заявляет, что это первый нейропроцессор, способный эффективно выполнять трансформерные сети на периферийных устройствах. Комплект из четырёх чипов KL1140, по заверениям компании, демонстрирует производительность, сопоставимую с графическими процессорами при работе с ИИ-моделями до 120 миллиардов параметров. Энергопотребление при этом снижается на 50–66 %. Совокупные расходы на оборудование могут быть уменьшены десятикратно в сравнении с текущими облачными аналогами. Среди прочих плюсов локального использования больших языковых моделей отмечаются снижение задержек, отсутствие передачи конфиденциальных данных на сторонние серверы и функционирование без интернет-соединения.
Чип KL1140 предназначен для решения таких задач, как обработка естественной речи в реальном времени, голосовые помощники, компьютерное зрение, умные системы видеомониторинга и другие. Инженеры могут применять эту разработку для безопасного локального развёртывания ИИ-приложений без привлечения облачных мощностей.
Оригинальная публикация:
