ИИ-ускоритель Hailo-10H для Raspberry Pi 5: готовое решение для локального инференса
Компания Raspberry Pi представила новый аппаратный модуль AI HAT+ 2, предназначенный для выполнения задач искусственного интеллекта на одноплатнике Raspberry Pi 5. Устройство уже можно приобрести, его ориентировочная стоимость составляет 130 долларов.
Ранее компания уже выпускала модуль AI HAT+, который в разных версиях комплектовался ускорителем Hailo-8 (26 TOPS) или Hailo-8L (13 TOPS). Эти решения были в первую очередь нацелены на инференс. Модель AI HAT+ 2, в отличие от них, создана специально для работы с генеративным искусственным интеллектом.
В основе устройства лежит процессор Hailo-10H, позволяющий запускать большие языковые модели (LLM), визуально-языковые модели (VLM) и другие генеративные модели непосредственно на устройстве. Чип работает в паре с 8 ГБ оперативной памяти LPDDR4/4X. Заявленная производительность для ИИ-операций достигает 40 TOPS при использовании точности INT4. Для задач компьютерного зрения, таких как обнаружение объектов, оценка позы и семантическая сегментация, быстродействие AI HAT+ 2 примерно соответствует возможностям предыдущего модуля на базе Hailo-8.
Источник изображения: Raspberry Pi
При подключении модуля операционная система Raspberry Pi OS автоматически распознаёт ускоритель и перенаправляет на него поддерживаемые ИИ-вычисления. Изначально для платы будут доступны следующие языковые модели: DeepSeek-R1-Distill, Qwen2.5-Coder, Qwen2.5-Instruct и Qwen2 (все с 1,5 миллиардами параметров), а также Llama3.2 (с 1 миллиардом параметров). В будущем планируется добавить поддержку более крупных моделей.
Источник: