Компания Tenstorrent из Канады представила настольную систему TT-QuietBox 2, созданную для выполнения сложных вычислений в сфере искусственного интеллекта. По заявлениям разработчиков, данное решение способно работать с крупными языковыми моделями, содержащими до 120 миллиардов параметров.
Основу TT-QuietBox 2 составляют четыре специализированных ускорителя Blackhole. В каждом из них размещено 16 «больших» ядер RISC-V, 120 вычислительных ядер Tensix, 210 МБ статической памяти SRAM и 32 ГБ памяти GDDR6 с пропускной способностью 512 ГБ/с. В совокупности система использует 64 ядра RISC-V, 480 ядер Tensix и 128 ГБ памяти GDDR6. Кроме того, рабочая станция оснащена 256 ГБ оперативной памяти стандарта DDR5.
Источник изображения: tenstorrent.com
В устройстве реализовано жидкостное охлаждение. Питание обеспечивается от стандартной электросети: производитель акцентирует, что для станции не нужны специально подготовленные помещения или серверные стойки.
Система работает на платформе Ubuntu 24.04 с полностью открытым программным стеком. Заявлена совместимость с распространёнными фреймворками, включая PyTorch, ONNX и TensorFlow. Пиковая производительность в ИИ-операциях достигает 2654 терафлопс (BlockFP8). В качестве иллюстрации приводится работа с моделью Llama 3.1 70B (70 млрд параметров): скорость обработки составляет 476,5 токена в секунду. Модель Boltz-2 формирует структуру белка из 686 аминокислот за 49 секунд (на одном чипе Blackhole). Для сравнения, современному центральному процессору, по утверждению компании, на такую задачу потребовалось бы примерно 45 минут. Благодаря использованию четырёх ускорителей Blackhole система может параллельно моделировать структуры нескольких белков.
Поступление станции TT-QuietBox 2 в продажу запланировано на второй квартал текущего года, её ориентировочная стоимость составит 10 тысяч долларов США.
Источник: