Секретные данные не покинут контур: новая российская платформа для безопасного запуска ИИ
Компания «Группа Астра» анонсировала запуск программного комплекса «Боцман AI». Это решение предназначено для развертывания языковых и иных моделей искусственного интеллекта внутри защищенного контура компании, исключая передачу информации во внешние облачные сервисы.
«Боцман AI» выступает в качестве расширения платформы «Боцман» — российского инструмента для оркестрации контейнеров на основе Kubernetes, который входит в состав Astra Dev Platform. Продукт ориентирован на организации, создающие внутренние платформы для разработки и эксплуатирующие приложения в изолированных или регулируемых IT-инфраструктурах. Данное решение дает компаниям возможность разворачивать и запускать ИИ-нагрузки в пределах собственного сетевого контура, обеспечивая суверенитет над данными, прогнозируемые расходы и независимость от зарубежных поставщиков.
Для работы с «Боцман AI» достаточно описать ИИ-модель через стандартный ресурс Kubernetes — все остальные действия система выполняет автоматически, отмечают разработчики. Платформа самостоятельно подготавливает хранилище весов и запускает среду выполнения с необходимым движком, будь то vLLM, Ollama, SGLang или FasterWhisper, после чего публикует модель через единый шлюз. Особого внимания заслуживает механизм обновлений: они выполняются без возникновения периода недоступности, что особенно важно при использовании дорогостоящей GPU-инфраструктуры.
Источник изображения: Numan Ali / unsplash.com
Для взаимодействия с моделями в «Боцман AI» используется API, совместимый с OpenAI. Помимо базового функционала, платформа включает ряд инструментов для промышленной эксплуатации. В нее встроены автоматическое масштабирование под нагрузку, система биллинга и управление API-ключами с контролем бюджетов, что позволяет прозрачно распределять ресурсы между командами и проектами. Установка программного решения осуществляется через «Боцман Apps & Marketplace» в виде Helm-чарта.
Источник:
Вот переписанный HTML-контент на русском языке с сохранением всех тегов: