AWS анонсировала новый продукт Amazon S3 Files, позволяющий «напрямую подключать любые вычислительные мощности AWS к информации, хранящейся в Amazon S3». Как заявила компания, этот сервис превращает «Amazon S3 в первое и единственное облачное объектное хранилище, предоставляющее полноценный высокопроизводительный файловый доступ к данным». Решение поддерживает полную семантику файловой системы (NFS 4.1+) и обеспечивает минимальные задержки, при этом все данные остаются в S3, подчеркнули в AWS. Эта функциональность была представлена спустя два десятилетия после запуска облачной платформы AWS — именно сервис S3 стал её первым публичным облачным предложением, начав работу в марте 2006 года.
Объектные хранилища редко применяются для задач высокопроизводительных вычислений (HPC), поскольку там обычно требуется POSIX-совместимый доступ для чтения и записи отдельных файлов, а не модификация целых объектов с семантикой GET/PUT/DELETE. Amazon S3 ориентирован на надёжность и низкую стоимость, тогда как HPC-нагрузки часто требуют сверхбыстрого доступа с минимальной задержкой, а цена и отказоустойчивость отходят на второй план, отмечает HPCwire. S3 Files, построенный на базе EFS, обеспечивает файловую семантику, включая согласованность данных при чтении после записи, блокировку файлов и POSIX-права, сочетая это с масштабируемостью, надёжностью и экономичностью S3. Сервис S3 Files уже развёрнут в 34 регионах AWS.
S3 Files интеллектуально транслирует операции файловой системы в эффективные запросы к S3. Файловые приложения могут работать с данными в S3 без изменения кода, ИИ-агенты сохраняют и обмениваются данными в различных конвейерах, а инструменты и приложения получают возможность напрямую взаимодействовать с файлами в S3 из любого инстанса, контейнера или функции. Сервис использует многоуровневое кэширование данных (включая метаданные) для сокращения задержек доступа (менее 1 мс) и обеспечивает совокупную пропускную способность чтения до нескольких терабайт в секунду. Размер файла по умолчанию для автоматического чтения из классического S3 составляет 125 КБ. Файлы меньшего размера могут быть размещены в высокопроизводительном хранилище и стать доступными через NFS, если служба сочтёт это целесообразным; пользователи могут настроить этот параметр.
Изображение предоставлено: AWS
Несмотря на то, что S3 Files может уступать в скорости Lustre (также доступному в AWS), он обеспечивает достаточно высокую производительность при работе с файлами. Компании, специализирующиеся на файловых хранилищах, такие как NetApp и Qumulo, уже предлагают в AWS гибридные решения, объединяющие файловые и объектные технологии. Теперь, как отмечает издание Blocks & Files, конкуренция на этом рынке усилится. Среди существующих решений — Amazon FSx for NetApp ONTAP, Dell PowerScale for AWS, VAST AI OS и Cloud Native Qumulo (CNQ). Например, CNQ способен обеспечивать пропускную способность свыше 1 Тбайт/с и выполнять до 1 млн операций ввода-вывода в секунду при использовании стандартных клиентов NFS.
По мнению аналитиков, это нововведение представляет собой стратегический ход AWS, направленный на превращение S3 в фундаментальную платформу хранения данных для ИИ-агентов и современных приложений, выходящую за рамки привычных сценариев использования в дата-лейках и пакетной аналитике, пишет InfoWorld. Ранее организациям, разрабатывающим и внедряющим агентные системы и другие передовые ИИ-приложения, часто приходилось либо разворачивать отдельные файловые хранилища, либо создавать промежуточный слой для взаимодействия с S3, отмечает Pareekh Consulting. S3 Files упростит архитектуру хранения, интегрировав дата-лейки, файловые системы и промежуточные уровни данных в единую экосистему Amazon S3.
Источник: