В условиях увеличивающегося дефицита флэш-памяти компания VAST Data, работающая в сфере инфраструктуры для искусственного интеллекта, анонсировала инициативу VAST Amplify. Её цель — помочь предприятиям повысить полезный объём их существующих твердотельных накопителей.
Сотрудничество с клиентом по программе VAST Amplify строится поэтапно. На первом шаге проводится аудит инфраструктуры: VAST Data изучает всю среду хранения заказчика, чтобы обнаружить области с неэффективно используемыми SSD, фрагментацию между разобщёнными системами и потери, вызванные устаревшими архитектурными решениями, которые уменьшают доступную ёмкость.
Далее выполняется оперативная квалификация платформы — быстрая проверка и сертификация текущих серверов и SSD клиента для работы в экосистеме VAST, что позволяет избежать длительных циклов поставок нового оборудования.
Следующим этапом идёт восстановление и консолидация ресурсов: модернизированное оборудование объединяется в единое пространство имён на основе операционной системы VAST AI. Это превращает разрозненную флэш-память, привязанную к отдельным серверам, в глобально доступный пул высокопроизводительного хранилища, где ресурсы могут гибко выделяться для любых приложений, снимая ограничения, накладываемые серверными границами или устаревшими архитектурами.
Защита данных реализована на уровне платформы с применением высокоэффективного кода с коррекцией ошибок, а не традиционных методов, требующих ресурсоёмкого реплицирования и расходующих в два-три раза больше исходного пространства. Это повышает полезную ёмкость, сохраняя отказоустойчивость в масштабе.
Как заявляется, программа обеспечивает шестикратный рост полезного объёма благодаря фундаментальной архитектуре VAST Data — Disaggregated Shared Everything (DASE) — и комплексу передовых программных технологий. В отличие от классических систем, где сокращение данных происходит в изолированных узлах или томах, подход VAST является глобальным и охватывает всю среду.
Основополагающим компонентом выступает глобальное устранение дублирования данных на основе их схожести. Этот метод выявляет и удаляет повторяющиеся паттерны информации во всём хранилище, а не в рамках отдельного файла или набора. В результате эффективная ёмкость системы при заданном физическом объёме флеш-памяти значительно возрастает, что особенно важно для сред искусственного интеллекта, где обучающие данные часто содержат колоссальные объёмы сходной или идентичной информации.
Не менее важна архитектура записи, созданная с учётом особенностей памяти класса хранения (SCM). Все поступающие данные изначально фиксируются в буфере сверхскоростной SCM-памяти. Такое решение позволяет системе эффективно обрабатывать случайные и импульсные операции записи, после чего интеллектуально упорядочивать и переносить данные на базовые SSD-накопители крупными последовательными потоками. Это сокращает коэффициент усиления записи, повышает долговечность и срок службы флеш-накопителей, сохраняя минимальную задержку без привлечения дорогостоящего избыточно резервированного оборудования.
Комбинация этих технологий в операционной системе VAST AI OS обеспечивает значительный прирост полезной ёмкости при неизменном количестве физической флеш-памяти.
Источник: