Российский банк запустил «двухконтурный» суперкомпьютер: ИИ и HPC на одной платформе
Производитель серверных решений «Е-Флопс» и инжиниринговая компания «АМДтехнологии» разработали HPC-комплекс для решения ИИ-задач. Проект был реализован по заказу российского банка, входящего в Топ-10 крупнейших финансовых организаций страны, имя которого не уточняется.
Созданное отечественными инженерами изделие состоит из 22 вычислительных узлов, базирующихся ускорителях NVIDIA H100 80GB и x86-процессорах, обеспечивающих пиковую производительность 11792 Тфлопс (FP64) для научных расчётов и 700 Пфлопс (FP8/INT8) для задач ИИ. Машина включает 4224 процессорных ядра, 33792 Гбайт RAM вычислительных узлов и 14080 Гбайт памяти GPU, а также 2973696 ядер CUDA и 92928 тензорных ядер. Каждый ускоритель получил 200G-интерфейс InfiniBand NDR. Локальное подключение обеспечивается 25GbE-интерфейсами, для управления задействована 10GbE-сеть.
Вычислительный комплекс состоит из внутреннего и внешнего сегментов. Внутренний сегмент размещён внутри безопасного периметра банка без выхода в интернет, он ориентирован исключительно на решения задач ИИ. Внешний сегмент находится вне периметра информационной инфраструктуры банка и предназначен для HPC-нагрузок.
Источник изображения: NVIDIA
В соответствии с требованиями заказчика реализованы две независимых подсистемы хранения данных: внутреннего и внешнего сегментов. Во внешнем контуре установлена выделенная СХД с поддержкой иерархического хранения: «горячие» данные размещаются на SSD «сырой» ёмкостью 61 Тбайт, а «холодные» — на массивах HDD ёмкостью 2 Пбайт. Для его подключения используется InfiniBand NDR. Во внутреннем сегменте используется распределённое гиперконвергентное хранилище, которое масштабируется линейно вместе с ростом числа вычислительных узлов. Говорится об FC32 SAN для доступа к объектной СХД.
ПО включает средства мониторинга и управления (в том числе NVIDIA DCGM), систему визуализации и анализа данных на базе открытых пакетов, а также платформу оркестрации Kubernetes с модулями Multus и Cilium. Внешний сегмент дополнительно поддерживает планировщик Slurm. Управляющие серверы работают в среде Proxmox.
Суперкомпьютер уже введён в эксплуатацию и развёрнут в сертифицированном ЦОД одного из крупнейших провайдеров. Все серверы, коммутаторы, СХД внешнего сегмента, патч-панели размещены в 16 серверных шкафах с использованием воздушного охлаждения и организацией холодного и горячего коридоров. В вычислительный комплекс, по требованию заказчика, заложена возможность дальнейшего увеличения количества вычислительных узлов до 42, а также наращивание сетевой инфраструктуры.
Источник: