NVIDIA ускоряет ИИ: новая платформа избавляет от узкого места в памяти для больших языковых моделей

NVIDIA ускоряет ИИ: новая платформа избавляет от узкого места в памяти для больших языковых моделей

Компания анонсировала специализированную платформу хранения контекста для инференса (ICMSP), предназначенную для решения проблемы масштабирования кэша ключей и значений (KV-cache) в больших языковых...