Компания Supermicro, Inc., поставщик комплексных ИТ-решений для искусственного интеллекта, корпоративной инфраструктуры, систем хранения данных и технологий 5G/Edge на базе платформы Data Center Building Block Solutions (DCBBS), объявила о создании совместно с IBM и NVIDIA нового решения для хранения KV-кеша. Совместное решение объединяет серверы хранения данных Supermicro Petascale класса All-Flash на базе процессоров AMD EPYC серии 9005 (Turin), программное обеспечение IBM Storage Scale, программную платформу инференса NVIDIA Dynamo и сетевую инфраструктуру Spectrum-X Ethernet.
В совокупности эти технологии позволяют значительно сократить время, необходимое моделям искусственного интеллекта для начала генерации ответа, что становится критическим преимуществом по мере внедрения предприятиями агентных систем ИИ и рабочих процессов с длинным контекстом. Расширение емкости KV-кеша за пределы локальной памяти графического процессора позволяет повысить эффективность использование GPU и пропускную способность инференса, обеспечивая при этом высокую доступность содержимого KV-кеша и возможность увеличения его емкости без прерывания работы. В результате формируется более масштабируемая и отказоустойчивая архитектура инференса, обеспечивающая более быструю реакцию систем ИИ на запросы пользователей.
«По мере того как сфера применения ИИ расширяется от обучения моделей к инференсу, предприятиям и новым облачным провайдерам (neoclouds), развертывающим высокопроизводительные системы инференса для агентного ИИ и многошагового генеративного ИИ с длинным контекстом, необходимо устранять узкие места, чтобы повышать эффективность использования графических процессоров, — сказал Чарльз Лян (Charles Liang), президент и генеральный директор Supermicro. — Наше совместное решение с IBM и NVIDIA наглядно демонстрирует эти преимущества в производительности».
Рабочие нагрузки инференса включают два этапа: предварительную обработку (prefill) и декодирование (decode). На этапе предварительной обработки входной текст преобразуется в токены и обрабатывается большой языковой моделью (LLM) для генерации промежуточных состояний пар «ключ-значение» (KV), необходимых для инференса. Сохраняя эти ранее вычисленные KV-состояния в постоянном KV-кеше, система может вновь использовать их вместо повторного вычисления одного и того же контекста при последующих запросах. Агентные рабочие процессы, помощники по программированию, системы генерации с дополнением поиском (RAG) с длинным контекстом, мультимодальный ИИ и многошаговые приложения могут генерировать значительные объемы KV-состояний при обработке крупных баз программного кода, документов, диалогов, изображений и других контекстных данных, быстро превышая емкость памяти GPU и CPU, что создает необходимость выгрузки KV-кеша в высокоемкие общедоступные сетевые системы хранения данных.
Решение Supermicro, IBM и NVIDIA для KV-кеширования обеспечивает такой уровень постоянного хранения, помогая повысить эффективность, пропускную способность и масштабируемость инференса при одновременном сокращении избыточных вычислений.
«Предприятиям необходим принципиально более эффективный подход к масштабированию инференса ИИ. Совместными усилиями IBM, Supermicro и NVIDIA предлагают высокопроизводительное и отказоустойчивое решение для KV-кеширования, которое помогает клиентам максимально эффективно использовать инвестиции в графические процессоры, масштабировать ресурсы независимо от вычислительных мощностей и значительно повышать эффективность инфраструктуры, — поделился Сэм Вернер (Sam Werner), генеральный директор IBM Storage. — Это сотрудничество представляет собой важный шаг к повышению масштабируемости, надежности и экономической эффективности корпоративного инференса ИИ».
«Агентный ИИ и приложения с длинным контекстом зависят от эффективного повторного использования контекста на многочисленных этапах обработки, а NVIDIA Dynamo помогает координировать распределенный инференс, чтобы предприятия могли получать больше полезной пропускной способности от каждого графического процессора», — отметила Шрути Копаркар (Shruti Koparkar), руководитель направления продукции NVIDIA для инференса ИИ. — Объединение NVIDIA Dynamo и Spectrum-X Ethernet с серверами хранения данных Supermicro Petascale и IBM Storage Scale позволяет создать высокопроизводительный уровень общего хранения KV-кеша, который может сократить избыточные вычисления, уменьшить время до генерации первого токена и помочь клиентам масштабировать отказоустойчивые сервисы инференса ИИ».
