Эпоха дефицита видеокарт позади: главным барьером для ИИ становится память контекста

Доступность графических процессоров перестает быть главным ограничителем при масштабировании систем искусственного интеллекта. На первый план выходит проблема управления контекстом — объема данных, которые модель должна удерживать в памяти для связной работы. К такому выводу пришли специалисты компании Solidigm, указав на необходимость пересмотра архитектуры современных дата-центров.

Почему контекст вытесняет чистую вычислительную мощность

С развитием мультиагентных ИИ-систем, которые выполняют сложные многошаговые задачи вместо простых ответов на вопросы, требования к объему удерживаемых данных резко возросли. По словам руководителя отдела прикладных исследований ИИ в Solidigm Джеффа Хартхорна, за последние годы графические чипы стали значительно доступнее в пересчете на единицу производительности, а архитектуры моделей — эффективнее. Однако объем контекста и необходимость сохранения состояния сессий между запросами растут еще быстрее.

Сегодняшние ИИ-агенты связывают воедино десятки и сотни последовательных запросов. Бизнесу требуется, чтобы история этих взаимодействий сохранялась для аудита, контроля безопасности и повторного использования. В результате объем данных контекста превысил возможности традиционных архитектур памяти.

Разница между обучением и использованием ИИ

Существующая ИТ-инфраструктура создавалась под нужды обучения нейросетей, однако стадия инференса (непосредственной работы готовой модели) требует совершенно иного подхода к хранению данных:

• Обучение моделей носит последовательный характер с преобладанием записи данных крупными блоками. С этой задачей хорошо справляется стандартная связка из быстрой памяти графического процессора, локальных накопителей и емких сетевых хранилищ.
• Работа готовой модели критична к задержкам и требует обработки множества мелких запросов в режиме реального времени. Данные кеша ключей и значений (KV-кеш), которые позволяют модели «помнить» контекст беседы, не помещаются в дорогую и физически ограниченную видеопамять, но и не могут оперативно извлекаться из медленных сетевых дисков.

Когда системе не хватает быстрой памяти для хранения KV-кеша, возникает необходимость в повторном вычислении контекста. В этом случае графические процессоры тратят ресурсы не на генерацию новых ответов, а на простое воспроизведение уже пройденных шагов. По оценкам экспертов, значительная часть мощностей GPU сегодня расходуется вхолостую именно из-за неэффективного хранения данных.

Появление нового уровня памяти: концепция CMX

Решением проблемы становится выделенный промежуточный слой хранения данных между сверхбыстрой видеопамятью и стандартными сетевыми накопителями. На рынке эта архитектура, продвигаемая в том числе корпорацией Nvidia, получила название CMX. Речь идет о высокопроизводительной флеш-памяти высокой плотности, спроектированной специально для быстрого чтения и повторного использования контекстных данных ИИ.

Как отмечают представители индустрии, при проектировании дата-центров нового поколения архитекторам придется отказаться от привычной двухкомпонентной схемы хранения данных. Наличие третьего, промежуточного слоя контекстной памяти становится обязательным стандартом для эффективного возврата инвестиций в ИИ-инфраструктуру. Использование специализированных SSD-накопителей вместо дорогостоящей оперативной памяти позволяет значительно снизить капитальные затраты и энергопотребление серверов.

Ключевые требования к новым накопителям

Смотрите также:

Self-Harness: новая система автоматического совершенствования ИИ-агентов http://euroelectrica.ru/self-harness-novaya-sistema-avtomaticheskogo-sovershenstvovaniya-ii-agentov/.

Интересное по теме: Обзор возможностей стационарного миксера KitchenAid: не только для выпечки

Советы в статье "Утечка: Samsung Galaxy Watch Ultra 2 получит обновленный дизайн и тонкие рамки" здесь.

Для эффективной работы в составе ИИ-инфраструктуры накопители нового поколения должны обладать специфическими характеристиками:

• Предсказуемое время отклика: для систем оркестрации ресурсов ИИ критически важна стабильность скорости чтения, поскольку любые задержки на уровне накопителя приводят к простою дорогостоящих графических чипов.
• Высокая плотность хранения: в современных дата-центрах ключевым ограничением часто становится доступная электрическая мощность, поэтому эффективность оборудования измеряется в ваттах на петабайт данных.
• Интеграция с современными протоколами: поддержка технологий NVMe-oF, RDMA и CXL необходима для минимизации задержек при передаче контекста.

В обзоре Solidigm подчеркивается, что в ближайшие годы главным вопросом для технологических лидеров станет не закупка дополнительных вычислительных мощностей, а повышение эффективности использования уже имеющегося оборудования. И решение этой задачи напрямую зависит от модернизации систем хранения данных.