«Тантор Лабс» и «Боцман» представили KV-cache без DRAM
«Тантор Лабс» и разработчик платформы контейнеризации и управления ИИ-инфраструктурой «Платформа Боцман» (обе входят в «Группу Астра») представили программно-аппаратную технологию хранения кэша ключей и значений (KV-cache) без использования памяти DRAM. Решение переносит кэш из ограниченной HBM-видеопамяти GPU во внешнее NVMe-хранилище по протоколу RDMA и повторно использует сохранённые данные при обработке запросов.
По мере роста числа пользователей корпоративных ИИ-сервисов и длины контекста объём KV-cache растёт и занимает значительную часть видеопамяти GPU. Когда доступного объёма не хватает, инфраструктуре приходится ограничивать число одновременных запросов, задействовать дополнительные ресурсы или выполнять вычисления повторно, что увеличивает задержки и стоимость эксплуатации ИИ-сервисов.
В отличие от чисто программного внешнего кэширования решение использует специализированный аппаратный KV-движок доступа к данным по ключу. Он снижает нагрузку на центральные процессоры серверов и позволяет эффективнее использовать ресурсы GPU. Решение интегрируется с vLLM, LMCache и Nvidia Dynamo и встраивается в существующий стек инференса без переписывания прикладного кода; поддерживаются GPU Nvidia (Ampere, Ada Lovelace, Hopper, Blackwell), AMD (Instinct, Radeon), а также Alibaba (PPU), MetaX (C-Series) и Baidu (Kunlun).
Архитектура модуля обеспечивает низколатентный доступ к данным в распределённой инфраструктуре Storage AI с использованием сетевых адаптеров 400 GbE (ConnectX 7), RDMA и NVMe-oF. GPU-серверы с движком инференса vLLM работают с отдельным узлом хранения на базе NVMe SSD. Модуль сохраняет вычисленные KV-кэши в распределённое масштабируемое хранилище и загружает их при повторных запросах, избегая перерасчётов, а также распределяет данные между GPU, экземплярами vLLM и пользователями.
Решение также позволяет реализовать дезагрегацию вычислительных ресурсов и хранения контекстной памяти (Compute–KV Storage Disaggregation): GPU-серверы выполняют инференс, а KV-cache хранится отдельно в общем масштабируемом NVMe-хранилище. Контекстная память становится доступной всем GPU-серверам инфраструктуры и не привязана к конкретному ускорителю или серверу, при этом отдельная оркестрация распределения кэша между серверами не требуется.
В испытаниях на одинаковых серверах, LLM и нагрузке сравнивались конфигурации с аппаратным решением и без него: применение модуля позволило обслуживать в четыре раза больше клиентов на тех же GPU-мощностях при соблюдении заданных требований к задержке. Заказчик получает «горячий» контекст на скорости, сопоставимой со скоростью памяти DRAM, при ёмкости и стоимости как у NVMe-накопителей.
Программная поддержка внешнего хранения KV-cache и интеграция в инфраструктуру эксплуатации ИИ-моделей реализованы в платформе «Боцман»: она обеспечивает развёртывание, публикацию, обновление и масштабирование моделей, управление вычислительными ресурсами на базе Kubernetes, маршрутизацию запросов через OpenAI-совместимый API, а также мониторинг и контроль потребления ресурсов.