Журнал · Rit.work

RoCoKV ускоряет длинные рассуждения LLM внутри vLLM

RoCoKV сокращает KV-кеш с учётом уверенности модели и превращает экономию памяти в ускорение vLLM до 1,43 раза.

Rit.work
Студия разработки
20 ноября 2026 г.2 мин чтения

Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.

Длинные рассуждения LLM научились обслуживать быстрее с меньшим KV-кешем — памятью, где модель хранит данные о предыдущих токенах. В нерецензированном препринте, где числа получили сами авторы, RoCoKV ускорил выдачу в vLLM в 1,27 раза и увеличил число обработанных запросов за единицу времени на 38% на AIME25. Метод можно подключить к существующему серверному стеку без переделки самого vLLM.

RoCoKV меняет объём сохраняемого контекста по ходу рассуждения. Когда вероятности следующих токенов близки и модель не уверена в продолжении, метод оставляет больше данных; когда один вариант явно преобладает, сжимает кеш сильнее. Отдельный механизм понижает приоритет токенов, похожих на недавний фрагмент рассуждения, чтобы повторы не занимали ограниченный бюджет.

Сам алгоритм не гарантирует ускорения: поиск полезных токенов, удаление записей и управление памятью тоже расходуют ресурсы. Поэтому RoCoKV реализовали как подключаемый модуль для vLLM с объединёнными CUDA-ядрами. Они за один проход оценивают токены, выбирают нужные и рассчитывают точное разреженное внимание, сохраняя страничную организацию KV-кеша, захват CUDA-графа, планировщик и кеширование общих префиксов.

На длинном синтетическом тесте такая реализация ускорила выдачу в 1,43 раза, а пропускную способность повысила на 45% по сравнению с полным KV-кешем. Выигрыш возникает не только из-за меньшего объёма данных: адаптивные бюджеты остаются на GPU, поэтому сервер не синхронизируется с центральным процессором на каждом шаге.

Метод проверяли на DeepSeek-R1-Distill-Llama-8B и DeepSeek-R1-Distill-Qwen-7B, а качество рассуждений — на AIME25, GSM8K и MATH500. При бюджете KV-кеша в 128 токенов RoCoKV обошёл все рассмотренные методы сжатия; системные замеры в vLLM проводили для модели на базе Llama и отдельно дополнили длинной синтетической нагрузкой.

Источники

Иллюстрация: рисунок из статьи «RoCoKV: Accelerating LLM Inference Serving through Uncertainty and Redundancy Aware KV Cache Compression», Payman Behnam, Elaheh Sobhani, Saad Amin и др., CC BY 4.0

Пауза в чтении

Похоже на вашу задачу?

Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.

Rit.work

Студия разработки

Собираем мобильные приложения и помогаем командам получать от AI реальную пользу. Основатель и команда, работаем удалённо — с клиентами в России и за рубежом.

← Ко всем материалам
Понравилось? Обсудим вашу задачу