Журнал · Rit.work

FrontierReplay ускоряет повторные запросы к гибридным LLM

Метод сохраняет точные состояния на границах диалогов и веток, не дробит первичную обработку запроса и показывает, когда гибридной модели нужен отдельный слой кэширования.

Rit.work
Студия разработки
20 ноября 2026 г.3 мин чтения

Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.

Точные состояния гибридной языковой модели можно сохранять внутри запроса, не прерывая его первичную обработку. Хотя препринт Zekun Wang и Yizhuo Wang из Beijing Institute of Technology не рецензирован и числа в нём получили сами авторы, их система FrontierReplay повысила полезную пропускную способность до 4,26 раза относительно vLLM. Для сервисов с длинными диалогами, агентами и общими документами это превращает кэш префиксов из настройки движка в отдельную часть архитектуры.

Почему обычный кэш теряет часть общего префикса

Гибридные модели совмещают самовнимание с рекуррентными слоями. Самовнимание хранит для прошлых токенов кэш ключей и значений, который можно разделить на страницы и повторно использовать до нужной позиции. Рекуррентный слой вместо этого сворачивает всю историю в состояние фиксированного размера и перезаписывает его с каждым токеном.

Из-за этого повторный запрос можно продолжить только с позиции, где движок заранее сохранил точную копию состояния. vLLM ставит такие точки по крупной регулярной сетке. Если общий префикс заканчивается между ними, движок восстанавливает предыдущее состояние и снова проводит оставшиеся токены через всю модель.

Более точный кэш может сохранять состояния на концах реплик и в местах ветвления. Но существующие схемы для этого останавливают прямой проход в нужной позиции, передают управление планировщику, а остаток запроса обрабатывают следующим шагом. Под нагрузкой дополнительные шаги занимают пакеты вычислений и задерживают как новый запрос, так и уже идущую генерацию.

FrontierReplay опирается на структуру нагрузки, а не пытается сохранить состояние в каждой возможной позиции. В трассах ShareGPT, SWE-agent, LongBench и поиска по дереву от 79 до 100% повторно используемых токенов заканчивались на уже известной границе реплики. Остальные полезные точки в основном приходились на ранее обнаруженные развилки: общий системный запрос, конец документа или шаг рассуждения.

Как состояние восстанавливают после непрерывного прохода

FrontierReplay не разрезает первичную обработку. Пока модель проходит запрос целиком, система записывает входы рекуррентных слоёв между исходным состоянием и выбранной структурной границей. После прохода отдельное ядро GPU повторяет только обновления состояния и сохраняет контрольную точку.

Такой повтор не выполняет самовнимание, полносвязные слои и выходные проекции. Граница может стоять на странице из 16 токенов, а журнал охватывает окно до 1024 токенов. Обновление состояния обходится в 6–37 раз дешевле полного повторного прохода по тому же фрагменту; полученное состояние совпало с состоянием непрерывной обработки бит в бит.

Контрольные точки занимают много памяти, поэтому сохранять каждую нельзя. Политика FrontierReplay удерживает состояние активной ветки, проверенные точки расхождения и последние границы текущих диалогов. Устаревшие состояния удаляются, а освободившиеся страницы возвращаются кэшу ключей и значений.

Систему встроили в vLLM и проверили на Qwen3.5 и Falcon-H1 с разными рекуррентными слоями. Размеры моделей лежали в диапазоне от 4B до 34B, а основной бюджет кэша составлял 32 GiB. Сравнение включало точные кэши vLLM, Marconi и SPC, а также приближённый SuffixReplay.

Когда подход меняет планы сервиса

FrontierReplay сократил медианное время до первого токена на 16–89%. Предельная нагрузка, при которой сервис ещё выполнял целевой уровень задержки для большинства запросов, выросла до 1,73 раза. Выигрыш возник не только из-за большего числа совпадений в кэше: устранение разрывов первичной обработки оказалось главным фактором в нескольких сценариях.

Приближённый SuffixReplay иногда показывал близкую скорость, но восстанавливал состояние только по хвосту контекста и поэтому менял ответы. На длинных задачах отслеживания переменных его относительная точность снизилась на 13–17%. FrontierReplay сохраняет точную рекуррентную историю, поэтому подходит для кода, агентных действий и других сценариев, где изменение результата ради задержки неприемлемо.

Работа меняет планы команды, если продукт уже использует гибридную модель и регулярно повторяет длинные структурированные префиксы. В таком случае одной штатной настройки кэша vLLM может быть недостаточно: стоит отдельно проектировать выбор границ, хранение состояний и управление памятью. Особенно заметен эффект у многошаговых агентов, продолжительных диалогов, вопросов к одному документу и ветвящегося поиска.

Для сервиса на модели только с самовниманием механизм не нужен: там страницы кэша уже можно переиспользовать независимо. Он также не обещает одинакового выигрыша при коротких запросах или редких совпадениях. Проверка охватывает конкретные семейства гибридных моделей и четыре типа нагрузки, поэтому перед внедрением потребуется воспроизвести распределение границ и нагрузочный профиль собственного продукта.

FrontierReplay показывает практический критерий для такого прототипа: если совпадения заканчиваются на предсказуемых границах, выгоднее один раз дешёво восстановить там точное состояние, чем постоянно пересчитывать хвост префикса или дробить работу планировщика.

Источники

Пауза в чтении

Похоже на вашу задачу?

Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.

Rit.work

Студия разработки

Собираем мобильные приложения и помогаем командам получать от AI реальную пользу. Основатель и команда, работаем удалённо — с клиентами в России и за рубежом.

← Ко всем материалам
Понравилось? Обсудим вашу задачу