Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.
Пользовательский профиль для LLM-рекомендателя научились повторно использовать без пересчёта при каждом ранжировании. В препринте Meta Recommendation Systems, который не прошёл рецензирование и где числа получили сами авторы, KVUse увеличил поток обработки оценок в 4,0–4,5 раза. Для такой системы память становится частью инфраструктуры инференса, а не просто текстом, который добавляют в запрос.
Текстовый профиль заставляет модель повторять одну работу
Рекомендатель с памятью обычно разделён на два пути. Первый периодически обновляет профиль пользователя по новым действиям. Второй читает этот профиль и оценивает товары, книги, фильмы или другие кандидаты.
Профиль хранится как обычный текст. Поэтому каждый запрос на оценку вставляет его в подсказку, после чего модель снова рассчитывает кеш ключей и значений (KV-кеш) для тех же токенов. То же происходит с описаниями кандидатов, которые многократно встречаются в разных запросах.
Префиксное кеширование здесь помогает мало. Оно переиспользует вычисления, только когда весь текст перед кешируемым фрагментом совпадает. Один и тот же профиль в запросе на обновление следует за одной инструкцией, а в запросе на оценку — за другой, поэтому позиции и предшествующий контекст меняются.
Проблема особенно заметна у ранжирования: ответ модели короткий, а вход длинный. В исследованной конфигурации предзаполнение занимало около 86% работы движка на пути оценки. Оптимизация генерации ответа почти не влияет на этот профиль нагрузки.
Профиль записывается сразу в пригодный для чтения кеш
KVUse сохраняет не текст профиля, а KV-кеш, который модель создала при его генерации. При следующем обновлении или оценке система подставляет готовые ключи и значения в контекст. Для статичных описаний кандидатов кеш рассчитывают заранее.
Просто перенести KV-кеш между запросами нельзя. Позицию токенов можно скорректировать математически, но кеш также содержит сведения о предыдущем контексте. При наивном переносе качество NDCG@10, то есть качество порядка кандидатов с учётом их позиций, падало на 20–30%.
Чтобы убрать эту ошибку, к базовой модели подключают отдельные лёгкие LoRA-адаптеры для профилей и описаний. Адаптер работает только в момент записи: он формирует ключи и значения так, чтобы исходная модель затем могла прочитать их в другом месте и после другого контекста. Сама модель-читатель остаётся неизменной.
Адаптеры обучают самодистилляцией. Обычная модель сначала полностью обрабатывает текстовые запросы и выступает учителем. Затем система учит адаптеры создавать такой кеш, при котором распределение следующих токенов остаётся близким к результату полного расчёта. Ручная разметка для этого не нужна.
Отдельный планировщик переносит кеш следующей пачки из оперативной памяти на GPU, пока ускоритель считает текущую. Такой подход скрывает обмен данными, если очередь запросов известна заранее. Это подходит для пакетного ранжирования и асинхронного обновления профилей, но не всегда работает с непредсказуемым потоком онлайн-запросов.
Менять архитектуру стоит при повторном чтении длинной памяти
KVUse проверяли с Llama-3.1-8B-Instruct на четырёх наборах данных InstructRec: Amazon Books, Goodreads, Amazon Movies & TV и Yelp. Систему сравнивали с полным предзаполнением, наивным переносом кеша и методами, которые повторно рассчитывают часть токенов при чтении. По метрикам ранжирования разница с полным предзаполнением оставалась в пределах погрешности на последовательных обновлениях памяти.
Путь обновления профиля ускорился в 1,4–1,9 раза. Выигрыш здесь ниже, чем при оценке кандидатов: обновление генерирует длинный новый профиль, поэтому значительная часть работы всё равно приходится на вывод токенов, а не на обработку входа.
Архитектура подходит системам, где один профиль читают много раз, запросы содержат длинный контекст, а ответы остаются короткими. Если модель преимущественно генерирует длинный текст или профиль редко используется повторно, KVUse не устраняет главный источник затрат.
За вычислительную экономию приходится платить хранилищем. Для исследованной модели один токен KV-кеша занимает 128 КиБ в формате bfloat16 — на несколько порядков больше текстовой записи. Команде придётся заранее оценить объём памяти, пропускную способность между оперативной памятью и GPU, срок жизни профиля и возможность сжатия.
Адаптеры также привязаны к предметной области. Обученные на книгах компоненты переносились на фильмы, но хуже работали на Goodreads и Yelp. Для нового каталога или заметно другого поведения пользователей пока следует закладывать отдельное обучение и проверку качества.
Работа не предлагает универсальную замену текстовой памяти. Она показывает более узкий архитектурный выбор: если стоимость системы определяет повторное предзаполнение одних и тех же профилей, их можно превратить из данных подсказки в сохраняемое состояние инференса.
Источники
Похоже на вашу задачу?
Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.



