Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.
Один и тот же документ можно повторно использовать при обработке LLM-запросов, даже если перед ним меняются системный промпт, история диалога или метаданные. В препринте Kioxia, который не прошёл рецензирование и приводит числа, полученные самими авторами, KV-Repurpose дал 63,9% попаданий в кэш против 3,3% у обычного кэширования префикса при ёмкости 30 ГБ. Для RAG-сервисов это означает меньше повторных вычислений перед генерацией ответа.
KV-кэш хранит уже рассчитанные ключи и значения механизма внимания, чтобы модель не обрабатывала один текст заново. Обычный сервер переиспользует их, только когда начало нового запроса полностью совпадает со старым. KV-Repurpose делит промпт служебными разделителями, проверяет каждый сегмент отдельно и может взять документ из кэша после нового префикса.
При переносе сегмента система корректирует его позиции через RoPE, но не пересчитывает связи документа с предшествующим текстом. Документ кэшируют отдельным запросом без пользовательских данных, чтобы сведения из одного запроса не попали в другой. В управляемом тесте преимущество по времени до первого токена появлялось на контекстах длиннее примерно 16 тысяч токенов.
Такой перенос почти не изменил качество ответов по одному документу и суммаризации. Но задачи, где нужно связать несколько документов, выявили границу метода: на 2WikiMultihopQA результат F1 по токенам снизился с 0,80 при полном пересчёте до 0,50. Поэтому базовый вариант подходит для повторного чтения самостоятельных документов, но не заменяет пересчёт там, где ответ зависит от связей между источниками.
Систему проверяли на GPT-OSS-120B, запущенной через vLLM на одной NVIDIA H200, и сравнивали с кэшированием точного префикса через LMCache. Оценка охватывала LongBench, LongBench Pro и англоязычные контексты длиной от 8 до 128 тысяч токенов. Код тестового стенда занимает менее 900 строк Python и опубликован под Apache-2.0, поэтому его можно использовать для проверки собственного распределения документов и запросов.
Источники
Иллюстрация: рисунок из статьи «KV-Repurpose: A Testbed for Evaluating Non-Prefix KV-Cache Reuse», Taiga Ikeda, Daisuke Miyashita, Jun Deguchi, CC BY 4.0
Похоже на вашу задачу?
Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.
