Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.
KV-кэш нельзя без потерь переносить в новый запрос, если модель должна связать несколько независимо обработанных источников. Хотя препринт University of Central Florida не рецензировали и все числа получили сами авторы, KVShareArena показал: обучаемый адаптер вернул 64% разрыва до полной обработки на одной задаче и 36% на другой. Для систем генерации с поиском (RAG) и нескольких агентов это отделяет дешёвые случаи повторного использования от тех, где придётся заново обрабатывать часть контекста или обучать исправление.
KV-кэш хранит промежуточное состояние модели для уже прочитанных токенов. Обычный префиксный кэш работает, только когда начало запроса совпадает полностью. В RAG документы меняют порядок, а координатор агентов собирает свежие отчёты: сохранённые токены получают неверные позиции и ничего не знают о соседних источниках.
KVShareArena ставит каждый метод между двумя опорами: ответом без переданного материала и полной повторной обработкой того же материала. Одновременно бенчмарк считает вычисления, объём кэша и время до первого токена, а разовую стоимость создания кэша выносит отдельно. Поэтому метод нельзя объявить выгодным только по качеству или только по задержке.
Неисправленные кэши агентских отчётов дали показатель −82%: модель отвечала хуже, чем без отчётов. Бесплатная коррекция позиций справлялась, когда источников было мало или использовался один документ, но не восстанавливала связи между несколькими блоками. На задачах, где ответ требовал совместить источники, помогали выборочная повторная обработка, настройка внимания и заранее обученные адаптеры; сжатие кэша на отчётах уступало простой коррекции позиций.
Проверка охватила два режима — извлечённые фрагменты и отчёты агентов — на трёх модельных стендах. Авторы отдельно меняли контекст и версию модели, которая создала кэш: способы без обучения переносили смену весов устойчивее, а адаптер, настроенный под одного производителя кэша, терял качество. Практический вывод ограничен сборкой независимых блоков: точный общий префикс по-прежнему остаётся отдельным, почти без потерь, случаем.
Источники
Похоже на вашу задачу?
Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.
