Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.
KV-кэш моделей со слабыми токенами-якорями внимания удалось сокращать точнее, чем прежними методами. Park, Choi и Lee описали ValueDiff в нерецензированном препринте, все числа для которого получили сами авторы: на LongBench при лимите 4096 токенов метод сохранил в среднем 92% результата режима без вытеснения против 83% у сильнейшего прежнего подхода. Для серверов с ограниченной GPU-памятью это меняет критерий выбора алгоритма: архитектура модели становится важнее накопленного веса внимания.
KV-кэш хранит ключи и значения уже обработанных токенов и растёт вместе с контекстом. Старые алгоритмы оставляют токены, которые стабильно получают много внимания, либо ищут выделяющиеся векторы ключей. Но QK-normalization, gated attention, learned attention sinks и logit softcapping ослабляют постоянные якоря: текущие веса внимания хуже предсказывают, какие токены понадобятся следующим запросам.
ValueDiff смотрит на векторы значений. Для каждого токена он считает расстояние до среднего вектора в кэше: близкие к среднему токены считает взаимозаменяемыми и удаляет первыми, далёкие сохраняет. Такой критерий также минимально меняет выход внимания, если будущие запросы неизвестны и нельзя заранее предпочесть отдельные токены.
На RULER с контекстом 8192 токена и кэшем на 2048 токенов ValueDiff сохранил 88–99% результата полного режима на семи моделях с ослабленными якорями и оказался лучшим на шести из них. На MATH-500 при сохранении четверти кэша преимущество над прежними методами доходило до 20 процентных пунктов на моделях с gated attention.
Метод проверили на RULER, LongBench и MATH-500, а вытеснение запускали как при загрузке длинного промпта, так и при генерации. В тест вошли модели четырёх современных архитектурных семейств и обычные Llama и Qwen2.5 для контроля. На Llama, где якоря внимания сохраняются, методы по векторам ключей часто работали лучше, поэтому ValueDiff не стоит считать универсальной заменой: сначала нужно определить, подавляет ли выбранная модель такие якоря.
Источники
Похоже на вашу задачу?
Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.
