Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.
Контекст многошаговых LLM-агентов удалось сократить без заметной потери качества на длинных задачах. ASTC от Xuning He и соавторов дал экономию до 50,68% вычислений внимания без обучения отдельного компрессора, хотя работа не прошла рецензирование и числа получили сами авторы. Метод подходит не как внешний модуль, а как изменение выполнения совместимой модели.
Модель сама определяет, какую часть истории уже усвоила
История агента состоит из инструкций, прошлых решений, вызовов инструментов и их ответов. Обычный компрессор сокращает этот текст до следующего обращения к модели: удаляет фрагменты или переписывает их короче. При этом путь, идентификатор или аргумент API может потерять один символ и сломать дальнейшее действие.
ASTC переносит решение внутрь действующей модели. Метод рассчитан на гибридные архитектуры, где слои внимания сочетаются с Gated Delta Network — рекуррентной памятью, которая обновляется по мере чтения последовательности. Ранние слои сначала обрабатывают исходный контекст целиком, поэтому к моменту сжатия модель уже сформировала представление о прочитанном.
Для каждого токена ASTC проверяет два условия. Сначала метод оценивает, насколько содержание токена уже предсказывается текущим состоянием памяти. Затем проверяет, сохранилось ли оно в состоянии к концу ответа инструмента. Если оба условия выполнены, позицию можно объединить с соседними без отдельного классификатора и дополнительного обучения.
Подходящие позиции группируются, а их скрытые представления усредняются в мягкий токен — вектор внутри модели, который не нужно превращать обратно в текст. Пути, числа, идентификаторы и границы действий остаются обычными токенами. Защитная маска распознаёт такие значения по правилам, хотя может пропустить отдельные поля.
Сжатие происходит между слоями. Ранние слои всё равно читают полный новый фрагмент, зато последующие получают более короткую последовательность и сохраняют уменьшенный KV-кеш. Агент повторно использует этот кеш на следующих шагах, поэтому одна операция продолжает экономить вычисления после первоначального сжатия.
Экономия сохраняется на следующих действиях агента
Основная метрика работы — число пар внимания. Одна такая пара возникает, когда запрос в слое внимания сопоставляется с одним ключом; чем длиннее история и больше последующих запросов, тем больше таких операций выполняет модель. Метрика показывает вычислительную нагрузку алгоритма, но не равна времени ответа или стоимости GPU.
На AppWorld с Qwen3.5-9B успешность выросла на 1,19 процентного пункта, а число пар внимания снизилось на 19,30%. С Qwen3.8-27B успешность уменьшилась на 0,59 пункта при сокращении пар внимания на 35,57%. Разные направления изменения качества показывают, что сжатие нельзя считать нейтральным для любой модели.
Когда ASTC применяли ко всей подходящей истории, а не только к ответам инструментов, вычисления внимания снизились ещё на 19,68% при близкой к исходной точности. Основная часть сжатых данных и в этом режиме пришлась на результаты инструментов: именно они быстрее всего накапливаются в агентской траектории.
Отдельный опыт проверял, сохраняется ли эффект после одной операции. Исследователи разветвляли записанную траекторию, сжимали кеш только в одной ветке, а затем воспроизводили одинаковые действия и ответы инструментов. Распределения следующих действий оставались близкими, а экономия накапливалась при повторном использовании сокращённого кеша.
Метод проверяли на AppWorld, OfficeBench и 8-Objective QA, а также на дополнительных задачах с длинным контекстом и исправлением кода. Основные эксперименты охватили три гибридные модели семейства Qwen и Kimi; ASTC сравнивали с несжатой историей, текстовыми способами и обучаемыми компрессорами. Главной целью служили ответы инструментов, поэтому результаты точнее описывают агентов с растущей рабочей историей, чем обычные одиночные запросы к LLM.
Планы меняются только для команд с доступом к модели
ASTC не подключается поверх произвольного API. Ему нужны внутренние состояния Gated Delta Network, скрытые представления на выбранной границе слоёв и управление KV-кешем. В текущем виде это вариант для собственных серверов с совместимой гибридной моделью, а не замена внешнему менеджеру контекста.
Для такой инфраструктуры работа меняет приоритеты прототипа. Вместо обучения отдельного компрессора можно проверить, способна ли сама модель выделять уже усвоенные части ответов инструментов. В испытании следует одновременно измерять успешность задач, пары внимания, задержку и память GPU: сокращение одной алгоритмической метрики не гарантирует пропорционального выигрыша всей системы.
Защита точных значений остаётся частью прикладной логики. Если агент переносит между шагами ключи, пути, суммы или аргументы API, команда должна определить их форматы и проверить, что маска действительно оставляет их текстом. Сжатие скрытых представлений не устраняет эту работу, а отделяет её от сокращения остального контекста.
Менять выбранную модель только ради ASTC рано. Но при сравнении гибридных архитектур для длинных агентских процессов стоит добавить способность сжимать собственный контекст к критериям выбора: она уменьшает повторную обработку истории без отдельного цикла обучения и сохраняет экономию в последующих шагах.
Источники
Похоже на вашу задачу?
Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.
