Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.
Ответы инструментов можно убрать из текстового контекста агента, оставив модели компактное скрытое представление для следующего действия. В нерецензированном препринте, где все числа получили сами авторы, метод Coca-Cola сократил расход токенов на 70–89% и полное время работы на 24–56%. Подход меняет архитектуру агента: между инструментом и основной LLM появляется обучаемый компрессор, а текстовый API как единственная точка доступа уже не подходит.
Почему краткий пересказ всё ещё занимает контекст
Агент по схеме ReAct чередует рассуждение и вызовы инструментов. После каждого поиска он добавляет найденные фрагменты в историю, поэтому старые наблюдения снова проходят через модель на следующих шагах. В разобранном авторами примере к четвёртому шагу ответы инструментов занимали 96,7% контекста.
Обычное сжатие работает внутри того же текстового формата. Прореживание удаляет менее важные токены, а вспомогательная LLM пишет краткий пересказ. В обоих случаях результат должен оставаться последовательностью слов, которую основная модель сможет прочитать.
Coca-Cola отказывается от этого требования. Компрессор превращает наблюдение в небольшой набор векторов и вставляет их непосредственно во входное пространство основной модели. Эти векторы занимают позиции в контексте, как токены, но им не нужно складываться в грамматичный и понятный человеку текст.
Сжимать наблюдение отдельно нельзя: один и тот же поисковый результат может быть полезен для разных целей. Поэтому кодировщик получает исходную задачу, текущее рассуждение агента и ответ инструмента. Так он может оставить имя для следующего поиска и отбросить подробности, которые не влияют на решение.
Компрессор учат сохранять действие, а не исходный текст
Архитектура состоит из контекстного кодировщика и адаптера. Кодировщик обрабатывает задачу, состояние рассуждения и наблюдение. Адаптер собирает из его скрытых состояний фиксированный набор векторов и переводит их в пространство входных представлений целевой LLM.
Во время обучения одна и та же замороженная модель получает две версии контекста. В первой находится полный ответ инструмента, во второй — его скрытое представление. Компрессор учат сближать вероятности следующего действия в этих двух режимах; дополнительно он должен воспроизвести действие, записанное в обучающей траектории.
Это отличает Coca-Cola от скрытого автоэнкодера ICAE, который пытается сохранить содержание исходного текста. Для агента такое восстановление избыточно: если найденная страница нужна только для выбора следующего запроса, компрессору достаточно передать сведения, определяющие этот запрос.
На TriviaQA с моделями Qwen показатель F1 вырос на 4,2 пункта относительно агента с полными наблюдениями. F1 по токенам показывает баланс точности и полноты слов в ответе. Coca-Cola также улучшил долю дословно совпавших ответов и F1 во всех проверенных сочетаниях моделей и наборов задач, хотя отдельные методы сжатия выигрывали в некоторых сравнениях между собой.
Сокращение контекста перешло и в полное время выполнения, куда входит работа компрессора. Значит, дополнительный кодировщик в этих опытах не съел выигрыш от более коротких запросов к основной модели. При этом исходный ответ инструмента всё равно сначала проходит через кодировщик: метод сокращает нагрузку на целевую LLM, а не объём данных, который возвращает поиск.
Латентный интерфейс стоит закладывать до выбора API
Работу проверяли на веб-агентах с конфигурациями Qwen и GLM. В испытания вошли NQ и TriviaQA с поиском фактов, а также 2Wiki и HotpotQA с рассуждением по нескольким найденным фрагментам. Coca-Cola сравнивали с агентом без сжатия, прореживанием LongLLMLingua, пересказом через LLM и скрытым компрессором ICAE.
Эти условия охватывают многошаговый поиск, но вывод привязан к агентам, у которых длинные текстовые наблюдения накапливаются в контексте. Для процессов с короткими ответами инструментов дополнительный компрессор решает менее заметную проблему: сначала стоит измерить, какую долю входа действительно занимают наблюдения и сколько времени основная модель тратит на их повторную обработку.
Главное архитектурное следствие — Coca-Cola нельзя подключить как обычную текстовую прослойку. Адаптер вставляет векторы во входное пространство конкретной модели, а при обучении градиент проходит через замороженного агента. Команде нужен доступ к весам или как минимум к уровню входных представлений; API, принимающий только текст, не предоставляет необходимого интерфейса.
Компрессор также становится зависимой от модели частью системы. При замене основной LLM потребуется заново проверить совместимость пространства представлений и качество действий. Это аргумент не против подхода, а против попытки внедрить его после того, как агент уже спроектирован вокруг закрытого текстового API.
Для собственного стека работа предлагает ясный порядок: оставить инструменты без изменений, поставить компрессор после их ответов, обучать его на реальных траекториях и оценивать не восстановление текста, а итоговые действия агента. Сырые наблюдения стоит сохранять отдельно, если процесс требует читаемого журнала: скрытые векторы подходят модели, но не заменяют запись для разбора ошибок.
Источники
Похоже на вашу задачу?
Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.
