Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.
Одни и те же рабочие данные можно организовать так, чтобы LLM-агент тратил меньше токенов и чаще завершал задачу. В работе, которая пока не прошла рецензирование, сами авторы получили на AutomationBench снижение расходов Claude Haiku 4.5 на 72,7% и рост доли успешных заданий на 14,3 пункта. Для команд это добавляет ещё один объект оптимизации: структуру данных и способы доступа к ним.
Среда стала третьей осью оптимизации агента
Обычно команда выбирает модель, а затем настраивает обвязку: системные инструкции, набор инструментов, правила вызова API и цикл выполнения задачи. EnvOpt добавляет к ним среду — файлы, сообщения, базы данных и другие материалы, с которыми агент работает постоянно.
Авторы называют такую среду стационарной, если один и тот же набор материалов обслуживает много похожих задач. Это может быть история Slack, корпоративные документы, репозиторий или каталог заявок. Содержание остаётся прежним, но его можно по-разному хранить, индексировать и выдавать агенту.
Разница не сводится к удобству интерфейса. Если агент получает длинные ответы от инструментов, многократно ищет схему API или обходит тысячи файлов, эти действия увеличивают входной контекст и число вызовов модели. Подготовленный индекс или компактное текстовое представление сокращают сам путь к ответу.
На AutomationBench EnvOpt создал программу, которая извлекает письма Gmail и отдаёт отправителя, тему, идентификатор и фрагменты сообщения обычным текстом. В других средах таблицы преобразовывались в текст, для репозитория появлялись шаблоны команд, а сведения о таблицах и скриптах попадали в SQLite.
Как EnvOpt перестраивает данные без готовых ответов
EnvOpt использует одного агента как исследователя, а другого — как целевого исполнителя. Модель и обвязку исполнителя фиксируют. Исследователь запускает его на обучающих заданиях, изучает траектории, меняет каталог среды и проверяет, сократились ли расходы без видимого ухудшения ответа.
Исследователь может создавать индексы, справочники, базы данных, преобразователи файлов и новые точки доступа к данным. Менять системные инструкции или параметры целевой модели ему запрещено, а такие изменения отбрасываются. Поэтому эффект можно отделить от настройки обвязки.
В обучающих заданиях нет проверяющих программ и эталонных ответов. Это мешает исследователю просто записать правильные ответы в среду, но заставляет оценивать качество по косвенным признакам и согласованности результатов. После каждого этапа отдельный проверочный набор с эталонами решает, сохранить изменение или остановить процесс; итог проверяют на заданиях, которые не участвовали в оптимизации.
Метод испытали на AutomationBench, Workspace-Bench, Data-Eng-Bench и задачах по исправлению кода в репозиториях Bleve и tenacity. Наборы охватывали от десятков до сотен заданий, а целевыми исполнителями служили агенты на моделях Claude и GPT. Сравнение включало исходные среды и методы, которые оптимизируют обвязку, навыки или подсказки для агента.
В среднем по испытаниям расходы снизились на 48%, а доля успешных заданий сохранилась или выросла. Среда, подготовленная для Haiku 4.5, перенеслась на Opus 5: расходы упали на 68,1%, а доля успешных заданий выросла на 1,34 пункта. Поверх Meta-Harness метод дал ещё 83,4% экономии и прибавил 11,17 пункта точности относительно одной оптимизированной обвязки.
Среду стоит вести как отдельный компонент продукта
Работа меняет планы прежде всего у команд, чьи агенты многократно обращаются к общему корпусу данных. Для одноразового запроса подготовка среды может не окупиться. В корпоративном помощнике, агенте поддержки или разработчике для одного репозитория затраты распределяются по потоку похожих задач.
Представление данных стоит версионировать и тестировать отдельно от модели и обвязки. Практический набор артефактов включает индексы, преобразователи форматов, компактные справочники по API, карты репозитория и программы предварительного поиска. При смене модели их не обязательно выбрасывать: эксперименты показывают, что часть улучшений переносится между моделями и обвязками.
Оптимизация среды требует тех же мер против подгонки, что и настройка самого агента. В экспериментах один большой файл со всеми значениями побуждал модель исследовать ещё больше данных, а слишком широкий поиск заставлял читать ненужные документы. Узкая проверка, полезная на части обучающих задач, затем отклоняла правильные исправления.
Поэтому среду нельзя улучшать только по сокращению токенов. Нужны раздельные наборы задач, проверяемый критерий успеха и возможность откатить изменение. EnvOpt показывает не готовую универсальную структуру, а процесс поиска структуры под повторяющуюся работу конкретного агента.
Источники
Похоже на вашу задачу?
Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.
