Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.
Контекст и корректирующие подсказки для ИИ-агента научились менять по данным его собственных запусков, а не закреплять вручную перед обучением. В препринте Zelin He и коллег, который не прошёл рецензирование и содержит замеры самих авторов, ModHarness-RL улучшил результат CodeSearch относительно фиксированной обвязки на 14–24%. Подход позволяет обучать модель и окружающий её программный слой как связанную систему.
Обвязка стала программой над историей агента
Обвязка — это программный слой между моделью и средой. Он решает, какую часть истории показать модели, как оформить результаты инструментов и когда добавить инструкцию, которая скорректирует поведение.
Обычно разработчики пишут этот слой вручную и не меняют во время обучения с подкреплением. Но поведение модели постепенно сдвигается: часть ошибок исчезает, появляются другие, а прежние подсказки могут стать лишними. ModHarness-RL подстраивает обвязку под эти изменения.
Метод хранит взаимодействие не как сплошной текст, а как типизированные блоки: рассуждение модели, вызов инструмента, его аргументы, результат и ранее показанную подсказку. Над этими блоками работают две детерминированные программы.
Compression собирает контекст заново: сохраняет значимые фрагменты старых шагов и убирает подробности, которые больше не нужны. Исходная запись при этом остаётся доступной, поэтому программа может вернуть пропущенные сведения на следующем ходе.
Steering ищет конкретные признаки сбоя и добавляет короткую инструкцию только при срабатывании правила. Например, триггер может заметить повторный вызов одного инструмента или завершение эпизода без ответа.
Обе программы исполняются без дополнительного обращения к LLM. Это отличает подход от сжатия истории отдельной моделью: во время работы агента не появляются новые расходы токенов и задержка на ещё один вызов.
Подсказку устанавливают только для устойчивой ошибки
Сначала GPT-5-mini изучает сохранённые траектории базовой модели и пишет варианты Compression. Система проверяет, запускается ли код, не удаляет ли он значимые данные и действительно ли меняет контекст. Затем кандидаты проходят отбор на отдельной части обучающих задач, после чего победившую программу фиксируют до конца обучения.
Steering обновляют иначе. После очередного этапа обучения GPT-5-mini сравнивает удачные и неудачные траектории, формулирует возможную причину сбоя и пишет для неё программный триггер с корректирующей подсказкой.
Новый триггер повторно запускают на всей накопленной истории. Если ошибка со временем встречается реже, модель, вероятно, исправляет её сама и подсказку не устанавливают. Если частота не падает или растёт, правило допускают к проверке на отложенных задачах. Обвязку заменяют только тогда, когда новый набор правил обходит прежний.
Такой повторный прогон нужен не только для качества. Он не даёт обвязке закреплять временные особенности ранней версии модели. Эксперименты с раздельной оптимизацией показали худший результат при обоих порядках: сначала модель, затем обвязка — и наоборот.
Подход полезен там, где действия уже имеют строгую структуру
На CodeSearch полная система обошла лучшие альтернативы для памяти, навыков, подсказок и изменяемой обвязки на 5–12%. Метрика F1 здесь объединяет точность и полноту поиска файла, модуля и программной сущности, где находится ошибка.
Проверка охватила также ALFWorld с бытовыми задачами в текстовой среде и BIRD SQL с запросами к базам данных. Использовались модели Qwen размером от 1,5 до 8 млрд параметров и режимы как с тесным, так и с достаточным запасом контекста. На двух дополнительных задачах Compression и Steering проверяли по отдельности; каждый компонент улучшил базовую обвязку в семи из восьми конфигураций.
Полный ModHarness-RL и сторонние методы сопоставляли только на CodeSearch. Поэтому работа прежде всего подтверждает подход для агентов, которые вызывают инструменты, получают типизированные результаты и решают задачи с автоматически проверяемым итогом. Для свободного диалога детерминированному правилу сложнее распознать смысловую ошибку по структуре записи.
Для команд, которые строят таких агентов, меняется граница проектирования. Формат истории, правила сжатия и защитные подсказки можно рассматривать как обучаемые артефакты, хранить их версиями и проверять на отложенных задачах вместе с моделью.
Практический шаблон из работы состоит из трёх частей: структурированная запись каждого шага, повторный прогон кандидатов по старым траекториям и барьер качества перед установкой. Compression при этом разумнее подобрать до обучения и зафиксировать, а Steering — обновлять вслед за поведением модели. Сами программы следует исполнять в ограниченной среде: в эксперименте сгенерированный код сначала компилировали и проверяли, а не сразу подключали к циклу обучения.
Источники
Похоже на вашу задачу?
Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.



