Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.
Обвязку LLM-агента научили перестраиваться под новую задачу и сохранять уроки для следующих задач, не меняя веса модели. Команда Google Cloud AI Research и Northwestern University получила на LAB прирост 11,8 процентного пункта; поскольку препринт не рецензирован, все числа в нём получили сами авторы. Для команд это предлагает альтернативу ручной настройке системных инструкций, памяти, инструментов и сценариев после каждой новой ошибки.
Обвязка меняется по контрасту, а не по правильному ответу
Авторы называют обвязкой всё, что превращает базовую модель в агента: системную инструкцию, ограничения, память, навыки, рекомендации по инструментам, сценарии, субагентов и плагины промежуточного слоя. Harness^2 редактирует эти компоненты как файлы, а веса модели оставляет замороженными.
Главная сложность возникает в открытых задачах. Если агент готовит документ, исследует сайт или собирает рабочий файл, у системы обычно нет эталонного ответа, с которым можно автоматически сверить результат. Поэтому Harness^2 оценивает не абсолютную правильность, а то, как конкретное изменение повлияло на поведение агента.
Цикл Propose–Probe–Compose начинается с контрольного запуска. Он показывает траекторию работы, вызовы инструментов и итоговый материал, но сам по себе не говорит, верен ли результат.
На этапе Propose система готовит два типа изменений. Общий вариант исправляет повторяющиеся проблемы с планированием, контекстом, инструментами или передачей работы субагентам. Предметный вариант добавляет процедуры и ограничения, связанные с текущей областью — например, обработкой юридической правки или сверкой таблиц.
На этапе Probe оба варианта выполняют ту же задачу с той же моделью и в той же среде. Система сравнивает траектории и результаты: начал ли агент действительно вызывать инструмент вместо имитации вызова, сохранил ли обязательные разделы, перестал ли терять исходные данные.
Compose не обязан принимать победивший вариант целиком. Он может объединить отдельные правки, отказаться от неподтверждённых изменений или оставить исходную обвязку. После запуска итоговой версии Harness^2 записывает, какое наблюдение поддержало каждое принятое решение.
Рекурсия работает параллельно или последовательно. В первом случае система одновременно исследует несколько кандидатов, во втором — передаёт новую обвязку и накопленные наблюдения в следующий цикл. Между задачами она сохраняет принятые конфигурации и описание условий, при которых правки помогли, но каждую новую задачу снова начинает с общей базовой обвязки.
Один цикл помог во всех проверенных конфигурациях
Один контрастный цикл улучшил результат во всех четырёх сочетаниях модели и исходной обвязки. На WorkBuddy-Bench максимальный прирост составил 11,5 балла, на JobBench — 4,5 балла. При расширении параллельного или последовательного поиска показатели продолжали расти, хотя дополнительные запуски увеличивали вычислительный бюджет.
Особенно наглядно метод сработал на юридической задаче с правками договора. Базовый агент оставил изменения в служебном слое Word, поэтому при чтении документа как текста была видна только принятая редакция. Предметный навык перенёс удаления и вставки в содержимое документа, а ограничение заставило подключать этот навык для подобных задач: оценка выросла с 44,4 до 94,5.
Проверка охватила WorkBuddy-Bench с кодом, веб-задачами и офисными файлами, JobBench с длинными профессиональными процессами и LAB с юридической работой. В запусках использовали GLM-5 и Gemini 3.5 Flash, разные исходные обвязки и сравнения с неизменённой конфигурацией, памятью стратегий, предварительной оптимизацией и настройкой во время выполнения.
Накопленный опыт переносился между задачами: библиотека из JobBench помогла на WorkBuddy-Bench. Это не простое копирование готовой обвязки. Редактор выбирал подходящие компоненты и учитывал записи о том, почему они сработали ранее.
Планы стоит менять там, где задачи заранее не перечислить
Работа касается продуктов, в которых агент получает неоднородные задания и создаёт проверяемые артефакты: документы, таблицы, код или результаты работы с сайтами. Для узкого процесса с устойчивыми входами и строгими автоматическими тестами обычная версия обвязки остаётся проще: эталонная проверка даёт более надёжный сигнал, чем сравнение поведения.
Для открытого потока задач Harness^2 меняет архитектурный акцент. Системную инструкцию и набор инструментов стоит рассматривать не как единую вручную написанную конфигурацию, а как версионируемые компоненты, которые можно изолированно менять, запускать в одинаковых условиях и откатывать.
Практическая реализация потребует хранить не только итоговый ответ, но и траекторию вызовов инструментов, изменения файлов и различия между версиями обвязки. Без этого редактору не на что опереться: два удачных результата могут скрывать разные ошибки процесса.
Метод не заменяет внешнюю приёмку. Кандидаты выполняет та же модель, а итог выбирает модель-оценщик по запросу и исходным материалам, поэтому общая ошибка может сохраниться во всех вариантах. В самой работе есть случаи, когда изменённая обвязка уступила контрольному запуску из-за неудачного выбора кандидата или чрезмерно жёстких правил.
Рациональный следующий шаг для команды — отделить редактируемую обвязку от кода продукта и проверить контрастный цикл на собственных задачах с уже существующей приёмкой. Тогда можно измерить не только качество результата, но и цену повторных запусков, частоту откатов и долю изменений, которые переносятся на новые процессы.
Источники
Иллюстрация: рисунок из статьи «Harness^2: Recursive Agent Harnessing for an Open World», Ruiyao Xu, Yanfei Chen, Zhongying CuiZhu и др., CC BY 4.0
Похоже на вашу задачу?
Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.
