Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.
LLM-агента научили разбирать собственные ошибки и сразу менять поведение, пока он ещё решает ту же многошаговую задачу. В препринте ReTTT, который не прошёл рецензирование и приводит замеры самих авторов, новый подход повысил долю успешных решений относительно обучения на сырой истории действий вплоть до 12,14 процентного пункта. Для архитектуры агента это переносит память из одного только контекста во временные параметры модели.
Агент учится не на истории действий, а на проверенных уроках
Обычный агент сохраняет в контексте планы, команды, ответы среды и сообщения об ошибках. Обучение во время выполнения задачи может использовать эту историю как учебный материал, но тогда модель усваивает не только полезный опыт: в параметры попадают ошибочные предположения, повторы и действия, которые не приблизили её к цели.
ReTTT сначала превращает историю в короткие практические уроки. Во время периодического разбора агент выделяет достигнутые подцели, неудачные действия и их условия, оставшиеся требования, а также способы восстановиться после ошибки. Каждый вывод должен ссылаться на наблюдение из текущей истории.
Кандидаты проходят проверку структуры и соответствия наблюдениям. Неподтверждённые выводы отбрасываются, близкие по смыслу записи объединяются, а устаревшие заменяются новой версией. Так явная память остаётся редактируемой: агент может пересмотреть раннее правило, если дальнейшие действия дали другие сведения.
Новые и изменённые уроки вместе с небольшой выборкой прежних записей становятся учебными примерами для адаптера LoRA. Основная модель остаётся замороженной, поэтому ReTTT меняет только небольшой набор временных параметров. Сырая история действий напрямую в обучение не попадает.
После обновления этот же адаптер управляет следующими действиями и следующим разбором опыта. Получается замкнутый цикл: предыдущий урок меняет поведение агента, а также влияет на то, какие выводы тот извлечёт из следующей попытки. Явная память доступна интерфейсу разбора, тогда как действия опираются на историю диалога и уже усвоенные параметры.
Адаптация разбора опыта дала отдельный прирост
На ALFWorld с Qwen3.5-9B вариант ReTTT-QA поднял долю успешных задач с 51,43% у обучения на полной истории до 63,57%. На длинных заданиях разрыв достиг 14,7 процентного пункта, то есть преимущество росло вместе с числом зависимых шагов.
Контрольный эксперимент отделил обучение стратегии действий от обучения самого разбора. Когда выводы продолжала создавать исходная замороженная модель, результат оказался на 7,14 пункта ниже. Значит, пользу приносит не только запись готовых инструкций в параметры: модель постепенно учится точнее формулировать материал для следующих обновлений.
Разбор отдельных историй показывает механизм этой разницы. После неудачного поиска адаптированная модель выводила конкретное правило для дальнейшего исследования среды, тогда как замороженная повторяла общий совет. В примерах из SWE-bench Lite агент также уточнял границы исправления и сохранял требуемое поведение соседнего кода, вместо того чтобы закреплять первую правдоподобную гипотезу.
Подход проверяли на ALFWorld, ScienceWorld и SWE-bench Lite с моделями Qwen3.5-9B и Gemma4-12B. Сравнивали замороженного агента, обучение только на запросе, обучение на полной истории и две формы ReTTT: уроки в виде вопросов с ответами и структурированные сводки. Обе формы ReTTT обошли обучение на истории во всех сочетаниях моделей и тестов.
Когда ReTTT стоит закладывать в архитектуру агента
Работа меняет планы для систем, где один запуск длится достаточно долго, чтобы агент успел повторить ошибку или пересмотреть промежуточное решение. К таким системам относятся автономная работа с репозиторием, управление средой и процедуры, в которых следующий шаг зависит от подтверждённого результата предыдущего.
Здесь полезно разделить память на два слоя. Редактируемое хранилище держит выводы и подтверждающие наблюдения, а адаптер LoRA переносит отобранные правила в поведение модели. Такая схема не заставляет передавать весь накопленный журнал при каждом действии и не закрепляет каждую реплику среды как учебную цель.
Для агента, который обращается только к закрытому API без доступа к параметрам, ReTTT напрямую не подходит: метод требует выполнять градиентные обновления во время задачи. Ближайший доступный вариант — хранить те же проверенные уроки в контексте, однако в эксперименте запись в параметры работала лучше одной текстовой памяти.
Адаптер и память сбрасываются после завершения задачи. Поэтому ReTTT решает локальную адаптацию внутри одного запуска, а не перенос опыта между пользователями или следующими заданиями. Если продукту нужна долговременная память, её придётся проектировать отдельно; ReTTT может стать внутренним контуром обучения для текущей сессии.
Источники
Похоже на вашу задачу?
Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.
