Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.
LLM-агенты стали лучше выполнять многошаговые задачи, когда при обучении им показывали не только правильное действие, но и текстовое объяснение собственной ошибки. В работе AI Foundations, Capital One и University of Wisconsin–Madison этот подход повысил долю успешно завершённых задач в среднем на 8,4 процентного пункта относительно обучения только на исправлениях, хотя препринт не рецензирован и числа получили сами авторы. Для продуктовой команды это меняет подготовку обучающих данных: ошибочный шаг стоит сохранять вместе с причиной сбоя, а не заменять эталонным ответом.
Ошибка остаётся в контексте обучения
Обычная дистилляция действий строится так: слабый агент проходит задачу, более сильная модель находит неправильный шаг, а в обучающую выборку вместо него попадает правильное действие. Модель видит, что следовало сделать, но не учится различать нарушение политики, преждевременный вызов инструмента и действие без необходимых сведений.
В CAFT сначала запускают исходного агента и сохраняют его траекторию: сообщения пользователя, ответы среды, вызовы инструментов и действия модели. Затем модель-эксперт проверяет каждый ход. Она получает эталонные действия, критерии оценки или другие сведения о задаче, которых нет у агента, и для каждой ошибки пишет объяснение и исправление.
При подготовке выборки ошибочный шаг не удаляют. Его оставляют в истории, после него добавляют фиксированное сообщение о том, что действие неверно, и просят объяснить ошибку и предложить правильный ход. Целевым ответом становится критика эксперта, за которой следует исправленное действие.
Правильные ходы исходного агента тоже входят в выборку, но получают меньший вес. Так модель сохраняет рабочее поведение и одновременно учится связывать конкретную ошибку с нарушенным правилом или недостающей информацией.
Эксперт нужен только при сборе данных. После дообучения агент работает как обычно: ему не требуется отдельная модель-критик, дополнительное сообщение об ошибке или этап самоанализа при каждом вызове.
Объяснение дало больше сигнала, чем правильный ответ
Проверка охватывает τ2-Bench Airline+Retail и WebShop, четыре модели из линеек Nemotron и Gemma. В первом стенде агент общается с пользователем, вызывает инструменты и соблюдает правила авиакомпании или магазина. Во втором он ищет и покупает товар, который соответствует запросу.
Главное сравнение устроено строго: для CAFT и обычной дистилляции использовали те же траектории агентов и те же экспертные пометки. Менялось только содержимое обучающего примера. CAFT превзошёл обучение на исправленных действиях во всех сочетаниях модели и среды — в среднем на 8,4 процентного пункта, а максимальный разрыв достиг 27,3 пункта на WebShop у самой компактной Nemotron.
Отдельное сравнение показывает, откуда взялся прирост. Вариант, который учился только на критике и не получал исправленного действия, во всех сочетаниях оказался лучше варианта только с исправлением. Средний разрыв составил 5 процентных пунктов. Простое сохранение неправильного шага в контексте почти не помогало: полезным оказался именно текст, который связывал ошибку с её причиной.
Крупнейшая Gemma одновременно выступала агентом и экспертом для собственных траекторий. При доступе к эталонам и критериям она тоже улучшила результат. Значит, методу не обязательно нужна более крупная модель, но эксперту требуется дополнительное знание о том, каким должен быть правильный исход.
Командам стоит менять контур данных, а не схему запуска
Качество критики зависит прежде всего от опоры на проверяемые требования. Когда у эксперта убрали эталонные действия, сценарий пользователя и критерии оценки, успешность снизилась в среднем на 7,5 процентного пункта. Подробная инструкция для критика влияла слабее: короткой формулировки хватало, если модель видела достоверные сведения о задаче.
Это важное условие для внедрения. Если команда может автоматически проверить вызов инструмента, сопоставить действие с политикой или показать эксперту ожидаемый результат, CAFT добавляет к уже существующему контуру разметки поле с причиной ошибки. Если правильность определяется субъективно, текстовая критика рискует закрепить мнение модели-эксперта вместо правил продукта.
Имитация готовых траекторий сильной модели не стала равноценной заменой. На WebShop обученные так агенты продолжали искать новые товары до исчерпания доступных ходов и не переходили к покупке. Они переняли заметный шаблон поведения эксперта, но не условие остановки. CAFT избежал этого сбоя, потому что разбирал состояния, в которые попадал сам слабый агент.
В отдельном опыте CAFT также дал лучший старт для обучения с подкреплением: на отложенных задачах преимущество составило около 5 процентных пунктов. Инициализированный таким способом агент достиг лучшего результата базового запуска примерно за 60 из 300 шагов обучения. Этот вывод пока относится к одной связке модели и среды, поэтому его разумно проверять отдельно от основного эффекта критик.
Работа не требует менять архитектуру агента или добавлять критика в рабочий контур. Она предлагает другой эксперимент для команд, которые уже дообучают агентов: взять одинаковые собственные траектории, подготовить исправления с объяснениями и без них, а затем сравнить завершение задач на отложенном наборе. Перенос метода на реальные пользовательские замечания остаётся следующим шагом, а подтверждённый результат относится к критике, которую составляла модель с доступом к эталонам.
Источники
Похоже на вашу задачу?
Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.
