Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.
Агента научили заранее оценивать, завершится ли успехом вся текущая попытка, а не только проверять очередное действие. В препринте SAP, который не прошёл рецензирование и содержит замеры самого автора, ожидаемая ошибка калибровки снизилась с 0,42 до уровня ниже 0,12. Такой сигнал можно использовать, чтобы раньше остановить рискованную сессию или передать задачу человеку.
Уверенность привязали к исходу всей попытки
Обычная самопроверка отвечает на локальный вопрос: правильно ли модель выбрала следующий шаг. Для агента этого недостаточно. Допустимое действие может завести в тупик через несколько переходов, а к одной цели часто ведут разные последовательности.
В работе уверенность означает вероятность того, что текущая попытка в итоге достигнет цели. На каждом шаге агент выдаёт действие и отдельное числовое значение уверенности. Когда сессия заканчивается, её результат становится меткой для всех шагов этой траектории.
Для обучения использовали GRPO. Этот алгоритм запускает несколько попыток одной задачи и сравнивает их между собой. Успешные и неуспешные траектории уже дают нужные метки, поэтому не требуется вручную размечать корректность каждого промежуточного действия.
Уверенность оценивали правилом Брайера: награда выше, когда заявленная вероятность близка к фактическому исходу. Агент одновременно учится решать задачу, соблюдать формат ответа и оценивать шанс завершить сессию. Дополнительный штраф не даёт ему свести все ответы к безусловной уверенности или полному отказу.
Авторы отдельно различают три источника сигнала: сложность самой задачи, состояние конкретной попытки и глубину сессии. Это важно, потому что агент может казаться предусмотрительным лишь из-за того, что поздние шаги чаще встречаются в неудачных длинных траекториях. Для проверки сравнивали попытки на одинаковой глубине и успешные с неуспешными запусками одной задачи.
Агент раньше распознаёт трудные задачи, но не всегда плохие попытки
При обучении на записанных траекториях площадь под ROC-кривой выросла до 0,68–0,85 в зависимости от среды. Эта метрика показывает, насколько часто уверенность ставит успешную траекторию выше неуспешной. У шагов из самого уверенного верхнего дециля успех встречался примерно в 4,3 раза чаще среднего.
В интерактивном обучении сигнал появился уже в начале сессии. Агент мог после первого действия, ещё до ответа среды, лучше распределить задачи по вероятности успеха. При этом общая доля решённых задач не снизилась, то есть обучение уверенности не вытеснило основную цель.
Главный эффект связан с различиями между задачами. Агент раньше распознаёт, какие задания ему, вероятно, не удадутся. На ALFWorld он не стал заметно лучше отличать удачный запуск от неудачного запуска той же задачи. На TextWorld такой сигнал появился в первых шагах, но исчезал при оценке всей траектории.
Самые высокие значения уверенности также нельзя считать линейной шкалой качества. В верхней части диапазона агент иногда переоценивал шанс успеха, а дальнейший рост заявленной уверенности не всегда означал лучший результат. Для управления подходит диапазон уверенных ответов, а не правило «чем выше число, тем безопаснее».
Для передачи человеку нужен порог, проверенный на своих задачах
Работа меняет планы команд, которые строят многошаговых агентов: уверенность стоит проектировать как отдельный выход модели и обучать по финальному исходу сессии. Если награждать её только за локально правильный шаг, контроллер не получит сигнал о том, что вся цепочка идёт к провалу.
Практическая схема состоит из трёх частей. Система сохраняет уверенность на каждом шаге, связывает её с итогом сессии и по отложенным запускам выбирает пороги продолжения, дополнительной проверки и передачи оператору. Порог следует настраивать отдельно для типов задач: значительная часть результата возникла именно из различий в их сложности.
Пока этот сигнал лучше подходит для ранней сортировки задач, чем для точной диагностики конкретной траектории. Он может ограничить автоматическое выполнение заведомо трудных запросов, но не доказывает, что очередное действие верно. Для передачи человеку внутри одной и той же задачи потребуется обучение, которое явно сравнивает её удачные и неудачные попытки.
Проверки охватывают Qwen2.5-7B-Instruct в ALFWorld, TextWorld и WebShop: на записанных траекториях использовали все три среды, а убедительные интерактивные результаты получили в первых двух. Опыт с Qwen2.5-14B-Instruct подтвердил общее направление на ALFWorld, но был меньше по масштабу. Поэтому метод уже даёт архитектурный шаблон для контроллера, однако рабочие пороги придётся заново измерять на своей модели, среде и распределении задач.
Источники
Похоже на вашу задачу?
Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.
