Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.
Языковые модели научили отказываться от ненадёжного действия, не размечая вручную момент отказа и не подключая проверяющую модель во время работы. В препринте Carnegie Mellon University и UC Berkeley, который не прошёл рецензирование и содержит замеры самих авторов, на AIME доля ошибок упала с 79,1% до 8,9%, а успех — лишь на 3,1 процентного пункта относительно обычного обучения с подкреплением. Для агентных систем это предлагает встроить безопасный откат в саму политику, а не только ставить защиту поверх готовой модели.
Почему промежуточная награда ведёт к постоянному отказу
Обычное обучение с подкреплением вознаграждает модель только за успех. Если попытка может принести награду, а отказ не приносит ничего, модели выгоднее угадывать даже при низкой уверенности.
Очевидное исправление — разделить исходы на успех, безопасный отказ и ошибку. Успех получает наибольшую награду, отказ — промежуточную, ошибка — наименьшую. Однако стандартный градиент политики, который повышает вероятность выгодных действий, не всегда сохраняет этот порядок на практике.
На задаче SafeMaze агент должен был пройти лабиринт или вернуться на безопасную клетку. GRPO и RLOO с фиксированной наградой за возврат быстро доходили до 100% отказов: агент переставал решать лабиринт и всегда выбирал простой безопасный путь. При меньшей награде происходило обратное — он почти переставал отступать.
Причина связана с насыщением политики. Когда модель почти всегда выбирает один исход, градиент становится слишком слабым, чтобы вернуть вероятность другим действиям. Формально правильная шкала наград поэтому может привести либо к постоянному отказу, либо к прежнему рискованному поведению.
Как GracefulRL сохраняет стремление решить задачу
GracefulRL заменяет единую среднюю награду двумя целями. Первая повышает вероятность успеха, вторая — вероятность любого исхода без ошибки, то есть успеха или безопасного отступления. Логарифмическая форма целей сохраняет обучающий сигнал, даже когда модель почти застряла на ошибках или отказах.
Во время обучения модель делает несколько попыток, а проверяющая функция относит каждую к успеху, отказу или ошибке. Для каждой конкретной задачи не нужна метка «решать» или «отказаться»: модель выводит эту границу из собственных результатов. Отдельная модель уверенности и проверка ответа при рабочем запуске тоже не требуются, хотя функция оценки исхода во время обучения остаётся обязательной.
На математических задачах метод проверили на базовых Qwen3 размером 1,7 и 4 млрд параметров. Обучение проходило на DAPO-Math-17K, а оценка — на MATH500, AIME, AMC и JEEBench. Одна модель поддерживала несколько режимов осторожности: команда могла менять баланс между попыткой и отказом условием в запросе, не обучая отдельную версию для каждого режима.
GracefulRL давал более выгодное сочетание успехов и ошибок, чем RLCR с порогом уверенности: при сопоставимой доле ошибок он решал больше задач либо ошибался реже при сопоставимом успехе. В многоходовом Minesweeper метод одновременно повысил успех и снизил ошибки, поэтому эффект не свёлся к более частому отказу.
Проверки охватили навигацию, математические ответы и последовательные решения в Minesweeper. Обучение шло по попыткам текущей политики; перенос на обучение по заранее собранным данным не изучали. Кодовые агенты и длинные рабочие процессы в эксперименты не вошли, поэтому результаты нельзя напрямую переносить на изменение репозитория или базы данных.
Когда метод меняет планы агентной системы
GracefulRL меняет архитектуру там, где отказ должен быть действием, а не текстовой оговоркой. Среда должна уметь распознать безопасное завершение: отмену изменений, возврат к сохранённому состоянию, передачу задачи другому агенту или явный отказ от ответа.
Это решение подходит командам, которые уже могут автоматически оценить конечный результат. Если тесты определяют корректность кода, симулятор фиксирует аварию, а среда подтверждает успешный откат, тот же сигнал можно использовать для обучения. Размечать вручную каждую ситуацию, в которой агент обязан остановиться, не потребуется.
План обучения при этом становится сложнее. Нужно заранее определить, что считается безопасным отступлением, добавить его в пространство действий и проверить, что агент действительно выполняет откат, а не только обещает его в тексте. Неверно заданный запасной путь закрепит нежелательное поведение так же, как неверная награда за успех.
Метод не выглядит заменой внешним ограничениям для операций с необратимыми последствиями. Эксперименты показывают, что модель может сама выбирать отступление, но не подтверждают безопасность производственных агентов с доступом к коду, платежам или данным. Практический сдвиг уже уже: безопасный выход можно проектировать как обучаемую часть агента, а не только как правило маршрутизатора после генерации ответа.
Источники
Похоже на вашу задачу?
Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.
