Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.
Многошагового агента научили точнее находить промежуточные решения, которые привели к провалу, даже если он получает награду только за конечный результат. Jie Yang с коллегами назвали подход PEARL: на ALFWorld он довёл среднюю долю успешных заданий до 97,9% на модели с 4 млрд параметров, на 2,7 процентного пункта выше лучшего конкурента, хотя работа не прошла рецензирование, а числа получили сами авторы. Для длинных цепочек действий это даёт способ улучшать обучение без пошаговой разметки и отдельной модели, которая оценивает каждый шаг.
PEARL сравнивает два продолжения одной истории, если они закончили с разной наградой. Метод находит первый токен, где продолжения разошлись, сохраняет оценки выбранного токена на поздних слоях модели и группирует похожие решения из недавних удачных и неудачных траекторий.
Повторение в провалах само по себе не считается ошибкой. Если похожее решение встречается и в успешных траекториях, PEARL исключает его из дополнительного штрафа. Например, открытие закрытого шкафа встречалось и перед успехом, и перед дальнейшей ошибкой агента: метод не наказывал полезное действие только из-за неудачного финала. Для оставшихся паттернов PEARL усиливает отрицательное обновление, но не меняет положительные обновления и основной алгоритм ARPO.
На AppWorld средний результат превысил ARPO на 2,4–3,0 процентного пункта в зависимости от размера модели. На ALFWorld версия с 8 млрд параметров обошла ARPO, но уступила GiGPO на 0,8 пункта. Значит, добавка помогает не при каждом масштабе и сравнении, хотя стабильно улучшает собственную основу ARPO.
Проверяли Qwen3-4B-Instruct-2507 и Qwen3-8B на AppWorld и ALFWorld. Оба набора требуют выполнять многоходовые задания в интерактивной среде; результаты сравнивали с GRPO, GiGPO, Tree-GRPO и ARPO. Поэтому вывод относится к обучению агентов с проверяемым конечным исходом, ветвящимися траекториями и этими двумя семействами задач.
Источники
Похоже на вашу задачу?
Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.
