Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.
Программного агента научили различать полезные и бесполезные попытки отладки, даже когда обе закончились провалом тестов. В нерецензированном препринте Pennsylvania State University, AG2AI и Microsoft Research числа получили сами авторы: на SWE-bench Verified средняя точность Qwen3-14B выросла с 32,1% до 34,7%. Метод обогащает обучение по исполняемым тестам без отдельной модели-оценщика и новых запусков среды.
Почему одинаковый провал скрывает разное поведение
При обучении с подкреплением по проверяемой награде агент получает результат от автоматического проверяющего механизма. Для программирования им обычно служит набор тестов: исправление либо проходит их и получает единицу, либо не проходит и получает ноль.
Такой сигнал надёжен, но выбрасывает историю работы. Один агент мог найти нужный модуль, изучить связанные вызовы и внести почти верную правку. Другой мог редактировать случайные файлы. Если тесты упали в обоих случаях, обучение считает попытки равноценными.
Проблема особенно заметна в групповых алгоритмах вроде GRPO. Они сравнивают награды нескольких попыток одной задачи. Когда провалились все попытки, награды совпадают, относительное преимущество равно нулю и эта группа не даёт сигнала для обновления модели.
Behavioral Self-Rewarding, или BSR, добавляет второй уровень оценки. Агент сначала выполняет задачу как обычно, после чего та же модель сравнивает попарно траектории с одинаковым результатом проверки. Провал сопоставляют только с провалом, а успешное решение — только с другим успешным решением.
Судья видит условие задачи, общий результат тестов, сокращённую историю действий и эталонное исправление из обучающего набора. Действующий агент эталон не получает. Из истории убирают внутренние рассуждения, но сохраняют команды, результаты инструментов, изменения файлов и сведения о проверках после редактирования.
Для неудачных попыток модель оценивает, нашёл ли агент подходящий участок репозитория, собрал ли полезные свидетельства и можно ли продолжить исправление с достигнутой точки. Это оценка наблюдаемого поведения, а не уверенности ответа или качества формулировок.
Попарные предпочтения объединяет модель Брэдли — Терри. Полученный рейтинг нормализуют внутри одной задачи, отсекают слабые различия и превращают в ограниченную дополнительную награду. Границы выбирают так, чтобы любая прошедшая тесты траектория всё равно оценивалась выше любой провалившейся.
Что дали различия между неудачными попытками
BSR улучшил среднюю точность и Pass@3 во всех проверенных конфигурациях на двух SWE-бенчмарках. Pass@3 показывает долю задач, которые решила хотя бы одна из трёх попыток агента.
На SWE-bench-Live Lite средняя точность Qwen3-14B при более длинном бюджете обучения выросла с 6,33% до 8,11%. Результат дополняет замер из лида на SWE-bench Verified: эффект проявился не только на одном наборе задач.
Контроль со случайной дополнительной наградой показал, что одной вариативности недостаточно. Он дал 30,9% средней точности против 31,0% у обучения только по тестам, тогда как BSR достиг 33,2%. Значит, прибавку связано именно с ранжированием поведения, а не с добавлением шума к бинарному сигналу.
Лучшим вариантом оказалось уточнение награды только для провалившихся траекторий. Оценка успешных попыток увеличивала число сравнений, но не улучшала итоговые метрики относительно этого варианта. Для первого внедрения это сокращает вычислительную нагрузку и направляет сигнал туда, где бинарная проверка теряет больше всего информации.
Метод проверяли на Qwen3-14B и Qwen3-32B, обученных на отфильтрованной версии R2E-Gym. Основные оценки провели на SWE-bench Verified и SWE-bench-Live Lite, дополнительные — на Terminal-Bench 2.1. Работа устанавливает результат для конкретной схемы репозиторных агентов, нескольких бюджетов обучения и моделей одного семейства.
Когда BSR меняет план обучения агента
Работа меняет план команд, которые уже обучают SWE-агента по исполняемым тестам и запускают несколько траекторий для одной задачи. Вместо разработки отдельной модели-оценщика можно сначала проверить, умеет ли действующая модель ранжировать собственные попытки внутри группы с одинаковым исходом.
BSR не заменяет тесты и не просит модель самостоятельно решать, верно ли исправление. Проверяющий механизм сохраняет последнее слово, а модель лишь распределяет дополнительный сигнал между попытками, которые тесты уже признали равными.
В обучающем наборе при этом нужен эталонный патч: он помогает судье понять, какие поисковые действия и изменения действительно приближали решение. Поэтому метод нельзя без изменений перенести на произвольные производственные журналы, где известен только итог тестов.
Экономия тоже не означает бесплатную оценку. BSR не запускает репозиторий и инструменты повторно, но требует дополнительных обращений к текущей модели для попарных сравнений. Если основную стоимость создают окружения и тесты, такой обмен может быть выгоден; если дороже всего инференс модели, его нужно считать отдельно.
Практичный первый эксперимент — уточнять только награды провалившихся попыток и сравнить результат с неизменённым обучением на отложенных репозиториях. Если группы часто целиком состоят из провалов, BSR возвращает им обучающий сигнал. Если агент редко делает несколько попыток одной задачи или обучение не располагает эталонными исправлениями, работа не даёт готовой замены текущему конвейеру.
Источники
Иллюстрация: рисунок из статьи «Beyond Binary Verifiable Rewards: Behavioral Self-Rewarding for SWE Agents», Yiran Wu, Andrew Zhao, Yurui Chang и др., CC BY 4.0
Похоже на вашу задачу?
Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.
