Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.
Отдельную модель научили читать всю пошаговую историю кодового агента, решать, завершил ли он задачу, и объяснять вердикт. В препринте Jiajun Hu и Chun Yong Chong, который не прошёл рецензирование и где все числа получили сами авторы, точность проверки выросла с 57% до 78%. Для команд это возможный новый слой контроля между работой агента и приёмкой его изменений.
Вердикт строится по всей траектории, а не только по патчу
SWE-Critix — не новый агент для написания кода, а схема дополнительного обучения модели-проверяющего. Она получает исходную задачу и траекторию агента: команды, ответы инструментов, изменения файлов, результаты тестов и финальный патч.
Проверяющий сначала составляет текстовый разбор, а затем отвечает, решил агент задачу или нет. Такой формат отличается от оценки только финального патча: модель может связать ошибку с ранним неверным предположением, пропущенной проверкой или неудачной правкой, даже если итог выглядит правдоподобно.
Данные взяли из CodeForge-Preview, который содержит 258 тысяч траекторий. Из набора убрали незавершённые попытки без патча и истории длиннее 64 тысяч токенов, затем разделили данные по задачам. Поэтому одна и та же задача не должна одновременно попадать в обучение и проверку.
Все исходные траектории созданы одной связкой: OpenHands управлял инструментами, а Qwen3-Coder-480B выступал кодовым агентом. Проверяли модель на отложенных задачах из того же набора, поэтому результат показывает перенос на новые задачи внутри этой среды, но не подтверждает перенос на другие модели и системы управления агентами.
Сначала модель учат объяснять, затем — отличать успех от ошибки
Обучение разделили на два этапа. Для первого GPT-5.5 сравнивал успешную и неуспешную траектории одной задачи, кратко описывал их ход, находил характерные ошибки и связывал действия с итогом. Эти парные разборы преобразовали в примеры, где проверяющий должен оценить одну траекторию без подсказки о второй.
Контролируемое дообучение на 10 390 размеченных траекториях задаёт модели форму рассуждения и ответа. Оно нужно не только ради точности: базовая Qwen3-30B-A3B часто считала попытки успешными и в 9,6% случаев нарушала требуемый формат, из-за чего вердикт нельзя было надёжно извлечь. После этого этапа ответы стали соответствовать шаблону, а перекос в пользу успешных решений уменьшился.
На втором этапе модель обучали с подкреплением на траекториях без текстовых разборов. Награда зависела только от совпадения вердикта с результатом модульных тестов: правильная классификация получала положительный сигнал, ошибочная — отрицательный. Так дорогая разметка учителем нужна лишь для запуска процесса, а основной объём данных использует автоматически проверяемый итог.
Слабое место сохранилось именно там, где проверяющий нужен сильнее всего. Модель распознала 64% неуспешных траекторий, то есть часть ошибок всё ещё приняла за корректное решение. На R2E-Gym она также работала хуже, чем на SWE-Rebench и SWE-Smith.
Проверка охватывала бинарный вердикт. Связность текстовых объяснений и их опору на конкретные действия агента оставили для дальнейшей оценки, поэтому хороший результат классификации пока нельзя считать доказательством качества разбора.
Планы меняются только при наличии проверенных траекторий
SWE-Critix не отменяет тесты и другие надёжные критерии приёмки. Во время обучения именно тесты дают правильные метки, а модель затем пытается воспроизвести их вывод по всей истории работы агента. Подход полезен там, где тестовый сигнал доступен при подготовке данных, но в рабочем процессе оказывается неполным, дорогим или появляется слишком поздно.
Для продуктовой команды это скорее кандидат на роль аудитора или дополнительного фильтра, чем самостоятельный шлюз перед слиянием кода. Проверяющий может ранжировать несколько попыток агента, отправлять сомнительные решения человеку и добавлять к вердикту краткое объяснение. Однако пропуск ошибок остаётся слишком частым, чтобы принимать изменения только по его ответу.
Обучение с подкреплением потребовало 128 ускорителей Huawei Ascend 910C и заняло 533 часа. Воспроизводить весь процесс с нуля имеет смысл командам, которые уже накапливают большой поток траекторий с надёжным итогом. Остальным практичнее проверить выпущенные веса на собственных агентах, репозиториях и правилах приёмки.
Работа меняет архитектурный план не на уровне выбора кодовой модели, а на уровне контроля: длинную историю агента можно проверять специализированной моделью вместо общего LLM без подготовки. Но решение о внедрении зависит от переноса на собственную среду и от того, подтверждают ли объяснения реальные причины ошибок, а не только правильную метку.
Источники
Похоже на вашу задачу?
Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.
