Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.
Успешные траектории кодовых агентов оказались неравноценными: модель перенимает не только верный патч, но и лишние поиски, повторы команд и запоздалые правки. Работа Peking University и Huawei пока не рецензирована, а все числа получили сами авторы; на SWE-Bench Verified отбор аккуратных траекторий дал на 2,8 процентного пункта больше задач, решённых с первой попытки, чем случайная выборка. Для команд, которые обучают агентов на записях чужих действий, одного фильтра по пройденным тестам теперь недостаточно.
Почему правильный патч может быть плохим примером
Траектория — это полная запись работы агента: рассуждения, чтение файлов, команды, ответы инструментов, правки и итоговый патч. При дообучении на примерах (SFT) модель учится по всей этой последовательности, а не только по последнему изменению кода.
Два агента могут исправить одну ошибку, но оставить разные учебные примеры. Один быстро находит нужный файл, формулирует план, вносит изменение и запускает тесты. Другой перечитывает одни и те же файлы, несколько раз повторяет неработающую команду и добирается до того же патча перебором.
В работе есть пара таких траекторий для одной задачи из репозитория pygments. Обе прошли тесты, но аккуратная заняла 36 шагов, а вторая — 73 шага с прерываниями и принудительной остановкой процессов. Обычный фильтр оставил бы обе и превратил случайные метания второго агента в образец для подражания.
Эта проблема не сводится к длине. Длинная последовательность может содержать полезное восстановление после ошибки, а короткая — преждевременную правку без проверки гипотезы. Поэтому авторы искали признаки того, что процесс постепенно сходится к решению, а не просто заканчивается быстрее.
Как TQS измеряет качество процесса
TQS, оценка качества траектории, вычисляется по журналу событий без отдельной LLM-модели-оценщика. В итоговый балл входят семь структурных признаков, сгруппированных вокруг фокуса информации, соответствия намерений действиям и динамики работы с инструментами.
Фокус информации показывает, сужает ли агент область поиска. TQS проверяет, становятся ли ответы инструментов более сосредоточенными и уменьшается ли набор файлов, к которым агент обращается на соседних шагах. Само по себе однообразие могло бы означать зацикливание, поэтому этот сигнал не используют отдельно.
Соответствие намерений действиям проверяют простым словарным разбором рассуждения перед вызовом инструмента. Если агент пишет, что собирается прочитать файл, а затем запускает тест или редактирует другой участок, балл снижается. Метод различает чтение, поиск, изменение и выполнение команд, но не пытается оценить правильность самого плана.
Динамика процесса учитывает чередование инструментов, момент первой содержательной правки и реакцию на ошибку. Хорошая траектория не состоит из длинной серии одинаковых команд, переходит к изменению после исследования и после сбоя меняет действие, файл или оба сразу.
Отдельный предохранитель штрафует раннюю остановку, отсутствие рабочей правки, повторяющиеся ошибки и циклы shell-команд. Все признаки считаются за линейное время относительно длины журнала; для ранжирования успешных запусков TQS не читает итоговый патч и не использует результат скрытых тестов.
Метрику разработали и проверили на более чем 155 тысячах успешных траекторий CoderForge-Preview. Их создал один учитель, Qwen3-Coder-480B, в среде OpenHands, поэтому словари действий, пороги и веса могут потребовать настройки для другого каркаса агента, многоязычных рассуждений или иных журналов событий.
Меняет ли работа планы обучения кодового агента
Работа меняет прежде всего подготовку данных, а не выбор базовой модели. Практический конвейер получает ещё один этап: сначала оставить траектории с успешным результатом, затем ранжировать их по структуре процесса и только после этого собирать обучающую выборку.
Для основного опыта взяли по 1 024 траектории с высоким, низким и случайным баллом, сохранив сопоставимое разнообразие задач, репозиториев и источников. На этих наборах одинаково дообучили Qwen3-Coder-30B-A3B-Instruct и проверили модели в OpenHands на SWE-Bench Verified.
Выигрыш не обеспечил один удачный признак. Полный TQS дал 27,6% решённых задач, а удаление проверки соответствия намерений действиям снизило результат до 23,0%. Значит, фильтр полезен именно как сочетание сигналов, а не как замена отбора простым пределом длины или запретом отдельных команд.
Различия проявились и в поведении: модель, обученная на верхней части рейтинга, в среднем тратила примерно на 13 шагов меньше, чем модель с нижней частью. При этом она не копировала профиль учебных данных буквально: некоторые показатели реакции на ошибки у случайной выборки остались выше.
Проверка охватывает одного учителя, один каркас агента, одну модель ученика и фиксированный бюджет данных. Каждый вариант обучили один раз, поэтому разницу стоит считать основанием для собственного контрольного опыта, а не готовым прогнозом прироста.
TQS также не проверяет, устраняет ли патч первопричину дефекта: он оценивает организацию наблюдаемого процесса. Для команды разумный следующий шаг — прогнать такой фильтр на собственных журналах, вручную изучить верхнюю и нижнюю части рейтинга и сравнить модели при неизменном бюджете обучения.
Источники
Похоже на вашу задачу?
Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.
