Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.
Текстовую обратную связь от модели-оценщика научились превращать в сигнал обучения для конкретного ошибочного шага программного агента. Работа Cursor Research и UC Berkeley, которая ещё не прошла рецензирование и содержит числа из экспериментов самих авторов, показала: агент освоил семь дополнительных требований, сохранив прежнюю долю решённых задач. Такой сигнал дополняет обучение с подкреплением там, где обычной награды недостаточно, чтобы агент обнаружил новое поведение.
Подсказка действует только на ошибочный шаг
Обычное обучение с подкреплением сообщает модели, какой результат оказался лучше, но не объясняет, как его получить. Если базовая модель никогда не вызывает инструмент в новом формате, числовая награда почти не помогает: среди собранных траекторий нет удачного примера, вероятность которого можно было бы повысить.
Адресные подсказки (targeted guidance) сохраняют больше информации от модели-оценщика. Каждый критерий возвращает не только бинарную награду, но и заранее подготовленную текстовую поправку, привязанную к ходу агента. Если критерий нарушен, поправку помещают непосредственно перед ошибочным ходом.
Текущая модель с этой поправкой в контексте становится учителем для самой себя. Во время самодистилляции на собственных траекториях (on-policy self-distillation) исходную модель приближают к распределению токенов учителя. Целевое распределение фиксируют на время шага обучения, поэтому градиент меняет только ученика.
Ключевое ограничение — сигнал действует лишь на токены проблемного хода. Как только агент начинает выполнять критерий, дополнительное давление исчезает, а обучение снова сводится к обычной награде. Это защищает уже освоенное поведение от постоянного копирования версии модели с подсказкой.
Самодистилляцию объединяют с отдельной наградой за тот же критерий. Подсказка показывает направление, а награда закрепляет найденное поведение. Без второй части агент мог освоить нужный шаблон, но затем терял его или хуже решал основную задачу.
Новые требования не снизили долю решённых задач
Метод проверяли на Qwen3-Coder-30B в среде, где агент несколько раз вызывает инструменты и редактирует код. Основным показателем служила доля задач, прошедших скрытые тесты; дополнительными — формат вызова инструментов и стиль ответа.
В первом опыте базовая модель не использовала новый параметр инструмента семантического поиска даже с примером в исходной инструкции. Адресная поправка научила её новому формату без заметного ухудшения результата по коду. По мере исправления ошибки сигнал самодистилляции снижался почти до нуля.
В более сложном опыте агент одновременно учился соблюдать набор требований к ответу: описывать решение, выдерживать порядок частей, использовать нужное оформление и сообщать о выполненных командах. Частота выполнения отдельных критериев после обучения находилась между 55% и 99%. Доля решённых задач составила 33% — столько же показали базовая модель и GRPO без адресных подсказок.
Одна самодистилляция без награды работала нестабильно и ухудшала решение задач. Тот же эффект возникал, когда подсказку применяли ко всем ходам, а не только к ошибочным. Слишком большой вес дополнительного сигнала сначала увеличивал разнообразие и длину ответа, после чего падали и стиль, и качество кода.
Стабильность также зависела от внутренних рассуждений модели. Когда сигнал распространялся только на финальный ответ, отдельные требования начинали вытеснять друг друга. Обучение внутренних токенов помогало модели удерживать несколько требований одновременно и уменьшало колебания между ними.
Когда метод меняет план обучения агента
Работа предлагает не замену существующему контуру обучения, а изменение структуры награды. Команде нужно сохранить критерии по отдельности, научить модель-оценщик возвращать текстовую поправку и связать её с конкретным ходом. Сведение всех оценок к одному числу уничтожает информацию, на которой работает метод.
Подход имеет смысл, если агент уже решает основную задачу, но не осваивает новый инструмент, формат или устойчивый стиль. Для закрытой модели, доступной только через API, рецепт неприменим: обучение требует распределения вероятностей по всему словарю и возможности обновлять веса.
Учитель не генерирует исправленный ответ целиком. Достаточно одного дополнительного прямого прохода модели, чтобы получить целевые вероятности токенов. Это уменьшает вычислительную цену по сравнению с генерацией новых траекторий, хотя полное распределение по словарю повышает требования к памяти.
Проверка охватывает одну программную среду и в основном требования к стилю и формату, а не рост способности решать более сложные задачи. Поэтому результат обосновывает адресные подсказки для программных агентов, но ещё не переносит их автоматически на другие предметные области. Кроме того, текст поправки здесь проектировали вручную и заранее проверяли: модель с ним должна работать лучше, чем без него.
Источники
Похоже на вашу задачу?
Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.
