Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.
Временные подсказки, созданные из истории обучения, повысили самостоятельные результаты моделей после того, как подсказки убрали. В препринте University of Minnesota и JPMorgan AI Research, который не проходил рецензирование и содержит замеры самих авторов, AutoScaffold обошёл обычное обучение с подкреплением во всех четырёх проверенных областях. Для команды это переносит ручную разработку подсказок внутрь цикла дообучения, но добавляет отдельную модель-учителя и проверку её правок.
Почему одной награды недостаточно
Обучение с подкреплением по проверяемой награде (RLVR) оценивает попытку решения одним итоговым значением. При этом сама попытка содержит больше информации: ход рассуждения, действия, обратную связь среды, полезные части неудачного решения и лишние шаги успешного.
Особенно мало пользы от итоговой награды на слишком сложных задачах. Если все попытки провалились, алгоритму не с чем сравнивать их внутри группы. Та же проблема возникает, когда слишком подробная подсказка делает успешными все попытки: различие между ними снова исчезает.
AutoScaffold добавляет в обучающие запросы временные учебные опоры двух видов. Общая стратегия объясняет, как работать с целым классом задач, а отдельная подсказка помогает с конкретным трудным примером. Задача опоры — не выдать готовый ответ, а создать смесь удачных и неудачных попыток, из которой алгоритм сможет извлечь обучающий сигнал.
На проверке все опоры убирают. Поэтому метод улучшает параметры ученика, а не строит постоянную цепочку из нескольких моделей для выполнения каждого запроса. Это отличает его от подходов, где дополнительные инструкции или навыки остаются частью системы после обучения.
Как учитель меняет опоры по ходу обучения
Неизменяемая модель-учитель периодически изучает журнал обучения. Она выбирает статистику по классам задач, читает отдельные траектории, сравнивает попытки для одного задания и учитывает свои прошлые решения. Затем она добавляет, переписывает или убирает стратегии и меняет частоту их появления в запросах.
Изменения для класса задач сначала проверяют на отложенных примерах. Новую версию сравнивают с прежней и с обучением без опоры, после чего учитель решает, применять ли правку. Это снижает риск закрепить совет, который подходит нескольким разобранным ошибкам, но мешает на остальных задачах того же типа.
В ALFWorld учитель заметил, что модель после размещения предмета снова нагревала его или забирала обратно. Опору переписали так, чтобы она требовала один раз положить предмет и остановиться. Для уже освоенных действий учитель сокращал частоту подсказок, а широкие пошаговые процедуры со временем заменял короткими напоминаниями.
После удаления подсказок успех в ALFWorld вырос на 7,2 пункта, а в поисковых ответах на вопросы доля полных совпадений с эталоном — на 4,0 пункта. На математике средняя точность прибавила до 2,0 пункта. В KernelBench доля корректных GPU-ядер выросла на 3,0 пункта, а доля корректных ядер, которые работали быстрее реализации на PyTorch, — до 5,0 пункта.
Проверка охватывает ALFWorld, поисковые ответы на вопросы, математические рассуждения и генерацию GPU-ядер. В экспериментах использовали GiGPO, GRPO, DAPO и вариант GRPO с составной оценкой, а AutoScaffold сравнивали с соответствующим исходным алгоритмом для каждой области. Во всех проверенных точках ALFWorld обновлённые опоры также обучали модель лучше, чем сохранённая старая версия или обучение без них.
Когда AutoScaffold меняет план дообучения
Работа меняет план команд, которые уже используют проверяемую награду и видят классы задач, где почти все попытки заканчиваются одинаково. Вместо ручного набора подсказок и заранее заданного расписания их ослабления можно строить контур, который читает историю обучения, диагностирует повторяющиеся ошибки и проверяет каждую новую инструкцию до применения.
Для такого контура придётся сохранять траектории и обратную связь в форме, доступной учителю, определить классы задач и выделить отложенные примеры для проверки правок. Учителю также нужен доступ к текущей статистике и памяти о предыдущих решениях. Сам алгоритм обучения при этом менять не требуется: AutoScaffold вмешивается в содержимое запросов, а не в формулу обновления модели.
Для обычного обучения на готовых ответах работа прямого рецепта не даёт. Метод рассчитан на задачи с автоматически проверяемым результатом и повторными попытками, поэтому его проще переносить на код, математику, действия агента и другие среды с формальной проверкой, чем на ответы, где качество определяет субъективная оценка.
Практический пилот должен отдельно учитывать расходы на модель-учителя, хранение подробных журналов и проверочные запуски. Сравнивать стоит не качество ученика с подсказкой, а его результат после удаления всей поддержки. Иначе команда измерит работу временной надстройки, хотя AutoScaffold заявлен как способ улучшить самостоятельную модель.
Источники
Похоже на вашу задачу?
Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.
