Журнал · Rit.work

AutoMaster улучшает дообучение, меняя поведение модели-учителя

AutoMaster анализирует траектории LLM, формулирует инструкции для модели-учителя и отбирает примеры, которые лучше передают полезное поведение целевой модели.

Rit.work
Студия разработки
20 ноября 2026 г.4 мин чтения

Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.

Одну и ту же LLM научились превращать в более полезного учителя, не меняя её параметры. В работе Renmin University of China, которая не прошла рецензирование и содержит замеры самих авторов, AutoMaster улучшил средний результат целевых моделей на 1,42–8,99 процентного пункта по сравнению с обычным обучением на успешных решениях. Для команд, которые собирают обучающие данные через более сильную модель, это смещает внимание с количества правильных ответов на поведение внутри каждого решения.

Как AutoMaster ищет полезное поведение

Обычное контролируемое дообучение, или SFT, берёт успешные траектории учителя и обучает на них целевую модель. Траектория здесь — запись рассуждений, действий, вызовов инструментов и полученных ответов. Проблема в том, что правильный итог не гарантирует хорошего способа решения.

Учитель может угадать предпосылку, несколько раз повторить бесполезный поиск или формально проверить результат неподходящим тестом. Если вся траектория попадает в обучающий набор, целевая модель перенимает эти привычки вместе с полезными действиями.

AutoMaster начинает с анализа задач и исходных траекторий учителя и целевой модели. LLM-агент ищет повторяющиеся слабости, формулирует для них навыки на естественном языке и добавляет эти инструкции в системный запрос учителя. Навык может потребовать проверить численный вывод независимым способом, сначала подтвердить источник или выяснить причину ошибки перед изменением кода.

Сначала агент проверяет инструкцию на пробных прогонах. Если она вызывает нужное поведение и не мешает решать задачу, AutoMaster запускает более крупную партию, оценивает не только итог, но и ход решения, а затем отбирает демонстрации для обучения.

После SFT целевую модель проверяют без созданных навыков. Агент получает оценки и новые траектории, выясняет, какие слабости сохранились, и в следующем цикле меняет текст навыка, набор подходящих задач или выбор демонстраций. При этом каждый вариант обучают заново из одной исходной контрольной точки: результаты циклов не складываются через последовательное обновление весов.

Правильного ответа оказалось недостаточно

AutoMaster превзошёл обычный SFT во всех сочетаниях моделей и тестовых наборов. Авторы сохраняли одного учителя, общий пул задач, размер обучающего набора и рецепт SFT, поэтому разницу связывают с управлением поведением учителя и отбором траекторий.

Разбор отдельных решений показывает, что менялось внутри успешного ответа. В задаче на численные методы обычный учитель заявил более высокий порядок точности, чем подтверждали измерения, а направляемый учитель провёл независимую проверку и исправил вывод. В поисковой задаче оба варианта нашли ответ, но один перебирал неподтверждённые догадки, а второй сначала связал сведения об эпизодах и режиссёрах, затем проверил кандидата.

В примере из разработки обе траектории сначала использовали ошибочный самотест. Обычный учитель подогнал глобальное правило сортировки под неверное ожидание. Учитель с инструкцией проверил входные данные, исправил тест и сохранил требование спецификации.

Отдельный опыт показал, что инструкции навыков полезно оставлять во входных данных при SFT. Если сохранить одинаковые ответы, рассуждения и вызовы инструментов, но убрать породившую их инструкцию, средний результат снижается. Сохранение контекста дало преимущество в 2,15–4,01 процентного пункта, хотя во время итоговой проверки навыки модели не передавали.

Возможное объяснение следует из самих примеров: инструкция явно связывает правило с условием его применения. Без неё целевая модель видит правильное действие, но должна сама восстановить, когда оно уместно. Это делает контекст демонстрации частью обучающего сигнала, а не временной подсказкой только для учителя.

Менять архитектуру продукта рано, процесс подготовки данных — уже можно

Работу проверяли на Terminal-Bench 2.1, BrowseComp и Doc2Repo: это задачи для терминального агента, поиска и разработки программ. Целевыми моделями служили Qwen3.5-4B и Qwen3.5-9B, учителем — DeepSeek-V4-Pro-Preview, а экспериментами управлял агент на GPT-6 Astra. Каждый вариант получал 512 демонстраций и проходил полнопараметрическое SFT по одному рецепту.

Такой масштаб показывает эффект для небольших открытых моделей и агентных задач, но не доказывает, что тот же цикл перенесётся на другие семейства моделей, диалоговые продукты или узкие корпоративные процессы. Более крупная из двух целевых моделей получала преимущество стабильнее, поэтому ёмкость модели может влиять на то, насколько хорошо она усваивает заданное поведение.

Команде с уже работающим конвейером синтетических данных не требуется сразу менять учителя или способ обучения. Практический следующий шаг — сохранить обычный SFT как контрольный вариант и добавить небольшой цикл анализа траекторий: описать одну наблюдаемую слабость, сформулировать инструкцию, получить новые решения и сравнить модели при одинаковом размере набора.

Инструкцию стоит хранить вместе с демонстрацией, даже если продукт не будет передавать её модели при работе. Также потребуется связать каждую итоговую оценку с исходной задачей, навыком и выбранной траекторией. Без такой истории автономный агент увидит изменение метрики, но не сможет определить, какое вмешательство его вызвало.

AutoMaster не отменяет проверку данных и не предлагает новый алгоритм обновления весов. Работа показывает более узкий сдвиг: успешная траектория — ещё не качественная демонстрация, а фиксированный учитель может дать лучший материал, если заранее направить его поведение и сохранить причину этого поведения в обучающем примере.

Источники

Иллюстрация: рисунок из статьи «AutoMaster: Autonomous Post-Training by Making the Same Model a Better Teacher», Guoxin Chen, Shuang Sun, Fanzhe Meng и др., CC BY 4.0

Пауза в чтении

Похоже на вашу задачу?

Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.

Rit.work

Студия разработки

Собираем мобильные приложения и помогаем командам получать от AI реальную пользу. Основатель и команда, работаем удалённо — с клиентами в России и за рубежом.

← Ко всем материалам
Понравилось? Обсудим вашу задачу