Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.
LLM-учителя научили подстраиваться под рассуждения ученика, а не только исправлять его по ходу обучения. В нерецензированном препринте, где числа получили сами авторы, метод SCOUT повысил средний результат генерации кода с 56,6 до 59,7. Для обучения компактной модели это добавляет ещё один этап: обновлять приходится не только ученика, но и учителя.
При дистилляции на траекториях ученика (OPD) ученик генерирует решение сам, а учитель подсказывает распределение следующего токена на каждом шаге. Для ученика контекст привычен, потому что он создал его сам. Учитель же обычно обучен продолжать собственные рассуждения: по мере накопления чужих промежуточных решений и ошибок его подсказки становятся менее надёжными. На AIME 2025 точность продолжений учителя снижалась по мере удлинения префикса ученика.
SCOUT периодически берёт начало ответа ученика и просит учителя закончить решение. Продолжение проверяют по итоговому ответу, после чего учителя обновляют с помощью обучения с подкреплением. Долю исходного текста ученика постепенно увеличивают, а обновлённый учитель снова даёт ученику подробные подсказки по токенам. Контрольный вариант с таким же дополнительным обучением учителя, но без префиксов ученика, результата SCOUT не достиг.
На математических задачах SCOUT прибавил от 1,2 до 2,6 процентного пункта к средней точности стандартного OPD с неизменным учителем. Метод проверили на трёх парах моделей, включая Qwen3 и связку Skywork с DeepSeek, на шести математических наборах задач. Для генерации кода использовали Qwen3 и три набора тестов; там прибавка составила 3,1 пункта.
Сравнение охватывает стандартный OPD, обучение по итоговой награде и методы, которые ограничивают либо фильтруют подсказки учителя. Результаты показывают, что проблема лежит не только в выборе полезных подсказок: самого учителя стоит адаптировать к состояниям, которые создаёт ученик. Пока вывод относится к математике и коду, где итог решения можно проверить автоматически.
Источники
Похоже на вашу задачу?
Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.
