Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.
Слабую модель научили передавать продолжение сильной, когда их способы развивать ответ начинают заметно расходиться, а затем учиться на исправленной траектории. DTDD от Google, University of Washington и Boston University снизил пиковую норму градиента после разогрева в 8,6 раза на длинных математических ответах. В препринте, который не проходил рецензирование, приведены замеры самих авторов; подход добавляет к OPD управляемое восстановление траектории, но требует заранее проверить качество учителя.
Как расхождение запускает перехват
Дистилляция на собственных траекториях ученика (on-policy distillation, OPD) строится так: ученик сам генерирует ответ, а учитель оценивает распределение вероятностей следующего токена в каждом посещённом состоянии. Это сокращает разрыв между обучением и применением, потому что модель учится на собственных префиксах, включая неудачные.
Проблема возникает, когда ошибка уводит траекторию слишком далеко. Учитель продолжает давать локальные подсказки, но отдельные поправки уже не складываются в связное рассуждение. В агентной системе неверный вызов инструмента вдобавок меняет следующее наблюдение, поэтому ошибка распространяется на последующие действия.
DTDD делит ответ на короткие сегменты и усредняет внутри каждого расхождение между распределениями ученика и учителя. Усреднение важно: отдельный необычный токен не вызывает перехват. Система реагирует на устойчивое расхождение целого фрагмента.
Когда значение превышает порог, обучение откатывает траекторию к началу проблемного сегмента. Учитель получает сохранённый префикс ученика и генерирует окончание заново. Если порог не превышен, весь ответ обучается как при обычном OPD.
Две части гибридной траектории используют разные сигналы. На префиксе ученик по-прежнему сближает своё распределение следующего токена с распределением учителя. На окончании применяется поведенческое копирование: правильной целью становится токен, который фактически сгенерировал учитель. Опыты с вариантами метода показали, что такое разделение работает лучше, чем попытка обучать исправленное окончание тем же приближённым сигналом OPD.
Порог можно зафиксировать либо регулировать так, чтобы выдерживать заданную долю перехватов. В задачах на рассуждение учитель дописывает весь ответ. В ALFWorld он заменяет только проблемное действие, после чего управление возвращается ученику; в агентном программировании учитель завершает оставшийся эпизод, поскольку вызовы инструментов зависят друг от друга.
Где восстановленная траектория помогла
При дистилляции Qwen3-1.7B-Base от Qwen3-4B-Base-GRPO модель достигла точности 21,3% примерно за 70 обновлений оптимизатора. Обычному OPD для того же уровня потребовалось около 180 обновлений. Выигрыш относится к скорости обучения: к концу запуска методы пришли к близким результатам.
Перехват помог и там, где ошибка меняет дальнейшее взаимодействие. На ALFWorld лучшая сохранённая версия с адаптерами LoRA обошла OPD на 4,8 процентного пункта. В агентном программировании прибавка составила 4,1 пункта.
Эксперименты охватывают длинные математические рассуждения, обучение Qwen с базовой инициализации без предварительной настройки на ответах учителя, а также ALFWorld и задачи на программирование с инструментами. Для математики использовали DAPO-Math-17K и OpenThoughts3, а прямым ориентиром служил обычный OPD; AdaSwitch дополнительно сравнивали в режиме базовой инициализации. Выводы относятся к этим парам учеников и учителей из семейств Qwen и DeepSeek и к указанным агентным средам.
Когда DTDD меняет план обучения
Перехват имеет смысл, если учитель заметно лучше ученика после обычного OPD, умеет продолжить уже испорченный префикс и выдаёт окончание, которое ученик способен освоить. В 19 из 23 экспериментальных вариантов результат соответствовал этой схеме: чем больше оставался разрыв до учителя, тем чаще DTDD давал выигрыш.
Одного разрыва в итоговых оценках недостаточно. В перестроенной среде WebShop учитель уступал ученику после OPD, поэтому перехват направлял обучение к худшему источнику. В опыте с меньшим учеником для ALFWorld запас качества у учителя был, но ученик не смог надёжно перенять восстановленные действия.
Слишком частый перехват тоже мешает: учитель вытесняет собственные траектории ученика, ради которых применяют OPD. Слишком редкий не успевает исправлять накопившиеся ошибки. Поэтому внедрение DTDD добавляет отдельный контур настройки — нужно отслеживать долю перехватов, их положение в траектории и способность ученика осваивать продолжения учителя.
Для команды с нестабильным OPD на длинных ответах или цепочках инструментов работа даёт конкретную альтернативу предварительному обучению на фиксированном наборе ответов учителя: оставить полезную часть собственной траектории и заменять только участок после устойчивого расхождения. Если OPD уже стабилен, а учитель лишь немного лучше, эксперименты не дают основания усложнять конвейер.
Сам триггер измеряет только несогласие моделей. Он не определяет, сможет ли учитель восстановиться из текущего состояния и научится ли ученик на таком исправлении. Порог или желаемую частоту вмешательств в работе задавали вручную, поэтому автоматического выбора режима DTDD пока не предлагает.
Источники
Похоже на вашу задачу?
Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.
