Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.
Большую языковую модель научили замечать, когда продолжение рассуждения следует ошибке ученика и нарушает условие задачи. В препринте CUHK(SZ), FNii-Shenzhen и ByteDance, который не проходил рецензирование и приводит замеры самих авторов, CCE-OPD снизил долю таких предпочтений учителя с 27% до 16%. Метод уточняет дистилляцию моделей для задач, где промежуточная ошибка может увести всё дальнейшее решение.
Почему сильный учитель закрепляет ошибку
При дистилляции на собственных траекториях ученика (on-policy distillation) меньшая модель сначала генерирует решение, а большая оценивает следующие токены в состояниях, куда ученик действительно попал. Так обучение охватывает не только правильные рассуждения, но и собственные ошибки ученика.
Проблема возникает, когда учитель слишком сильно учитывает ошибочный префикс. Если условие требует выбрать положительный корень, а ученик уже пошёл по пути отрицательного, учитель может предпочесть продолжение этого пути. Локально текст выглядит связным, хотя результат противоречит исходному ограничению.
Обычная дистилляция воспринимает такое предпочтение как полезный сигнал. Она повышает вероятность токена, который продолжает ошибку, вместо того чтобы вернуть рассуждение к условию задачи. Сильный учитель здесь не исправляет ученика, а помогает ему последовательнее ошибаться.
Диагностика сравнивала два готовых продолжения одного префикса: допустимое и нарушающее условие. Контраст с версией вопроса, где важное ограничение скрыто, чаще возвращал допустимому продолжению более высокий вес. Эффект концентрировался именно в состояниях, где исходный следующий шаг ученика был ошибочным.
Как контраст условий меняет цель обучения
CCE-OPD заранее создаёт для учебного вопроса вторую версию. DeepSeek-Flash выделяет минимальное условие, которое влияет на ответ или путь решения, после чего проверка отсеивает неудачные варианты. Из 7 498 вопросов MATH подходящую пару получили 3 402; для остальных сохранили обычную дистилляцию.
Ученик всегда решает полный вопрос. Замороженный учитель затем дважды оценивает следующий токен при одном и том же префиксе: сначала с исходным условием, затем с выделенным фрагментом, заменённым маской. Поэтому сравнение показывает не общую уверенность учителя, а вклад конкретного ограничения.
Если присутствие условия заметно повышает вероятность кандидата, тот получает дополнительный вес. Разность логарифмов вероятностей ограничивают, чтобы редкий токен или неудачная маска не изменили распределение слишком резко. Скорректированная цель остаётся основана на полном вопросе: контраст лишь переставляет относительные веса наиболее вероятных продолжений.
Дополнительную цель применяют там, где учитель распределяет вероятность между несколькими вариантами и потому сильнее сомневается. В остальных позициях работает исходная дистилляция. Такая схема не заменяет основной сигнал, а корректирует его в точках, где условия задачи могут изменить выбор следующего шага.
Метод проверяли при переносе замороженного Qwen3-8B в Qwen3-0.6B-Base и Qwen3-1.7B-Base. Обучение шло только на математических задачах MATH; сравнение включало GRPO, OPD, TrOPD и EOPD, а итоговые модели оценивали на математических и переносных задачах. Поэтому основной вывод работы относится к многошаговым рассуждениям с явно выделяемыми ограничениями.
Меняет ли CCE-OPD планы разработки
На математических бенчмарках CCE-OPD повысил avg@8 относительно обычного OPD в среднем на 1,60 процентного пункта для меньшего ученика и на 1,95 пункта для большего. avg@8 показывает среднюю долю правильных ответов среди нескольких генераций на вопрос. Модель также получила лучшие результаты среди сравниваемых подходов на всех задачах переноса, хотя обучалась на математике.
Для команды, которая уже использует OPD, работа предлагает локальное изменение контура обучения, а не новую архитектуру модели. Понадобятся пары «полный вопрос — вопрос без условия», второй прогон учителя на том же префиксе и дополнительная цель по распределению токенов. Сам ученик на этапе применения работает как прежде и не получает маскированный вопрос.
Главная инженерная зависимость — качество выделения условий. В математике ограничение часто можно связать с точным фрагментом текста; в коде, правилах доступа или бизнес-процессах оно может быть распределено между несколькими требованиями. Тогда разметчик должен сохранять смысл запроса и удалять только то, что действительно меняет допустимое решение.
Если продукт строится на длинных рассуждениях и уже собирает собственные траектории ученика, CCE-OPD стоит включить в экспериментальный план рядом с базовой OPD. Если дистилляция использует только готовые ответы учителя, метод нельзя добавить одной настройкой: ему нужны вероятности следующих токенов для двух версий входа. Работа показывает полезный способ исправлять сигнал учителя, но пока не заменяет проверку на данных и типах ограничений конкретного продукта.
Источники
Похоже на вашу задачу?
Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.
