Эталонное решение не показывает модели, где она ошиблась

Эталонное решение само по себе не помогает модели найти ошибку в собственной цепочке рассуждений: для этого модель нужно отдельно попросить сформулировать критику. В препринте Fin.ai и Dublin City University, который не проходил рецензирование и приводит замеры самих авторов, критика примерно вдвое чаще исправляла сложные математические решения, чем простая команда продолжить рассуждение. Для обучения рассуждающих моделей это меняет роль учителя: одного прохода с оценкой токенов недостаточно, нужен отдельный поиск ошибки.

Почему плотный сигнал не указывает на ошибку

Обучение с проверяемой наградой оценивает готовый ответ: верный получает награду, неверный — нет. Такой сигнал надёжен, но не объясняет, на каком шаге рассуждение свернуло в неверную сторону.

Проблема особенно заметна в групповом обучении. Если модель несколько раз решает одну задачу и все ответы оказываются неверными, относительная награда совпадает для всей группы. Обновление весов не подсказывает, какое действие следовало изменить.

Самодистилляция на собственных ответах пытается сделать сигнал плотнее. Модель сначала пишет решение как ученик, а затем оценивает каждый его токен как учитель, получив в контексте эталонное решение. Расхождение между распределениями ученика и учителя трактуют как указание, где и насколько нужно изменить поведение.

Работа проверяет два варианта такого сигнала. Первый измеряет, насколько эталон меняет всё распределение вероятностей следующего токена. Второй смотрит, снизилась ли вероятность именно того токена, который написал ученик. Полезный учитель должен сильнее реагировать рядом с ошибкой и уменьшать вероятность ошибочного продолжения.

Этого не произошло. Сигнал рядом с размеченными ошибками почти не отличался от сигнала на чистых участках, а иногда эталон даже повышал вероятность неверного токена. Усреднение по всей цепочке тоже не позволяло надёжно отличить правильное решение от неправильного решения той же задачи.

Критика превращает поиск в пригодную для обучения оценку

Причина не в недостатке информации у учителя, а в поставленной задаче. Чтобы найти сбой, нужно сопоставить эталон с длинной цепочкой, обнаружить первое расхождение и объяснить его. Обычный проход с оценкой токенов не требует выполнять этот поиск.

Авторы разделили процесс на два шага. Сначала модель генерирует критику: дословно цитирует ошибочное предложение и объясняет, почему оно неверно. Затем та же модель снова оценивает цепочку, но уже с этой критикой в контексте.

Критика от gpt-5.2 указала на размеченную ошибку в пределах нескольких предложений в 57–67% неверных решений. Более компактные модели находили меньше ошибок, однако сохраняли тот же эффект: генерация критики работала лучше, чем непосредственная оценка по эталону.

После добавления критики распределение вероятностей менялось именно возле отмеченного места, а вероятность неверного продолжения снижалась. Одновременно росли вероятности токенов, с которых модель обычно начинает пересмотр решения: «Wait», «But» и «Actually». Цитата из ошибочного фрагмента привязывала обратную связь к нужной позиции, а объяснение задавало направление исправления.

На сложных задачах DeepMath модель продолжала собственное неверное решение с места, найденного критиком. Среди задач, которые она прежде не решила ни в одной из восьми попыток, точность достигла 9,3% против 4,3% у варианта с фиксированным местом остановки и простой командой исправиться.

Командам стоит менять эксперимент, но не производственный контур

Работу проверяли на логических задачах Knights & Knaves и математике DeepMath. Цепочки генерировали модели Qwen3-1.7B, Olmo-3-7B-Think и Olmo-3-32B-Think; отдельно проверяли более крупного учителя Qwen3-8B. Ошибочные участки размечали несколько моделей-оценщиков, а дополнительный тест на ProcessBench с человеческой разметкой показал ту же разницу между эталоном и критикой.

Для команды, которая уже строит самодистилляцию по эталонным решениям, главный практический вывод прост: плотность сигнала ещё не означает, что он исправляет рассуждение. Перед обучением стоит измерить, усиливается ли сигнал на известных ошибочных шагах и снижает ли он вероятность неверных токенов. Проверки только по итоговой точности не покажут, чему именно учится модель.

Критику можно добавить как отдельный проход над неверными решениями, а затем использовать найденную цитату и объяснение при оценке токенов. В эксперименте собственный критик увеличивал время шага примерно на 6%; критик через API занимал около пятой части времени шага. Значит, дешёвый критик внутри той же модели выглядит практичнее для первого прототипа.

Перестраивать крупный цикл обучения на основании этой работы рано. Обучающий опыт ограничивался набором из 320 логических задач и 100 шагами, а полномасштабного запуска с обучением по проверяемой награде не было. Кроме того, критик всегда видел эталонное решение: метод переносит привилегированную информацию в удобную форму, но не доказывает, что модель способна исправляться без внешней опоры.

Источники

• A Privileged Teacher That Only Scores Cannot Search: Critique-Conditioned On-Policy Self-Distillation for Reasoning