Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.
Качество цепочки рассуждений предложили оценивать не по единственному финальному ответу, а по тому, сможет ли модель несколько раз правильно её закончить. В препринте, который не прошёл рецензирование и приводит собственные замеры авторов, Nemotron-3-Nano-30B-A3B достигла точности 95,4% на AIME 2026 против 91,5% у GRPO. Такой подход может сделать обучение рассуждающих моделей стабильнее без отдельной модели, которая оценивает каждый шаг.
Правильный ответ ещё не означает правильного рассуждения
При обучении с подкреплением по проверяемой награде (RLVR) модель получает балл за результат, который можно проверить правилом или программой. В математике это совпадение ответа, в задачах по программированию — прохождение тестов. GRPO затем сравнивает несколько ответов на одну задачу и повышает вероятность тех последовательностей, которые получили более высокую награду.
Проблема возникает, когда финальный ответ плохо отражает качество всей цепочки. Модель может угадать правильное число после ошибочного рассуждения. Возможна и обратная ситуация: почти верный путь заканчивается неверным ответом, поэтому обучение подавляет полезные промежуточные шаги.
Чтобы измерить этот разрыв, исходные цепочки обрезали почти у конца и просили модель заново их продолжить. У коротких правильных решений сложных задач продолжения оставались правильными в среднем лишь в 74% случаев. Значит, бинарная награда превращает случайно удачный ответ в полноценный положительный пример.
Ошибка особенно мешает, когда модель дополнительно поощряют за краткость. Короткое решение может получить повышенную награду одновременно за правильный ответ и малое число токенов, хотя повторное завершение показывает, что рассуждение ненадёжно. Так обучение закрепляет не экономный способ решения, а преждевременную догадку.
Как двойной прогон уточняет награду
Метод сохраняет обычный первый прогон модели, но не принимает его награду как окончательную. Цепочку рассуждений обрезают после 90% токенов, из оставшегося префикса создают восемь независимых продолжений и проверяют их финальные ответы. Средняя награда продолжений заменяет исходный балл.
Если почти все новые окончания правильны, сохранённая часть действительно ведёт к решению. Если результаты расходятся, цепочка ненадёжна, даже когда первоначальный ответ оказался верным. Так награда оценивает не только единичный исход, но и вероятность успешно закончить уже начатое рассуждение.
Есть дополнительное правило для исходно неверных ответов. Если средняя награда положительна и среди продолжений нашлось правильное, исходную последовательность заменяют одним из таких продолжений. Правильный ответ с ненадёжной цепочкой, напротив, не спасают: метод намеренно снижает его вес, чтобы модель не училась угадывать.
В выбранной конфигурации второй этап примерно удваивает вычисления на генерацию прогонов. Продолжения короткие и запускаются параллельно, поэтому они лучше загружают GPU, чем такое же число полных ответов. Метод также можно соединить с наградой за краткость: дополнительный балл получают только короткие цепочки, которые уже подтвердили свою надёжность повторными продолжениями.
Проверка охватила модели семейств Qwen и Nemotron, математические данные DAPO и задачи по программированию OpenCodeReasoning. Результаты оценивали на AIME и LiveCodeBench, а в качестве базовых вариантов использовали обычный GRPO и GRPO с увеличенным числом полных прогонов. Это проверяет перенос между двумя семействами моделей и двумя типами задач, но не обучение общего назначения или работу с человеческой обратной связью.
Когда команде стоит менять план обучения
Двойной прогон выиграл во всех проверенных сочетаниях модели и типа задач. Пиковая точность обычно достигалась за меньшее число шагов обучения, поэтому дополнительные вычисления на одном шаге частично компенсировались более быстрой сходимостью. Простое увеличение числа полных прогонов такого результата стабильно не давало.
Метод также улучшил соотношение точности и расхода токенов. Обычная награда за краткость толкала модель к коротким, но менее надёжным цепочкам. Здесь краткость поощряли только после проверки повторными продолжениями, поэтому модель не получала преимущества за случайно правильный короткий ответ.
Для команды, которая уже обучает рассуждающую LLM через GRPO и располагает надёжным автоматическим проверяющим механизмом, работу стоит рассматривать как замену способа назначать награду, а не всей системы обучения. Не требуется отдельная модель оценки процесса, новый набор размеченных промежуточных шагов или переход на другой класс алгоритмов.
Менять базовый план без собственного запуска пока рано. Практический выбор зависит от того, насколько инфраструктура эффективно выполняет множество коротких параллельных генераций и сокращает ли более быстрая сходимость общий бюджет обучения. Разумный следующий шаг — сравнить обычный GRPO и двойной прогон на одном наборе задач, измеряя одновременно точность, число токенов при ответе и суммарные вычисления до лучшей контрольной точки.
Источники
Похоже на вашу задачу?
Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.
