Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.
Цепочки рассуждений для дообучения LLM удалось получить из наборов, где есть только вопросы и правильные ответы. В работе Eric O. Korman из Striveworks, которая пока не прошла рецензирование и приводит замеры самого автора, доля правильных ответов с первой попытки на сложных задачах Countdown выросла с 8 до 19%. Метод позволяет обновлять модель на новых данных без генерации свежих решений на каждом шаге обучения.
Как ответ превращается в цепочку рассуждений
Обычное обучение с учителем требует готового объяснения для каждого ответа. GRPO и другие методы обучения с подкреплением обходятся без объяснений, но основной модели приходится многократно решать задачу, пока среди попыток не появится полезный сигнал.
Предложенный подход добавляет вторую, обратную модель. Она получает вопрос вместе с правильным ответом и восстанавливает цепочку рассуждений, которую могла бы построить основная модель. Ответ здесь служит не целью генерации, а подсказкой о том, куда должно привести решение.
Обратную модель обучают на удачных и неудачных попытках основной. Помимо воспроизведения правильных рассуждений, она учится назначать им более высокую вероятность, чем цепочкам с ошибочным итогом. Без такого сравнения модель склонна игнорировать короткий ответ на фоне гораздо более длинного рассуждения.
Затем ей передают новые пары «вопрос — ответ». Для каждой пары она предлагает цепочку, а основная модель проверяет её: если после такого рассуждения правильный ответ получается при жадном выборе следующего токена, пример оставляют для обучения с учителем. Рассуждения для всего набора генерируют заранее, после чего веса основной модели обновляют на фиксированных данных.
Это отличает метод от GRPO, где попытки требуется заново получать от текущей версии модели на каждом шаге. После самодистилляции, то есть переноса сгенерированных рассуждений обратно в основную модель, обратная модель при эксплуатации не нужна. Стоимость и интерфейс основной LLM не меняются.
Обратный ход помогает там, где модель сама не находит решение
Отбор собственных удачных попыток работает лишь для задач, которые модель хотя бы иногда решает. Если все ответы ошибочны, отбирать нечего. Обратная модель может начать с известного итога и восстановить путь к нему даже для такой задачи.
На Countdown этот подход обошёл самодистилляцию с отбором удачных попыток по всем метрикам для сложной части набора. Продолжение GRPO сохранило преимущество по ответу с первой попытки, но уступило дистилляции, когда модели разрешали восемь или 32 попытки. Значит, метод расширил набор доступных стратегий, хотя не всегда сделал наиболее вероятной лучшую из них.
Вторая роль обратной модели — проверять готовые решения. Она оценивает, насколько вероятна показанная цепочка при данном вопросе и предложенном ответе, после чего выбирает лучший вариант. Среди 32 кандидатов на Countdown точность выбора выросла с 75,3% у голосования по самому частому ответу до 96,9%.
На GSM8K преимущество оказалось меньше и в совокупности лежало в пределах погрешности. Ответ в Countdown представляет собой арифметическое выражение и раскрывает структуру решения, тогда как GSM8K обычно даёт одно итоговое число. Обратной модели во втором случае сложнее восстановить конкретный путь назад.
Когда стоит менять план дообучения
Работа меняет план для систем, где регулярно появляются проверяемые пары «запрос — правильный ответ», но нет записанных объяснений. Вместо постоянного запуска GRPO можно один раз подготовить обратную модель, заранее сгенерировать рассуждения для очередной партии данных и провести обычное обучение с учителем. Особенно полезен этот вариант для непрерывного обновления модели небольшими партиями.
Проверяли одну модель Qwen3-0.6B и две арифметические среды: синтетический Countdown и набор текстовых задач GSM8K. Исходную модель сначала обучали с помощью GRPO до выхода результатов на плато, а новый метод сравнивали с продолжением GRPO и отбором собственных правильных решений. Эти условия показывают эффект после насыщения обучения, но пока не дают оснований переносить его размер на крупные модели, код или открытые вопросы без проверяемого ответа.
Для проверки ответов план меняется иначе: обратную модель придётся запускать при каждом выборе среди кандидатов. Такой режим добавляет вычисления во время работы продукта, зато может заменить голосование, которое ошибается, когда большинство решений сходится на неправильном ответе. Для дистилляции этот расход возникает только при подготовке обучающих данных.
Практический вывод — не заменять весь контур обучения с подкреплением, а вынести часть обновлений в отдельный офлайн-этап. GRPO остаётся полезным для первичного обучения и задач, где ответ нельзя проверить автоматически. Обратная модель закрывает участок, на котором правильные ответы уже накоплены, а цепочки рассуждений отсутствуют или слишком дороги для ручной разметки.
Источники
Похоже на вашу задачу?
Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.
