Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.
Диффузионные языковые модели научили исследовать несколько продолжений одного рассуждения и отдельно оценивать вклад его участков. В работе USC и Case Western Reserve University, которая пока не рецензирована и приводит числа, полученные самими авторами, ForkGRPO обошёл JustGRPO до 1,2 процентного пункта при сокращении числа сгенерированных токенов до 27,8%. Метод может изменить расчёт бюджета на дообучение таких моделей, но не заменяет их архитектуру и не ускоряет обычный вывод.
Как ForkGRPO разветвляет рассуждение
Диффузионная LLM начинает с замаскированной последовательности и постепенно раскрывает токены. В отличие от авторегрессионной модели, она может учитывать контекст с обеих сторон и выбирать порядок заполнения, однако при обучении с подкреплением это создаёт проблему: модель откладывает неопределённые решения, пока остальной текст не сузит выбор.
JustGRPO решает часть проблемы, заставляя модель раскрывать токены слева направо. Неопределённую развилку приходится проходить до того, как появится последующий контекст. Но каждая обучающая траектория всё равно начинается с исходного запроса, поэтому модель может многократно воспроизводить похожие решения и редко посещать альтернативные продолжения.
ForkGRPO выбирает одну готовую траекторию как опорную и ищет на ней места с высокой неопределённостью. Приоритет получают позиции после конца предложения или переноса строки: развилка между смысловыми шагами полезнее, чем разветвление внутри слова или выражения. Дополнительная модель-оценщик для поиска таких точек не нужна — неопределённость уже видна в распределении вероятностей следующего токена.
Из выбранного состояния запускаются несколько продолжений с общим префиксом. Так обучение повторно использует уже построенную часть ответа и расходует генерацию на разные варианты будущего, а не на одинаковое начало каждой траектории.
Продолжения дают два обучающих сигнала. Первый сравнивает варианты, вышедшие из одной точки, и усиливает те, которые получили более высокую итоговую награду. Второй оценивает, как меняется ожидаемый результат между соседними развилками, и назначает отдельную оценку вклада каждому участку опорного рассуждения.
Это исправляет грубость обычного GRPO, где весь правильный ответ усиливается одинаково, а весь ошибочный ослабляется. В ForkGRPO полезный промежуточный шаг может получить положительный сигнал, даже если позднее рассуждение сломалось. Небольшие изменения ожидаемой награды метод приглушает, чтобы не принимать шум выборки за вклад сегмента.
Разветвление улучшило и точность, и расход генерации
ForkGRPO показал лучший результат среди сравниваемых методов, которые не меняют архитектуру модели, на большинстве использованных тестов. Абляционные эксперименты также показали, что сравнение продолжений и оценка отдельных сегментов лучше работают вместе, чем каждый сигнал отдельно.
В сопоставимом эксперименте с LoRA на GSM8K ForkGRPO достиг точности 90,4% против 89,6% у JustGRPO. При этом обучение использовало меньше сгенерированных токенов, поскольку общие префиксы не приходилось строить заново для каждой ветви.
ForkGRPO-Fast дополнительно сокращает работу: сначала запускает небольшую пробную группу продолжений, расширяет только группы с разными наградами и пересчитывает градиенты лишь для части собранных ветвей и состояний. Эта версия ускорила обучение в 2,49 раза и сохранила точность 90,3% против 90,31% у полной версии.
Когда метод меняет планы команды
ForkGRPO имеет практический смысл для команды, которая уже дообучает маскированную диффузионную LLM с проверяемой итоговой наградой. Потребуются доступ к промежуточным состояниям генерации, вероятностям токенов и собственному циклу обучения. Через закрытый API, который возвращает только готовый ответ, реализовать такую схему нельзя.
Главный выигрыш возникает там, где генерация обучающих траекторий занимает заметную часть бюджета. Вместо увеличения числа независимых ответов можно направить тот же бюджет на развилки внутри решения. Особенно подходящими выглядят задачи с автоматически проверяемым результатом: математический ответ или код, который можно прогнать через тесты.
Проверка охватывает четыре теста по математике и генерации кода; подробные эксперименты на GSM8K используют LLaDA-8B-Instruct. Полное обучение каждого метода на каждой задаче запускали по одному разу, а повторные прогоны оставили для сокращённых абляций. Поэтому результаты достаточно конкретны для внутреннего пилота, но пока не подтверждают стабильность выигрыша между разными запусками и моделями.
Для авторегрессионных LLM работа не даёт готовой замены GRPO: ForkGRPO опирается на последовательное раскрытие масок при сохранении двунаправленного внимания. Идею ветвления и оценки сегментов можно изучать отдельно, но приведённые замеры относятся к диффузионным моделям.
Если команда выбирает способ дообучения такой модели, ForkGRPO стоит включить в пилот рядом с JustGRPO и сравнить не только итоговую точность, но и число сгенерированных токенов и полное время шага. Если команда лишь выбирает базовую архитектуру продукта, работа не даёт основания переходить на диффузионную LLM: она улучшает процедуру дообучения, а не доказывает преимущество класса моделей в эксплуатации.
Источники
Похоже на вашу задачу?
Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.
