Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.
Языковую модель научились распределять награду между токенами по одной завершённой попытке, не генерируя группу ответов на один запрос. Хотя работу не рецензировали и все числа получили сами авторы, HP-RLVR использовал в восемь раз меньше попыток на запрос, чем GRPO. Для команд с проверяемым итогом задачи это открывает способ сократить стоимость дообучения, но не гарантирует прежнюю точность на каждом типе задач.
Как завершённый ответ указывает на важные токены
Обучение с подкреплением по проверяемой награде, или RLVR, получает сигнал от конечного результата. Математический ответ проверяет символьная система, код — тесты, действия агента — среда. Проверка говорит, удалась ли попытка, но не показывает, какие промежуточные решения помогли или помешали.
GRPO решает первую часть задачи сравнением нескольких ответов на один запрос. Награда отдельной попытки оценивается относительно остальных, после чего один и тот же сигнал получают все её токены. Если все ответы успешны или все провалились, различий между ними нет и обновление обнуляется.
HP-RLVR заменяет такое сравнение исторической средней наградой. Результат новой попытки выше средней задаёт положительное направление обновления, результат ниже средней — отрицательное. Поэтому даже неудачный ответ может обучать модель, если предыдущая история уже сформировала ненулевую точку отсчёта.
Затем зафиксированная копия модели дважды оценивает каждый подходящий токен. Сначала она видит только контекст, доступный в момент генерации. Потом получает продолжение той же попытки и отчёт проверяющей системы. Новые ответы не генерируются: обе оценки строятся по уже завершённой последовательности.
Расхождение Дженсена—Шеннона между распределениями по всему словарю становится весом токена. Если знание будущего почти не меняет прогноз модели, токен получает слабый сигнал. Если меняет заметно, его вклад растёт. Вес ограничен, а знак обновления по-прежнему определяет награда относительно исторической средней.
Для агента в «будущее» входят последующие действия и наблюдения. Ближайшее наблюдение намеренно исключают, чтобы оно не раскрывало оцениваемое действие напрямую. При работе продукта этот контекст не нужен: его добавляют только после завершения траектории во время обучения.
Экономия времени зависит от типа задачи
Метод проверили на Qwen3 трёх размеров: на математических задачах, генерации кода и в среде ALFWorld, где агент выполняет последовательности действий. HP-RLVR сравнивали с GRPO при общих данных, настройках LoRA и расписании обучения. Каждую конфигурацию запускали с одним зерном случайности, поэтому результаты показывают поведение выбранного протокола, а не устойчивое преимущество для любых запусков.
На старшей Qwen3 полное обучение ускорилось от 1,21 раза на математике до 2,30 раза в ALFWorld; код оказался между ними. Выигрыш возник потому, что дополнительная оценка готовой последовательности стоила меньше, чем генерация группы самостоятельных ответов.
Точность сохранилась не везде. На математике лучший средний результат HP-RLVR оказался выше на 2,66 процентного пункта. В коде GRPO сохранил преимущество, а в ALFWorld его лучший результат был выше на 2,87 пункта. Это не позволяет считать одиночную попытку прямой заменой групповой выборки без проверки на целевой задаче.
Диагностика объясняет часть выигрыша в среде с редкой наградой. У GRPO до 49% записей нормы градиента оказались пустыми: одинаковые результаты внутри группы не давали сигнал для обновления. HP-RLVR таких записей не дал, поскольку сравнивал каждую попытку с накопленной историей, а не только с соседними ответами.
Когда HP-RLVR меняет план обучения
Работа влияет на планы команд, которые дообучают собственную модель и умеют автоматически проверять конечный результат. Особенно полезен сценарий, где генерация длинных ответов или взаимодействие со средой занимает основную часть бюджета, а повторные попытки часто заканчиваются одинаково.
Метод не ускоряет вывод модели в продукте и не меняет архитектуру агента. Экономия относится к обучению: вместо нескольких траекторий система сохраняет одну, а затем повторно прогоняет её через зафиксированную модель с обычным и расширенным контекстом.
Для реализации нужен доступ к распределению вероятностей по всему словарю и к параметрам обучаемой модели. Закрытый API, который возвращает только текст или вероятности нескольких токенов, для точного варианта метода не подходит. Также придётся хранить завершённые траектории, формировать отчёт проверяющей системы и отдельно обрабатывать допустимое будущее для каждого токена.
Заменять GRPO целиком пока рано. Практичный следующий шаг — сравнить методы на одинаковом бюджете запросов и оценить не только итоговую точность, но и долю обновлений с ненулевым градиентом. Если продукт обучает модель на математике или другой задаче с надёжной автоматической проверкой, HP-RLVR уже выглядит как кандидат на основной протокол; для кода и многошаговых агентов работа скорее задаёт направление отдельного эксперимента.
Источники
Похоже на вашу задачу?
Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.
