Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.
Длинные цепочки действий LLM-агента научились обучать по одной итоговой награде, не добавляя отдельную модель ценности или внешнего учителя. В нерецензированном препринте, где все числа получили сами авторы, TreeOPSD повысил среднюю точность Qwen3-30B-A3B-Thinking-2507 на задачах Deep Research на 4,97 пункта относительно GRPO. Метод может упростить контур обучения, если команда уже умеет сохранять общие префиксы траекторий и запускать от них альтернативные продолжения.
Дерево продолжений показывает, какой ход помог агенту
При обучении агента итоговая проверка обычно сообщает только, решена ли задача. Одинаковая награда достаётся всей траектории, поэтому полезный запрос к инструменту внутри неудачного запуска получает штраф вместе с ошибочным финальным ответом. Чем длиннее взаимодействие, тем менее точно такой сигнал описывает отдельные решения.
TreeOPSD начинает с нескольких полных траекторий, выбирает промежуточные состояния и запускает от них новые продолжения. Общая история до точки ветвления остаётся неизменной, а дальнейшие действия различаются. Если одна ветка приводит к успеху чаще другой, разницу можно связать с решениями после развилки, а не со всей предшествующей цепочкой.
Итоговые награды поднимаются от листьев дерева к корню. Каждый ход получает оценку, которая объединяет результаты всех расположенных ниже ветвей с учётом вероятностей поведения исходной, замороженной политики. Так терминальный сигнал превращается в оценки промежуточных шагов без критика — отдельной модели, которая предсказывает будущую награду.
Общие префиксы хранятся один раз, поэтому один и тот же ход не дублируется в функции потерь для каждого продолжения. При этом продолжение от промежуточного состояния требует примерно вдвое меньше генерации или вызовов инструментов, чем новая полная траектория. Это позволяет сравнивать TreeOPSD с GRPO при одинаковом ожидаемом бюджете выборки.
Конечная цель останавливает последовательные обновления
Само дерево решает только задачу распределения награды. Остаётся другая проблема: пакет траекторий собирает старая политика, но модель обновляется по последовательным мини-пакетам. После первых обновлений её вероятности уже отличаются от тех, на которых собрали данные, а фиксированный градиент продолжает толкать параметры в прежнем направлении.
TreeOPSD преобразует оценку каждого хода в ограниченное целевое распределение по закрытой формуле. Оно задаёт, насколько полная последовательность токенов хода должна стать вероятнее или менее вероятной относительно замороженной политики. Отношение вероятностей усредняется по длине хода, чтобы длинное рассуждение не получало больший сдвиг только из-за количества токенов.
Преобразование линейно по оценке хода. Поэтому цель родительского узла равна взвешенному среднему целей его потомков: построение цели не разрушает информацию, которую дерево уже собрало. Нелинейный вариант из контрольного опыта этим свойством не обладал и показал худший результат.
Текущую модель приближают к цели через прямую дивергенцию Кульбака — Лейблера. В исходной точке её градиент совпадает с градиентом политики, полученным из дерева. По мере приближения модели к цели обновление ослабевает, в самой цели исчезает, а после превышения нужного сдвига меняет знак. Обрезка отношений вероятностей лишь ограничивает размер шага, тогда как здесь у шага есть конечный пункт назначения.
Метод меняет контур обучения, но требует ветвящихся запусков
На крупной модели средняя точность в Deep Research выросла с 16,23 до 21,20 относительно GRPO. На Multi-Hop QA прибавка составила 1,13 пункта, то есть преимущество оказалось заметнее там, где агент дольше взаимодействует со средой. Умеренное число продолжений от префиксов также оказалось полезнее, чем тот же бюджет из независимых траекторий или слишком сильный перекос в ветвление.
Основные опыты охватывают Qwen3-4B-Thinking-2507 и Qwen3-30B-A3B-Thinking-2507, задачи многошагового поиска ответа и Deep Research. В приложении метод также проверен на Qwen3-1.7B и Llama-3.2-3B-Instruct. Сравнение включает ReAct без дополнительного обучения, GRPO, GSPO и TreePO при согласованном бюджете генерации.
Для команды, которая уже собирает только независимые траектории, TreeOPSD не станет заменой функции потерь в одну строку. Потребуются точки ветвления, повторный запуск среды из сохранённого состояния, журнал вероятностей токенов старой политики и сборка общего дерева. Если среда не умеет воспроизводить состояние процесса, инженерная стоимость может перевесить отказ от критика.
Если такая инфраструктура уже есть, работа предлагает более простой состав моделей: не нужны разметка промежуточных шагов, процессная модель награды и внешний сильный учитель. Практический смысл не только в прибавке точности, но и в разделении двух задач: дерево решает, какой ход заслуживает награды, а дистилляция определяет, до какого конечного распределения обновлять политику.
Источники
Иллюстрация: рисунок из статьи «Tree-Aware Posterior Distillation for Long-Horizon Agentic Reinforcement Learning», Heming Zou, Qi Wang, Yixiu Mao и др., CC BY 4.0
Похоже на вашу задачу?
Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.
