Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.
Многошагового LLM-агента научили различать полезные и вредные промежуточные решения, даже когда проверка оценивает только конечный ответ. В препринте команды Texas A&M, который не рецензирован и где все числа получили сами авторы, TreeHCA показал 44,9% точных совпадений против 44,3% у ближайшего цепочечного метода. Для продуктовой команды это не новая архитектура агента, а способ обучать его на развилках, где один неверный поиск или преждевременный ответ портит всю траекторию.
Одна итоговая награда скрывает ошибочный шаг
LLM-агент чередует рассуждения, вызовы инструментов и обработку результатов. Проверяющая программа видит только финальный ответ и возвращает успех или неудачу. Распространённый метод GRPO затем назначает одинаковую оценку всем токенам траектории.
Такой сигнал смешивает вклад разных решений. Успешная траектория может закрепить бесполезный запрос, если следующий шаг случайно исправил ситуацию. Неудачная траектория, наоборот, наказывает полезный поиск вместе с последующим неверным выводом.
Методы, которые распределяют награду между шагами, тоже зависят от собранных примеров. Если агент прошёл историю одним путём, нельзя надёжно понять, помогло ли конкретное решение: для сравнения нужны другие продолжения из той же точки.
TreeHCA связывает две задачи, которые обычно решают отдельно. Сначала метод ищет развилки, где стоит собрать альтернативы, а затем учитывает способ их отбора, когда переносит итоговую награду назад по дереву.
Как TreeHCA выбирает развилки и распределяет награду
Во время обучения модель получает вопрос и эталонный ответ. После каждого завершённого хода система измеряет, как изменилась средняя вероятность токенов эталона. Если новый ход снизил эту вероятность, TreeHCA возвращается к истории перед ним и пробует другие решения.
Агент создаёт несколько кандидатов, выполняет их действия и учитывает полученные от инструментов наблюдения. Кандидаты, после которых эталон становится вероятнее, чаще получают право продолжить траекторию до конца. Исходная ветвь при этом остаётся в дереве, поэтому обучение сравнивает решения с общим началом, а не несвязанные цепочки.
Такой отбор создаёт смещение: удачно выглядящие продолжения встречаются чаще, чем при обычной политике агента. Если просто усреднить их результаты, модель переоценит выбранные ветви. TreeHCA компенсирует это обратным весом: чем сильнее оценка повлияла на отбор продолжения, тем осторожнее его итоговая награда влияет на родительский шаг.
Затем метод переносит нормализованные конечные оценки от листьев к корню дерева. Каждый сгенерированный моделью токен получает оценку своего хода; ответы инструментов и исходный запрос в функцию потерь не входят. Эталон нужен для сбора обучающих ветвей, но при проверке агент работает с обычной политикой и поисковым инструментом.
Именно сочетание отбора и обратного взвешивания оказалось существенным. На HotpotQA полная схема получила 51,76% точных совпадений, а тот же отбор развилок с правилом распределения награды из AT2PO — 49,60%. Замена одного компонента не сохраняла весь выигрыш.
Метод меняет обучение, но не устройство агента
Работу проверяли на семи наборах вопросов с Qwen2.5-3B-Instruct, Qwen3-4B и Qwen3-8B. Задачи включали вопросы с одним и несколькими переходами поиска, а основная метрика считала долю ответов, которые полностью совпали с эталоном. TreeHCA сравнивали с цепочечными и древовидными методами, включая HCAPO, TreeGRPO, AEPO и AT2PO.
На Qwen3-8B TreeHCA опередил сильнейший опубликованный результат AEPO на 1,63 процентного пункта в многопереходных задачах и на 0,81 пункта в однопереходных. Это небольшой выигрыш, поэтому работа скорее уточняет рецепт обучения, чем меняет выбор базовой модели.
Цена улучшения видна в обучающем контуре. При общем бюджете расширения дерева TreeHCA потребовал на 9–11% больше времени, чем AT2PO. Дополнительные расходы появляются из-за оценки промежуточных историй, выполнения альтернативных действий и завершения выбранных ветвей; во время обычного запуска отдельное дерево не требуется.
Метод имеет практический смысл, если у команды уже есть проверяемый конечный результат, эталонные ответы для обучения и агент с несколькими вызовами инструментов. Тогда TreeHCA можно рассматривать как замену равномерной награде за всю траекторию: он направляет вычисления в подозрительные развилки и не смешивает полезные шаги с последующей ошибкой.
Для агентов без однозначной проверки результата работа не даёт готового решения: её схема опирается на двоичную конечную награду и вероятность эталонного ответа. Планировать перенос метода стоит прежде всего для поиска и ответов на вопросы, а расширять на бизнес-процессы — после проверки того, можно ли там формализовать успех тем же способом.
Источники
Похоже на вашу задачу?
Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.
