Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.
Замороженного RL-агента можно улучшить при запуске, если тратить дополнительные вычисления только в состояниях, где возможные продолжения заметно различаются. В препринте Technion и Nvidia Research, который не прошёл рецензирование и содержит замеры самих авторов, такой отбор сохранил 69% прибавки к награде, использовав 48% вызовов ветвления. Для архитектуры агента это означает отдельный слой управления вычислительным бюджетом поверх уже обученной политики.
Разброс продолжений показывает, когда есть из чего выбирать
Метод рассчитан на среду, состояние которой можно скопировать и затем восстановить. В выбранной точке система запускает несколько продолжений с неизменной политикой, оценивает их и возобновляет работу из конечного состояния лучшей ветви. Она фиксирует всю выбранную последовательность, а не только её первое действие.
Полезность ветвления определяет разброс кандидатов: разница между наградой лучшего продолжения и средней наградой всех продолжений. Если ветви заканчиваются одинаково, даже точный оценщик не даст выигрыша. Если одна ветвь заметно лучше остальных, появляется возможность повысить итоговую награду, хотя локальный разброс ещё не гарантирует улучшения всего эпизода.
В основном режиме система создавала семь продолжений на двадцать шагов. Их выбирали по оценке встроенной функции ценности, с помощью GPT-4o и Qwen либо по простому правилу, которое брало ветвь с наибольшей наградой внутри окна.
Эксперименты охватили четыре цифровые среды и две замороженные политики. Главным полигоном стала Craftax-Medium; Asterix-MinAtar и две среды XLand-MiniGrid проверяли, сохраняется ли объяснение при другой плотности наград, длине эпизода и случайности переходов. Метод предполагает копируемое состояние, поэтому результаты относятся к играм, эмуляторам и изолированным программным средам, а не к физическим роботам.
Основной выигрыш дала удачная случайность, а не новое действие
В Craftax-Medium ветвление повысило награду эпизода на 12,8% в основном режиме. Чем сильнее различались продолжения, тем больше был выигрыш после выбора ветви. При малом разбросе ветвление не помогало.
Этот результат не означает, что агент научился принимать более удачные решения. У сильной политики кандидаты начинались с одного и того же действия в 84,9% точек ветвления. Система в основном выбирала благоприятную реализацию уже принятого решения: например, удачный случайный переход среды или более выгодное развитие следующих шагов.
Выбор оценщика влиял меньше. Встроенная функция ценности, GPT-4o и правило с максимальной наградой внутри продолжения показали итоговые результаты в пределах погрешности. Для рассматриваемого бюджета узким местом оказался не сложный оценщик, а наличие действительно разных исходов.
При этом искусственно увеличивать разброс недостаточно. Разные способы генерации подняли его с 0,38 до 0,86, но прирост награды за ним не последовал, и ни один из них не обошёл обычные случайные продолжения политики. Поэтому разброс полезен как сигнал для выбора состояния внутри одного способа генерации, но не как самостоятельная цель оптимизации.
Планы меняет слой запуска, а не обучение политики
Работа предлагает практичный путь для систем, где политику нельзя переобучить, но симулятор позволяет сохранять состояние. Сначала можно добавить периодическое ветвление, записывать награды кандидатов и измерять разброс. Затем отдельная модель по текущему наблюдению предсказывает, стоит ли запускать кандидатов именно здесь.
Такой предиктор обучается на ранее собранных запусках: для каждого состояния уже известен фактический разброс продолжений. При эксплуатации он принимает решение до генерации ветвей, поэтому пропускает точки, где кандидаты, скорее всего, окажутся одинаковыми. Это превращает ветвление из постоянной надбавки к стоимости в управляемый вычислительный бюджет.
Начинать со сложной LLM-модели для оценки ветвей выводы не требуют. Если у агента сохранилась функция ценности, она подходит как базовый оценщик. Если её нет, сначала стоит проверить правило по награде внутри окна и лишь затем сравнивать его с внешней моделью.
В метриках следует разделять выбор нового действия и выбор удачной реализации того же действия. Иначе дополнительное вычисление может повысить награду контрольного запуска, хотя сама политика не стала лучше. Вместе с итоговой наградой полезно фиксировать число вызовов ветвления и долю случаев, где кандидаты начинались с разных действий.
Архитектурный вывод ограничен средами, где выбранную случайную траекторию можно сохранить и продолжить. В таких системах ветвление стоит проектировать как оркестратор над замороженным агентом: он решает, когда копировать состояние, сколько продолжений запускать и какую ветвь фиксировать. Там, где состояние нельзя клонировать, сам механизм неприменим независимо от качества оценщика.
Источники
Похоже на вашу задачу?
Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.
