Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.
Стратегию действий научились улучшать по готовому набору опыта без нестабильной оптимизации самой стратегии. Поскольку препринт UC Berkeley не рецензировали, числа получили сами авторы: Advantage Guidance обошёл предыдущие методы обучения с подкреплением на задачах с длинным горизонтом и редким вознаграждением. Для команд с фиксированными журналами действий это кандидат на замену самой сложной части контура обучения, но не оценщика качества действий.
Почему стратегия перестаёт замечать качество действий
В обучении с подкреплением на фиксированных данных стратегия не может собирать новый опыт и учится только на заранее записанных переходах между состояниями. Чтобы улучшить показанное в наборе поведение, система оценивает преимущество каждого действия: насколько оно лучше или хуже среднего продолжения из того же состояния.
Простой подход обучает стратегию по примерам и передаёт желаемое преимущество как дополнительный вход. При запуске у модели запрашивают действие с высоким значением. Такое обучение устойчивее прямой RL-оптимизации, но модель часто игнорирует дополнительный сигнал и воспроизводит среднее поведение из набора.
На задачах OGBench смена запрошенного преимущества влияла на действие менее чем вполовину так сильно, как случайный шум при генерации. Более крупная архитектура на основе трансформера проблему не решила. Даже когда условие работает, обычная модель ищет действие, которое совпадает с заданным значением, и отвергает как худшие, так и лучшие варианты.
Это различие существенно. RL-стратегия должна предпочитать всё более выгодные действия, а не останавливаться на заранее выбранной отметке. Слишком высокая отметка также может оказаться за пределами значений, которые модель видела при обучении.
Как Advantage Guidance отделяет обучение от улучшения
Advantage Guidance сохраняет обучение по примерам, но меняет устройство условной модели. Безусловная часть учится воспроизводить действия из набора, а условная добавляет к ней остаточную поправку, зависящую от преимущества. Так модели не приходится одновременно восстанавливать базовое поведение и выяснять, как его меняет оценка качества.
Для каждого состояния метод также создаёт воображаемые действия: берёт образцы из безусловной стратегии, оценивает их преимущества и добавляет в обучение условной части. Она видит более широкий диапазон действий, чем записан рядом с конкретным состоянием. Рост качества переставал быть заметным после семи таких образцов.
При запуске метод сравнивает два направления генерации — для более высокого и более низкого преимущества. Разница между ними сдвигает диффузионную стратегию к действиям с растущим преимуществом. Авторы называют это контрастным направлением.
Математически такой сдвиг приближает оптимальную стратегию с KL-регуляризацией. Она предпочитает выгодные действия, но штрафует слишком сильное отклонение от поведения в исходном наборе. Ограничение снижает риск выбрать действие, которому оценщик ошибочно назначил высокое качество за пределами знакомых данных.
Метод не проводит обратное распространение ошибки через всю последовательность шагов диффузионной генерации и не использует градиент оценщика во время выдачи действия. Однако сам оценщик остаётся необходим: без него нельзя присвоить преимущества записанным и воображаемым действиям.
Когда метод стоит включать в технический план
Метод проверяли на 26 задачах с длинными последовательностями действий и разреженным вознаграждением. В набор вошли 20 задач OGBench с разнородным игровым поведением и 6 задач OCBench с демонстрациями. Результаты усредняли по десяти случайным запускам и сравнивали с условными стратегиями, фильтрацией действий, обычными RL-алгоритмами и выбором лучшего из нескольких сгенерированных вариантов.
Advantage Guidance статистически значимо обошёл базовые методы в общей оценке. Контрастное направление особенно помогло на OCBench, где запрос слишком высокого преимущества чаще выходит за диапазон обучающих примеров. На OGBench обычное условное управление и стандартное направление диффузии работали близко к нему, если условная модель уже правильно реагировала на преимущество.
Выбор лучшего из множества действий при достаточном вычислительном бюджете немного обошёл Advantage Guidance на OGBench. На OCBench новый метод сохранил преимущество и при большом числе кандидатов. Значит, выигрыш зависит не только от качества стратегии, но и от типа исходных данных и доступного времени на генерацию.
Для существующего контура обучения на фиксированных журналах работу стоит рассматривать как замену этапа извлечения стратегии. Можно сохранить сбор данных и оценщик, а нестабильную оптимизацию стратегии заменить условным обучением по примерам. Это особенно уместно, если команда уже использует диффузионную модель или согласование потоков для генерации действий.
Полностью менять архитектуру пока рано. Проверка охватывает только обучение на фиксированных данных, а перенос в режим, где агент продолжает собирать опыт, оставлен для будущей работы. Качество также зависит от оценки преимущества, а чрезмерно сильное контрастное направление ухудшает результат, поэтому его вес всё равно приходится настраивать.
Источники
Похоже на вашу задачу?
Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.
