Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.
Синтетические данные для офлайн-обучения с подкреплением удалось генерировать быстрее без потери качества обученной стратегии. В работе West Virginia University и Jadavpur University FaST выдавал переходы в 93 раза быстрее SynthER, но препринт не рецензирован, а все числа получили сами авторы. Такой генератор можно чаще запускать заново и направлять на действия, которые выглядят лучше записанного поведения.
При офлайн-обучении агент учится только на готовом журнале взаимодействий и не может запросить среду ещё раз. Каждая запись, или переход, содержит состояние среды, действие агента, следующее состояние, награду и признак завершения эпизода.
Почему переход разбили на отдельные модели
SynthER, с которым сравнивали FaST, обучает одну диффузионную модель на всём переходе. Она сохраняет связи между компонентами, но не позволяет напрямую заменить действие для уже выбранного состояния: приходится условно восстанавливать часть записи либо генерировать большой пул и отбрасывать неподходящие варианты.
FaST раскладывает распределение переходов в цепочку. Сначала модель создаёт состояние, затем подбирает для него действие, предсказывает следующее состояние, рассчитывает награду и определяет, закончился ли эпизод. Каждый этап обучается отдельно на одном исходном наборе.
Архитектуру подбирают под свойства конкретной величины. Модель состояний сохраняет сложные зависимости между координатами, но не выпускает значения за наблюдавшийся диапазон. Модель действий учитывает несколько допустимых вариантов и удерживает команды привода в разрешённых границах. Динамика предсказывает не всё следующее состояние, а изменение относительно текущего, поскольку в задачах передвижения оно обычно невелико.
Награду рассчитывает отдельная нейросеть, а завершение эпизода определяет ансамбль деревьев решений. Последний выбор связан с тем, что в D4RL завершения редки и часто зависят от пороговых значений координат, например высоты корпуса.
Такая схема не устраняет ошибки генерации. Каждый следующий этап получает синтетические результаты предыдущего, хотя обучался на реальных записях. FaST ограничивает расхождение преобразованиями с заданными границами и предсказанием изменения состояния, но сам принцип последовательной генерации остаётся источником риска.
Выбор действия улучшил данные, пока оценка оставалась надёжной
Главное следствие разбиения — действие можно генерировать повторно, не меняя состояние и остальные модели. FaST создаёт несколько кандидатов и оставляет тот, у которого выше преимущество: оценка того, насколько действие лучше среднего поведения из исходного журнала. Эту оценку строит IQL на тех же данных.
Метод проверяли на двенадцати наборах D4RL с задачами передвижения и навигации. На синтетических переходах обучали TD3+BC и IQL, а результат сравнивали с обучением на реальных данных и переходах SynthER. Обычный FaST без отбора действий в среднем сохранил качество диффузионного варианта.
При выборе лучшего из десяти действий FaST обошёл обучение на реальных переходах в 11 из 12 сочетаний наборов среднего качества и журналов с повторным воспроизведением. Средний прирост составил 8,9 балла D4RL, максимальный — 28,4 балла. В отличие от фильтрации большого пула, этот способ сохраняет созданные состояния и заменяет только действия.
На смесях среднего и экспертного поведения отбор работал нестабильно. Фильтрация SynthER и выбор действий FaST ухудшались схожим образом, хотя вмешивались в данные по-разному. Значит, слабым местом стала общая оценка преимущества: на смеси стратегий она могла предпочитать действие из менее качественной части журнала.
Когда FaST меняет планы разработки
Работа меняет выбор генератора, если проекту нужны крупные синтетические наборы или частое обновление данных. FaST создаёт готовый набор один раз, после чего его можно использовать с разными алгоритмами офлайн-обучения. Это отличает подход от моделей среды, которые строят новые траектории под текущую стратегию агента во время обучения.
Разделение также упрощает локальные изменения. Если меняется распределение действий, можно переобучить соответствующий этап, не затрагивая модели динамики, награды и завершения. Однако полный генератор обучался примерно втрое дольше SynthER, поэтому для небольшого одноразового набора преимущество по времени будет менее заметно.
Отбор действий стоит включать только после проверки качества функции преимущества на данных конкретного проекта. Для журнала, где смешаны операторы или стратегии разного уровня, обычная генерация FaST выглядит безопаснее: она сохраняет распределение записанного поведения и всё равно даёт выигрыш в скорости.
Границы эксперимента не позволяют переносить результат на любые данные. FaST проверяли на низкоразмерных состояниях D4RL; он создаёт независимые переходы и не поддерживает согласованность длинной траектории. Для изображений, показаний сложных сенсоров и задач, где важна последовательность многих шагов, модели состояний и способ генерации придётся менять.
Источники
Похоже на вашу задачу?
Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.
