Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.
Новый алгоритм научился улучшать стратегию действий по готовому набору траекторий так, чтобы она выбирала знакомые данным действия, но не схлопывалась в один хрупкий вариант. Хотя препринт MIT и MIT Lincoln Laboratory ещё не рецензировали и числа получили сами авторы, LASER показал лучший общий результат среди проверенных методов на 40 задачах OGBench. Такой подход позволяет обучать робототехнические системы без новых взаимодействий со средой.
При обучении с подкреплением на готовых данных модель не может проверить новое действие в среде. Оценщик иногда присваивает высокую ценность действиям, которых почти не было в наборе, и политика начинает использовать эту ошибку. LASER сначала обучает декодер: тот переводит точки из скрытого пространства в действия, похожие на действия из исходных траекторий.
Одного ограничения по данным недостаточно. Политика может остаться внутри допустимой области, но сосредоточиться возле ложного максимума оценщика. LASER поощряет энтропию — разнообразие выбираемых действий — и тем самым мешает политике схлопнуться, сглаживает обучение оценщика и помогает обходить локальные максимумы.
Для обучения потоковой политики авторы применили сопряжённое согласование. Оно приближает нужное распределение без обратного распространения ошибки через всю последовательность шагов потока. В эксперименте такой вариант обрабатывал 123 итерации в секунду против 34 у прямого обучения через последовательность и давал более стабильный результат.
Метод проверяли на навигации antmaze-large и задачах манипуляции cube-single, cube-double и scene с наборами разного качества. LASER обошёл проверенные альтернативы, включая DSRL, ReFORM и IFQL, сохраняя одни специальные настройки метода для всех задач. При этом результат зависит от декодера: если тот создаёт действия вне распределения данных, LASER наследует ошибку, а само ограничение не делает поведение безопасным, если исходные траектории содержат опасные действия.
Источники
Похоже на вашу задачу?
Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.
