Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.
Безопасную политику научились строить по двум несовершенным наборам демонстраций: осторожному, но медленному и результативному, но рискованному. Команда KIST, KAIST, Hyundai Motor Company, Yonsei University и KIAS описала DexDICE в препринте, который не прошёл рецензирование и опирается на замеры самих авторов; среди методов, соблюдавших заданный предел безопасности, DexDICE набрал самую высокую суммарную награду во всех группах задач. Такой подход снижает требования к данным: один эксперт больше не должен одновременно показывать быстрые и безопасные действия.
DexDICE обучается без взаимодействия со средой, известных наград и заданных разработчиком штрафов за нарушения. Метод получает безопасные демонстрации, результативные демонстрации и дополнительный набор переходов без разметки. Он оценивает область безопасных пар состояния и действия, а затем ищет внутри неё поведение, наиболее близкое к результативному эксперту.
Для этого DexDICE корректирует стационарное распределение — то, как часто политика оказывается в разных состояниях и выбирает конкретные действия. В отличие от DemoDICE и RelaxDICE, метод не копирует частоты осторожного эксперта: он использует его данные только как границу допустимого поведения. Поэтому медленные или избыточно осторожные примеры не должны напрямую снижать результат.
Метод проверили на 38 задачах из переработанного DSRL в средах Safety Gymnasium, Bullet Safety Gym и MetaDrive. Для основного сравнения ему давали по 10 безопасных и результативных траекторий, а соперниками выступали клонирование поведения, другие методы семейства DICE и алгоритмы с восстановленными штрафами. На мобильном роботе, обученном по человеческому дистанционному управлению, DexDICE достиг цели во всех 10 запусках без нарушения безопасности.
Граница применимости проходит по качеству разделения данных. Безопасные и результативные демонстрации должны пересекаться по допустимым действиям, а безопасную область нужно отделить от опасной. Доказанная гарантия не заходить в опасную область относится к идеальной политике с жёстким ограничением; практическая политика лишь приближает её, поэтому сама формула не заменяет проверку робота перед эксплуатацией.
Источники
Похоже на вашу задачу?
Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.
