Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.
Политику обучения с подкреплением предложили проверять до каждого переноса из симулятора в рабочую среду так, чтобы единая гарантия действовала на всю цепочку обновлений. Rohan Tangri и Jan-Peter Calliess из University of Oxford назвали метод Dejavu: хотя препринт не прошёл рецензирование и числа получили сами авторы, гарантия охватывает неограниченную последовательность обновлений, а не один запуск. Это позволяет регулярно менять контроллер без пробного запуска кандидата в рабочей системе.
Кандидата обучают в симуляторе, а затем оценивают по траекториям уже развёрнутой безопасной политики. Пошаговое взвешивание действий пересчитывает эти данные так, будто их собрал кандидат, а последовательная верхняя граница оценивает его ожидаемые затраты. Если граница опускается ниже допустимого порога, политику развёртывают; до этого она не управляет реальной системой.
Обычная проверка ограничивает риск только для одного решения, поэтому при постоянном уровне ошибки суммарный риск растёт с каждым обновлением. Dejavu делит общий бюджет ошибки между тестами, переносит неиспользованную долю дальше и повторно использует данные после отказа. В экспериментах бюджет ложного развёртывания составлял 7,5%, ещё 2,5% приходилось на проверку исходной политики — итоговая вероятность когда-либо получить небезопасную развёрнутую политику ограничивалась 10%.
Метод проверили в HalfCheetahVelocity, PointGoal и IcyLake по 20 запусков с намеренно неточными симуляторами. Dejavu соблюдал предел затрат во всех средах и набирал больше вознаграждения, чем другие безопасные варианты сравнения; CPO достигал более высокого вознаграждения, но развёртывал политики с нарушением ограничения.
Гарантия требует безопасной исходной политики, ограниченных затрат, известного предела для весов и независимых траекторий при неизменной рабочей среде с перезапусками. Кандидата также нельзя выбирать по данным текущего теста. Ошибка симулятора влияет не на саму гарантию, а на объём рабочих данных: чем хуже совпадают среды, тем дольше кандидат приходится проверять.
Источники
Похоже на вашу задачу?
Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.
