Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.
Появился REVERSAL-BENCH — бенчмарк, который показывает, в какой момент непрерывно обучающийся робот навсегда застревает после необратимой ошибки. При максимальной необратимости три метода без внешних перезапусков завершали почти 100% прогонов в ловушке, а в геометрически таких же, но обратимых средах — 0%; работа Riyaaz Shaik и Chandru Venkataraman из Apple не рецензирована, и числа получили сами авторы. Для робототехнических продуктов это добавляет отдельный критерий выбора метода: умеет ли система избегать состояний, из которых физически нет возврата.
Обучение с подкреплением без внешних перезапусков (reset-free RL) предполагает, что агент сам возвращает среду в исходное состояние и продолжает учиться. REVERSAL-BENCH меняет степень необратимости по шкале от 0 до 1, не переставляя цели и препятствия. Эталонная проверка сохраняет состояние симулятора, перебирает способы возврата и затем восстанавливает исходную точку эксперимента.
Сравнение с обратимыми копиями задач отделило необратимость от обычной сложности управления. R3L, Leave-No-Trace и базовый агент без перезапусков постепенно попадали в состояния, где дальнейшее обучение прекращалось, тогда как эпизодические агенты начинали следующий прогон заново. Защитный модуль мог заранее распознать опасный переход, но предотвращал его только тогда, когда робот физически успевал отвернуть, остановить объект или выйти из ловушки.
Проверка охватила навигацию, локомоцию, настольные манипуляции, работу с сыпучим материалом и задачи с последовательностью действий в пяти физических симуляторах. В комплект входит набор из 44,9 млн переходов с метками возвратности. Эталонная проверка зависит от сохранения и восстановления состояния симулятора, поэтому бенчмарк измеряет алгоритмы до переноса на реальное оборудование, а не заменяет испытания на нём.
Источники
Иллюстрация: рисунок из статьи «REVERSAL-BENCH: A Reversibility Axis and Reset Oracle for Measuring the Reset-Free RL Cliff», Riyaaz Shaik, Chandru Venkataraman, CC BY 4.0
Похоже на вашу задачу?
Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.
