Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.
Автономно выполняющие задачи роботы пока не доказали, что способны самостоятельно улучшать сам способ своего обучения. Обзор Hai Zhou и соавторов вводит для таких систем шкалу из шести уровней; работа пока не рецензирована, а приведённые в ней оценки и числа получены авторами. Для разработки это отделяет обычное дообучение робота от системы, которая со временем учится улучшать себя эффективнее.
Физическим рекурсивным самоулучшением авторы называют цикл, в котором робот сохраняет изменения и в своих рабочих компонентах, и в процедуре улучшения. Основанием служит опыт из реального мира или физического симулятора, а следующая версия процедуры должна давать больший прирост на нескольких задачах при одинаковом бюджете. Результат проверяет независимый оценщик, недоступный самой системе.
На уровне L0 робот не сохраняет самостоятельных изменений. L1 и L3 охватывают обновление рабочих компонентов при неизменной процедуре: сначала на одной задаче, затем на нескольких. L2 и L4 добавляют изменение самой процедуры улучшения. Высший уровень L5 требует контролируемого сравнения последовательных версий: каждая новая процедура должна улучшать робота эффективнее предыдущей при одинаковых исходных условиях.
В рассмотренной литературе систем уровня L5 не нашлось. Роботы уже могут обновлять модели, память, навыки, инструменты и логику восстановления после ошибок, но механизм, который предлагает и отбирает эти обновления, обычно остаётся заданным человеком. Даже более высокий итоговый результат ничего не доказывает: его могут объяснить накопленный опыт или более сильная исходная версия робота.
Работа представляет собой обзор методов адаптации программной обвязки и обучения моделей, а также механизмов безопасности, контроля и проверки. Авторы сопоставляли исследования по робототехнике и цифровому самоулучшению по общим критериям, а не проводили единый эксперимент на конкретном роботе. Поэтому шкала полезна прежде всего как требование к архитектуре и испытаниям: версии процедуры нужно запускать с одной отправной точки, на одинаковых задачах и с равными ресурсами.
Источники
Похоже на вашу задачу?
Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.
