Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.
Замороженную генеративную политику робота научились донастраивать одновременно до и после того, как она сформировала действие. CANDO обошёл лучший вариант с одним контуром на 6,6 пункта по скорости обучения и на 4,1 процентного пункта по итоговой успешности; препринт не рецензирован, а числа получили сами авторы. Для разработки робота отсюда следует условие: два контура полезны не сами по себе, а когда каждый уже способен учиться примерно одинаково хорошо.
Один контур меняет замысел, другой исправляет действие
Работу подготовили специалисты Simplexity Robotics, Peking University, Shanghai Jiao Tong University, Fudan University и Shanghai Innovation Institute. Они решают задачу, которая возникает после обучения робота на демонстрациях: политика уже умеет выполнять базовый навык, но ошибается в ситуациях, которых не было в исходных данных.
Полностью дообучать крупную генеративную политику дорого и нестабильно. Поэтому её оставляют замороженной, а обучение с подкреплением меняет небольшой дополнительный модуль. Такой модуль выдаёт остаточную поправку к поведению базовой политики.
Поправку можно внести в двух местах. До генерации действия модуль меняет случайный шум, из которого замороженная политика строит последовательность команд. После генерации другой модуль напрямую корректирует готовые команды роботу.
Первый вариант сохраняет структуру поведения, усвоенную из демонстраций, но его трудно ограничивать. Предыдущие методы разрешали менять шум лишь внутри заранее заданной геометрической области. Это стабилизировало обучение, однако расстояние между двумя точками в пространстве шума не показывает, насколько хорошими окажутся действия после декодирования.
CNDO убирает жёсткую область и учит направление изменения для каждого состояния и исходного образца шума. Ценность поправки оценивают уже по готовой последовательности действий, которую выдаёт замороженная политика на основе согласования потоков (Flow Matching).
Без жёсткой границы модуль может уйти в область, для которой оценщик ошибочно предсказывает высокую награду. Поэтому CNDO использует несколько оценщиков, берёт наиболее осторожную оценку и отдельно штрафует завышенную ценность действий, не похожих ни на демонстрации, ни на собранный роботом опыт.
Второй предохранитель — бинарный затвор. Он сравнивает базовое и изменённое поведение и пропускает поправку к шуму, только если более стабильный целевой оценщик видит достаточный выигрыш. CANDO добавляет после этого обычную поправку к действию и учит оба контура по ценности итоговой команды. Параметры базовой политики при этом не меняются, хотя градиент проходит через неё к модулю шума.
Сильный контур шума догнал поправки к действиям
Методы проверяли на пяти задачах манипуляции из двух наборов RoboMimic и ManiSkill. Робот получал состояние среды, а политика выдавала последовательности действий. Главная метрика NAUC — нормированная площадь под кривой обучения: она учитывает не только конечный результат, но и то, как быстро метод начинает решать задачу.
CNDO получил средний NAUC 69,5 против 68,5 у DICE, сильного метода, который корректирует готовые действия. Это означает, что изменение шума смогло сравняться по скорости обучения с прямыми поправками, хотя DICE чаще завершал обучение с более высокой успешностью.
Осторожный оценщик оказался не вспомогательной деталью, а условием работоспособности. Без него итоговая успешность CNDO на PegInsertionSide упала до 0,1%. Если всегда применять предложенное изменение шума и отключить затвор, метод также учился медленнее на большинстве задач.
Простое объединение более слабых методов шума DSRL или LP-DS с DICE не помогло: совместные варианты уступили одному DICE. Выигрыш появился после того, как CNDO приблизился к DICE как самостоятельный метод. На отдельных задачах CANDO всё равно лишь повторял результат более сильной ветви, а не улучшал его.
Авторы также испытали методы на реальном двухруком роботе в нескольких задачах с фиксированным расположением объектов. CANDO показал лучший средний результат, но CNDO отстал от него незначительно. Этот опыт подтверждает основной вывод симуляции: второй контур не гарантирует заметного выигрыша, если первый уже решает конкретную задачу лучше.
Когда CANDO меняет план разработки
Работа предлагает не замену базовой политике, а архитектуру адаптации поверх неё. Она подходит для системы, где уже есть генеративная политика из демонстраций, доступна обратная связь от среды и можно собирать новые взаимодействия, не меняя основной генератор.
Добавлять оба контура с начала проекта из результатов не следует. Сначала имеет смысл проверить отдельно изменение шума и прямую поправку к действию на своей задаче. Если один вариант явно слабее, совместное обучение может перенести его ошибки в итоговую политику и не дать выигрыша.
Практически интереснее устройство CNDO: оценивать изменения шума по декодированному поведению, а не по расстоянию в скрытом пространстве. Такой подход снимает искусственную геометрическую границу, но требует осторожного оценщика и отдельного решения о том, применять ли каждую поправку.
Границы результата задаёт эксперимент: политики работали с состоянием среды, базовая модель использовала согласование потоков, а реальные испытания проходили при фиксированных объектах. Для роботов с визуальными наблюдениями, меняющейся сценой или другой генеративной архитектурой вывод о преимуществе совместного обучения требует собственной проверки.
Источники
Иллюстрация: рисунок из статьи «CANDO: Conservative Action-Noise Directional Optimization for Residual Reinforcement Learning», Zeyu Gao, Chengkai Hou, Chaoyue Li и др., CC BY 4.0
Похоже на вашу задачу?
Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.
