Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.
Робототехническую VLA-модель научили возвращаться к промежуточной цели, когда движение отклонилось от показанного примера. OGPO повысил общую успешность при помехах на 5,1 процентного пункта, хотя работа не рецензирована и числа получили сами авторы. Команды могут сначала извлечь корректирующее поведение из накопленных записей, не запуская дополнительное обучение робота в среде.
Почему копирования демонстраций недостаточно
VLA-модель связывает изображение, текстовую команду и действие робота. Обычно её дообучают с учителем: на каждом шаге модель видит состояние из успешной демонстрации и учится повторять действие оператора.
Такой подход хорошо воспроизводит знакомую траекторию, но не объясняет, куда двигаться после ошибки. Если захват раскрылся раньше времени или манипулятор прошёл мимо ящика, модель оказывается в состоянии, которого не было в демонстрации. Следующие ошибки накапливаются, особенно в задачах с длинной последовательностью действий.
OGPO использует те же сохранённые траектории иначе. Метод делит их на этапы по изменению состояния захвата: например, захватить предмет, открыть ящик, положить предмет внутрь. Конец каждого успешно пройденного этапа становится ключевым состоянием, к которому модель должна научиться приходить.
Успешные траектории размечаются по факту завершения этапа. В неудачных записях отдельные отрезки проверяет Qwen2.5-VL-72B-Instruct: модель определяет, успел ли робот выполнить локальную цель до общего сбоя. Так в обучение попадают не только образцовые действия, но и частично полезный прогресс из неудачных попыток.
Затем каждому шагу назначают награду за приближение к ключевому состоянию, штраф за лишние действия и отдельный результат за завершённый или проваленный этап. Функция ценности оценивает, какие состояния ведут к прогрессу, а действия с более высоким преимуществом получают больший вес при обучении.
При этом OGPO сохраняет обучение с учителем на успешных демонстрациях. Оно удерживает модель рядом с физически выполнимыми действиями, а офлайн-обучение с подкреплением позволяет выбрать другой путь, если точное повторение демонстрации уже невозможно. Локальные цели нужны только во время обучения: менять рабочий интерфейс VLA-модели не требуется.
Сильнее всего выросли результаты на сложных задачах и сбоях захвата
Метод проверяли с основами π0 и π0.5 на LIBERO и MetaWorld. Устойчивость отдельно оценивали в LIBERO-Plus, где меняются положение камеры, начальное состояние робота, визуальный шум и расположение объектов, а также в новом LIBERO-ReAct с помехами непосредственно во время выполнения.
На MetaWorld-MT50 средняя успешность π0 после OGPO выросла на 30,2 пункта относительно обычного обучения с учителем. Для π0.5 прибавка составила 23,4 пункта. Самый большой выигрыш пришёлся на сложные и очень сложные группы задач, где отклонение на раннем этапе чаще мешает завершить всю последовательность.
LIBERO-ReAct вмешивается после того, как модель выбрала действие: добавляет шум, меняет команду захвата на противоположную или смещает движение манипулятора. При принудительном переключении захвата OGPO повысил успешность π0.5 на 10,9 пункта. Это соответствует назначению метода: модель не просто пережидает шум, а продолжает движение к следующему осмысленному состоянию.
Результат не одинаков для всех сдвигов. При изменении положения камеры вариант с OGPO уступил исходному π0.5 на 1,3 пункта. Метод лучше исправляет выполнимые отклонения внутри знакомой задачи, чем решает любую проблему восприятия.
Основное сравнение проведено с обучением с учителем на тех же основах. В работу также включены другие VLA-модели и результаты онлайнового обучения с подкреплением, но центральный вывод уже: фиксированный набор траекторий можно использовать не только как последовательность правильных ответов, но и как карту достижимых этапов.
Когда OGPO меняет план постобучения
Работа меняет порядок экспериментов для команд, у которых уже есть демонстрации, включая неудачные или частично завершённые попытки. Перед сбором новых прогонов в симуляторе или на оборудовании имеет смысл проверить, можно ли выделить в записях промежуточные цели и обучить восстановление полностью офлайн.
Встраивание не требует передавать локальную цель модели при выполнении команды. Нужны разметка этапов, дополнительная функция ценности и общий цикл обучения, который сочетает взвешивание действий с обычным обучением на успешных примерах. Это позволяет сохранить текущий формат изображений, команд и действий.
Подход особенно соответствует задачам, где прогресс выражается физическим событием: захватом, отпусканием или перекладыванием объекта. В текущей реализации именно переключение захвата задаёт границы этапов. Для навигации, непрерывного контакта или процессов без таких событий потребуется другой способ находить ключевые состояния.
Качество восстановления также ограничивает исходный набор данных. OGPO переоценивает действия, которые уже встречались в сохранённых траекториях, но не создаёт опыт для сильно отличающихся состояний. Поэтому метод может сократить потребность в дополнительных взаимодействиях на этапе постобучения, но результаты пока обосновывают это для проверенных задач манипуляции и выбранных типов помех.
Источники
Похоже на вашу задачу?
Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.
