Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.
Цель робота удалось сменить, не меняя текст инструкции и не переобучая модель. В препринте Rocio Perales Valdes и Animesh Garg, хотя работа не прошла рецензирование и все числа получили сами авторы, лучший вариант перенаправил π0.5 на другую задачу в 20 из 20 прогонов, тогда как случайная правка не сработала. Для разработчиков робототехнических систем это очерчивает слой, после которого вмешательства в текстовую часть уже недостаточно.
Авторы заменяли внутренние признаки слова, задающего цель: например, признаки «stove» меняли на признаки «wooden cabinet», но сама инструкция для модели оставалась прежней. Признаки выделял разреженный автокодировщик (SAE) — сеть, которая сжимает активации модели в небольшой набор компонентов и затем восстанавливает их. Правку повторяли при каждом обращении политики к модели.
Результат зависел от архитектуры автокодировщика и способа выбрать признаки. BatchTopK позволял перенаправить робота без заметной потери успешности, а выбранные по словам признаки Matryoshka часто работали не лучше случайных. Отдельные признаки почти не влияли на поведение: цель меняла комбинация компонентов.
SAE оказался не обязательным. Фиксированный вектор разницы между внутренними состояниями двух целей при удвоенной величине перенаправлял робота в 8–10 прогонах из 10 и не требовал обрабатывать альтернативную инструкцию во время выполнения. Простая подмена активаций тоже работала, поэтому SAE здесь полезен прежде всего как способ выделить связанные со словом компоненты, а не как единственный механизм управления.
Правка только целевого слова сохраняла эффект до слоя 6 для местоположения и до слоя 2 для типа объекта. Если вместе с инструкцией подменяли признаки изображения с камер, цель удавалось менять до слоя 13. Значит, по мере обработки модель распределяет сведения о цели между текстом и изображением, и поздняя защита только текстовых активаций не перекрывает весь путь вмешательства.
Проверка охватывала одну дообученную модель π0.5 в симуляции, в выбранных сценах LIBERO-Spatial и LIBERO-Object, где робот не мог регулярно решить задачу без инструкции. Результат показывает существование такого механизма, но пока не описывает поведение других моделей и физических роботов.
Источники
Похоже на вашу задачу?
Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.
