Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.
Визуально похожие демонстрации не обязательно помогают роботизированной политике выполнить задачу: полезнее выбирать примеры, которые приводили к успеху в полном прогоне. В работе University of Texas at Austin, Georgia Institute of Technology и General Intelligent Machines такой отбор обошёл визуальное сходство на 10,8 процентного пункта; хотя препринт не рецензирован и все числа получили сами авторы, результат ставит под сомнение стандартную схему поиска контекста. Для систем, которые управляют роботом по примерам без дополнительного обучения модели, одного поиска ближайших изображений может быть недостаточно.
Как измеряли полезность демонстрации
В эксперименте использовали замороженную RICL на базе π0-FAST — визуально-языковую модель управления, которая выбирает действия по изображению, команде и примерам в контексте. Модель работала в среде LIBERO, а DINOv2 превращала кадры демонстраций и текущее наблюдение в векторные представления для поиска похожих изображений.
Исследователи не меняли веса модели и внутренний поиск кадров. Они добавили возможность перед каждым эпизодом подменять весь доступный набор демонстраций. Это позволило отделить два решения: какие демонстрации допустить в контекст и какие кадры из уже выбранного набора извлекать на каждом шаге.
Полезность оценивали по результату замкнутого контура. В таком прогоне действия модели меняют состояние среды, следующее наблюдение и дальнейшие действия, поэтому качество примера определяет не сходство отдельных кадров, а успех всего эпизода. Для каждой задачи проверяли 60 случайных наборов по пять демонстраций, а затем гребневая регрессия оценивала вклад каждого примера в итоговую долю успехов.
Ранжирование строили на одних начальных состояниях, а сравнивали методы на других. Проверка охватила 19 задач, включая задачи, на которых модель прежде не подготавливали. Масштаб вывода при этом узкий: использовали одну контрольную точку сторонней реализации RICL в симуляторе LIBERO, а не несколько архитектур или физического робота.
Похожесть узнаёт сцену, но не выбирает удачный пример
Набор с самой высокой измеренной полезностью завершил успешно 66,4% эпизодов. Набор из наиболее похожих демонстраций достиг 55,7%, а случайный — 55,5%. Разница между полезностью и сходством статистически значима, тогда как сходство не дало преимущества перед случайным выбором.
Причина видна при сравнении задач. Если сцены различались, DINOv2 хорошо определяла, к какой задаче относится демонстрация. Когда две команды использовали одну сцену, но требовали разных целей, визуальный поиск переставал их надёжно разделять. Внутри одной задачи связь между средним сходством набора и его успехом составила лишь 0,10 по ранговой корреляции.
Полезность также оказалась не просто способом сократить контекст. Выбранная пятёрка опередила штатный полный набор на 7,0 пункта. Простое удаление худших демонстраций заметного выигрыша не дало: результат обеспечивал именно выбор лучших примеров, а не очистка очевидно слабых.
Когда результат меняет план разработки
Для поисковой VLA-системы работу стоит учитывать при проектировании слоя, который собирает контекст. Визуальное сходство можно оставить первым фильтром: оно помогает найти подходящую сцену или объект. Финальное ранжирование внутри такой группы лучше связывать с фактическим исходом эпизода — выполнена ли команда после всей последовательности действий.
Это требует симулятора, стенда или журнала реальных прогонов. Полная оценка всех демонстраций дорога, но сложная модель вклада не обязательна на первом этапе. Прямой поиск, который проверял несколько случайных наборов и сохранял лучший, вернул около двух третей преимущества уже при бюджете в 100 прогонов на задачу.
Практический контур можно строить в два этапа. Сначала поиск по DINOv2 или другому зрительному кодировщику отсекает примеры из чужих сцен. Затем результаты прогонов обновляют рейтинг демонстраций, а система собирает из него небольшой рабочий набор. Такой рейтинг нужно проверять на начальных состояниях, которые не участвовали в оценке, иначе он запомнит конкретные эпизоды вместо полезных свойств примера.
Работа не доказывает, что визуальное сходство бесполезно для любых моделей с извлечением контекста. Она показывает более конкретную границу: когда пример управляет последовательностью действий, его ценность нельзя надёжно вывести только из близости изображений. Команде с замороженной VLA и возможностью запускать эпизоды имеет смысл заложить сбор исходов и переоценку контекста; без такого сигнала визуальный поиск остаётся фильтром, но не подтверждённым оптимизатором успеха.
Источники
Похоже на вашу задачу?
Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.



