Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.
Прошлые попытки робота можно превратить в полезную память, но простая подстановка похожего эпизода часто ухудшает результат. В препринте Zihe Huang и коллег, который не прошёл рецензирование и где все числа получили сами авторы, метод F³ поднял успешность Cosmos 3 Nano на MolmoSpaces с 55% до 67%. Для систем, которые накапливают опыт после запуска, одной базы траекторий и поиска по сходству недостаточно: модель нужно отдельно учить читать найденную запись и отказываться от неё, когда она мешает.
Успешная попытка ещё не становится полезным опытом
Модели мира и действий (world-action models) получают изображение, состояние робота и инструкцию, а затем предсказывают следующий фрагмент движений. После каждой попытки остаётся последовательность кадров, состояний и команд, которую можно использовать в похожей ситуации.
Самый прямой подход — найти похожую прошлую попытку и добавить её в контекст. В эксперименте с Cosmos 3 Nano такая подстановка сломала втрое больше уже решённых эпизодов, чем спасла неудачных. Сходство сцены не гарантирует, что операция нужна именно сейчас, а необработанные команды могут вмешаться в текущий план.
F³ определяет ценность записи через её влияние на новую попытку. Один и тот же захват полезен, пока предмет лежит рядом с открытым манипулятором, и вреден, если предмет уже поднят. Поэтому источник записи и итог старой попытки менее важны, чем её содержание, текущее состояние робота и способ передачи модели.
Метод проверяли на Cosmos 3 Nano в двух наборах задач по манипуляции: на 100 эпизодах MolmoSpaces и 120 задачах RoboLab. Для обучения чтению записей использовали 200 примеров, причём примеры из RoboLab в обучение не входили. Это показывает перенос между выбранными средами, но пока не подтверждает, что тот же результат сохранится с другой базовой моделью или на более широком классе робототехнических задач.
Form, Fit и Fusion отвечают за разные ошибки памяти
Form решает, что сохранить. F³ не складывает в библиотеку полные траектории. Он выделяет короткие операции, которые действительно продвинули задачу: например, захват, перенос или укладку предмета. К каждой операции добавляет условие применения и ожидаемый результат, а затем проверяет их по кадрам и состояниям робота.
Источник может быть неудачным. Если робот правильно взял предмет, но позже не смог положить его в контейнер, запись захвата всё равно попадёт в библиотеку. Такой подход отделяет полезный локальный навык от общего исхода попытки и отбрасывает движения, которые не приблизили робота к цели.
Fit решает, когда применить запись. Сначала система ищет похожие операции по изображению, состоянию и тексту. Затем проверяет, выполнены ли начальные условия и не достигнут ли уже ожидаемый результат. Последний фильтр оценивает, повысит ли запись вероятность завершить задачу из текущего состояния.
Эту оценку обучают на парных продолжениях одной ситуации: модель выполняет задачу с записью и без неё, после чего система связывает разницу в исходах с конкретной записью и состоянием. Во время работы параметры модели остаются фиксированными, а библиотека продолжает расти после новых попыток.
Fusion решает, куда передать опыт. Текст и изображения операции поступают в часть модели, которая выбирает следующий шаг. Записанные действия отдельно служат подсказкой для траектории движения. Модель заранее обучают работать с обоими каналами, поэтому чужая последовательность команд не смешивается напрямую с её собственным планом.
Разделение важно на практике. Запись про вилку может помочь взять нож, если обе операции требуют одинакового захвата. Модель использует не название предмета и не полную старую траекторию, а подходящую операцию с проверяемым условием применения.
Когда F³ меняет планы разработки
На RoboLab успешность выросла с 29,2% до 40,0% без обучения на задачах этого набора. На эпизодах, которые завершали оба варианта модели, F³ также сокращал путь примерно на 12%. Значит, память влияла не только на число решённых задач, но и на количество лишних действий.
Работа меняет архитектурный план, если продукт должен улучшаться за счёт накопленных попыток без постоянного дообучения основной модели. Библиотеку опыта стоит проектировать как набор проверенных операций, а не архив полных записей. Поиск по сходству остаётся первым фильтром, но после него нужен отдельный механизм, который учитывает текущее состояние и ожидаемую пользу.
Передача опыта тоже становится частью обучения. Если базовая модель никогда не видела прошлые действия в таком канале, добавлять их в контекст после запуска рискованно. F³ требует заранее подготовить кодировщик записей, каналы для смысловой подсказки и движений, а также режим без памяти, к которому система возвращается при сомнительной записи.
Для команды это не замена дообучению на новых навыках. Метод переиспользует операции, которые уже встречались в попытках, и особенно полезен там, где сложная задача складывается из знакомых захватов, переносов и укладок. Если продукт строится вокруг такого повторного использования, работу стоит учитывать при проектировании формата журналов, проверки эпизодов и контура выбора действий.
Источники
Иллюстрация: рисунок из статьи «F$^3$: What Makes Good Experience in World-Action Models?», Zihe Huang, Sirui Zhou, Haozhi Han и др., CC BY 4.0
Похоже на вашу задачу?
Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.



