Журнал · Rit.work

F³ учит робота использовать прошлый опыт без повторения чужих ошибок

F³ превращает успешные и неудачные попытки робота в короткие записи, выбирает полезную для текущего состояния и отдельно передаёт модели цель операции и движения.

Rit.work
Студия разработки
19 ноября 2026 г.4 мин чтения

Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.

Прошлые попытки робота можно превратить в полезную память, но простая подстановка похожего эпизода часто ухудшает результат. В препринте Zihe Huang и коллег, который не прошёл рецензирование и где все числа получили сами авторы, метод F³ поднял успешность Cosmos 3 Nano на MolmoSpaces с 55% до 67%. Для систем, которые накапливают опыт после запуска, одной базы траекторий и поиска по сходству недостаточно: модель нужно отдельно учить читать найденную запись и отказываться от неё, когда она мешает.

Успешная попытка ещё не становится полезным опытом

Модели мира и действий (world-action models) получают изображение, состояние робота и инструкцию, а затем предсказывают следующий фрагмент движений. После каждой попытки остаётся последовательность кадров, состояний и команд, которую можно использовать в похожей ситуации.

Самый прямой подход — найти похожую прошлую попытку и добавить её в контекст. В эксперименте с Cosmos 3 Nano такая подстановка сломала втрое больше уже решённых эпизодов, чем спасла неудачных. Сходство сцены не гарантирует, что операция нужна именно сейчас, а необработанные команды могут вмешаться в текущий план.

F³ определяет ценность записи через её влияние на новую попытку. Один и тот же захват полезен, пока предмет лежит рядом с открытым манипулятором, и вреден, если предмет уже поднят. Поэтому источник записи и итог старой попытки менее важны, чем её содержание, текущее состояние робота и способ передачи модели.

Метод проверяли на Cosmos 3 Nano в двух наборах задач по манипуляции: на 100 эпизодах MolmoSpaces и 120 задачах RoboLab. Для обучения чтению записей использовали 200 примеров, причём примеры из RoboLab в обучение не входили. Это показывает перенос между выбранными средами, но пока не подтверждает, что тот же результат сохранится с другой базовой моделью или на более широком классе робототехнических задач.

Form, Fit и Fusion отвечают за разные ошибки памяти

Form решает, что сохранить. F³ не складывает в библиотеку полные траектории. Он выделяет короткие операции, которые действительно продвинули задачу: например, захват, перенос или укладку предмета. К каждой операции добавляет условие применения и ожидаемый результат, а затем проверяет их по кадрам и состояниям робота.

Источник может быть неудачным. Если робот правильно взял предмет, но позже не смог положить его в контейнер, запись захвата всё равно попадёт в библиотеку. Такой подход отделяет полезный локальный навык от общего исхода попытки и отбрасывает движения, которые не приблизили робота к цели.

Fit решает, когда применить запись. Сначала система ищет похожие операции по изображению, состоянию и тексту. Затем проверяет, выполнены ли начальные условия и не достигнут ли уже ожидаемый результат. Последний фильтр оценивает, повысит ли запись вероятность завершить задачу из текущего состояния.

Эту оценку обучают на парных продолжениях одной ситуации: модель выполняет задачу с записью и без неё, после чего система связывает разницу в исходах с конкретной записью и состоянием. Во время работы параметры модели остаются фиксированными, а библиотека продолжает расти после новых попыток.

Fusion решает, куда передать опыт. Текст и изображения операции поступают в часть модели, которая выбирает следующий шаг. Записанные действия отдельно служат подсказкой для траектории движения. Модель заранее обучают работать с обоими каналами, поэтому чужая последовательность команд не смешивается напрямую с её собственным планом.

Разделение важно на практике. Запись про вилку может помочь взять нож, если обе операции требуют одинакового захвата. Модель использует не название предмета и не полную старую траекторию, а подходящую операцию с проверяемым условием применения.

Когда F³ меняет планы разработки

На RoboLab успешность выросла с 29,2% до 40,0% без обучения на задачах этого набора. На эпизодах, которые завершали оба варианта модели, F³ также сокращал путь примерно на 12%. Значит, память влияла не только на число решённых задач, но и на количество лишних действий.

Работа меняет архитектурный план, если продукт должен улучшаться за счёт накопленных попыток без постоянного дообучения основной модели. Библиотеку опыта стоит проектировать как набор проверенных операций, а не архив полных записей. Поиск по сходству остаётся первым фильтром, но после него нужен отдельный механизм, который учитывает текущее состояние и ожидаемую пользу.

Передача опыта тоже становится частью обучения. Если базовая модель никогда не видела прошлые действия в таком канале, добавлять их в контекст после запуска рискованно. F³ требует заранее подготовить кодировщик записей, каналы для смысловой подсказки и движений, а также режим без памяти, к которому система возвращается при сомнительной записи.

Для команды это не замена дообучению на новых навыках. Метод переиспользует операции, которые уже встречались в попытках, и особенно полезен там, где сложная задача складывается из знакомых захватов, переносов и укладок. Если продукт строится вокруг такого повторного использования, работу стоит учитывать при проектировании формата журналов, проверки эпизодов и контура выбора действий.

Источники

Иллюстрация: рисунок из статьи «F$^3$: What Makes Good Experience in World-Action Models?», Zihe Huang, Sirui Zhou, Haozhi Han и др., CC BY 4.0

Пауза в чтении

Похоже на вашу задачу?

Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.

Rit.work

Студия разработки

Собираем мобильные приложения и помогаем командам получать от AI реальную пользу. Основатель и команда, работаем удалённо — с клиентами в России и за рубежом.

← Ко всем материалам
Понравилось? Обсудим вашу задачу