Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.
Агент научился возвращаться к прежним изображениям и действиям, не удерживая всю историю в контексте модели. В работе команды из Harvard, NYU, UIUC, NEU и MIT, которая не прошла рецензирование и приводит числа, полученные самими авторами, MFM достигла 16 из 24 этапов задачи Ender Dragon против 12,7 у лучшей альтернативы. Для систем, которые работают дольше одного окна контекста, внешняя память становится отдельной частью архитектуры, а не подборкой текстовых резюме.
Разные виды памяти опираются на одни эпизоды
MFM делит память по назначению. Эпизодическая часть хранит наблюдения, состояния, действия и результаты. Пространственная связывает опыт с координатами и ориентирами, семантическая накапливает факты, процедурная — повторно используемые способы действий, а рабочая удерживает текущий план и ближайшие цели.
Физически система проще этой классификации. Среда записывает эпизоды и добавляет к ним поисковый индекс, а сам агент ведёт заметки, инструкции, процедуры и рабочий план. Всё лежит в общей файловой системе: исходные кадры и состояния остаются неизменными, а выводы можно дополнять или исправлять.
Индекс содержит время, координаты, тип действия, краткое описание результата и ссылки на исходные материалы. Он не пытается пересказать изображение целиком. Его задача — привести агента к подходящему эпизоду, после чего модель может открыть кадр, состояние среды или запись выполненных действий.
Так MFM разводит свидетельство и интерпретацию. Агент может записать, что рядом с пещерой лежит ресурс, превратить удачный маршрут в процедуру и сослаться на эпизод, из которого это следует. Если новый опыт противоречит заметке, система меняет вывод, но не переписывает исходную историю.
Поиск идёт по тексту, проверка — по исходному кадру
При обращении к памяти агент сначала формирует запрос по известному контексту: месту, времени, объекту или неудачному действию. Затем он выбирает найденные эпизоды и загружает только нужные свидетельства. Это экономит место в активном контексте и позволяет задавать старому наблюдению вопросы, которых не было в момент записи.
Один из примеров показывает пользу такого разделения без абстрактных метрик. Агент заметил на склоне светлое животное и записал неопределённое описание. Увеличение сохранённого кадра показало волка, поэтому агент отказался от ошибочного действия; позже тот же приём помог отличить овцу от свиньи и найти еду.
Работу проверяли на одиночных агентах в Minecraft и графическом редакторе схем KiCad, используя три базовые модели. Запуски Minecraft охватывали до 36 000 шагов, а сравнение включало агента без постоянной памяти, PRO-LONG с текстовым журналом и VISTA с доступом к сохранённым кадрам.
В Mine Diamond from Scratch MFM завершила задачу во всех запусках. На CUABench-KiCad средняя награда, то есть сводная оценка правильности выполненного задания, составила 0,440 против 0,400 у лучшей альтернативы и 0,267 без постоянной памяти. Сохранённые процедуры также ускоряли новые задачи: агент повторно использовал способы добычи, перемещения и работы с интерфейсом.
Планы меняются для агентов с длинной визуальной историей
Работа предлагает практический шаблон для систем, которые переживают сброс контекста и должны возвращаться к визуальным деталям. Вместо единой базы кратких пересказов команда может хранить неизменяемые эпизоды, компактный индекс и редактируемые знания в разных слоях. Такой подход особенно уместен, когда важность детали становится понятна лишь спустя много действий.
Полезно и разделение ответственности. Среда, а не модель, записывает факты взаимодействия и поддерживает индекс. Агент управляет выводами, планами и процедурами, но ссылается на свидетельства. Это снижает риск, что очередное обобщение уничтожит кадр или состояние, нужные для последующей проверки.
Для коротких задач, которые целиком помещаются в контекст, работа не показывает отдельной выгоды такой сложности. Эксперименты охватывают Minecraft и KiCad, поэтому результаты подтверждают архитектуру для долгих визуальных взаимодействий, но не для любых автономных агентов. Авторы также проверяли только одиночные системы: перенос подхода на общую память нескольких агентов остаётся следующим шагом.
Главное изменение для продуктового плана — память стоит проектировать вместе со средой исполнения. Нужны правила разбиения истории на эпизоды, устойчивые ссылки на изображения и состояния, поиск по пространству и действиям, а также механизм, который превращает опыт в исправляемые инструкции. Простого журнала диалога для этого недостаточно.
Источники
Иллюстрация: рисунок из статьи «Multimodal Filesystem Memory For Long-Horizon Embodied Agents», Chloe Su, Jiahan Li, Zhenting Qi и др., CC BY 4.0
Похоже на вашу задачу?
Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.
