Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.
Записи приготовления еды от первого лица превратили в Ego2World — среду, где действия агента меняют мир, а результат можно проверить. Qinchuan Cheng и коллеги показали, что сохранение представлений агента о мире повышает долю допустимых действий на 4,15 процентного пункта и сокращает попытки запросить изображение на 90,27%; препринт не прошёл рецензирование, и числа получили сами авторы. Такой тест отделяет убедительно звучащий план от последовательности, которая действительно достигает цели.
Ego2World связывает размеченные шаги из HD-EPIC с объектами, правилами действий и условиями завершения задачи. Компилятор создаёт символический мир: знает, где лежат предметы, что находится внутри ёмкостей и какие изменения вызвали предыдущие операции. Предложение агента исполняется только при выполнении предусловий, а после принятого действия среда обновляет состояние.
Фактический мир и представление агента хранятся отдельно. Агент видит локальные сведения, результаты своих действий и при необходимости запрашивает кадр из исходного видео. Поэтому среда позволяет менять политику памяти, не меняя сами правила задачи: можно сбрасывать накопленные сведения после каждого этапа или переносить их дальше.
Принятое действие не означает выполненную задачу. Агент может успешно взять стакан, открыть шкаф и закончить последовательность, но так и не налить напиток. Ego2World отдельно фиксирует допустимость операций, завершение исполнения и достижение условий — например, наличие нужного содержимого в стакане.
Шесть планировщиков проверили на 105 задачах. Отдельный опыт с Qwen-Plus охватил 51 задачу: постоянная память помогла реже запрашивать визуальные сведения и чаще предлагать допустимые действия, но заметного прироста завершённых задач не дала. Проверка ограничена символическими сценариями приготовления еды и заранее зафиксированными наборами эпизодов; перенос в другой домен потребует новых объектов, правил и условий результата.
Источники
Иллюстрация: рисунок из статьи «Ego2World: Compiling Egocentric Cooking Videos into Executable Worlds for Belief-State Planning», Qinchuan Cheng, Zhantao Gong, Pengzhan Sun и др., CC BY 4.0
Похоже на вашу задачу?
Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.
