Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.
NVIDIA показала интерактивные виртуальные среды, которые меняются вслед за действиями робота или другого агента и сразу возвращают ему новые визуальные наблюдения. Общий каркас на базе Cosmos работает в двух режимах, хотя работа не рецензирована, а результаты получили сами авторы. Такая схема позволяет выбирать, будет ли модель самостоятельно предсказывать развитие сцены или только показывать состояние, рассчитанное внешним симулятором.
В первом режиме Cosmos принимает действия агента и параметры сцены, после чего предсказывает, что должно появиться в кадре. Во втором физическое состояние хранит и обновляет отдельный симулятор, а модель создаёт по нему визуальные наблюдения. Это разделение даёт команде два варианта архитектуры: поручить модели и развитие мира, и его отображение либо оставить расчёт физики специализированной системе.
Каркас применили к навигации камеры, управлению роботами, переносу управляемого движения между видео и многокамерной симуляции автономных автомобилей. Во всех случаях агент или пользователь воздействует на виртуальную среду и получает поток новых кадров, а не заранее подготовленную видеозапись. Один подход тем самым охватывает задачи с разными действиями, камерами и источниками состояния.
Проверка охватывает перечисленные демонстрации для обучения и оценки физического ИИ; поскольку полный текст работы недоступен и заметка основана на абстракте, восстановить методику и сравнить качество режимов нельзя. NVIDIA также открыла код и контрольные точки моделей, поэтому каркас можно рассматривать как основу для прототипа, а не только как описание исследовательской идеи.
Источники
Похоже на вашу задачу?
Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.
