Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.
Автоматический аудит 3D-миров удалось разделить так, чтобы дорогая модель не управляла персонажем и не проверяла каждое действие. В препринте UC Santa Barbara, MIT CSAIL и MIT-IBM Watson AI Lab, который не рецензирован и содержит замеры самих авторов, система выполнила 55,9% заданий и сравнялась по точности с Gemini 4 Argon при затратах в 4,6 раза ниже. Такой подход позволяет масштабировать поиск ошибок параллельными агентами, оставляя дорогой модели только разбор собранных свидетельств.
Команда настроила Qwen3.5-4B на проверенных траекториях модели-учителя. Игровой движок отбрасывал примеры, где агент не дошёл до нужного объекта, не вызвал скрытую ошибку или сообщил о дефекте без визуального подтверждения. Модель научилась искать подозрительные места и проверять физику мира: например, пытаться пройти сквозь стену или отвернуться от объекта, который меняется вне поля зрения.
На этапе аудита шесть экземпляров Qwen3.5-4B независимо исследуют одну сцену и записывают действия, кадры и предварительные отчёты. Затем Gemini 4 Argon просматривает записи, объединяет совпадающие находки и отбрасывает ложные срабатывания. Малые модели хорошо справились с навигацией и вызовом ошибок, но заметно хуже распознавали их, поэтому передача финальной проверки крупной модели оказалась эффективнее полностью автономного малого агента.
Схему проверяли на 213 заданиях WorldAuditBench в мирах Unreal Engine 5 и Three.js. В задания входили ошибки геометрии, столкновений, внешнего вида, поведения объектов во времени и соответствия смыслу сцены; сложнее всего система находила временные изменения. Стоимость считали по прейскурантам API, а малые агенты работали параллельно, поэтому итоговое время составило примерно половину времени самостоятельного аудита Gemini 4 Argon. Для продуктовой архитектуры результат предлагает конкретное разделение: дешёвые модели собирают широкое покрытие, дорогая модель вызывается один раз для проверки доказательств.
Источники
Иллюстрация: рисунок из статьи «Efficient Multimodal Agents for Auditing 3D Worlds», Jingbo Yang, Ziyan Jiang, Li An и др., CC BY 4.0
Похоже на вашу задачу?
Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.



