Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.
Высокая средняя доля пройденных проверок не означает, что ИИ-агент собрал игру по требованиям целиком. Команда Ant Group, Beihang University и HKUST получила в GameASG-Bench 93,2% по отдельным проверкам против 55,3% строгого успеха по задачам, хотя работа не рецензирована и числа в ней получили сами авторы. При оценке агентов для разработки стоит проверять готовый пользовательский сценарий целиком, а не полагаться на средний балл.
Авторы сделали проверяемость частью задания. До генерации они задают допустимые начальные состояния, действия игрока, снимки состояния, правила отказа и свойства, которые игра не должна нарушать. Агент создаёт самодостаточный index.html и вместе с игрой реализует интерфейс, через который тесты готовят сценарий и наблюдают результат.
Проверка идёт в два слоя. Первый анализирует исходный код: ищет обязательные объявления, конструкции и запрещённые шаблоны. Второй запускает игру в Chromium, отправляет настоящий ввод с клавиатуры, мыши или сенсорного экрана и сопоставляет изменения состояния с поведением в браузере. Строгий успех засчитывают, только если прошли все проверки исходника и все обязательные проверки поведения.
Разрыв хорошо виден на Diner Dasher. Сгенерированная игра прошла проверки исходника, запуска и дополнительных возможностей, но перетаскивание мышью и касанием не продвигало обслуживание посетителей. Средняя доля успешных проверок сгладила бы этот дефект, хотя он ломает основную механику.
GameASG-Bench включает 47 браузерных игр из 12 жанров с двухмерным и трёхмерным взаимодействием. Эксперименты охватили девять сочетаний модели и агентской обвязки; каждое задание имело отдельно проверенную эталонную реализацию. Поэтому результат относится к компактным играм в одном HTML-файле, но сам принцип применим шире: компиляция и частично пройденные тесты ещё не подтверждают, что компоненты приложения вместе выполняют спецификацию.
Источники
Похоже на вашу задачу?
Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.
