Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.
Визуальный агент научился улучшать стратегию после нескольких попыток в незнакомой игре. В препринте, который не прошёл рецензирование и приводит замеры самих авторов, перенос опыта в исполняемую программу дал примерно в полтора раза больший прогресс, чем прямое управление обученным контроллером. Для систем с жёсткими требованиями к задержке это предлагает разделить медленное обучение и быстрое исполнение.
Почему рассуждать во время игры поздно
В игре реального времени модель не может остановить среду, чтобы обдумать следующий ход. Пока она анализирует кадры и формирует ответ, персонаж продолжает двигаться, а подходящее для действия состояние может исчезнуть.
Для прямого управления авторы создали RTC-2B — небольшую модель, которая видит последние кадры, историю управления и очередь уже запланированных действий. Пока очередь исполняется, модель готовит следующий блок команд и добавляет его в конец. Так агент не замирает на время вывода LLM.
У этого решения есть неизбежный обмен. Длинная очередь перекрывает задержку модели, но откладывает реакцию на новый кадр: свежая команда начнёт исполняться только после ранее принятых решений. Короткая очередь быстрее учитывает изменения, но может закончиться до того, как модель ответит.
Контроллер сначала обучили повторять рассуждения и действия более крупной модели, затем улучшили через обучение с подкреплением. Отдельная попытка дообучить его на одной игре Stack дала лишь небольшой прирост. Изменение весов потребовало симулятора, обучающих примеров, функции награды и нескольких циклов проверки — всё это пришлось готовить специально для одной игры.
Проверка охватывала 170 заданий из 34 игр. Программному агенту разрешали до восьми запусков продолжительностью по минуте, а прямой контроллер проводил одну трёхминутную партию. Поэтому результаты сравнивают способы использовать несколько попыток, а не одинаковое время одной игровой сессии.
Как программа учится между запусками
Во втором варианте Qwen3.8-27B не управляет игрой напрямую. Модель получает описание задачи и запись первой попытки: кадры, отправленные команды и время их исполнения. На этой основе она пишет программу, которая сама распознаёт состояние игры по пикселям, хранит нужные сведения между кадрами и выбирает действия.
Перед запуском код и вспомогательные файлы фиксируются. Во время игры программа получает новые изображения и отправляет команды клавиатуры или мыши без обращений к LLM. Большая модель возвращается только после завершения попытки: изучает запись, ищет причину ошибки и переписывает распознавание, правила управления или внутреннее состояние программы.
Такой цикл отделяет поиск стратегии от её исполнения. Модель может долго разбирать столкновение или неверный поворот между партиями, а во время следующего запуска действует обычный код с предсказуемой задержкой. Накопленный опыт хранится в явных правилах и процедурах, а не растворяется в новом запросе к модели.
Средний прогресс, то есть доля выполненной цели задания, составил 47,80% у программного агента против 30,90% у RTC-2B. Код показал лучший результат в каждой категории игр. Преимущество сохранилось и в сравнении, где одну и ту же большую модель использовали как разработчика программы и как прямого игрового агента.
Дополнительный бюджет оказалось выгоднее тратить на независимые варианты. При одинаковых лимитах несколько отдельных веток разработки достигли 65,21%, а разработчики, которые обменивались взаимными замечаниями, — 59,82%. Обмен иногда выводил застрявшую ветку из тупика, но независимый поиск чаще находил лучший итоговый вариант.
Когда код меняет архитектурный план
Работа поддерживает архитектуру из двух контуров. Медленная LLM анализирует завершённые попытки и строит исполнитель, а небольшой детерминированный компонент реагирует на входные данные в реальном времени. Большая модель не должна укладываться в задержку каждого действия и постоянно находиться в рабочем контуре.
Такой вариант стоит проверять раньше дообучения весов, если система получает стабильные визуальные наблюдения, может повторять задачу и после запуска понимает, насколько приблизилась к цели. Для эксперимента нужны записи входных данных, действий и результата: по ним модель сможет менять программу между попытками.
Прямой контроллер остаётся уместным, когда между попытками нет времени на разработку отдельной программы или среда требует поведения, которое трудно выразить через доступные визуальные признаки. Очередь действий позволяет ему работать без пауз, но не устраняет задержку: чем дольше модель думает, тем раньше ей приходится фиксировать будущие команды.
Переносить вывод на другие классы систем пока следует осторожно. Авторы проверяли браузерные игры с изображением экрана и вводом через клавиатуру или мышь, а обучение программы укладывалось в несколько коротких запусков. Работа показывает преимущество разделения разработки и исполнения в этих условиях, но не доказывает, что сгенерированный код заменит модельный контроллер в любой интерактивной среде.
Источники
Похоже на вашу задачу?
Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.



