Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.
Компьютерного агента научили последовательно осваивать новые рабочие сценарии и закрывать слабые места после каждого цикла обучения. На сложных заданиях сборщик успешно завершил почти 50% прогонов против 14,6% при полном перезапуске после ошибки. Работа команды MMLab, CUHK, THU, HKUST(GZ), Explore Academy и JD не прошла рецензирование, а все числа получили сами авторы; для продуктовых команд это прежде всего схема производства данных, а не подтверждение превосходства конкретной модели.
Две петли связывают внешний мир, данные и модель
Компьютерный агент получает инструкцию, видит состояние приложения и выполняет последовательность действий через графический интерфейс или командную строку. Для обучения такого агента мало собрать отдельные примеры: нужны длинные сценарии, известное начальное состояние среды и проверка конечного результата.
CUA-Master строит обучение как две вложенные петли. Внешняя петля связывает открытые источники, набор данных и модель: система находит новые рабочие процессы, обучает на них агента, выявляет его слабые места и направляет следующий поиск туда, где задач пока не хватает.
Внутренняя петля отвечает за сами задания. Она извлекает исходные сценарии из видеоинструкций, разбирает их на повторно используемые операции, составляет новые цепочки и запускает их в подготовленных окружениях. В отличие от подхода, где модель генерирует данные только из собственных знаний, сюда на каждой итерации поступают внешние способы работы с программами.
Слабое место такой схемы — зависимость от моделей, которые размечают видео, выделяют действия и диагностируют ошибки. В экспериментах более сильная модель-разметчик улучшала итоговый результат, а использование текущей версии самого агента давало меньший прирост. Получается не полностью автономное самообучение, а производственный цикл, которому всё ещё нужен более способный контролёр.
Видео превращается в проверяемую траекторию
Система ищет инструкции на YouTube, TikTok и Bilibili по каталогу программ и операциям вроде настройки, редактирования или экспорта. Затем она отбрасывает рекламные, развлекательные и другие ролики без последовательной работы в интерфейсе. Один длинный ролик можно разделить на несколько самостоятельных заданий, если в нём показаны разные непрерывные процессы.
Действия восстанавливаются по двум сигналам. Первый путь ищет в расшифровке речи указания вроде «нажмите», «прокрутите» или «перетащите». Второй отмечает изменения изображения: появление меню, открытие диалога, переход на другую страницу. Модель-разметчик сопоставляет эти сигналы, проверяет кадры до и после действия, уточняет границы и удаляет повторы.
Полученную последовательность не используют только как готовый пример. Её разбирают на операционные блоки: приложение, действие, предварительные условия, требования к окружению и способ проверить результат. Из таких блоков можно собирать задания нужной сложности, включая процессы между несколькими программами, не полагаясь на свободное переписывание исходной инструкции.
При выполнении система сохраняет снимки состояния после корректных участков. Если агент ошибается, отдельная модель находит проблемный шаг, формирует подсказку и возвращает среду к последнему рабочему снимку. Это сохраняет уже выполненную часть длинного процесса и снижает цену ошибки ближе к концу траектории.
Планы меняет конвейер данных, а не таблица лидеров
CUA-Master-27B содержит 27 млрд параметров и набрал 80,2 на OSWorld Verified, 36,9 на OSWorld 2.0, 43,9 на WeaveBench и 25,0 на Agents’ Last Exam. Первые тесты в основном проверяют работу через графический интерфейс, последние включают более длинные задачи и сочетание интерфейса с командной строкой. Значения разных тестов нельзя сопоставлять напрямую, но вместе они показывают, что схема работает в нескольких режимах взаимодействия.
Проверка охватывает одну размерность специализированной модели, графические и смешанные задания, а также отдельные тесты на Windows и macOS. Сравнение включает модели сходного размера, более крупные системы и закрытые продукты. Поэтому работа позволяет оценить устройство обучающего конвейера, но не доказывает, что тот же прирост сохранится у другой базовой модели или в конкретном корпоративном приложении.
Для команды, которая строит агента поверх устойчивого набора внутренних программ, главный вывод практический: данные стоит проектировать вместе со средой выполнения. У задания должны быть воспроизводимое начальное состояние, автоматическая проверка результата и возможность продолжить процесс после локальной ошибки. Без этого рост числа синтетических инструкций увеличит объём набора, но не обязательно расширит набор освоенных операций.
Второй вывод касается выбора действий. Командная строка подходит для пакетной обработки файлов и структурированных данных, а графический интерфейс — для визуальной проверки и функций, доступных только внутри приложения. Если продуктовый сценарий сочетает оба типа работы, их лучше заложить в единое пространство действий и собирать обучающие траектории с переключением между ними.
Источники
Похоже на вашу задачу?
Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.
