Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.
Mage-VL-Cowork научилась выполнять задачи на компьютере, переключаясь между графическим интерфейсом, кодом и терминалом внутри одной модели. В препринте, который не прошёл рецензирование и содержит замеры самих авторов, Xiaoyi Zhang и коллеги довели модель на 4 млрд параметров до 66% успешных заданий в OSWorld-Verified. Работа показывает, что для такого агента недостаточно открыть больше инструментов: нужно отдельно подготовить модель-наставника, среды и порядок обучения.
Сначала улучшают не модель, а её обвязку
Гибридный агент должен выбирать канал под конкретное действие. Таблицу удобнее изменить библиотекой через терминал, а настройку работающего браузера — через интерфейс, потому что приложение может хранить состояние в памяти и перезаписать файл при закрытии.
Сама доступность обоих каналов не учит модель правильно ими пользоваться. Даже модель-наставник может выполнять повторяющиеся правки мышью, хотя хватило бы одной команды, или менять файл на диске, когда приложение продолжает работать со старой копией.
Поэтому авторы сначала развивали обвязку (harness) вокруг наставника, не меняя его веса. В неё входят цикл выполнения, доступные инструменты и их параметры, системная инструкция, а также библиотеки и команды внутри изолированной среды.
Обвязку не только расширяли, но и упрощали. Например, авторы убрали второй способ управлять мышью и клавиатурой, который дублировал основные экранные действия и создавал неоднозначные обучающие примеры. Студент, обученный на траекториях из более простой конфигурации, выполнил на 12,5 процентного пункта больше заданий, хотя обе версии наставника использовали одну базовую модель.
Из выбранной обвязки сделали несколько специализированных вариантов: для графического интерфейса, терминала и совместной работы двух каналов. Один и тот же тип задачи можно было разыграть разными способами и получить примеры для конкретного этапа обучения.
Один генератор создаёт целое семейство задач
Обычный конвейер может поручать агенту заново строить каждую задачу: придумывать инструкцию, готовить файлы, запускать приложения и составлять критерии проверки. Mage-CUA-Forge переносит основную работу на уровень навыка. Для каждого атомарного действия авторский агент один раз создаёт повторно используемый сценарий генерации.
Сценарий объединяет языковые узлы с подготовщиками приложений. Подготовщик создаёт книгу Calc, почтовый профиль, документ или другое начальное состояние, а общий сценарий формирует пользовательскую инструкцию, код настройки среды и критерии завершения. Отдельные проверки сопоставляют файлы и состояние приложений с заданием до того, как задачу передадут наставнику.
Для сайтов конвейер использует локальные копии с восстанавливаемой базой данных. Это позволяет после каждого запуска возвращать исходное состояние и проверять не только последний снимок экрана, но и фактическую запись в корзине, форме или другом серверном хранилище.
Так авторы собрали 293 806 задач по 6 915 атомарным навыкам. Повторные затраты на одну задачу снизились на 82,6% относительно подхода, где агент каждый раз строит её с нуля. Исправление общего подготовщика при этом распространяется на все следующие задания, а не остаётся локальной правкой одного примера.
Полученные траектории распределили по пяти этапам. Сначала модель училась связывать элементы интерфейса с координатами, затем выполнять последовательности действий мышью и клавиатурой. После этого добавили код и терминал, совместный выбор каналов и обучение с подкреплением по результату выполнения задачи.
Меняет ли рецепт планы команд
От первого этапа работы с интерфейсом до финальной версии результат вырос на 20,44 процентного пункта. Финальную модель запускали с бюджетом до 50 шагов; после обучения с подкреплением она также стала короче рассуждать и реже обращаться к модели на одной задаче.
Рецепт проверяли на одной собственной модели в полных настольных средах и браузере. Основной замер проводили на OSWorld-Verified, дополнительный — на WebVoyager-Static. Это подтверждает работоспособность всей цепочки, но пока не показывает, как она переносится на другую архитектуру, корпоративные приложения или реальные рабочие компьютеры.
Для команды, которая уже собирает траектории от сильной модели, работа меняет порядок действий. Сначала стоит проверить, как наставник выбирает между каналами, удалить дублирующие инструменты и стабилизировать среду. Иначе дорогая генерация закрепит ошибки маршрутизации, которые компактный студент перенесёт сильнее самого наставника.
Второе изменение касается генерации данных. Выгоднее вкладываться в подготовщики приложений и повторно используемые сценарии навыков, чем оплачивать открытый агентный цикл для каждого задания. Такой подход особенно подходит продуктам с повторяющимися типами документов, форм и внутренних систем.
Работа не превращает гибридного агента в готовый компонент для производственной среды. Доступ к терминалу требует изоляции, явных разрешений и контроля команд. Но она даёт воспроизводимую архитектуру проекта: улучшить обвязку наставника, построить генераторы сред, разделить обучение по навыкам и только затем оптимизировать общую политику действий.
Источники
Иллюстрация: рисунок из статьи «Mage-VL-Cowork: A Full Training Recipe to Learn Hybrid Computer Use From Evolved Harnesses», Xiaoyi Zhang, Haoqing Wang, Xinjie Zhang и др., CC BY 4.0
Похоже на вашу задачу?
Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.
