Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.
Work2Skill превращает запись человеческой работы в интерфейсе в текстовый навык, который агент может применить к другой задаче. Команда Yuqi Huang получила лучшие результаты среди проверенных методов извлечения навыков при одинаковых моделях-исполнителях. Хотя препринт не рецензирован и числа в нём получили сами авторы, работа предлагает практическую архитектуру для переноса внутренних процедур в агентов без обучения отдельной модели.
Запись должна объяснять смысл каждого действия
Координаты щелчка показывают место действия, но не объясняют, какую кнопку выбрал человек и почему. Отдельные снимки экрана тоже теряют раскрывающиеся меню, промежуточные состояния и изменения, которые происходят между кадрами.
WorkRecorder синхронно сохраняет видео экрана, события мыши и клавиатуры, ключевые кадры и доступные сведения из дерева доступности. Дерево доступности — это структурное описание элементов интерфейса с их именами, ролями и границами. Поддержка зависит от приложения, поэтому запись сочетает эти сведения с изображениями и видео, а не полагается только на них.
Система группирует события в щелчки, прокрутку, перетаскивание и сочетания клавиш. Каждое действие связано с кадром, временем в видео и описанием целевого элемента. Агент может открыть нужный фрагмент и проверить не только нажатую кнопку, но и состояние до и после неё.
Для проверки собрали WorkDemo-350 из успешно завершённых процедур в MyPCBench и OSWorld-Verified. Агент сначала читает постановку задачи, затем по мере необходимости запрашивает файлы, кадры и интервалы видео. Он не загружает всю запись в контекст сразу: неясный шаг вызывает дополнительную проверку, после которой агент исправляет черновик навыка.
Результатом становится файл SKILL.md с инструкцией для исполнителя. В нём конкретные имена, даты и значения заменяются параметрами задачи, но сохраняются порядок шагов, правила выбора, зависимые подзадачи, условия остановки и видимые признаки завершения. Во время исполнения исходная запись больше не нужна.
Переносимость дают промежуточные состояния и проверки
Полный набор свидетельств оказался полезнее любой отдельной формы записи. Когда из процесса убирали ключевые кадры, описания элементов или журналы клавиатурных событий, оценка по критериям снижалась на 5,02–10,63 пункта, а доля полностью выполненных задач — на 14,06–21,88 процентного пункта.
Эти сигналы решают разные задачи. Видео показывает переход между состояниями, структурное описание уточняет назначение элемента, а клавиатурные события помогают восстановить введённые значения и сочетания клавиш. Текстовая трасса с названиями элементов работала лучше одного видео, но уступала полному набору.
Work2Skill также не задаёт жёсткий порядок разбора. Агент может начать с критического кадра, вернуться к предыдущему действию после черновика и отдельно проверить финальное состояние. Фиксированный конвейер, где сначала последовательно разбирают запись, а затем пишут инструкцию, хуже приспосабливается к неоднозначностям конкретной процедуры.
В примере с бронированием ресторана требовалось обработать запасные варианты, сохранить избранное и лишь затем подтвердить основной выбор. Базовые методы описали главный маршрут, но потеряли зависимые действия. Work2Skill зафиксировал, какие поля могут сброситься при переходах, когда проверять запасные варианты и что должно остаться в интерфейсе перед завершением.
Планы стоит менять на уровне сбора опыта, а не выбора модели
При одинаковых условиях исполнения Work2Skill улучшил среднюю оценку относительно агента без навыка на 4,67–10,54 пункта в MyPCBench и на 3,11–7,50 пункта в выбранной части OSWorld-Verified. Для сравнения использовали те же задания, исполнителей и текстовый способ подключения навыка; альтернативами служили адаптированные ShowUI-Aloha, Demo2Tutorial и запуск без инструкции.
Проверка охватывает 64 задания MyPCBench и 286 заданий OSWorld-Verified с отобранными успешными демонстрациями. Перенос требований изучали внутри тех же приложений, а перенос между моделями — на GPT-5.5 и Qwen3.5-9B. Навыки помогали после смены исполнителя, но более качественная инструкция не устраняла разницу между самими моделями.
Для продуктовой команды главный вывод касается контура данных. Простого захвата экрана недостаточно: регистратор должен связывать действия с элементами интерфейса, промежуточными состояниями и результатом операции. Отдельный этап затем превращает запись в версионируемый текстовый навык, который можно проверить и подключить к разным исполнителям.
Такой подход подходит для устойчивых внутренних процедур, где известен успешный человеческий маршрут и можно наблюдать итоговое состояние. Работа проверяет извлечение из отобранных демонстраций: кандидатный навык не исполняют и не исправляют по результатам задачи во время его создания. Поэтому производственный контур всё равно должен отдельно тестировать навыки на изменениях интерфейса, новых параметрах и ошибочных исходных записях.
Источники
Похоже на вашу задачу?
Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.
