Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.
Веб-агентов научили выбирать часть действий без генерации текстовой команды. В препринте Chengguang Gan и соавторов, который не рецензировался и где все числа получили сами авторы, такой агент расходовал более чем вдвое меньше токенов и сохранял близкую долю успешных действий. Существующий генератор при этом можно оставить неизменным и подключить к нему дополнительный путь принятия решений.
Решение уже содержится в предварительном проходе
Обычный веб-агент получает цель, историю и снимок страницы с пронумерованными элементами, а затем генерирует команду вроде click(12). Каждый токен этой строки требует последовательного шага декодирования, хотя большая часть команды сводится к выбору действия и элемента из ограниченного списка.
До генерации первого токена модель уже обработала весь запрос во время предварительного прохода (prefill). Авторы добавили решающие головы, которые читают внутренние представления нескольких слоёв Qwen3-VL. Одна голова выбирает тип действия, другая оценивает пронумерованные области снимка, третья указывает на готовый текстовый вариант или специальное значение WRITE.
Для выбора элемента модуль усредняет визуальные токены внутри каждой размеченной области и независимо оценивает получившиеся представления. Для ввода текста он сначала ищет аргумент среди строк, взятых из цели, страницы и вариантов выпадающего списка. Если подходящей строки нет, WRITE возвращает генератору только задачу написать открытый текст.
Уверенность в действии считают как произведение вероятностей его частей. Когда она выше порога, исполнитель сразу нажимает элемент, выбирает вариант или запускает другую команду. Когда уверенности недостаточно, генератор продолжает работу из уже созданного кэша ключей и значений KV: повторно обрабатывать снимок и историю не требуется.
Решающие головы обучают после генератора, замораживая его параметры. Они добавляют около 0,1% параметров и не меняют исходный путь генерации. Поэтому шаги, переданные обратно генератору, выполняются так же, как до подключения модуля; совместное обучение такого свойства не даёт.
Схему проверяли на Qwen3-VL-4B и Qwen3-VL-8B, обученных на 213 тысячах шагов из MiniWoB++, Mind2Web, GUIAct, UGround и WebLINX. Сравнение охватило семь офлайн-наборов и WebArena с 174 тестовыми задачами. Во всех опытах агент выбирал действия по пронумерованным областям и одной заданной грамматике команд.
Строгий порог сохраняет качество, мягкий меняет компромисс
При строгом пороге доля успешных шагов каскада отличалась от исходного генератора не более чем на 1,4 процентного пункта. Модуль принимал только решения, в которых был уверен, а неоднозначные страницы оставлял полной модели. Запуск одних голов без возврата к генератору работал хуже, поэтому каскад здесь существеннее самого классификатора.
На WebArena меньшая версия повысила долю выполненных задач с 12,5 до 13,8%, а среднее число сгенерированных токенов на шаг снизилось с 7,4 до 3,1. У большей версии направление результата сохранилось: задач выполнялось немного больше, токенов требовалось меньше половины от исходного уровня.
Более мягкий порог улучшил результаты Mind2Web на сайтах, которых не было в обучении, но снизил долю успешных шагов на GUIAct и MiniWoB++. Особенно хорошо отдельный модуль справлялся с вводом текста и выбором пункта: он сопоставлял элемент только с допустимыми аргументами, вместо того чтобы генерировать всю команду как строку.
На WebArena прирост пришёл из задач, чьи шаблоны намерений встречались в обучающих траекториях. На новых шаблонах каскад не обошёл генератор. Схема лучше ускоряет знакомые классы операций, чем переносит агента на принципиально новые процессы.
Планы меняются, если агент уже работает с размеченными элементами
Для команды с действующим веб-агентом работа предлагает надстройку, а не замену архитектуры. Если исполнитель уже размечает элементы страницы, использует конечный набор действий и передаёт модели список допустимых текстовых значений, решающие головы можно обучить на тех же демонстрациях. Генератор и формат его команд останутся прежними.
Порог уверенности становится эксплуатационной настройкой. Для консервативного запуска модуль можно допускать только к очевидным кликам и готовым текстовым вариантам, а затем расширять его долю по журналам ошибок. Один порог не стоит переносить между продуктами без проверки: на Mind2Web и GUIAct ослабление порога дало противоположный эффект.
Сокращение числа токенов не означает такое же сокращение общей задержки. Агент всё равно выполняет предварительный проход по цели, истории и изображению; головы убирают последовательное декодирование после него. Выигрыш будет заметнее там, где команды длинные, шагов много или модель сначала пишет рассуждение.
Обучать головы вместе с генератором рискованнее: в опытах собственная доля успешных шагов генератора снижалась до 4,9 процентного пункта. Практический вариант — сначала зафиксировать рабочую модель, затем отдельно обучить модуль и оставить возврат к исходной генерации.
Схема пока относится к агентам, которые выбирают пронумерованные области, а не сырые координаты экрана. Головы также привязаны к конкретному генератору: после его дополнительного обучения их придётся обучить заново. Для такого контура работа меняет план оптимизации, но не решает задачу переноса между интерфейсами и новыми типами процессов.
Источники
Похоже на вашу задачу?
Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.
