Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.
Веб-агента научили приспосабливаться к незнакомому сайту или новой версии интерфейса без дообучения на целевых примерах. В работе University of Utah, которая не прошла рецензирование и где числа получены самими авторами, WebMix в среднем достиг уровня агентов, обученных специально под целевые интерфейсы. Такой подход заменяет отдельный цикл сбора демонстраций и обучения коротким исследованием сайта.
Краткое описание интерфейса управляет смесью адаптеров
WebMix начинает с банка низкоранговых адаптеров (LoRA). Каждый адаптер обучают на демонстрациях для одного исходного интерфейса: например, интернет-магазина, новостного сайта или определённой версии верстки. Базовая языковая модель при этом остаётся замороженной.
Авторы дополнительно удерживают каждый адаптер близко к исходной модели на остальных знакомых интерфейсах. Это мешает адаптерам усваивать одну и ту же общую стратегию и помогает разделить навыки: один лучше описывает действия в каталоге, другой — навигацию по ленте или работу с формами.
Перед выполнением пользовательских задач агент-разведчик посещает новый интерфейс. Он пробует доступные действия, собирает наблюдения и превращает их в короткую текстовую инструкцию: где искать основные элементы, как устроена навигация и какие действия меняют состояние страницы.
Замороженный кодировщик преобразует инструкцию в вектор, а небольшой маршрутизатор назначает вес каждому адаптеру из банка. WebMix складывает обновления параметров с этими весами и получает один адаптер для нового интерфейса. Его можно подключить через обычный стек обслуживания LoRA: менять саму модель или систему исполнения не требуется.
Маршрутизатор обучают заранее на исходных интерфейсах, пока банк адаптеров остаётся неподвижным. На новом сайте градиентный спуск уже не запускают: достаточно разведки и одного прохода маршрутизатора. Это отличает WebMix от методов, которые создают новый адаптер целиком или подбирают его параметры на примерах с целевого сайта.
Смесь лучше переносит навыки между доменами, чем один LoRA
Качество измеряли по доле задач, в которых проверяющая программа приняла итоговое состояние сайта. На TimeWarp при переносе между доменами WebMix обошёл лучший базовый метод на 8,3 процентного пункта с Qwen и на 7,5 пункта с Llama. На незнакомом новостном интерфейсе агент с Qwen успешно завершил 56,1% задач.
На WebArena-Lite-v2 преимущество над лучшим базовым методом достигло 4,6 пункта. При переносе между версиями одного сайта разрыв оказался меньше, поскольку обычный LoRA уже хорошо справлялся с такими изменениями. WebMix также не потерял качество на знакомых интерфейсах и там опередил либо повторил лучший результат сравниваемых методов.
Проверка охватывала перенос между доменами на TimeWarp и WebArena-Lite-v2, а также перенос между версиями на TimeWarp. Эксперименты провели с открытыми моделями Qwen-3.5 4B и Llama-3.1 8B в BrowserUse; агент видел страницу как дерево доступности и выдавал команды браузеру. В качестве базовых методов использовали модель без адаптации, примеры в контексте и обычные LoRA-адаптеры.
Разбор компонентов показал, что смешивать готовые обновления проще, чем генерировать все параметры адаптера по описанию сайта. Краткая разведка дополнительно улучшала результат, но увеличение числа исследовательских задач не помогало стабильно: на одних доменах качество росло, на других падало.
Подход меняет архитектуру для семейств похожих интерфейсов
WebMix имеет смысл закладывать в систему, если агент обслуживает набор сайтов с повторяющимися операциями: поиск, фильтрацию, выбор элементов, заполнение форм и переходы между разделами. Вместо отдельного конвейера обучения для каждого редизайна команда может хранить общий банк навыков и собирать из него адаптер после короткого знакомства с интерфейсом.
Подход не устраняет первоначальную подготовку данных. Для исходных интерфейсов по-прежнему нужны экспертные демонстрации, отдельные адаптеры и обучение маршрутизатора. Выигрыш появляется после создания банка: следующий интерфейс не требует целевых демонстраций и изменения параметров.
Архитектура также добавляет этап разведки перед полезной работой. Его придётся учитывать там, где агент должен начать выполнять задачу сразу, а пробные действия на рабочем сайте нежелательны. Банк должен содержать подходящие навыки: маршрутизатор умеет сочетать известные обновления, но не создаёт отсутствующую операцию из одного описания.
Есть и техническая цена композиции: ранг итогового адаптера растёт вместе с числом компонентов в банке. Для небольшого набора интерфейсов это сохраняет совместимость с обычным LoRA, но при расширении системы команде потребуется контролировать размер банка, память и время вывода.
Работа предлагает не универсальную замену дообучению, а другую границу между обучением и эксплуатацией. Навыки формируют заранее на нескольких интерфейсах, а при внедрении выбирают их сочетание по наблюдениям с нового сайта. Для продуктов, где интерфейсы регулярно меняются, это позволяет планировать адаптацию как операцию исполнения, а не как новый цикл машинного обучения.
Источники
Иллюстрация: рисунок из статьи «Don't Retrain, Remix: Adaptation of Web Agents using Mixture Hypernetworks», Md Farhan Ishmam, Minh Pham Dinh, Kenneth Marino, CC BY 4.0
Похоже на вашу задачу?
Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.
