Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.
Веб-агента научили выполнять задания, где нужно найти сведения на одних сайтах, а затем использовать их для действий на других. В нерецензированном препринте, где все числа получили сами авторы, HyWe-35B завершил 47% таких заданий — на 19 процентных пунктов больше базовой модели. Для прикладных команд результат предлагает альтернативу обычной схеме, в которой один агент получает сразу все инструменты.
Почему общий набор инструментов мешает агенту
Поисковый агент быстро собирает факты через поисковые системы и чтение страниц, но не умеет нажимать кнопки или проверять состояние интерфейса. Агент для управления браузером может сделать это, однако тратит действия на переходы между страницами и хуже собирает сведения с нескольких сайтов.
В одном задании требовалось найти библейский стих, открыть его на Deaf Bible и запустить видео на американском жестовом языке. Поисковый агент нашёл стих, но не смог включить видео; браузерный агент запутался в навигации и исчерпал лимит в 100 шагов. HyWe сначала выполнил поиск, затем перешёл к управлению страницей и закончил задачу за 9 шагов — это пример отдельной траектории, а не средний результат теста.
Простое объединение инструментов проблему не решило. Когда базовая модель получила поиск и браузерные действия в одной инструкции, она справилась с 11% гибридных заданий. Та же модель в архитектуре HyWe решила 28%.
HyWe оставляет одну модель, но разводит работу по двум режимам. У каждого режима своя инструкция и доступ только к подходящим инструментам: поиск проверяет факты и ограничения, а браузерный режим следит за изменениями страницы и исправляет неудачные действия.
Переключение оформлено как отдельное действие модели. После него предыдущие наблюдения сохраняются в общей истории, поэтому найденное название товара, ограничение или цена остаются доступны при работе со страницей. В обратную сторону схема тоже работает: результат взаимодействия с сайтом может стать входными данными для нового поиска.
Как автоматический сборщик учит модель переключаться
Одной архитектуры оказалось недостаточно: до обучения совместный режим лишь немного опережал работу только через браузер. Поэтому авторы создали HyWeCollector, который автоматически составляет задания, выполняет их и отбрасывает траектории без подтверждённого результата.
Сборщик использует четыре типа переходов. Агент переключается с браузера на поиск ради экономии шагов, с поиска на браузер после неудачной попытки найти сведения, с поиска на действия для применения найденного факта или с действий на поиск, когда результат на странице задаёт следующий запрос.
Задания собирают из шаблонов подцелей: найти требование, выбрать параметр, настроить товар, получить значение после взаимодействия. Отдельные роли создают задачу, исполняют её, контролируют условия перехода и проверяют итог. После проверки и удаления повторов осталось 3 735 траекторий.
Эти примеры использовали для дообучения Qwen3.6-35B-A3B вместе с открытыми траекториями поисковых агентов. Параметры языковой модели меняли, а зрительный кодировщик оставили без изменений. Обучение охватывало не только действия внутри каждого режима, но и решение продолжить работу, переключиться или завершить задачу.
Для проверки авторы подготовили HyWeBench со 100 заданиями, написанными людьми. Сайты в тесте отличались от сайтов в обучении, а каждое задание включало хотя бы одну подцель с взаимодействием со страницей. Оценщик проверял не заявленный финальный ответ, а подтверждения найденных фактов и выполненных действий по контрольному списку.
Командам стоит менять устройство агента, но не модель вслепую
Если веб-агент уже получает поисковые функции, снимки страниц, клики и ввод текста через одну инструкцию, сначала стоит проверить разделение на режимы. Для этого не нужны две LLM: достаточно ограничивать доступные инструменты, добавить явное переключение и сохранять общую историю между этапами.
Работа также меняет требования к обучающим данным. Отдельные журналы поиска и браузерных действий не показывают, когда одного способа перестаёт хватать. Полезнее собирать целые траектории с причиной перехода, результатом предыдущего этапа и проверяемым состоянием страницы.
Для оценки нужен собственный набор составных сценариев. Финальный текстовый ответ не доказывает, что агент действительно выбрал параметр, запустил видео или получил значение, которое появляется только после взаимодействия. Контрольный список подцелей позволяет отделить найденные сведения от достигнутого состояния сайта.
Результат пока поддерживает архитектурный эксперимент, а не немедленную замену производственного агента. HyWe-35B обучали на одной базовой модели, HyWeBench остаётся сравнительно компактным, а сайты работают в реальном времени и могут меняться. Кроме того, работа сравнивает весь набор решений сразу и не отделяет вклад общей истории от вкладов инструкций и механизма переключения.
Практический следующий шаг — воспроизвести схему на собственных сценариях и измерять завершённые подцели, число действий и ошибки при передаче данных между режимами. Если агент теряется именно после поиска или пытается искать через длинную браузерную навигацию, HyWe указывает, где менять устройство системы до более дорогой смены модели.
Источники
Иллюстрация: рисунок из статьи «HyWe: Unifying Search and Operation for Real-World Hybrid Web Tasks», Zijian Cai, Haowei Liu, Kailai Chen и др., CC BY 4.0
Похоже на вашу задачу?
Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.
