Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.
Офлайн-тесты веб-агентов могут сами выдавать правильный ответ через состав вариантов, даже если модель не поняла поведение пользователя. В IntentTwin простое правило без контекста выбрало 100% действий вне обучающего словаря, потому что правильный ответ отличался от всех отвлекающих кандидатов; работа не рецензирована, а числа получили сами авторы. Для продуктовой команды это меняет не архитектуру агента, а контракт оценки: поиск доступных действий нужно проверять отдельно от их ранжирования.
Как правильный ответ выделяется среди кандидатов
Обычный офлайн-тест берёт записанное действие пользователя и добавляет его в набор кандидатов — возможных действий, между которыми должна выбрать модель. В IntentTwin набор включал 16 вариантов: правильное действие и отвлекающие действия из словаря, собранного на обучающей части данных.
Проблема возникает с действиями вне обучающего словаря (OOV). Если правильное действие раньше не встречалось, оно становится единственным новым вариантом, тогда как все отвлекающие кандидаты уже известны по обучению. Модель может выбрать ответ по этому признаку и не учитывать страницу, историю действий или намерение пользователя.
Это не обычная утечка целевой метки в запрос модели. Подсказку создаёт сам оценочный протокол: он гарантирует наличие правильного действия и формирует остальные варианты по другому правилу. Поэтому высокая точность показывает, насколько хорошо система использует состав набора, но не обязательно насколько хорошо она предсказывает поведение.
Для обнаружения такой подсказки введён показатель SIR. Он считает долю строк, где правильный вариант можно однозначно определить только по тому, встречался ли он в обучении. Дополнительная проверка полностью игнорирует контекст и выбирает кандидата с отличающимся статусом.
Авторы исправили протокол балансировкой: в основном варианте в каждый набор клали четыре действия, которых не было в обучающем словаре. Правильный ответ перестал быть единственным новым кандидатом, а ранжировщику пришлось использовать контекст.
Разрыв появляется до этапа ранжирования
После балансировки сильнейший условный ранжировщик сохранил точность Exact@1 на уровне 72,1%. Эта метрика показывает, как часто правильное структурированное действие оказалось на первом месте, когда оно уже присутствовало среди кандидатов.
В продукте агент обычно не получает готовый набор с гарантированным ответом. Он должен сначала найти возможные действия на странице, назвать их, а затем выбрать подходящее. IntentTwin проверяет этот переход с помощью двух источников: поиска по известному словарю и открытого предложения действий из структуры страницы DOM и языковой модели. Распределение мест между источниками зависит от контекста.
Такой модуль предложения включил точное целевое действие в свой набор для 69,2% строк. После последующего ранжирования сквозная точность составила 52,1%, тогда как тест с гарантированным правильным кандидатом давал 74,5%. Значительная часть ошибки появляется не при выборе между готовыми вариантами, а раньше — когда система должна сама обнаружить действие.
Тот же порядок результатов сохранился на Mind2Web: между режимом с гарантированным кандидатом и сквозной проверкой возник разрыв в 21,25 процентного пункта. Значит, эффект связан не только с устройством одного набора данных.
Основную проверку провели на 992 тестовых шагах OPeRA с разделением по сессиям, затем повторили аудит на официальных разбиениях Mind2Web. Обе проверки остаются офлайн-оценкой следующего структурированного действия: они не измеряют выполнение длинной задачи в работающем браузере.
Что менять в плане разработки веб-агента
Работа меняет планы команд, которые используют офлайн-точность по готовому списку действий как основание для выбора модели или запуска продукта. Один показатель ранжирования нельзя переносить на систему, которая сама читает страницу и строит пространство действий.
Оценку стоит разделить на три границы. Сначала измерять полноту предложения: попало ли правильное действие в набор без доступа к журналу с ответом. Затем проверять ранжирование только на покрытых строках. Наконец, считать сквозную точность по всем строкам, включая случаи, когда нужного кандидата нет.
Результаты также нужно делить на действия, встречавшиеся и не встречавшиеся при обучении. Поиск по сохранённому словарю может хорошо работать на знакомых кнопках и полях, но по устройству не способен предложить новый точный ключ. Для новых действий нужен второй путь, который извлекает варианты из текущей страницы или формирует их в открытом словаре.
Если продукт работает с закрытым и заранее известным набором команд, условное ранжирование остаётся подходящей моделью задачи. Но кандидаты в тесте должны иметь одинаковое происхождение, иначе состав набора становится скрытым признаком ответа.
Для агента с динамическими страницами минимальный приёмочный набор должен включать полноту предложения, сквозную точность и отдельные результаты для новых действий. IntentTwin не доказывает, что предложенная двухпутевая схема готова к эксплуатации, но показывает, почему без этих проверок офлайн-бенчмарк завышает ожидаемое качество системы.
Источники
Похоже на вашу задачу?
Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.
