Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.
GUI-агента научили выбирать, что проверить после выполнения задачи и когда прекратить поиск доказательств. Хотя препринт не рецензирован и числа получили сами авторы, награда от VeriCUA повысила долю успешно выполненных задач обучаемого агента на 3,21 процентного пункта. Для команд, которые обучают агентов с подкреплением, отдельная стратегия проверки может оказаться полезнее, чем переход на более крупную модель-оценщик.
Почему крупная модель не выбирает проверку лучше
Агент может закончить работу на экране, который не показывает итог. Документ сохранился, настройка изменилась или поле осталось пустым, но последний снимок интерфейса этого не подтверждает. Оценщик по истории действий вынужден либо угадывать, либо открыть приложение и найти недостающие сведения.
Сам доступ к интерфейсу проблему не решает. Проверяющей системе нужно выбрать полезный признак, указать, где его искать, а затем остановиться, когда доказательств уже достаточно. В одном из примеров достаточно найти единственный слайд без заметок, чтобы признать задачу невыполненной; полный просмотр презентации только расходует вычисления.
Модели, которым стратегию задавали подсказкой, упирались примерно в один уровень качества независимо от размера. Примеры готовых проверок тоже почти не помогали: подходящий следующий шаг зависит не только от формулировки задачи, но и от состояния, которое оставил агент. Это состояние становится известно лишь во время работы с приложением.
VeriCUA разделяет роли. Обучаемый оценщик формулирует условия успеха, отмечает их как подтверждённые, нарушенные или неразрешённые и решает, нужен ли ещё один запрос. Замороженный модуль-исполнитель получает только неразрешённые условия, работает в живом интерфейсе и возвращает найденные свидетельства.
Как стратегию обучают по одной попытке
Обычного сравнения нескольких вариантов проверки здесь нет. Конечное состояние GUI появляется после одного стохастического запуска агента: повторное выполнение может иначе открыть окна, сохранить изменения или оставить диалог. Сама проверка тоже меняет интерфейс, поэтому исходное состояние нельзя надёжно воспроизвести для следующей попытки.
Оценщик сначала дообучают на отфильтрованных трассах Kimi-K2.6, где итоговый вердикт совпал с программной проверкой задачи. Затем он проходит обучение с подкреплением на полных попытках: составляет список условий, при необходимости вызывает исполнитель и выдаёт окончательный ответ.
Награда учитывает две вещи: правильность вердикта и сам факт обращения к исполнителю. Правильный ответ без дополнительной проверки ценится выше, ошибочный ранний ответ штрафуется сильнее, а исчерпание бюджета без решения получает худшую оценку. Так одна попытка одновременно показывает, хорошо ли выбраны признаки и не остановилась ли система слишком рано.
Результат попытки назначают всем токенам, которые сгенерировал оценщик, а затем нормализуют относительно других конечных состояний в пакете. Сравнивать несколько проверок одного состояния не требуется. Исполнитель не обучают, поэтому изменение результата связывают со стратегией оценщика, а не с тем, что второй компонент стал лучше управлять интерфейсом.
Проверяли схему на OSWorld, MobileWorld и WebArena-Verified: это настольные, мобильные и браузерные задачи. Оценщик обучали только на OSWorld, а в двух остальных средах запускали без дополнительного обучения. Для сравнения использовали одинаковую архитектуру и бюджет до двух обращений к исполнителю; эталоном служил программно вычисленный исход задачи.
Архитектуру обучения стоит менять раньше, чем размер модели
VeriCUA превзошла GPT-5.4 с примерами на 5,36 процентного пункта по средней доле совпадений с эталоном. При этом исполнитель потратил на 47,6–59,8% меньше токенов. Самая компактная обученная версия также обошла все оценщики, которым стратегию задавали только подсказкой, включая GPT-5.4 и модель-учитель Kimi-K2.6.
Разница проявилась не только в оценке готовых трасс. На отложенных задачах, где требовалось работать сразу с несколькими приложениями, агент с наградой VeriCUA прибавил 5,40 процентного пункта. Значит, более точная проверка не просто лучше совпадает с тестовым эталоном, а меняет обучение основного агента.
Для такой системы потребуется сохранять живое конечное состояние после каждого запуска, разрешать проверяющему компоненту продолжить работу в нём и иметь программные метки исхода для обучения оценщика. Если конвейер хранит только снимки экрана, перенести метод без изменения инфраструктуры не получится.
Работа также предлагает практический порядок экспериментов. Сначала стоит отделить выбор проверки от её исполнения, зафиксировать исполнитель и обучить оценщик решать, что искать и когда останавливаться. Переход к более крупной модели имеет смысл проверять после этого: в проведённых испытаниях один только размер не преодолел плато.
Вывод относится к наградам для обучения GUI-агентов, а не ко всем способам контролировать продуктовые процессы. Замеры охватывают три исследовательские среды и стабильные состояния, которые можно было повторно запустить. Стоимость выражена в токенах исполнителя, поэтому денежный эффект будет зависеть от выбранной модели и инфраструктуры.
Источники
Похоже на вашу задачу?
Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.
