Журнал · Rit.work

Vanguard проверяет действия ИИ-агента по экрану, а не по тексту

Vanguard выбирает действия малой модели с учётом экрана и вызывает крупную только при низкой уверенности, одновременно сокращая задержку и повышая точность агента.

Rit.work
Студия разработки
19 ноября 2026 г.3 мин чтения

Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.

ИИ-агента научили проверять предложенное действие по текущему экрану и обращаться к крупной модели только при сомнениях. Vanguard с малой моделью оказался не менее точным, чем крупная модель отдельно, а на части задач превзошёл её; пока работа не прошла рецензирование, её числа остаются авторскими замерами. Для агентных систем это превращает спекулятивное выполнение из способа сэкономить вычисления в способ исправлять ошибки основной модели.

Почему текст шага недостаточен для проверки

Агент, который управляет сайтом или телефоном, перед каждым действием анализирует цель, историю и снимок экрана. Если эту работу всегда выполняет крупная модель, каждый щелчок и ввод значения требуют полного прохода генерации.

Пошаговое спекулятивное выполнение меняет порядок работы. Малая модель заранее предлагает несколько действий, проверяющий компонент принимает подходящее, а крупная модель подключается только после отказа. Но проверка по одному тексту не замечает, что агент выбрал соседнее поле, несуществующую кнопку или объект, с которым сейчас нельзя взаимодействовать.

Vanguard передаёт модели принятия решений цель, историю, снимок экрана и очередное действие. Она отвечает на вопрос, правильно ли это действие, и возвращает вероятность ответа «да» без генерации пояснения. Из четырёх вариантов система выбирает лучший и сравнивает его оценку с порогом; если порог не пройден, шаг пишет крупная модель.

Такой проверяющий компонент не пытается воспроизвести ответ крупной модели. Он сопоставляет действие с фактическим состоянием среды, поэтому может сохранить правильный вариант малой модели даже тогда, когда основная модель ошиблась. В одном примере робот уже держал нож и стоял перед помидором: крупная модель пыталась поднять помидор, хотя руки были заняты, а Vanguard выбрал предложенное малой моделью действие «нарезать».

Порог доверия управляет и ошибками, и стоимостью

Порог задаёт компромисс напрямую. При высоком значении Vanguard отклоняет больше черновиков и чаще вызывает крупную модель; при низком принимает больше дешёвых действий вместе с риском пропустить ошибку.

Чтобы оценка имела практический смысл, модель должна быть откалибрована: среди действий с вероятностью правильности около заданного значения примерно такая же доля должна действительно оказаться верной. Порог подбирали на отложенной части данных, не меняя веса малой, крупной и проверяющей моделей. На Mind2Web тот же порог затем применили к сайтам, которых не было при настройке.

Экономия появляется не автоматически. Время на получение черновиков и их проверку должно быть меньше времени, которое система экономит, не запуская крупную модель на принятых шагах. Авторы включали в замеры вызова проверяющей модели сетевую задержку, поэтому сравнивали весь путь запроса, а не только вычисления на GPU.

Vanguard проверяли с черновой моделью Qwen3-VL-2B и целевой Qwen3-VL-8B. На Mind2Web и EB-ALFRED связка показала статистически значимо более высокую точность шага, а на AndroidControl была не хуже целевой модели. С Gemma-3-27B из другого семейства система одновременно работала быстрее и точнее, что показывает: общий токенизатор и родственная архитектура здесь не обязательны.

Проверка охватила действия на сайтах, телефонах и в домашней среде. Для Mind2Web, AndroidControl и EB-ALFRED каждый шаг оценивали при правильной предыдущей истории; отдельно на BabyAI запускали полные эпизоды, где ошибки накапливались. Дополнительные опыты на MathVista, MATH-500 и ProcessBench показывают применимость схемы к рассуждениям, но главный результат относится к агентам, которые видят текущее состояние среды.

Когда Vanguard меняет архитектурный план

Работа меняет план для систем, где крупная мультимодальная модель сейчас вызывается перед каждым действием. Вместо выбора между «дешёвый, но слабый агент» и «дорогой, но точный» появляется каскад из малой модели, независимой проверки по экрану и крупной модели для спорных случаев.

Ключевой критерий — разнообразие правильных черновиков. Схема полезна, когда малая модель хотя бы иногда предлагает верное действие там, где крупная ошибается, а проверяющая модель умеет его распознать. Если все варианты малой модели повторяют одну ошибку, Vanguard сможет только передать шаг крупной модели и добавит накладные расходы.

Для прототипа не требуется дообучать действующие модели: нужно сформулировать проверочный вопрос, подобрать порог на собственных сценариях и измерить долю принятых действий вместе с полной задержкой. Проверять следует на замкнутых задачах, а не только на отдельных шагах: небольшая ошибка в выборе кнопки может изменить весь последующий экран.

Vanguard также можно сочетать со спекулятивной генерацией отдельных токенов. Первый уровень ускоряет написание рассуждения и действия внутри модели, второй решает, можно ли принять весь шаг без обращения к крупной модели. Поэтому метод не требует отказаться от уже внедрённого ускорения генерации.

Источники

Пауза в чтении

Похоже на вашу задачу?

Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.

Rit.work

Студия разработки

Собираем мобильные приложения и помогаем командам получать от AI реальную пользу. Основатель и команда, работаем удалённо — с клиентами в России и за рубежом.

← Ко всем материалам
Понравилось? Обсудим вашу задачу