Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.
Мобильный GUI-агент Jev-Mobile выполняет несколько действий после одного решения основной модели, а не обращается к ней на каждом шаге. В препринте Linghua Zhang, который не прошёл рецензирование и содержит замеры самого автора, средняя стоимость API на успешную задачу снизилась на 73,4% относительно пошаговой схемы. Такой подход позволяет разделить дорогое планирование и частую работу с интерфейсом.
Визуально-языковая модель (VLM) читает задание, снимок экрана и историю выполненных действий, а затем формулирует локальную цель и передаёт точный текст для ввода. Jev получает дерево доступности — структурированный список элементов интерфейса и их состояний — и выбирает действие из подготовленного программой набора. После каждого нажатия или ввода система заново читает дерево, поэтому старый идентификатор элемента нельзя случайно применить к изменившемуся экрану.
Jev-Mobile выполнил 79% заданий AndroidWorld. Пошаговая VLM достигла 84%, а адаптация SeeAct-V — 78%. Среди успешных запусков Jev-Mobile сократил среднее время выполнения на 32,7% относительно пошаговой схемы: несколько действий проходили под одной локальной целью без нового вызова основной модели.
Проверка охватывает полный набор мобильных задач AndroidWorld и сравнивает три законченные системы с общей основной моделью, но разными исполнителями. Время и стоимость считали только по успешным траекториям, поэтому эти показатели не отражают расходы на неудачные запуски и не изолируют вклад одного Jev.
Схема зависит от дерева доступности. Если видимая кнопка в него не попала, текущая версия не умеет получить её координаты со снимка экрана; сам Jev работал как удалённый сервис, а не на телефоне. Архитектура лучше подходит интерфейсам с качественной разметкой доступности, а перенос исполнения на устройство потребует отдельной проверки.
Источники
Похоже на вашу задачу?
Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.
