GeoGuesser Bench разделил знание местности и умение исследовать

Знание местности не гарантирует, что визуально-языковой агент сумеет найти в ней нужную подсказку. В GeoGuesser Bench лучший результат составил 62,5% при назывании места и 35% при поиске объектов, хотя препринт не прошёл рецензирование и числа получили сами авторы. Выбирать модель для интерактивного агента только по статическим тестам распознавания рискованно.

Команда UC Berkeley собрала 282 задания в автономной среде на основе Street View. Агенты поворачивают камеру, меняют масштаб и переходят между панорамами, чтобы определить координаты, назвать улицу или регион либо найти, прочитать и посчитать объекты, которых не видно в начальном кадре. Среда работает без сети, скрывает адреса и позволяет восстановить прежнее состояние для повторного запуска.

Проверка охватила 23 визуально-языковые модели (VLM). Claude Opus 4.8 набрал в чемпионатных раундах в среднем 4352,4 балла GeoGuessr против 4770,3 у лучшего из двух игроков в каждом раунде. Это ориентир, а не прямое сравнение: люди выбирали точку на карте, тогда как агенты возвращали координаты без карты.

Модели, которые хорошо определяли местоположение по видимым признакам, не обязательно умели искать недостающие сведения. При разборе сбоев четырёх моделей ошибки навигации встречались в 60–80% неудачных эпизодов на каждом типе заданий: агент терял направление, выбирал неверный маршрут или забывал объекты, мимо которых уже прошёл.

Авторы также проверили, как сократить растущую историю взаимодействия. Схема Planner–Worker–Compressor перед каждым вызовом планировщика сжимает прежние действия в краткое описание и сохраняет выбранные ключевые кадры. Она уменьшила расход токенов планировщика на 57–61%, в основном сохранив точность. Для прикладных агентов это отдельный архитектурный вывод: контекст можно сокращать без полной потери истории, но сама модель всё равно должна удерживать пространственное состояние.

Источники

• GeoGuesser Bench: Benchmarking Vision-Language Agents on Interactive Geolocation