Журнал · Rit.work

SpecLook ускоряет визуальных ИИ-агентов, предсказывая следующий взгляд

SpecLook заменяет последовательное приближение изображения проверяемым прогнозом области и ускоряет визуальных ИИ-агентов без дополнительного обучения.

Rit.work
Студия разработки
19 ноября 2026 г.3 мин чтения

Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.

Агентную мультимодальную модель удалось ускорить, не отправляя её в последовательный цикл рассуждений и приближений изображения. В работе Xi Ding и Jiawei Zhang, которая не прошла рецензирование и где все числа получены самими авторами, SpecLook работал в 7,7 раза быстрее DeepEyes-7B и при этом отвечал точнее. Для систем, которые ищут мелкие детали на изображениях, это предлагает альтернативу оптимизации самого агентного цикла: в большинстве случаев его можно не запускать.

Вместо готового ответа модель предсказывает область изображения

Визуальные агенты вроде DeepEyes-7B и Thyme-RL чередуют рассуждение с вызовами инструмента: выбирают область, увеличивают её, читают новый фрагмент и решают, нужен ли следующий шаг. Такие вызовы идут последовательно, поэтому их нельзя полностью выполнить параллельно. Каждый шаг также заставляет модель снова обработать изображение и сгенерировать текст рассуждения.

SpecLook переносит предположение с ответа на следующее наблюдение. Небольшая Qwen3-VL-2B, которую авторы называют разведчиком, сначала отвечает по целому изображению, затем предлагает области с вероятными доказательствами и повторяет ответ после приближения. Если ответ не изменился и модель уверена в обеих версиях, обработка заканчивается.

Если проверка не пройдена, большая модель-контролёр отвечает по исходному изображению и проверяет предложенную область. Она может отклонить неверный фрагмент и указать другой, но не запускает инструменты по очереди. Ответы небольшой и большой моделей объединяются: первая видит увеличенную деталь, вторая сохраняет общий контекст.

Такое разделение видов сделано намеренно. Если обе модели получат один ошибочно выбранный фрагмент, их ошибки станут зависимыми и совпадение ответов перестанет быть полезной проверкой. Поэтому контролёр смотрит на целое изображение, а разведчик — на приближение.

Полная версия SpecLook дополнительно ищет доказательства по перекрывающимся фрагментам изображения, когда предыдущих проверок недостаточно. Даже тогда агент отвечает одним прямым проходом: найденные области передают ему как уже выполненные вызовы инструмента. SpecLook-Fast останавливается раньше и пропускает этот поиск.

След рассуждения превращается в оценку надёжности

Обычная уверенность модели показывает лишь то, насколько согласован ответ с одним входом. Уверенная ошибка легко проходит такой фильтр. SpecLook проверяет ответ на новых визуальных данных: после приближения он должен сохраниться, а выбранная область — пройти контроль большой модели.

Из этого следа система получает оценку надёжности без размеченных примеров и отдельного вызова модели. Выше всего она ставит ответы, которые совпали до и после приближения. Для остальных учитывает уверенность моделей и согласие между их распределениями вероятностей.

Это не формальная гарантия правильности отдельного ответа. В экспериментах все 681 ответа, прошедшие самую строгую проверку, оказались правильными, но статистическая верхняя граница частоты ошибок для такого выхода составила 1,63%. Оценку стоит использовать для ранжирования, автоматического принятия решения или передачи сомнительных случаев человеку, а не как сертификат безошибочности.

Когда SpecLook меняет архитектурный план

С DeepEyes-7B средняя точность SpecLook составила 87,2%, а ускорение — 7,7 раза относительно исходного агента. С Thyme-RL система получила 86,2% при ускорении в 4,7 раза. Быстрый вариант с DeepEyes-7B достиг ускорения в 9,9 раза. Прирост точности относительно агентов и SpecEyes оказался статистически значимым.

Метод проверяли на V*, HR-Bench и POPE: эти наборы требуют найти мелкую область, прочитать детали высокого разрешения или определить наличие объекта. В роли разведчика использовали Qwen3-VL-2B, в роли контролёра — DeepEyes-7B либо Thyme-RL. Поэтому результаты относятся к визуальным вопросам с приближением, а не к агентам с браузером, кодом или внешними бизнес-системами.

Работа меняет план, если продукт уже строится вокруг дорогого последовательного визуального агента. Вместо обучения нового маршрутизатора можно поставить перед ним небольшую модель, проверить выбранный фрагмент большой моделью и вызывать полный поиск только при слабых доказательствах. Дополнительное обучение для SpecLook не требуется.

Это не готовая замена одним API-вызовом. Реализация должна получать вероятности вариантов ответа, вырезать и увеличивать области, проверять их содержимое, объединять ответы и пакетировать стадии контролёра. Выгода зависит от того, насколько часто текущий агент последовательно приближает изображения и сколько времени тратит на генерацию промежуточных рассуждений.

Если система отвечает по изображению одним проходом, SpecLook добавит лишнюю оркестрацию. Если же основной расход создаёт цикл «посмотреть — приблизить — подумать», работа предлагает практический шаблон: сначала дешёво предсказать следующий взгляд, затем проверить его и только после этого подключать оставшуюся агентную логику.

Источники

Пауза в чтении

Похоже на вашу задачу?

Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.

Rit.work

Студия разработки

Собираем мобильные приложения и помогаем командам получать от AI реальную пользу. Основатель и команда, работаем удалённо — с клиентами в России и за рубежом.

← Ко всем материалам
Понравилось? Обсудим вашу задачу