Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.
Поиск по таблицам, диаграммам и сложной вёрстке можно ускорить, если не сравнивать каждый запрос со всеми страницами в полном разрешении. SCOUT в среднем сократил задержку в 28,8 раза и повысил NDCG@10 на 3,1% относительно сильнейшего базового метода, хотя работа не прошла рецензирование, а все числа получили сами авторы. Для продуктовой системы это означает, что точный визуальный поиск можно отделить от размера всего корпуса.
Дорогой поиск запускается только для отобранных страниц
SCOUT делит обработку корпуса на предварительную и запросную части. Заранее система сохраняет для каждой страницы компактное визуальное представление, набор подробных визуальных признаков и текстовую сводку. Сводки генерирует Gemini 2.5 Flash, а в вектор для поиска их преобразует Qwen3-Embedding.
Текстовая часть устроена иерархически. Модель отдельно описывает весь документ и конкретную страницу, включая таблицы, графики, сущности и общий контекст, а затем объединяет эти описания. Поэтому страница получает сведения, которые могут находиться в другой части документа и быть важны для запроса.
При запросе запускаются две параллельные ветви. Первая быстро сравнивает запрос с одним визуальным вектором каждой страницы и оставляет 25 кандидатов. Затем более точный многовекторный переранжировщик сопоставляет отдельные признаки запроса с фрагментами этих страниц.
Вторая ветвь ищет по заранее подготовленным сводкам и возвращает 20 страниц. Она страхует визуальный фильтр: если нужная страница внешне похожа на множество других и не прошла первый отбор, её может вернуть смысловое совпадение с текстовым описанием.
После объединения кандидатов SCOUT не просто смешивает две выдачи. Оценки текстового поиска меняют визуальное представление запроса, после чего система заново ранжирует страницы. Так сведения из сводок влияют на само сопоставление запроса с изображением, а не только добавляют ещё один список результатов.
Задержка перестаёт расти вместе с дорогим этапом
Качество измеряли через NDCG: эта метрика проверяет, насколько высоко в выдаче стоят релевантные страницы, и сильнее учитывает первые позиции. SCOUT проверили на четырёх наборах визуальных документов: ViDoRe, ViDoSeek, SlideVQA и REAL-MM-RAG. В них входят отчёты, презентации, таблицы, графики и страницы с плотной вёрсткой.
Максимальное ускорение относительно полного многовекторного поиска достигло 80,7 раза. Запрос вместе с первичным поиском, переранжированием, объединением ветвей и уточнением занимал от 387 до 553 миллисекунд. Предварительную генерацию сводок и построение индексов в эту задержку не включали.
Отдельное сравнение показывает, зачем системе нужны изображения страниц. Замена визуального представления извлечённым текстом снижала NDCG@10 до 13,5 пункта при той же основе модели. Для документов, где смысл задают расположение элементов, подписи и связи внутри диаграммы, обычное извлечение текста теряет часть сигнала.
Метод проверяли с несколькими классами базовых систем: текстовым поиском, визуальными моделями с одним вектором страницы и многовекторными моделями, которые обрабатывают весь корпус. При этом SCOUT всё равно ограничен сформированным набором кандидатов: страницу нельзя вернуть, если её пропустили и визуальная, и смысловая ветви. Качество также зависит от сводок, которые могут опустить или исказить содержимое страницы.
Архитектура полезна там, где корпус велик и меняется нечасто
Работа меняет планы команд, которые собирались запускать точный многовекторный поиск по каждой странице. Вместо масштабирования дорогого полного сравнения можно поставить перед существующим переранжировщиком быстрый фильтр и ограничить его работу постоянным набором кандидатов. При росте корпуса основная дополнительная нагрузка тогда приходится на дешёвый поиск по одному вектору.
Вторая практическая идея — не считать текстовый и визуальный поиск независимыми каналами. SCOUT использует смысловые оценки для изменения визуального запроса. Такой подход особенно уместен, когда запрос описывает число, сущность или связь словами, а доказательство находится в таблице либо на схеме.
Цена этой схемы переносится на индексацию. Каждую новую или изменённую страницу нужно обработать визуальной моделью, описать через внешнюю модель и добавить в несколько индексов. Для стабильного архива отчётов эти расходы распределяются между множеством запросов; для корпуса с частыми массовыми обновлениями потребуется отдельно оценить время и стоимость пересборки.
SCOUT стоит рассматривать не как готовую замену поискового слоя, а как проверенный вариант его компоновки. Компоненты можно менять: быстрый визуальный поиск отвечает за охват, сильный переранжировщик — за детали страницы, а сводки — за смысловой контекст. Главный инженерный вывод состоит в том, что самый дорогой этап необязательно связывать с размером всего корпуса.
Источники
Похоже на вашу задачу?
Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.
