Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.
DocPilot научили отвечать на вопросы по длинным визуальным документам, последовательно находя и проверяя нужные фрагменты. DocPilot-4B с четырьмя миллиардами параметров показал сопоставимый результат с существенно более крупными закрытыми моделями; поскольку препринт не рецензирован, все числа в нём получили сами авторы. Для продуктовой команды работа даёт прежде всего схему документного агента, а не повод сразу менять базовую модель.
Документ превращается в среду для последовательного поиска
DocPilot не передаёт модели весь PDF и не ограничивается однократным поиском похожих страниц. Он создаёт среду, где каждой странице соответствуют исходное изображение, распознанная структура с текстом и координатами элементов, уменьшенная копия и идентификатор. Отдельный обзор собирает страницы в сетку, чтобы агент сначала увидел документ целиком.
Работа начинается с действия Navigate: модель просматривает уменьшенные страницы и выбирает те, где может находиться ответ. Затем Extract извлекает из выбранных страниц текст, таблицы и другие распознанные элементы. Следующий поиск зависит от уже найденных сведений, поэтому агент может уточнить запрос или перейти к другой части документа.
Для неоднородных данных предусмотрены отдельные операции. Focus обрезает или увеличивает нужную область изображения, например подпись на диаграмме. Solve создаёт исполняемый код для расчёта, сравнения или объединения значений, вместо того чтобы поручать языковой модели арифметику внутри ответа.
После Answer агент запускает Analyze и проверяет, подтверждают ли собранные фрагменты кандидатный ответ. Если доказательств недостаточно или они противоречат друг другу, система возвращается к навигации, извлечению либо расчёту. Так проверка становится частью процесса, а не отдельным фильтром после генерации.
Модель сначала осваивает действия, затем учится их сочетать
Компактной модели недостаточно показать готовые ответы: ей нужно объяснить, когда открыть страницу, когда увеличить фрагмент и когда запустить расчёт. Для этого авторы собрали DocAgent-Instruct-40K: 35K трасс для отдельных навыков и 5K полных траекторий взаимодействия с документом.
На первом этапе модель отдельно учится навигации, извлечению элементов, расчётам через код и ответам по визуальным данным. Учитель создаёт промежуточные рассуждения на основе известных доказательств и правильных ответов; неподтверждённые примеры отбрасываются.
Затем модель получает полные траектории, в которых действия чередуются с ответами среды. Она учится выбирать инструмент по текущему состоянию, менять план после нового фрагмента и завершать работу только после проверки. При обучении ответы среды остаются контекстом, но модель воспроизводит лишь собственные рассуждения, команды и итоговый ответ.
Это различие полезно для прикладной разработки. Отдельные хорошие инструменты ещё не образуют агента: качество зависит от того, умеет ли модель вовремя переключаться между поиском, визуальным осмотром и вычислением. Полные журналы действий здесь становятся не только средством отладки, но и обучающими данными.
Когда схема меняет архитектуру продукта
На MMLongBench-Doc с одной и той же основой Gemini-2.5-Pro агент выбирал в среднем 3,0 страницы. По сравнению с DocLens точность выбора страниц выросла на 18,1 процентного пункта, а точность итоговых ответов — на 5,2 пункта. При этом полнота поиска снизилась на 5,5 пункта: DocPilot чаще отбрасывал лишние страницы, но иногда пропускал подходящие.
Работу проверяли на MMLongBench-Doc, DocBench, FinRAGBench-V и MADQA. Эти наборы охватывают длинные PDF, финансовые документы, вопросы по нескольким страницам и поиск между документами. В части тестов ответы оценивала модель-оценщик GPT-4o, а эксперимент на MADQA проходил на 200 примерах с заранее указанными релевантными документами — он проверял локализацию доказательств, но не поиск нужного файла во всём хранилище.
Командам со статическим поиском по PDF работа предлагает практичное изменение: хранить изображения страниц рядом с распознанной структурой, разделить навигацию и извлечение, вынести вычисления в исполняемый код и сохранять состояние доказательств между шагами. Такой переход можно тестировать без замены основной модели, добавляя операции по одной и измеряя вклад каждой.
Обучать собственный DocPilot-4B имеет смысл, когда важны локальное развёртывание, предсказуемый набор инструментов или работа с закрытыми документами. Если объём запросов невелик, сначала разумнее проверить ту же схему с готовой моделью: сама работа показывает, что выбор основы меняет длину и состав траекторий.
Для финансовых, юридических и регуляторных документов автоматическая проверка ответа не заменяет проверку источника. В продукте потребуется показывать найденные страницы и фрагменты, ограничивать доступ к документам и сохранять исполненный код вместе с ответом.
Источники
Похоже на вашу задачу?
Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.
