Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.
Систему для научных обзоров научили сохранять причины отсева статей и источники каждого извлечённого значения, а не только выдавать итоговую сводку. В препринте, который не прошёл рецензирование, приведены числа, полученные самими авторами: ReviewPilot обошёл обычный запрос к LLM и AgentSLR. Для продуктовой команды работа показывает, как превратить цепочку вызовов модели в процесс, где можно проверить решение, изменить правило и пересчитать зависимые результаты.
Каждый этап оставляет проверяемый результат
ReviewPilot покрывает пять этапов систематического обзора: поиск публикаций, первичный отсев, получение полных текстов, извлечение данных и смысловую категоризацию. Ведущий агент запускает специализированные агенты и инструменты только после того, как готовы входные данные, а пользователь подтвердил правила этапа.
Сначала агент поиска выделяет обязательные понятия и собирает логический запрос для PubMed, arXiv и OpenAlex. Система сохраняет сам запрос, диапазон дат, ограничения источников, число найденных записей и ошибки. Это позволяет восстановить не только итоговую подборку, но и способ, которым её получили.
Критерии включения и исключения исследователь задаёт в диалоге или редактирует напрямую. Отдельный агент превращает их в прикладные инструкции: объясняет термины предметной области, описывает пограничные случаи и задаёт правила выбора. При подготовке инструкций он может просмотреть до 200 найденных записей, но не получает экспертные метки из проверочного набора.
При отсеве система возвращает решение, решающее правило и дословный фрагмент заголовка или аннотации. Неопределённые записи сохраняются для проверки полного текста. Если цитата не находится или правило не совпадает с подтверждёнными критериями, запись помечается для человека, но система не скрывает исходное решение.
Для извлечения данных агент сначала предлагает структуру полей на основе нескольких включённых статей, а затем готовит правила кодирования по материалам до 25 публикаций. Из каждого PDF модель получает не больше 400 000 знаков текста с отметками страниц. Она должна вернуть значение, дословную цитату и страницу; если текст не подтверждает значение, поле остаётся пустым.
Память связывает правила, решения и исправления
Главная инженерная деталь ReviewPilot — не разделение ролей между агентами, а состояние проекта. Память хранит текущие настройки, подтверждённые версии критериев, результаты этапов, исправления и показатели для схемы PRISMA, которая описывает движение публикаций через систематический обзор.
Черновик правила не влияет на расчёты, пока исследователь его не подтвердит. Если подтверждённый критерий меняется, зависимые результаты получают статус устаревших и должны быть рассчитаны заново. Так система не смешивает решения, сделанные по разным версиям инструкции.
Исследователь может вернуть исключённую публикацию или исправить извлечённое значение, но обязан выбрать правило и оставить причину. Первоначальный ответ модели остаётся в истории. Это превращает ручную проверку из редактирования итоговой таблицы в журнал изменений, по которому можно восстановить ход обзора.
Отметка о проверенной цитате означает только то, что фрагмент действительно найден в PDF. Она не доказывает, что цитата верно обосновывает значение или охватывает все значения составного поля. Для такой проверки всё ещё нужен специалист.
Результаты поддерживают архитектуру, но не доказывают переносимость
Скрининг проверяли на 5 614 заголовках и аннотациях из эпидемиологических обзоров, а извлечение — на 178 размеченных статьях. ReviewPilot сравнили с единым запросом к LLM и AgentSLR на трёх моделях, передавая методам одинаковые публикации и экспертные ответы.
Лучшая усреднённая F1-мера по включённым и исключённым работам достигла 0,776. Для извлечения структурированных значений максимальная F1-мера составила 0,788. ReviewPilot оказался лучше обоих вариантов сравнения при всех использованных моделях, хотя величина разрыва менялась.
Эти результаты нельзя читать как оценку на совершенно новых обзорах. Авторы настраивали процедуру скрининга и инструкции агента по тем же наборам PERG, на которых затем провели оценку. Кроме того, для каждой комбинации метода и модели выполнен один полный запуск, поэтому эксперимент не показывает разброс между повторениями.
Дополнительные сценарии охватили биомедицину и взаимодействие человека с компьютером. Они показывают полный процесс с ручным пересмотром решений, но не заменяют независимую проверку на других типах доказательств, командах и структурах извлекаемых данных.
Командам стоит пересмотреть не выбор модели, а устройство процесса
Работа не даёт оснований менять базовую LLM только ради систематических обзоров: преимущество ReviewPilot проявилось на разных моделях. Менять стоит архитектуру продукта, если он должен выдавать проверяемые результаты, переживать правки правил и поддерживать аудит.
Практический шаблон состоит из подтверждаемых конфигураций, явных зависимостей между этапами, проверки формата ответа, цитат из первоисточника и журнала ручных исправлений. Отдельные агенты полезны там, где у этапов разные входы и критерии готовности; сами по себе роли агентов воспроизводимость не обеспечивают.
Для производственной системы также придётся сохранять версию модели, запросы, ответы и настройки запуска. ReviewPilot зависит от размещённых у провайдеров моделей, поведение которых может измениться. Без зафиксированного состояния повторный запуск формально использует те же правила, но способен дать другую подборку.
Итог работы — не автономный исследователь, а каркас для контролируемой автоматизации. Он сокращает ручные операции, не убирая экспертное решение из процесса: человек подтверждает правила, проверяет спорные записи и оценивает, действительно ли цитата поддерживает извлечённый факт.
Источники
Похоже на вашу задачу?
Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.
