Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.
Система Schematize превращает исследовательскую задачу в проверенную схему: список полей, которые модель должна заполнить по документам. В лучшей конфигурации схема охватила 79,4% вопросов юристов; это результат работы Wrocław University of Science and Technology, которая не прошла рецензирование и приводит замеры самих авторов. Для конвейеров извлечения данных отсюда следует практический шаблон: не генерировать схему одним запросом к LLM, а последовательно уточнять замысел, критиковать структуру и проверять её на реальных документах.
Диалог превращает расплывчатую задачу в техническое задание
На входе Schematize получает описание исследования обычным языком. Оно может не содержать юрисдикцию, границы выборки, нужную детализацию или способ последующего анализа, хотя эксперт подразумевает эти условия.
Первый агент задаёт короткую серию уточняющих вопросов. Следующий собирает ответы в формальное описание: фиксирует предмет исследования, область права, подходящие документы, основные понятия и вопросы, на которые должны отвечать извлечённые данные.
Из этого описания система готовит поисковые запросы и начальную схему. Каждый агент обменивается с остальными структурированными сообщениями, поэтому промежуточные результаты можно сохранять, проверять и заменять независимо от остального конвейера.
Первый цикл улучшения не видит документы. Агент-критик проверяет, охватывает ли схема поставленную задачу, понятны ли поля, не дублируют ли они друг друга, подходят ли типы данных и сможет ли LLM извлечь требуемые значения. Отдельный агент вносит исправления, после чего проверка повторяется.
Такое разделение защищает схему от преждевременной подгонки под небольшую выборку. Если сразу показать генератору несколько дел, он может принять особенности этих документов за общую структуру задачи.
Второй цикл, наоборот, работает с найденными материалами. Система пытается применить схему к каждому документу, объединяет замечания и исправляет поля, которые невозможно заполнить, трудно трактовать или нужно разделить. В конце она составляет отчёт об изменениях, а эксперт редактирует итоговую схему через чат.
Полноту измеряли по вопросам, а не по эталонной схеме
Авторы не сравнивали результат с одной схемой, объявленной правильной. Два эксперта могут по-разному назвать и сгруппировать поля, но получить данные для одного исследования. Поэтому юристы заранее составляли исчерпывающие наборы вопросов, не видя сгенерированных структур.
Проверка охватила 3 задачи по польскому праву и работу 7 юридических экспертов. Основная метрика — полнота: доля вопросов, на которые можно ответить с помощью полей схемы. Это определяла отдельная модель-оценщик.
На gpt-5.4 оба лучших сопоставимых варианта с тем же диалогом уточнения набрали 64,3%. Разрыв со Schematize составил 15,1 процентного пункта. Улучшения продолжались на следующих проходах, но затем выходили на плато.
Проверка отдельных компонентов показала, что сильнее всего на результат влиял диалог с экспертом. Отключение только одного цикла улучшения давало разницу в пределах погрешности, однако совместное удаление этапов ухудшало схему. Малые модели иногда ломали уже собранную структуру при проверке на документах: сохраняли поля из текущего дела и удаляли прежние, которых в нём не оказалось.
Границы результата проходят до самого извлечения данных. Эксперимент проверял, есть ли в схеме нужные поля, но не измерял точность заполнения этих полей и не штрафовал за лишние. Все задачи относились к польским судебным документам на одном языке, а решения модели-оценщика отдельно не сверяли с человеческими оценками.
В первый релиз стоит вынести уточнение задачи и аудит схемы
Работа меняет архитектурный план, но не доказывает готовность всего конвейера к промышленной эксплуатации. Её полезно рассматривать как шаблон подготовки контракта между экспертом и системой извлечения, а не как подтверждение качества итоговой базы данных.
Для первого варианта продукта не обязательно сразу собирать много агентов. Из результатов следует более узкий порядок приоритетов:
- Отделить уточнение задачи от генерации. Эксперт должен зафиксировать границы, исключения и будущий анализ до появления полей.
- Хранить схему как самостоятельный артефакт. Версии, причины изменений и промежуточные оценки важнее свободного диалога без истории.
- Развести логическую критику и проверку на данных. Первая сохраняет общий замысел, вторая показывает, можно ли заполнить поля по реальным документам.
- Оставить финальное решение человеку. Отчёт об изменениях и ручное редактирование снижают риск принять убедительно оформленную схему за корректную.
Schematize выпущен как устанавливаемый пакет Python под лицензией MIT. Он поддерживает открытые и закрытые модели, а доступ к документам вынесен в заменяемые соединители. Это позволяет проверить сам подход внутри существующей инфраструктуры, не перенося в новый инструмент весь конвейер извлечения.
Источники
Похоже на вашу задачу?
Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.
