Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.
Табличного агента научили находить повреждённый участок формы, восстанавливать шаблон и заново выбирать ячейки для ввода. На сложных заданиях с несколькими входными файлами CRAFT обошёл лучший из сравниваемых подходов на 23,38 процентного пункта; препринт Shanghai Jiao Tong University, Microsoft Research и Purdue University не рецензирован, а числа получили сами авторы. Такой конвейер предлагает более безопасную альтернативу обычной команде «проверь и заполни заново».
Почему правильного значения недостаточно
Форма в таблице отличается от обычной таблицы с регулярными строками и столбцами. Подпись может находиться слева, сверху или через несколько ячеек от поля; одно название может повторяться в разных разделах; поле иногда состоит из объединённых ячеек или нескольких отдельных частей.
Поэтому агент должен решить две задачи: извлечь правильное значение из инструкции, письма, PDF или другой таблицы и записать его в точный диапазон. Если он выберет соседнюю ячейку или заменит подпись, значение останется формально верным, но заполненная форма окажется непригодной.
Обычная повторная генерация усиливает риск. После первой ошибочной записи агент видит уже изменённый файл и может принять повреждённую структуру за исходную. Следующие исправления наследуют ошибку: например, потерянная подпись мешает определить назначение расположенных рядом полей.
В CRAFT правильной считается только пара, где совпадают и значение, и целевой диапазон. Разные форматы даты могут считаться семантически равными, но запись в другую ячейку всё равно остаётся ошибкой. Такая метрика ближе к реальной автоматизации форм, чем проверка одного извлечённого текста.
Как CRAFT восстанавливает шаблон и ищет поле заново
Сначала CRAFT строит два согласованных представления файла. Исполняемое представление хранит координаты, значения, стили, объединённые области, списки допустимых значений и ограничения на запись. Визуальное показывает пространственное расположение элементов и связывает каждый участок изображения с ячейками.
Входные документы система также приводит к структурированному виду. Она сохраняет разделы писем, заголовки таблиц, блоки PDF и связи между подписями и значениями. Планировщик сопоставляет эти свидетельства с участками формы, после чего отдельный агент создаёт первое заполнение.
Затем мультимодальная модель сравнивает исходный шаблон с результатом. Глобальная проверка ищет пропуски, перезаписанные подписи и значения в необычных местах. Локальная проверка добавляет сигналы из структуры таблицы: например, статическая ячейка изменилась, а значение оказалось не с той стороны от подписи.
Подозрительные ячейки объединяются в компактный диапазон вместе с окружающим контекстом. При повреждении структуры CRAFT берёт неизменяемый снимок исходного шаблона и возвращает содержимое, стили и объединение ячеек. Уже признанные надёжными значения при этом защищаются от перезаписи.
После восстановления модуль RASG ищет прямоугольные области, похожие на доступные поля. Он учитывает горизонтальные и вертикальные границы, сопоставляет найденные области с реальными ячейками, а мультимодальная модель связывает кандидатов с ближайшими подписями. Подтверждённые связи становятся подсказками для записи, а отвергнутые ячейки явно исключаются.
Исправляющий агент получает не свободную просьбу переделать файл, а ограниченный план: где разрешено писать, какие ячейки защищены и какие значения подтверждают входные документы. В испытанной конфигурации после первого заполнения разрешались один цикл проверки и до шести локальных исправлений, поэтому конвейер ограничивает стоимость, но может оставить часть ошибок.
Когда этот подход стоит закладывать в архитектуру
CRAFT проверяли на FormFillBench: наборе из 327 форм с двумя режимами. В первом вся информация находилась в текстовой инструкции, во втором агент собирал её из нескольких файлов. Шаблоны включали регулярные формы, смешанное расположение полей, повторяющиеся разделы и блоки с разной внутренней структурой; сравнение охватывало 11 базовых систем.
В режиме с одной инструкцией преимущество по точности пар «значение — диапазон» составило 8,51 процентного пункта. Удаление повторного поиска полей снижало результат в многофайловом режиме более чем на 40 пунктов. Это показывает, что выигрыш даёт не только дополнительная проверка: после обнаружения ошибки системе нужно восстановить исходное состояние и снова привязать значение к ячейке.
С другим базовым семейством моделей CRAFT сохранил лидерство среди проверенных методов, но абсолютная доля полностью правильно заполненных форм заметно изменилась. Значит, архитектура переносится лучше отдельных подсказок, однако не устраняет зависимость от модели и состава документов.
Для регулярных форм простая мультимодальная модель в отдельных примерах оставалась конкурентоспособной. Добавлять полный конвейер разумнее там, где встречаются повторяющиеся подписи, объединённые области, нестандартное направление «подпись — поле» или сведения из нескольких документов.
Практический вывод для таких систем — хранить исходный шаблон отдельно, проверять не только значения, но и координаты, а исправления ограничивать локальным диапазоном и списком защищённых ячеек. Работа проверяет этот принцип на курируемом наборе и двух базовых моделях, а не доказывает надёжность на произвольных корпоративных процессах. Для чувствительных форм этап проверки человеком по-прежнему следует включать в проект.
Источники
Иллюстрация: рисунок из статьи «CRAFT: An Agentic Spreadsheet Form Filling System with Template Awareness», Leyao Gu, Yingjie Xiong, Zirui Tang и др., CC BY 4.0
Похоже на вашу задачу?
Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.
