Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.
Длинный бизнес-агент можно сделать надёжнее без замены базовой модели. В работе ZTE все задачи вместо половины завершились без вмешательства человека, хотя препринт не рецензирован и все числа в нём получили сами авторы. Выбор модели перестаёт быть главным решением: результат всё сильнее определяет программный контур вокруг неё.
Процесс становится версионируемым контрактом
Программная обвязка агента решает, какой контекст получает LLM, какие инструменты она может вызвать, где хранится состояние и когда результат можно принять. В Co-Sight Harness модель оставили неизменной, а правила процесса, контрольные точки, промежуточные результаты и накопленные знания вынесли во внешние управляющие артефакты.
Такое разделение задаёт границу ответственности. Модель создаёт рабочие документы, но не может переписать правила, по которым их проверяют. Команда может просмотреть изменения в процессе отдельно от сгенерированного содержания, сравнить версии и откатить неудачное обновление.
Машина состояний разрешает только предусмотренные переходы между этапами. Приёмочные проверки контролируют наличие нужных файлов, их количество и минимальный объём, а также вызывают отдельную оценку содержания. Если этап не проходит проверку, система возвращает его на доработку; число повторов ограничено тремя, поэтому агент не зацикливается бесконечно.
После выполнения независимый аудитор читает журнал всего прогона, но не меняет его и не видит рассуждения генератора. Новая версия управляющих артефактов попадает в работу только после проверки на регрессионном наборе и одобрения человеком. Это превращает настройку агента из редактирования длинного запроса в обычный управляемый выпуск конфигурации.
Схему применяли к документным бизнес-процессам длиной свыше 200 последовательных шагов. В таких цепочках ошибка может проявиться намного позже места, где возникла, поэтому проверка только конечного документа плохо показывает, что именно сломалось.
Приёмочные проверки удерживают процесс, а поиск снабжает его знаниями
Работа разделяет две причины сбоев. Первая связана с управлением: небольшие ошибки накапливаются по мере прохождения цепочки. Вторая возникает при поиске знаний: пользователь формулирует запрос на языке бизнеса, а внутренняя документация описывает ту же задачу языком разработки.
Для первого случая Co-Sight Harness хранит состояние вне диалога и проверяет каждый этап до перехода к следующему. Для второго система сопоставляет бизнес-формулировки с техническими понятиями и подаёт каждому шагу релевантные материалы. Полнота поиска здесь означает долю нужных фрагментов, которые система смогла найти.
В основном сквозном наборе было 120 случаев. Доля задач, завершённых без человека, выросла с 50% до 100%, а полнота поиска — на 35,67 процентного пункта. Улучшилась не способность самой LLM рассуждать, а доступность доказательств и возможность остановить ошибочный переход.
Контрольное исключение компонентов разделило эффекты. Приёмочные проверки и внешнее состояние сильнее влияли на завершение процесса, а согласование терминов и поиск — на качество содержания. Полная схема обошла вариант с удлинённым запросом и дополнительными попытками на 30 процентных пунктов по завершению при сопоставимых вычислительных затратах.
Планы меняет граница между LLM и системой исполнения
Работа меняет планы команд, которые рассчитывали повысить надёжность в основном переходом на следующую модель. Для длинного бизнес-процесса в архитектуре потребуется отдельный слой исполнения: машина состояний, сохраняемые контрольные точки, формальные контракты результатов, управляемый поиск и журнал решений.
Генератор и оценщик также стоит разводить. Если модель сама создаёт документ и сама решает, достаточно ли он хорош, ошибка может превратиться в положительную самооценку. Независимая проверка не устраняет субъективность экспертных критериев, но не позволяет генератору менять их во время выполнения.
Управляющие артефакты становятся частью продукта наравне с кодом. Им нужны версии, регрессионный набор, процедура одобрения и ответственные владельцы. Передача этих артефактов другим командам заняла четыре и семь дней в двух дополнительных областях, где новые исполнители не участвовали в их создании.
Полученные результаты относятся к развёрнутым процессам, которые создают документы и допускают хотя бы частичную формализацию критериев. Там, где качество нельзя решить машинной проверкой или регрессионный набор не покрывает этап, схема сохраняет обязательное участие эксперта. Поэтому Co-Sight Harness не заменяет предметную проверку, а переносит её в заранее определённые точки процесса.
Практический вывод состоит не в выборе конкретной обвязки. Надёжность длинного агента следует проверять как свойство пары «LLM и контур исполнения», а обновление модели — отделять от изменений процесса, знаний и критериев приёмки.
Источники
Похоже на вашу задачу?
Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.



