Журнал · Rit.work

Co-Sight Harness: как управлять длинным бизнес-агентом без смены LLM

Co-Sight Harness выносит процесс, знания и приёмочные проверки из LLM, чтобы ошибки не накапливались в длинных бизнес-процессах.

Rit.work
Студия разработки
17 ноября 2026 г.3 мин чтения

Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.

Длинный бизнес-агент можно сделать надёжнее без замены базовой модели. В работе ZTE все задачи вместо половины завершились без вмешательства человека, хотя препринт не рецензирован и все числа в нём получили сами авторы. Выбор модели перестаёт быть главным решением: результат всё сильнее определяет программный контур вокруг неё.

Процесс становится версионируемым контрактом

Программная обвязка агента решает, какой контекст получает LLM, какие инструменты она может вызвать, где хранится состояние и когда результат можно принять. В Co-Sight Harness модель оставили неизменной, а правила процесса, контрольные точки, промежуточные результаты и накопленные знания вынесли во внешние управляющие артефакты.

Такое разделение задаёт границу ответственности. Модель создаёт рабочие документы, но не может переписать правила, по которым их проверяют. Команда может просмотреть изменения в процессе отдельно от сгенерированного содержания, сравнить версии и откатить неудачное обновление.

Машина состояний разрешает только предусмотренные переходы между этапами. Приёмочные проверки контролируют наличие нужных файлов, их количество и минимальный объём, а также вызывают отдельную оценку содержания. Если этап не проходит проверку, система возвращает его на доработку; число повторов ограничено тремя, поэтому агент не зацикливается бесконечно.

После выполнения независимый аудитор читает журнал всего прогона, но не меняет его и не видит рассуждения генератора. Новая версия управляющих артефактов попадает в работу только после проверки на регрессионном наборе и одобрения человеком. Это превращает настройку агента из редактирования длинного запроса в обычный управляемый выпуск конфигурации.

Схему применяли к документным бизнес-процессам длиной свыше 200 последовательных шагов. В таких цепочках ошибка может проявиться намного позже места, где возникла, поэтому проверка только конечного документа плохо показывает, что именно сломалось.

Приёмочные проверки удерживают процесс, а поиск снабжает его знаниями

Работа разделяет две причины сбоев. Первая связана с управлением: небольшие ошибки накапливаются по мере прохождения цепочки. Вторая возникает при поиске знаний: пользователь формулирует запрос на языке бизнеса, а внутренняя документация описывает ту же задачу языком разработки.

Для первого случая Co-Sight Harness хранит состояние вне диалога и проверяет каждый этап до перехода к следующему. Для второго система сопоставляет бизнес-формулировки с техническими понятиями и подаёт каждому шагу релевантные материалы. Полнота поиска здесь означает долю нужных фрагментов, которые система смогла найти.

В основном сквозном наборе было 120 случаев. Доля задач, завершённых без человека, выросла с 50% до 100%, а полнота поиска — на 35,67 процентного пункта. Улучшилась не способность самой LLM рассуждать, а доступность доказательств и возможность остановить ошибочный переход.

Контрольное исключение компонентов разделило эффекты. Приёмочные проверки и внешнее состояние сильнее влияли на завершение процесса, а согласование терминов и поиск — на качество содержания. Полная схема обошла вариант с удлинённым запросом и дополнительными попытками на 30 процентных пунктов по завершению при сопоставимых вычислительных затратах.

Планы меняет граница между LLM и системой исполнения

Работа меняет планы команд, которые рассчитывали повысить надёжность в основном переходом на следующую модель. Для длинного бизнес-процесса в архитектуре потребуется отдельный слой исполнения: машина состояний, сохраняемые контрольные точки, формальные контракты результатов, управляемый поиск и журнал решений.

Генератор и оценщик также стоит разводить. Если модель сама создаёт документ и сама решает, достаточно ли он хорош, ошибка может превратиться в положительную самооценку. Независимая проверка не устраняет субъективность экспертных критериев, но не позволяет генератору менять их во время выполнения.

Управляющие артефакты становятся частью продукта наравне с кодом. Им нужны версии, регрессионный набор, процедура одобрения и ответственные владельцы. Передача этих артефактов другим командам заняла четыре и семь дней в двух дополнительных областях, где новые исполнители не участвовали в их создании.

Полученные результаты относятся к развёрнутым процессам, которые создают документы и допускают хотя бы частичную формализацию критериев. Там, где качество нельзя решить машинной проверкой или регрессионный набор не покрывает этап, схема сохраняет обязательное участие эксперта. Поэтому Co-Sight Harness не заменяет предметную проверку, а переносит её в заранее определённые точки процесса.

Практический вывод состоит не в выборе конкретной обвязки. Надёжность длинного агента следует проверять как свойство пары «LLM и контур исполнения», а обновление модели — отделять от изменений процесса, знаний и критериев приёмки.

Источники

Пауза в чтении

Похоже на вашу задачу?

Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.

Rit.work

Студия разработки

Собираем мобильные приложения и помогаем командам получать от AI реальную пользу. Основатель и команда, работаем удалённо — с клиентами в России и за рубежом.

← Ко всем материалам
Понравилось? Обсудим вашу задачу