Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.
Проверяющий агент научился надёжнее выявлять ошибки в длинных задачах, где часть требований нельзя проверить обычным тестом. Sauron от Scale AI и University of Arizona получил F1 0,96 против 0,92 у Gandalf и стоил на 23% меньше, хотя работа не рецензирована, а числа в ней получили сами авторы. Для команд это практическая схема проверки: отчёт рабочего агента становится лишь подсказкой, а не доказательством успеха.
Сначала источник, затем утверждение и вердикт
Обычная модель-оценщик получает ответ агента и критерии проверки, после чего сразу выносит вердикт. Этого недостаточно для задач с инструментами: итоговый файл показывает результат, но не подтверждает, откуда агент взял данные, вызывал ли нужный сервис и соблюдал ли порядок действий.
Sauron рассматривает два источника. Состояние среды хранит итоговые файлы, записи и значения. Трасса выполнения — журнал действий агента, ответов инструментов и промежуточных событий. Вместе они позволяют проверить не только результат, но и процесс, который к нему привёл.
Перед проверкой лёгкая модель группирует критерии, которым, вероятно, понадобятся одни и те же доказательства. Например, запись о банковском запросе может одновременно подтвердить источник суммы, правильный порядок действий и соответствие итогового отчёта полученным данным. Такая группировка сокращает повторные обращения к длинной трассе.
Исследователь внутри Sauron не загружает весь журнал в контекст. Сначала он делает широкий запрос, чтобы найти нужный участок, затем извлекает конкретное значение или короткий фрагмент. Ограниченные запросы снижают расход токенов и не заставляют модель искать один факт посреди всей истории.
Найденный факт ещё не становится доказательством. Отдельный проверяющий компонент заново читает указанный источник и решает, действительно ли тот подтверждает утверждение. Точные значения система сравнивает механически, а смысловые утверждения передаёт изолированной модели, которая видит только формулировку и процитированный фрагмент.
После этого другой компонент сопоставляет подтверждённые факты с критерием. К каждому вердикту прикладывается квитанция со ссылками на использованные участки состояния и трассы. Если источник нельзя извлечь или доказательств не хватает, система не принимает утверждение исследователя на доверии.
Доступ к трассе сам по себе не решает задачу
Основную проверку провели на PA100: наборе из 100 эпизодов персонального помощника с 2 586 размеченными критериями. Сравнение охватило восемь базовых моделей, причём все проверяющие системы получали одинаковые зафиксированные траектории и работали на одной модели внутри каждого сравнения.
Sauron лидировал по F1 на каждой базовой модели. Эта метрика объединяет точность обнаружения нарушений и полноту — долю действительно найденных нарушений. Преимущество оказалось заметнее на критериях процесса, для которых итогового состояния недостаточно.
На наборе искусственно внесённых сбоев Sauron обнаружил 97% ошибок и ошибочно пометил только 2% исправных контрольных примеров. В набор входили выдуманные отчёты об успехе, расхождения между действиями и итоговым состоянием, а также попытки получить награду без выполнения требования.
Базовые оценщики не догнали Sauron, даже когда им передали полную трассу. Значит, ключевую роль играет не только доступ к журналу, но и порядок работы: найти источник, проверить отдельное утверждение и лишь затем вынести вердикт.
На TRAIL систему проверяли по реальным ошибкам в записанных траекториях GAIA и SWE-bench Lite, уже без доступа к состоянию среды. Sauron лучше сравниваемых решений определял тип ошибки и находил её место в трассе. При таком режиме ограниченные запросы экономили меньше: чтобы исключить нарушение, иногда приходилось просматривать почти весь журнал.
Проверяющий слой придётся проектировать вместе с агентом
Работа меняет планы команд, которые оценивают агентов по критериям или используют такие оценки как награду при обучении. Трасса становится частью проверяемого продукта: в ней должны сохраняться вызовы инструментов, их ответы и порядок событий, иначе критерии процесса останутся недоказуемыми.
Архитектура также разделяет роли. Один компонент ищет подтверждение, другой проверяет его по первоисточнику, третий принимает решение. Это дороже одного запроса к модели-оценщику, но снижает риск, что правдоподобное объяснение рабочего агента превратится в награду за невыполненную задачу.
Полностью заменять обычные тесты моделью не требуется. Sauron механически сопоставляет точные значения и подключает модель только там, где нужно истолковать текст или решить, достаточно ли набора фактов. Для продукта это означает гибридную проверку: код отвечает за точные условия, модель — за неоднозначные критерии, а квитанция связывает вердикт с источниками.
Большая часть расхождений с человеческой разметкой пришлась не на поиск доказательств, а на трактовку критериев: 48 из 65 спорных случаев Sauron прочитал строже разметчиков. Поэтому критерии придётся формулировать как проверяемые утверждения, явно задавая допустимые исключения и составные условия.
Эксперименты оценивали проверяющий слой на фиксированных траекториях персонального помощника и программных агентов, а не обучение новой политики с его наградами. Работа обосновывает архитектуру контроля, но ещё не показывает, как она повлияет на поведение агента после обучения.
Источники
Иллюстрация: рисунок из статьи «Evidence-First Agentic Verification», Reza Sanayei, Razvan-Gabriel Dumitru, Sunjie Hou и др., CC BY 4.0
Похоже на вашу задачу?
Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.
