Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.
Запущенного LLM-агента научились останавливать до того, как он потратит весь бюджет на траекторию с признаками сбоя. Команда Cribl AI Research Lab представила OnTrack: хотя препринт не рецензирован и числа получили сами авторы, после первых восьми шагов монитор ранжировал неудачные запуски лучше метода, который сравнивает только содержание, с приростом 0,057 по площади под ROC-кривой (AUROC). Такой монитор можно поставить между агентом и инструментами, не добавляя отдельный вызов LLM на каждом шаге.
Как монитор сравнивает незавершённый запуск с успешными
OnTrack представляет выполнение задачи как растущий ориентированный ациклический граф. Узлами становятся действия агента: описание шага, вызванный инструмент, аргументы и результат. Рёбра показывают зависимости, например когда найденный на одном шаге файл редактируют позже.
Монитор сопоставляет этот граф с графами успешных запусков. Он учитывает не только сходство текстов, аргументов и инструментов, но и структуру: в каком порядке появились действия, какие результаты использовали следующие шаги и где возникла ветка, цикл или разрыв.
Для сопоставления применяют оптимальный транспорт — математический метод, который распределяет соответствия между шагами текущего и эталонного запусков. Один шаг может частично соответствовать нескольким эталонным шагам, поэтому агенту не требуется дословно повторять готовый сценарий.
Незавершённую траекторию нельзя сравнивать с полным эталоном напрямую: монитор принял бы ещё не выполненные действия за пропуски. OnTrack открывает только ту часть эталона, до которой агент уже мог добраться. Новые узлы сначала почти не влияют на структурную оценку, поскольку их значение может проявиться лишь после следующего вызова инструмента.
Зависимости разрешено добавлять задним числом. Если агент сначала нашёл файл, а позже передал его редактору, монитор связывает оба события после второго шага. Связи извлекаются из журналов, идентификаторов артефактов и схем инструментов обычным сопоставлением строк, без обращения к ещё одной модели.
После каждого события алгоритм продолжает предыдущее вычисление, а не решает задачу заново. Предварительная оценка занимает около одной миллисекунды на шаг. Перед предупреждением или остановкой монитор доводит расчёт до сходимости, чтобы быстрое приближение не стало причиной вмешательства.
Ранний сигнал экономит вычисления, но не предсказывает результат
Метод проверили на 2294 траекториях SWE-agent из SWE-bench. На первых восьми шагах структурное сопоставление лучше разделяло успешные и неудачные запуски, чем сравнение их текстового содержания. Прирост AUROC составил 0,057: эта метрика показывает, насколько правильно метод ранжирует пары запусков с разным исходом.
Поверх сигналов OnTrack настроили экспериментальное правило остановки. Оно сэкономило примерно 18% вычислений, которые иначе ушли бы на неудачные запуски. Среди остановленных траекторий 83% действительно завершились бы неудачей.
Монитор находит прежде всего процессные аномалии: повторные вызовы без нового результата, циклы, остановку прогресса, нарушение известного плана и необратимое действие без заявленных предпосылок. Он не определяет, правильно ли агент исправил конкретную строку кода. Когда траектории выровняли по длине, все общие сигналы процесса приблизились к случайному ранжированию результата.
Когда OnTrack меняет архитектуру агентной системы
Полный режим требует успешных исторических запусков и схем инструментов. Тогда монитор сравнивает структуру выполнения с эталонами и может блокировать действие, если у него нет необходимых предпосылок. В эксперименте SWE-bench использовали небольшой набор из пяти эталонных задач, поэтому перенос результата на более разнообразные процессы ещё нужно проверять отдельно.
Без эталонов остаются проверки циклов, зависаний и бесполезных повторов. Если доступны схемы инструментов, сохраняется и проверка предпосылок перед необратимым вызовом. При наличии только потока событий монитор видит базовые признаки отсутствия прогресса, но уже не может определить отклонение от плана.
Работа меняет планы команд, у которых агент выполняет длинные и дорогие последовательности действий. Вместо отдельного агента-наблюдателя можно сначала проверить детерминированный монитор: он не добавляет вызов LLM к каждому шагу, выдаёт понятную причину тревоги и позволяет разделить реакцию на предупреждение и блокировку.
Автоматическую остановку нельзя включать без оценки цены ошибки. На исследованных наборах правило прерывало 13–21% исправных траекторий в зависимости от состава запусков. Для платежей, удаления данных и изменений инфраструктуры OnTrack также не заменяет проверяемые правила, песочницу и подтверждение операции: если корректность можно установить формальным валидатором, в работе рекомендуют использовать именно его.
Источники
Похоже на вашу задачу?
Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.
